Veri Sözleşmeli Açık Lakehouse ve Ortak Semantik Katman

Problem

Bir e-ticaret holdingi sekiz yılda satın alınmış altı markadan oluşuyor. Her markanın kendi veri yığını var: ikisi BigQuery, ikisi Snowflake, biri Databricks, biri şirket içi PostgreSQL ambarında. Grup finansı her ay tablolarla konsolidasyon yapıyor ve rakamlar marka panolarıyla hiç tutmuyor; çünkü “net gelir” her markada farklı tanımlanmış. Markalar zorla göçü kabul etmiyor. Grup ise verinin yedinci bir kopyasını kabul etmiyor. Üç marka AB’de, iki marka Birleşik Krallık’ta, biri Türkiye’de faaliyet gösteriyor; bu yüzden kişisel veri kendi bölgesinde kalmalı.

Yaklaşım

Tasarım, tablo formatını ve kataloğu motorlardan, metrik tanımını da herhangi bir SQL lehçesinden bağımsız kılıyor. Her paylaşılan veri ürünü sahibi markanın motorunda üretiliyor ve bölge bucket’ına bir kez Apache Iceberg tablosu olarak yazılıyor. Apache Polaris ya da Lakekeeper gibi tek bir REST Iceberg kataloğu dört motorun da aynı tabloyu okumasını sağlıyor. Sözleşme tablonun yanında duruyor ve kırıcı değişiklikleri CI’da engelliyor. Metrikler YAML’da bir kez tanımlanıyor ve her motor için derleniyor.

Mimari

• Tablolar ve katalog: bölgesel nesne depolamada Iceberg; tek REST katalog ve motor başına kısa ömürlü kimlik bilgileri.
• Tablo başına tek yazıcı: sahibin motoru. Open Policy Agent politikası başka bir principal’ın commit’ini reddediyor.
• Sözleşmeler: şema, PII sınıfı, SLA, sahip ve geri fatura etiketi içeren Open Data Contract Standard YAML’ı. Commit sonrası bir iş snapshot’ı doğrulanmış olarak etiketliyor; tüketiciler yalnızca doğrulanmış snapshot’ları okuyor.
• Semantik katman: bir derleyici metrik tanımını BigQuery, Snowflake, Databricks ve Trino SQL’ine çeviriyor. Power BI, Looker, defterler ve LLM asistanı tek metrik API’sini kullanıyor.
• Bölgeler ve katalog: toplulaştırmayı bölgesel Trino havuzları yapıyor. OpenMetadata soy ağacını, tazeliği ve sözleşme durumunu gösteriyor.

Kararlar ve ödünleşimler

• Göç değil, federasyon. Altı marka sekiz yılda ekip ve araç kurdu ve göçü reddediyor. Göç başarısız olsaydı grup verisi iki yıl boş kalırdı. Tek açık format ve tek katalog, bu risk olmadan tek doğru ve tek kopya veriyor. Bedeli, dört SQL lehçesini ve dört motoru desteklemek.
• Motor başına katalog yerine tek açık katalog. REST katalog, dört motorun ortak paydası. Motor başına katalog üç politika motoru ve üç yetki modeli demek olurdu. Bedeli, grubun işletmesi gereken bir katalog. Katalog düşerse yeni commit olmuyor, ama motorlar ellerindeki snapshot’ları okumaya devam ediyor.
• Tek yazıcı kuralı. Her tablonun tek yazıcısı var: sahip markanın motoru; OPA başka her commit’i reddediyor. Eşzamanlı çok motorlu yazma, hiçbir motorun garanti etmediği bir tutarlılık vaat ederdi; bu yüzden motorlar arası işlem vaat etmiyorum. Bedeli, geçiş döneminde iki motor kullanan markaların yönetimi.
• Sabitlenmiş ve doğrulanmış snapshot’lar. “Dört motorda tutarlı” demek aynı snapshot, aynı dosyalar, aynı sayı demek. Tüketiciler en sonuncuyu değil, doğrulandı etiketli snapshot’ı okuyor. Bir marka CI’ı atlayıp sütun adını değiştirirse yeni snapshot etiket almıyor. Pano tazelik damgasıyla bayat ama doğru rakamı gösteriyor, asla yanlışını değil.
• Uygunluk paketi. Her metriği dört motorda tek snapshot’a karşı çalıştırıyor ve kuruşuna kadar karşılaştırıyor. Lehçe sapması paketi düşürüyor ve o spesifikasyon sürümünü durduruyor. Bedeli: grup kendi derleyicisini yazıp bakımını üstlenmek zorunda kalabilir.
• Veri yerleşimi politikada değil, mimaride. Satır seviyesinde kişisel veri bölgesinden çıkmıyor. Bölgesel Trino havuzları toplulaştırıyor; grup principal’ı yalnızca “toplu, PII yok” sınıfındaki tabloları görüyor. Satır seviyesi tablolar ona görünmüyor bile. Bedeli, bölgeler arası analizin yalnızca toplamlar üzerinde yapılabilmesi.

Yeniden ele alacaklarım

• Motor başına yerel yazma. Hangi motor sürümleri Iceberg REST kataloğuna doğrudan yazabiliyor? BigLake ve Snowflake desteği sürüme bağlı; desteği olmayan marka için yazıcı Trino olur.
• Semantik spesifikasyonun olgunluğu. Hazır açık kaynak bir derleyici var mı, yoksa grup kendininkini yazıp açacak mı?
• Bir markada iki motor. Geçiş sırasında geçici ikinci bir yazıcı kabul edilir mi, yoksa yazıcı değişimi yeni bir sözleşme sürümü mü?
• Bağlantısı kopan Türkiye bölgesi. AB kontrol düzlemine erişilemezse yerinde çalışan markanın commit’leri kaç saat bekleyebilir?

Sonuç notları (tasarım varsayımları, ölçüm değil)

Bu bir tasarım çalışmasıdır, çalışan bir platform değildir. Çıktı: dört sayfalık diyagram seti, tek sayfalık beyaz tahta sürümü ve 16 sayfalık Türkçe PDF. İki günlük finans konsolidasyonu ve yüzde 0,1’lik mutabakat toleransı, kata metni ve tasarımdaki hedeflerdir.

Kaynaklar

• Mimari PDF (Türkçe, 16 sayfa).
• draw.io diyagramları (İngilizce etiketler): dört sayfalık set ve 30 dakikalık tek sayfa sürüm.