Mimari kata · K—07
Google Cloud'da Birleşik Pazarlama Zekâsı
Mimari kata · kurgusal bir problem tanımı üzerine tasarım çalışması
- Sektör
- E-ticaret pazarlama
- Konu
- Karar
- Teknolojiler
- BigQuery, Dataform, Pub/Sub, Cloud Composer, Cloud Run, Vertex AI, Dataplex, Power BI

Kısaca
GA4 akışı, dört batch kaynak ve veri ambarı üzerinde tek sertifikalı metrik katmanı; panolar, LLM ve ajanlar aynı sayıyı söyler.
Problem
Google Cloud üzerinde çalışan bir e-ticaret perakendecisinin birbiriyle konuşmayan beş veri kaynağı var. Bunlar GA4 akışı, günlük rakip dosyaları, sosyal medya ve reklam API’leri, arama verisi ve kurumsal veri ambarı. Pazarlama ekibi CSV dışa aktarımlarını elle uzlaştırıyor. “Dünkü dönüşüm düşüşünü bizim fiyatımız mı, rakibin fiyatı mı yaptı?” gibi bir soru iki gün sürüyor. Şirket dört tüketici için tek platform istiyor: yaklaşık 400 kullanıcılı Power BI, ajanlı bir LLM asistanı, makine öğrenmesi modelleri ve reklam platformlarına kitle aktarımı.
Yaklaşım
Belirleyici hedef tek gerçek kaynağı korumak. Power BI, LLM ve ajanlar aynı soruya aynı sayıyı vermeli. Ritimler farklı: GA4 dakikalar içinde sorgulanabilmeli, rakip dosyaları günde bir kez geliyor, sosyal API’ler yedi güne kadar geçmişi düzeltiyor. Üçüncü endişe maliyet; dört tüketici grubu BigQuery faturasını şişirebilir. Tasarım veriyi katmanlıyor, yayını bir kapıdan geçiriyor ve her tüketiciyi tek bir metrik sözleşmesine bağlıyor.
Mimari
- Alım: GA4 için sunucu tarafı collector ve Pub/Sub, batch dosyalar için Cloud Composer, API’ler için bir Cloud Run konnektörü. Veri ambarı kopyalanmıyor, yetkili görünümlerle okunuyor.
- Katmanlar: ham, staging, ortak anahtarlı conformed ve sertifikalı mart katmanları; Dataform SQL ve testleriyle kuruluyor.
- Yayın kapısı: mart’lar aday olarak kuruluyor, assertion’lar çalışıyor ve bir görünüm değişimiyle yayına alınıyor. Geç gelen batch yarım veri göstermiyor.
- Sunum: metrikler Git’te bir kez tanımlanıyor. Bir metrik API’si çalıştırıyor; Power BI modelleri aynı tanımdan üretiliyor.
- LLM ve ajanlar: model soruyu metrik, filtre ve tarih aralığına çeviriyor. Sayı API’den geliyor. Ajanlar aksiyon önerilerini onay kuyruğuna bırakıyor.

Neden bu bileşenler
| İhtiyaç | Seçim | Neden |
|---|---|---|
| GA4 akış girişi | Sunucu tarafı Google Tag Manager toplayıcısı, Pub/Sub, BigQuery aboneliği | GA4’ün yerel Pub/Sub dışa aktarımı yok. BigQuery aboneliği kod istemiyor; akış görünümü iki dakika hedefini tutuyor. Dataflow yalnızca gerçek zenginleştirme için; her akışa Dataflow gereksiz maliyet. |
| Toplu dosya girişi | Cloud Composer (yönetilen Airflow) | Rakip dosyaları yeniden deneme, geriye dönük yükleme ve bağımlılık istiyor; klasik bir orkestrasyon problemi. Airflow açık standart; yönetilen servis DAG’ları taşınabilir bırakıyor. |
| API girişi | Cloud Run konnektör servisi | Sosyal platform, Ads ve Search Console API’leri token yönetimi, hız sınırı ve kaynak başına watermark istiyor. Küçük, durumsuz, ölçeklenen bir servis; Composer yalnızca zamanlamayı tetikliyor. |
| Ambar erişimi | Authorised view’lar | Ambar zaten aynı kuruluşta BigQuery’de; Analytics Hub listesine gerek yok. Kopya maliyet ve ikinci bir gerçek getirir. Görünüm aynı satırları okuyor, sahiplik veri ekibinde kalıyor. |
| Depolama ve hesaplama | BigQuery, katmanlı dataset’ler | Tüm kaynaklar zaten buraya iniyor; ayrı bir motor ikinci kopya ve ikinci gerçek demek. Mart’lar olay tarihine göre bölümleniyor. Bu bağımlılık bilinçli; adı konmuş alternatif Iceberg üzerinde Trino ya da ClickHouse. |
| Dönüşüm | Dataform; SQL ve assertion’lar Git’te | Sürümlü, bağımlılık grafiği olan SQL; assertion’lar yayın kapısının test seti. Aynı model dbt Core ile de kurulabiliyor, bu yüzden bağımlılık düşük. |
| Yayın kapısı | Dataform assertion’ları ve publish ID ile görünüm değişimi | Aday tablolar kurulup sınanıyor, sonra CREATE OR REPLACE VIEW mart’ları onlara çeviriyor. Başarısızlıkta görünümler dünde kalıyor. Geri alma bir görünüm değişikliği; yeniden yükleme yok. |
| Semantik katman | Git’te metrik sözleşmesi ve Cloud Run’da metrik API’si | Tasarımın kalbi ve bilinçli olarak bizim kodumuz. Tek tanım Power BI’ı, LLM’i ve ajanları besliyor. Cube ya da dbt Semantic Layer yerine geçebilir; ama tanımın sahipliği bizde kalıyor. |
| BI | Power BI tabular model, artımlı yenilemeli import | 400 kullanıcı eğitimli, kurumsal standart ve lisans zaten var. Import mod tıklamaları BigQuery’den uzak tutuyor. Ölçüler ve satır rolleri sözleşmeden üretiliyor. Açık alternatif Superset. |
| LLM | AB uç noktalarında Vertex AI Gemini | Model soruyu yapılandırılmış çıktı olarak metrik, filtre ve tarih aralığına çeviriyor; sayıyı metrik API’si üretiyor. Veri perimetre dışına çıkmıyor. Açık ağırlıklı modelle vLLM aynı araç arayüzünü koruyor. |
| Ajanlar | Vertex Agent Engine ve onay kuyruğu | Araçlar metrik API’si, katalog ve teklif yazıcı. Ham SQL aracı da doğrudan Ads değişikliği de yok. Her aksiyon kanıtı, onaylayanı ve geri alma kaydıyla saklanıyor. |
| ML besleme | Vertex AI Feature Store | Özellikler aynı mart’lardan üretiliyor; ikinci bir boru hattı yok, model raporla aynı tanımları kullanıyor. BigQuery üzerinde Feast aynı deseni izler. |
| Katalog ve sözleşme | Dataplex | Sertifikalı ve ham ayrımı bir rozet olarak görünüyor. Soy ağacı BigQuery’de yerel; Dataplex etiketleri sözleşme sürümünü ve tazelik hedefini taşıyor. Metadata OpenMetadata’ya aktarılabilir. |
| Kimlik, gizlilik ve sırlar | IAM, policy tag, row access policy, Cloud DLP, Secret Manager | Sütun etiketleri pazarlama rolünün tanımlayıcı seçmesini engelliyor. Ad-hoc ve LLM yollarında satır politikası marka ve ülkeyi süzüyor. API token’ları otomatik dönüyor. |
Kararlar ve ödünleşimler
- Tüketiciye ham SQL yok. Text-to-SQL esnek ama tutarsız: aynı soru için iki sorgu iki sayı üretir. Bir cevap Power BI ile ayrıştığı anda güven biter. Sertifikalı metriği olmayan soru reddediliyor ve metrik backlog’una düşüyor. Aynı sayı garantisi prompt’tan değil mimariden geliyor. Bedeli, sahipleri olması gereken bir metrik sözleşmesi; en büyük risk de sahiplik.
- İkinci motor yerine görünüm değişimi. BigQuery’de görünüm değişimi atomik ve kopya istemiyor. Bir batch gecikirse dünkü sayılar dünkü damgasıyla kalıyor; kimse yarım gün görmüyor. GA4 için tazelik bayraklı, geçici bir akış görünümü var. Bedeli, sertifikalı mart’ların bir gün geriden gelmesi.
- Ajanlar öneriyor, uygulamıyor. Ads API’sini ajan değil onay servisi çağırıyor; ajanın servis hesabında bu yetki yok. Her çalıştırmanın bir harcama değişim limiti var, her aksiyon geri alma kaydı tutuyor. Bedeli: her yeni aksiyon türü kendi onay akışını istiyor.
- Bilinçli Google Cloud bağımlılığı. Ambar zaten BigQuery’de, GA4 oraya yerel akıyor. Taşımak iş değeri üretmeden maliyet ve gecikme ekler. Taşınabilirlik bütçesini değerin biriktiği yere harcıyorum: anahtar eşlemeleri, metrik sözleşmesi ve ajan araç tanımları Git’te. Ambar değişirse metrik API’si başka motora bakar, tüketiciler aynı arayüzü görür.
- Ambarı oku, kopyalama. Authorised view’lar aynı satırları okuyor ve ambara yük bindirmiyor. Sahiplik veri ekibinde kalıyor. Bedeli şema değişikliği riski; bu yüzden o ekiple hizmet seviyesi sözleşmenin en kırılgan yeri.
- Maliyet kullanıcıyla değil, veri hacmiyle büyüyor. Power BI import modda; 400 kullanıcının tıklamaları BigQuery’ye gitmiyor. Metrik API’si metrik, filtre ve publish ID ile önbellekliyor; sonuç bir sonraki yayına kadar değişemez. Her tüketici grubunun kendi projesi, rezervasyonu ve kotası var; %80’de bütçe alarmı.

Yeniden ele alacaklarım
- Sunucu tarafı toplayıcı. Yoksa GA4 saatlik gün içi dışa aktarıma düşer ve iki dakika hedefi tutmaz.
- Rakip SKU kapsamı. %90 varsaydım. %95 altındaki kategoriler kapsama uyarısıyla cevap veriyor. Kapsam düşükse önce eşleme kalitesi gelir, mimari değil.
- Birincil BI aracı. Power BI ve Looker Studio birlikte desteklenebilir; ama sertifikasyon işi ve maliyet ikiye katlanır.
- Ambar ekibiyle hizmet seviyesi. Bir authorised view’ın şeması değişmeden ne kadar önce haber geliyor?
Sonuç notları (tasarım varsayımları, ölçüm değil)
Bu bir tasarım çalışmasıdır, teslim edilmiş bir platform değildir. Çıktı: dört sayfalık diyagram seti, tek sayfalık beyaz tahta sürümü ve 16 sayfalık Türkçe PDF. Metrik listesi ve sahipleri (50 varsayıldı) hâlâ açık.
Kaynaklar
- Mimari PDF (Türkçe, 16 sayfa).
- draw.io diyagramları (İngilizce etiketler): dört sayfalık set ve 30 dakikalık tek sayfa sürüm.
Bu konudaki gerçek projeler
P—01
Tamamlandı
Öne çıkan
Kurumsal Veri Ambarının Google BigQuery'ye Taşınması
80 TB'lık ambar SQL Server ve 15 düğümlü Cloudera kümesinden BigQuery'ye taşındı: yıllık $550K tasarruf, %75 düşük altyapı maliyeti, 7 kat hızlı iş akışları.
Rol
Tasarım ve liderlik · Kıdemli Veri Mühendisliği ve Veri Mimarisi Grup Yöneticisi
P—02
Tamamlandı
Öne çıkan
GA4 Modernizasyonu: Gold Katman, Akış ve Anomali Tespiti
GA4 analitiği BigQuery'de Gold e-ticaret modeli ve sapma kontrolleriyle yenilendi: aylık maliyet $9K'dan $3K'ya, en ağır sorgular 46 dakikadan 8 saniyeye.
Rol
Program liderliği · Veri Çözüm Mimarı