Mimari kata · K—07

Google Cloud'da Birleşik Pazarlama Zekâsı

Mimari kata · kurgusal bir problem tanımı üzerine tasarım çalışması

Sektör
E-ticaret pazarlama
Konu
Karar
Teknolojiler
BigQuery, Dataform, Pub/Sub, Cloud Composer, Cloud Run, Vertex AI, Dataplex, Power BI
Akış: beş kaynak katmanlı BigQuery'ye iner, yayın kapısından geçer; BI, LLM ve ajanlar tek metrik API'sinden beslenir.
Tasarım tek bakışta: 30 dakikalık, tek sayfalık canlı çizim. Diyagram etiketleri İngilizcedir.

Kısaca

GA4 akışı, dört batch kaynak ve veri ambarı üzerinde tek sertifikalı metrik katmanı; panolar, LLM ve ajanlar aynı sayıyı söyler.

Problem

Google Cloud üzerinde çalışan bir e-ticaret perakendecisinin birbiriyle konuşmayan beş veri kaynağı var. Bunlar GA4 akışı, günlük rakip dosyaları, sosyal medya ve reklam API’leri, arama verisi ve kurumsal veri ambarı. Pazarlama ekibi CSV dışa aktarımlarını elle uzlaştırıyor. “Dünkü dönüşüm düşüşünü bizim fiyatımız mı, rakibin fiyatı mı yaptı?” gibi bir soru iki gün sürüyor. Şirket dört tüketici için tek platform istiyor: yaklaşık 400 kullanıcılı Power BI, ajanlı bir LLM asistanı, makine öğrenmesi modelleri ve reklam platformlarına kitle aktarımı.

Yaklaşım

Belirleyici hedef tek gerçek kaynağı korumak. Power BI, LLM ve ajanlar aynı soruya aynı sayıyı vermeli. Ritimler farklı: GA4 dakikalar içinde sorgulanabilmeli, rakip dosyaları günde bir kez geliyor, sosyal API’ler yedi güne kadar geçmişi düzeltiyor. Üçüncü endişe maliyet; dört tüketici grubu BigQuery faturasını şişirebilir. Tasarım veriyi katmanlıyor, yayını bir kapıdan geçiriyor ve her tüketiciyi tek bir metrik sözleşmesine bağlıyor.

Mimari

  • Alım: GA4 için sunucu tarafı collector ve Pub/Sub, batch dosyalar için Cloud Composer, API’ler için bir Cloud Run konnektörü. Veri ambarı kopyalanmıyor, yetkili görünümlerle okunuyor.
  • Katmanlar: ham, staging, ortak anahtarlı conformed ve sertifikalı mart katmanları; Dataform SQL ve testleriyle kuruluyor.
  • Yayın kapısı: mart’lar aday olarak kuruluyor, assertion’lar çalışıyor ve bir görünüm değişimiyle yayına alınıyor. Geç gelen batch yarım veri göstermiyor.
  • Sunum: metrikler Git’te bir kez tanımlanıyor. Bir metrik API’si çalıştırıyor; Power BI modelleri aynı tanımdan üretiliyor.
  • LLM ve ajanlar: model soruyu metrik, filtre ve tarih aralığına çeviriyor. Sayı API’den geliyor. Ajanlar aksiyon önerilerini onay kuyruğuna bırakıyor.
Mimari: beş kaynak katmanlı BigQuery'ye iner, yayın kapısından geçer; BI, LLM ve ajanlara tek metrik katmanıyla ulaşır.
Çözüm genel bakışı: GA4 neredeyse gerçek zamanlı ve dört toplu kaynaktan uyumlanmış BigQuery mart'larına, tek sertifikalı metrik katmanına ve Power BI, LLM, ajan, ML ve kitle tüketicilerine. Diyagram etiketleri İngilizcedir.Tam boyutta aç (yeni sekmede açılır)

Neden bu bileşenler

İhtiyaç Seçim Neden
GA4 akış girişi Sunucu tarafı Google Tag Manager toplayıcısı, Pub/Sub, BigQuery aboneliği GA4’ün yerel Pub/Sub dışa aktarımı yok. BigQuery aboneliği kod istemiyor; akış görünümü iki dakika hedefini tutuyor. Dataflow yalnızca gerçek zenginleştirme için; her akışa Dataflow gereksiz maliyet.
Toplu dosya girişi Cloud Composer (yönetilen Airflow) Rakip dosyaları yeniden deneme, geriye dönük yükleme ve bağımlılık istiyor; klasik bir orkestrasyon problemi. Airflow açık standart; yönetilen servis DAG’ları taşınabilir bırakıyor.
API girişi Cloud Run konnektör servisi Sosyal platform, Ads ve Search Console API’leri token yönetimi, hız sınırı ve kaynak başına watermark istiyor. Küçük, durumsuz, ölçeklenen bir servis; Composer yalnızca zamanlamayı tetikliyor.
Ambar erişimi Authorised view’lar Ambar zaten aynı kuruluşta BigQuery’de; Analytics Hub listesine gerek yok. Kopya maliyet ve ikinci bir gerçek getirir. Görünüm aynı satırları okuyor, sahiplik veri ekibinde kalıyor.
Depolama ve hesaplama BigQuery, katmanlı dataset’ler Tüm kaynaklar zaten buraya iniyor; ayrı bir motor ikinci kopya ve ikinci gerçek demek. Mart’lar olay tarihine göre bölümleniyor. Bu bağımlılık bilinçli; adı konmuş alternatif Iceberg üzerinde Trino ya da ClickHouse.
Dönüşüm Dataform; SQL ve assertion’lar Git’te Sürümlü, bağımlılık grafiği olan SQL; assertion’lar yayın kapısının test seti. Aynı model dbt Core ile de kurulabiliyor, bu yüzden bağımlılık düşük.
Yayın kapısı Dataform assertion’ları ve publish ID ile görünüm değişimi Aday tablolar kurulup sınanıyor, sonra CREATE OR REPLACE VIEW mart’ları onlara çeviriyor. Başarısızlıkta görünümler dünde kalıyor. Geri alma bir görünüm değişikliği; yeniden yükleme yok.
Semantik katman Git’te metrik sözleşmesi ve Cloud Run’da metrik API’si Tasarımın kalbi ve bilinçli olarak bizim kodumuz. Tek tanım Power BI’ı, LLM’i ve ajanları besliyor. Cube ya da dbt Semantic Layer yerine geçebilir; ama tanımın sahipliği bizde kalıyor.
BI Power BI tabular model, artımlı yenilemeli import 400 kullanıcı eğitimli, kurumsal standart ve lisans zaten var. Import mod tıklamaları BigQuery’den uzak tutuyor. Ölçüler ve satır rolleri sözleşmeden üretiliyor. Açık alternatif Superset.
LLM AB uç noktalarında Vertex AI Gemini Model soruyu yapılandırılmış çıktı olarak metrik, filtre ve tarih aralığına çeviriyor; sayıyı metrik API’si üretiyor. Veri perimetre dışına çıkmıyor. Açık ağırlıklı modelle vLLM aynı araç arayüzünü koruyor.
Ajanlar Vertex Agent Engine ve onay kuyruğu Araçlar metrik API’si, katalog ve teklif yazıcı. Ham SQL aracı da doğrudan Ads değişikliği de yok. Her aksiyon kanıtı, onaylayanı ve geri alma kaydıyla saklanıyor.
ML besleme Vertex AI Feature Store Özellikler aynı mart’lardan üretiliyor; ikinci bir boru hattı yok, model raporla aynı tanımları kullanıyor. BigQuery üzerinde Feast aynı deseni izler.
Katalog ve sözleşme Dataplex Sertifikalı ve ham ayrımı bir rozet olarak görünüyor. Soy ağacı BigQuery’de yerel; Dataplex etiketleri sözleşme sürümünü ve tazelik hedefini taşıyor. Metadata OpenMetadata’ya aktarılabilir.
Kimlik, gizlilik ve sırlar IAM, policy tag, row access policy, Cloud DLP, Secret Manager Sütun etiketleri pazarlama rolünün tanımlayıcı seçmesini engelliyor. Ad-hoc ve LLM yollarında satır politikası marka ve ülkeyi süzüyor. API token’ları otomatik dönüyor.

Kararlar ve ödünleşimler

  • Tüketiciye ham SQL yok. Text-to-SQL esnek ama tutarsız: aynı soru için iki sorgu iki sayı üretir. Bir cevap Power BI ile ayrıştığı anda güven biter. Sertifikalı metriği olmayan soru reddediliyor ve metrik backlog’una düşüyor. Aynı sayı garantisi prompt’tan değil mimariden geliyor. Bedeli, sahipleri olması gereken bir metrik sözleşmesi; en büyük risk de sahiplik.
  • İkinci motor yerine görünüm değişimi. BigQuery’de görünüm değişimi atomik ve kopya istemiyor. Bir batch gecikirse dünkü sayılar dünkü damgasıyla kalıyor; kimse yarım gün görmüyor. GA4 için tazelik bayraklı, geçici bir akış görünümü var. Bedeli, sertifikalı mart’ların bir gün geriden gelmesi.
  • Ajanlar öneriyor, uygulamıyor. Ads API’sini ajan değil onay servisi çağırıyor; ajanın servis hesabında bu yetki yok. Her çalıştırmanın bir harcama değişim limiti var, her aksiyon geri alma kaydı tutuyor. Bedeli: her yeni aksiyon türü kendi onay akışını istiyor.
  • Bilinçli Google Cloud bağımlılığı. Ambar zaten BigQuery’de, GA4 oraya yerel akıyor. Taşımak iş değeri üretmeden maliyet ve gecikme ekler. Taşınabilirlik bütçesini değerin biriktiği yere harcıyorum: anahtar eşlemeleri, metrik sözleşmesi ve ajan araç tanımları Git’te. Ambar değişirse metrik API’si başka motora bakar, tüketiciler aynı arayüzü görür.
  • Ambarı oku, kopyalama. Authorised view’lar aynı satırları okuyor ve ambara yük bindirmiyor. Sahiplik veri ekibinde kalıyor. Bedeli şema değişikliği riski; bu yüzden o ekiple hizmet seviyesi sözleşmenin en kırılgan yeri.
  • Maliyet kullanıcıyla değil, veri hacmiyle büyüyor. Power BI import modda; 400 kullanıcının tıklamaları BigQuery’ye gitmiyor. Metrik API’si metrik, filtre ve publish ID ile önbellekliyor; sonuç bir sonraki yayına kadar değişemez. Her tüketici grubunun kendi projesi, rezervasyonu ve kotası var; %80’de bütçe alarmı.
Akış: bir akış ve dört toplu kaynak uyumlanır, yayın kapısında denetlenir ve tek sertifikalı metrik cevabıyla sunulur.
Karışık ritimden tek sayı: akışın ve dört toplu kaynağın tek sertifikalı cevaba nasıl dönüştüğü; Power BI, LLM ve ajanlar birbiriyle çelişemez. Diyagram etiketleri İngilizcedir.Tam boyutta aç (yeni sekmede açılır)

Yeniden ele alacaklarım

  • Sunucu tarafı toplayıcı. Yoksa GA4 saatlik gün içi dışa aktarıma düşer ve iki dakika hedefi tutmaz.
  • Rakip SKU kapsamı. %90 varsaydım. %95 altındaki kategoriler kapsama uyarısıyla cevap veriyor. Kapsam düşükse önce eşleme kalitesi gelir, mimari değil.
  • Birincil BI aracı. Power BI ve Looker Studio birlikte desteklenebilir; ama sertifikasyon işi ve maliyet ikiye katlanır.
  • Ambar ekibiyle hizmet seviyesi. Bir authorised view’ın şeması değişmeden ne kadar önce haber geliyor?

Sonuç notları (tasarım varsayımları, ölçüm değil)

Bu bir tasarım çalışmasıdır, teslim edilmiş bir platform değildir. Çıktı: dört sayfalık diyagram seti, tek sayfalık beyaz tahta sürümü ve 16 sayfalık Türkçe PDF. Metrik listesi ve sahipleri (50 varsayıldı) hâlâ açık.

Kaynaklar

  • Mimari PDF (Türkçe, 16 sayfa).
  • draw.io diyagramları (İngilizce etiketler): dört sayfalık set ve 30 dakikalık tek sayfa sürüm.

Bu konudaki gerçek projeler

  1. P—01

    Tamamlandı

    Öne çıkan

    Kurumsal Veri Ambarının Google BigQuery'ye Taşınması

    80 TB'lık ambar SQL Server ve 15 düğümlü Cloudera kümesinden BigQuery'ye taşındı: yıllık $550K tasarruf, %75 düşük altyapı maliyeti, 7 kat hızlı iş akışları.

    • Veri platformu
    • Veri kalitesi
    • Analitiğe hazır veri
    • Orkestrasyon
    • Bulut

    Rol

    Tasarım ve liderlik · Kıdemli Veri Mühendisliği ve Veri Mimarisi Grup Yöneticisi

  2. P—02

    Tamamlandı

    Öne çıkan

    GA4 Modernizasyonu: Gold Katman, Akış ve Anomali Tespiti

    GA4 analitiği BigQuery'de Gold e-ticaret modeli ve sapma kontrolleriyle yenilendi: aylık maliyet $9K'dan $3K'ya, en ağır sorgular 46 dakikadan 8 saniyeye.

    • Analitiğe hazır veri
    • Karar destek
    • Veri kalitesi
    • Veri gözlemlenebilirliği
    • Bulut

    Rol

    Program liderliği · Veri Çözüm Mimarı

Karar: projeler, katalar ve yayınlar

Katalar hakkında

Benzer bir tasarım problemi için yazın.