Mimari kararlar.
Katalardaki bütün bileşen seçimleri; her birinin gerekçesi ve elenen alternatifiyle.
Bunlar tasarım çalışmalarıdır, teslim edilmiş sistemler değil.
Soğuk Zincir Telemetri ve Uyumluluk Platformu
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Cihaz girişi | EMQX (MQTT 5) | MQTT cihaz protokolü: on binlerce kalıcı bağlantı, küçük mesaj, QoS 1 teslim onayı, çevrimdışı istemci için kalıcı oturum. EMQX kümeleniyor ve cihaz başına X.509 sertifika doğruluyor. Mosquitto ve HiveMQ CE kümelenmediği için elendi. |
| Broker ile log arasındaki köprü | EMQX Kafka data integration | Kafka'ya acks=all ile yazıyor ve cihaza onayı ancak Kafka onayladıktan sonra veriyor; kaybolacak MQTT offset'i kalmıyor. Enterprise özelliği; açık alternatif Kafka Connect MQTT source, en az bir kez. |
| MQTT konuşamayan kaynaklar | Alım API'si; HTTPS toplu gönderim ve idempotency anahtarı | Üçüncü vendor yalnızca portal dışa aktarımı sunuyor. Aynı ham topic'e yazan ikinci bir kapı; idempotency anahtarı tekrar gönderimi zararsız kılıyor. |
| Olay omurgası | Apache Kafka (KRaft, Strimzi) | MQTT broker kalıcı bir log değil, bir dağıtım noktası. Kafka cihaz bazında sıralı, tekrar oynatılabilir bir log veriyor; üç replika ve acks=all kaybı önlüyor. Redpanda, Business Source License nedeniyle elendi. |
| Şema sözleşmesi | Apicurio Registry (Avro) | Üç vendor formatı ve gelecekteki vendor'lar için sürümlü bir sözleşme. Uyumsuz değişiklik üretimde değil, CI'da kırılıyor. Confluent Schema Registry, Community License nedeniyle elendi. |
| Taşıma referans verisi | Debezium ile değişiklik yakalama | Sevkiyat, araç ve sürücü eşlemesini taşıma sisteminin günlüğünden okuyor; sorgu yükü yok, o sisteme dokunulmuyor. Flink bunu broadcast state olarak kullanıyor. |
| Akış işleme | Apache Flink (Kubernetes operatörü) | Olay zamanı, watermark, 72 saat izinli gecikme, durum bilgili join ve kurallar tek yerde. Tekilleştirme monoton sıra numarasını kullanıyor: cihaz başına son numara ve küçük bir boşluk kümesi; milyarlarca değil, 20.000 anahtar. |
| Sıcak analitik | ClickHouse (Altinity operatörü) | 90 günlük veride saniyenin altında zaman serisi sorgusu; cihaz ve sıra üzerinde ReplacingMergeTree ile idempotent yazım. TimescaleDB elendi: sıkıştırma ve sürekli toplamalar Timescale License altında. |
| Kanıt arşivi | Apache Iceberg, Rook ile Ceph RGW üzerinde | On yıllık ham veri için ucuz nesne depolama, ACID snapshot'lı açık tablo formatı ve S3 Object Lock ile bir kez yazılır saklama. MinIO topluluk sürümü 2025'te daraldığı için Ceph. |
| Operasyonel durum | PostgreSQL ve PostGIS (CloudNativePG) | Sevkiyat, geofence, uyarı durumu ve son konum: ilişkisel ve coğrafi sorgular tek yerde. Küçük, sıcak, sık güncellenen veri için sıkıcı ve doğru seçim. |
| Önbellek ve pub/sub | Valkey | Redis uyumlu, Linux Foundation altında BSD lisanslı; canlı konum önbelleği ve WebSocket dağıtımı için. Redis 8 AGPL'e döndü, o da kabul edilebilirdi; Valkey lisans tartışmasının dışında kalıyor. |
| Değiştirilemez defter | immudb | Rapor özeti, imza, Iceberg snapshot kimliği ve rapor sürümü ekle-sil-yok bir deftere yazılıyor. Merkle kanıtı, denetçinin hiçbir şeyin değişmediğini bağımsız doğrulamasını sağlıyor. Codenotary kurumsal destek veriyor. |
| Sır ve anahtar yönetimi | OpenBao | Cihaz PKI'ı, sürücü başına tokenizasyon anahtarı ve transit imzalama. HashiCorp Vault Business Source License'a geçtiği için Linux Foundation çatalı, MPL 2.0. |
| API geçidi | Apache APISIX | OAuth2 doğrulama, müşteri başına kota, sürümleme ve WebSocket proxy. Kong OSS kurumsal özellikleri kapalı sürüme taşıdığı için Apache lisanslı APISIX. |
| Kimlik | Keycloak | Çalışanlar için kurumsal kimlik sağlayıcısına federe OpenID Connect, kurumsal müşteriler için client credentials. Destek Red Hat build of Keycloak ile. |
| Harita ve arayüz | React, MapLibre GL ve Martin vektör tile'ları | Kendi tile sunucusuyla harita çağrısı başına ücret yok. MapLibre, Mapbox GL v2 kapandıktan sonra çıkan BSD lisanslı çatal. 500 dispatcher için yeterli. |
| Analitik erişim | Trino, Apache Superset, JupyterHub | Veri bilimciler Iceberg'i Trino üzerinden SQL ile sorguluyor; panolar Superset'te, defterler JupyterHub'da. Kanıt arşivi aynı zamanda analitik kaynak; kopya gerekmiyor. |
| Platform | Kubernetes ya da OpenShift, Argo CD, cert-manager, step-ca, Cilium | Her iş yükü operatör yönetimli; GitOps kurulumu yeniden üretilebilir kılıyor. step-ca cihaz sertifikalarını basıyor; Cilium mTLS ve ağ politikası uyguluyor. |
| Gözlemlenebilirlik | OpenTelemetry, Prometheus, Grafana, Loki, Tempo | Cihaz canlılığı, consumer lag, checkpoint sağlığı, cihaz zamanından teslimata uyarı gecikmesi ve rapor birikimi tek yığında. |
Veri Sözleşmeli Açık Lakehouse ve Ortak Semantik Katman
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Açık tablo formatı | Apache Iceberg | Dört motor da okuyor; motorların uyguladığı standart REST katalog protokolü Iceberg'in. Atomik snapshot, şema evrimi, silme için satır seviyesi delete. Delta ve Hudi'nin eşdeğer, tarafsız bir katalog protokolü yok: neden lisans değil, yetenek. |
| Katalog | Apache Polaris ya da Lakekeeper; ikisi de Iceberg REST | Tek katalog, bölge başına bir warehouse; her motora kısa ömürlü ve tabloyla sınırlı kimlik bilgisi. OPA politikası burada uygulanıyor. Glue, Unity ya da BigLake metastore gibi motor başına kataloglar üç yetki modeli demek olurdu. |
| Bölgesel depolama | AB'de Cloud Storage, Birleşik Krallık'ta S3 uyumlu depo, Türkiye'de yerinde Ceph RGW | Veri bölgesinde kalıyor; bölge başına bir KMS anahtarı. Dosyalar bir kez yazılıyor, hiç kopyalanmıyor; yedinci kopya yok. Lisans ve dağıtım belirsizliği nedeniyle MinIO yerine Ceph. |
| Markalar arası ve grup sorgu motoru | Trino | Iceberg bağlayıcısı, OPA ile satır ve sütun politikası, bölge başına havuz; yerinde çalışan markanın Iceberg yazıcısı da bu. Spark da olurdu, ama etkileşimli ve federe sorguya Trino daha uygun. Athena ticari ve tek bulutlu. |
| Veri sözleşmesi | Open Data Contract Standard YAML ve CI | Şema, PII sınıfı, SLA, sahip, sürüm ve chargeback etiketi tabloyla birlikte yaşıyor. CI kırıcı değişikliği birleştirmeden önce durduruyor, commit sonrası iş snapshot'ı etiketliyor. Katalogda sonradan doldurulan "sözleşme" sözleşme değildir. |
| Dönüşüm | dbt Core ya da Dataform | Markaların zaten kullandığı araçlar; model ve sözleşme aynı depoda, soy ağacı kendiliğinden geliyor. Yeni bir araç dayatmak kılık değiştirmiş bir göç olurdu. dbt Cloud ve Semantic Layer bilinçli olarak dışarıda. |
| Semantik katman | YAML'da açık metrik spesifikasyonu, özel derleyici, metrik API'si | Motorların dışında tek tanım; dört SQL lehçesine derleniyor ve bir uygunluk paketiyle sınanıyor. Power BI modeli ya da LookML tek araca bağlar; dbt Semantic Layer dbt Cloud'a bağımlı. |
| Metadata kataloğu | OpenMetadata | dbt ve Iceberg snapshot'larından soy ağacı, SLA'ya karşı tazelik, sözleşme durumu ve sürüm bildirimleri. Apache 2.0. DataHub da adaydı; OpenMetadata'nın kalite ve sözleşme özellikleri daha olgun. |
| Politika | Open Policy Agent | Katalogda ve Trino'da aynı politika paketi: tek yazıcı kuralı, bölge ve role göre maskeleme, grup principal'ına yalnızca toplulaştırılmış erişim. Apache Ranger daha ağır ve Hadoop odaklı. |
| Kimlik | Keycloak | İnsanlar ve motor servis principal'ları için OpenID Connect. Marka ve bölge başına bir principal, grup için ayrı bir principal. |
| Orkestrasyon | Apache Airflow | Yalnızca grup işleri: bölge toplulaştırma, konsolidasyon, mutabakat ve uygunluk paketi. Marka boru hatları kendi zamanlayıcılarında kalıyor. |
| Gözlemlenebilirlik, sırlar ve dağıtım | Prometheus, Grafana, Loki, Tempo, OpenTelemetry; OpenBao; Argo CD | Sözleşme ihlali, tazelik, motor başına okuma gecikmesi, chargeback ve uygunluk sapması tek panoda. GitOps üç bölgeyi tek depodan yönetiyor. HashiCorp Vault BSL'ye geçtiği için OpenBao. |
Katayı aç: Veri Sözleşmeli Açık Lakehouse ve Ortak Semantik Katman
Bölgesel Sağlık Bilgi Değişimi
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Kaynak adaptörleri | Apache Camel; HL7, FHIR ve FTP bileşenleri | Her vendor için ayrı, durumsuz bir adaptör; MLLP üzerinden HL7 v2, FHIR ve dosya bileşenleri hazır. Vendor tuhaflıkları adaptörde kalıyor. Mirth Connect 2024'te kapalı lisansa geçti. |
| Olay omurgası | Apache Kafka (Strimzi) | Kalıcı, tekrar oynatılabilir, kaynak artı kayıt numarasında sıralı bir log; hasta başına sıra korunuyor. Onay yalnızca commit sonrası dönüyor. Redpanda, Business Source License nedeniyle elendi. |
| Şema ve profil sözleşmesi | Apicurio Registry ve bir FHIR Implementation Guide | Ham zarf şemaları ve bölgesel FHIR profilleri sürümleniyor; uyumsuz değişiklik CI'da kırılıyor. Confluent Schema Registry, Community License nedeniyle elendi. |
| Kanonik klinik depo | HAPI FHIR JPA Server, PostgreSQL üzerinde | FHIR R4 referans uygulaması; arama, sürümleme ve interceptor yapısı hazır. Tüketiciler vendor formatını hiç görmüyor. IBM FHIR Server artık bakımda değil; Smile CDR ticari destek sunuyor. |
| Hasta eşleştirme | Splink, kendi eşleştirme servisi ve PostgreSQL bağlantı tablosu | Ulusal kimliği olmayan %15 için olasılıksal eşleştirme şart. Birleştirme, kanıtıyla birlikte bir satır ve geri alınabiliyor. IBM Initiate, Verato gibi ticari ana hasta indeksleri kapalı. |
| Rıza politikası | Open Policy Agent (Rego) | Rıza, kimlik, kuruluş ve kullanım amacı tek politika paketinde; API, toplu dışa aktarım ve araştırma aynı paketi çalıştırıyor. Veri katmanına gömülü rıza tabloları toplu okumada veri kaçırır. |
| Kimlik ve yetki | Keycloak; SMART on FHIR ve OpenID Connect | Hastane kimlik federasyonu, ulusal e-Kimlik aracılığı, SMART kapsamları ve kullanım amacı bilgisi. Apache 2.0 ve Red Hat desteği var. Alternatif Ory Hydra. |
| API geçidi | Apache APISIX ve OPA eklentisi | Token doğrulama, politika çağrısı, hız sınırı ve denetim başlıkları. FHIR sunucusuna yalnızca geçitten erişiliyor. Kong OSS açık sürümden özellik çıkardığı için APISIX. |
| Denetim defteri | immudb | Kimin neyi neden gördüğünü kriptografik olarak doğrulanabilir, ekle-sil-yok biçimde tutuyor; on yıl saklanıyor ve hasta uygulamasında görünüyor. Amazon QLDB kapalı ve tek buluta bağlı olduğu için elendi. |
| Önbellek | Valkey | Rıza verisi ve önceden hesaplanan hasta özeti için milisaniyenin altında okuma. Önbellek anahtarı rıza sürümünü içeriyor. Redis 7.x lisans değişikliği nedeniyle Valkey. |
| Ham arşiv ve dokümanlar | Ceph RGW, S3 Object Lock ile | Ham HL7 ve FHIR mesajları ile PDF'ler on yıl değiştirilemez nesne olarak duruyor; tekrar oynatmanın kaynağı da bu. MinIO topluluk sürümü daraldığı için Ceph. |
| Araştırma hattı | Apache Flink, Apache Iceberg, Trino | Akışta de-identifikasyon, proje başına bir Iceberg tablosu; üniversite Trino ile sorguluyor. Ham veri üniversiteye hiç gitmiyor. |
| Sır ve anahtar yönetimi | OpenBao | Yeniden tanımlama anahtarına yalnızca güvenilir üçüncü tarafın politikasıyla erişiliyor. PKI ve veritabanı sırları da burada. HashiCorp Vault, Business Source License nedeniyle elendi. |
| Gözlemlenebilirlik | OpenTelemetry, Prometheus, Grafana, Loki, Tempo | Vendor başına akış sağlığı, uçtan uca tazelik, eşleştirme oranları, API p95 ve denetim yazma gecikmesi tek panoda. |
Kurumsal Veri Ambarının BigQuery'ye Göçü
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Veri ambarı | BigQuery; ticari, gereksinimin izin verdiği istisna | Kurul kararı: sunucusuz, sütunlu, AB çok bölgeli. Rezervasyon ve bayt tavanı maliyeti öngörülebilir kılıyor; time travel ve snapshot geri dönüş yolu veriyor. Kurul BigQuery'yi seçince Iceberg üzerinde Trino seçenek olmaktan çıktı. |
| Değişiklik yakalama | Debezium (Kafka Connect), Apache Kafka (Strimzi) | SQL Server değişiklik tablolarını günlük konumuna göre akıtıyor; tablo başına watermark mutabakatın okuduğu çizgi. Datastream yönetilen ama eski SQL Server sürümlerini ve şema geçmişini desteklemiyor. Redpanda lisansı nedeniyle elendi. |
| İlk toplu yükleme | bcp ve distcp ile Cloud Storage'a Avro, ardından BigQuery yükleme işleri | Dalga başına bir kez 60 TB; Interconnect üzerinden yaklaşık iki gün. BigQuery Data Transfer Service alternatif, ama Hadoop verisi zaten distcp istiyor. Tek yöntem, daha az araç demek. |
| Landing | Google Cloud Storage; AB, değiştirilemez | Tablo ve gün bazında Avro dosyaları. Her BigQuery katmanı landing ve Dataform'dan yeniden kurulabiliyor. Yaşam döngüsü kuralı nesneleri 90 günde Nearline'a taşıyor. |
| Dönüşüm | Dataform (SQLX) | SQL Server uzmanlarının üç ayda üretken olmasının anahtarı: Java değil SQL yazıyorlar. Her modelde assertion, Git ve yalnızca CI/CD. Taşınabilir alternatif dbt Core; Dataform ek altyapı istemiyor. |
| Core model | Data Vault 2.0; hub, link ve satellite | Kaynak değişince yalnızca satellite değişiyor; mart'lar ve Power BI modelleri yerinde kalıyor. Yükleme, iş anahtarı ve yükleme zamanıyla idempotent MERGE. Doğrudan boyutsal core her kaynak değişikliğinde mart'ı kırardı. |
| Orkestrasyon | Cloud Composer (yönetilen Apache Airflow) | Alan başına gecelik DAG'lar, dalga DAG'ları, watermark kontrolü ve 05:00 hedefi. Airflow açık kaynak; DAG'lar taşınabilir kalıyor. |
| Göç kontrol düzlemi | Cloud Run'da Quarkus servisleri, Cloud SQL PostgreSQL | SSIS XML'inden bağımlılık grafiği, dalga planlayıcı, mutabakat, tablo başına geçiş anahtarı ve kapanış sahibi bayrağı. Ticari SSIS çeviricileri paketlerin teknik borcunu taşır; ölü paketleri atmak işi yarıya indiriyor. |
| Mutabakat | Mutabakat servisi ve Great Expectations | Satır sayısı, sütun toplamları ve kanonik satır özeti partition başına iki tarafta hesaplanıyor. Her fark sınıflanıyor, kuralı dönüşüme yazılıyor. Great Expectations eşik ve okunur rapor ekliyor. |
| Uyumluluk arayüzü | BigQuery'de legacy view şeması, mevcut SQL Server'a ters senkron | Kırk tüketici aynı gün değişemez. Eski adlar görünüm olarak yaşıyor; 15 T-SQL tüketicisi gecelik ters senkron alıyor. Yeni SQL Server lisansı yok. Babelfish yalnızca AWS'de ve T-SQL'i kısmen destekliyor. |
| Katalog, soy ağacı, policy tag | Dataplex ve BigQuery policy tag'leri | Kişisel veri sütunları staging'de etiketleniyor; erişim policy tag'le, okumalar bir denetim dataset'inde. Açık alternatif OpenMetadata; Dataplex BigQuery soy ağacını kendiliğinden veriyor. |
| Kimlik | Keycloak (OpenID Connect), Google Cloud IAM grupları | Göç kokpiti ve Grafana için Keycloak. BigQuery erişimi alan başına IAM gruplarıyla; kullanıcı bazlı yetki yok. |
| Gözlemlenebilirlik | Prometheus, Grafana, Cloud Monitoring, Logging sink | Mutabakat farkı, batch bitiş saati, alan başına bayt ve legacy view kullanımı tek panoda. Denetim günlükleri GDPR Madde 30 kayıtları için BigQuery'ye akıyor. |
Anlık Ödemelerde Gerçek Zamanlı Dolandırıcılık Kararı
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Mainframe köprüsü | Kafka Connect IBM MQ kaynak ve hedef konnektörleri | Mainframe yalnızca MQ konuşuyor. Konnektör en az bir kez okuyor; tekrar gelen mesaj, ödeme kimliğiyle sıkıştırılmış karar topic'ine karşı eleniyor. IBM bu konnektörü Apache 2.0 ile yayınlıyor. |
| Olay omurgası | Apache Kafka (Strimzi) | Kalıcı, tekrar oynatılabilir, müşteri anahtarında sıralı bir log; karar ve snapshot aynı işlemde yazılıyor. MirrorMaker 2 ile bağlı iki küme değil, iki veri merkezine yayılmış tek küme. |
| Şema sözleşmesi | Apicurio Registry (Avro) | Kanonik PaymentRequest ve snapshot şemaları sürümleniyor; uyumsuz değişiklik CI'da kırılıyor. Confluent Schema Registry, Community License nedeniyle elendi. |
| Akış özellikleri | Apache Flink | Hız, alıcı geçmişi, cihaz yeniliği gibi 90 günlük pencereler durum olarak tutuluyor. Sorgu anında hesaplamak 150 ms'yi tüketirdi. Önceden hesaplamak, okumayı tek GET'e indiriyor. |
| Çevrimiçi özellik deposu | Valkey | Her veri merkezinde yerel replikayla milisaniyenin altında GET. Redis 7.x kaynak-erişimli lisanslara geçtiği için BSD lisanslı Redis çatalı. Yalnızca hızlı yol; idempotentliğin kaynağı değil. |
| Karar servisi | Quarkus, Drools ve ONNX Runtime | Kural motoru ve model aynı süreçte; ağ sıçraması yok. Drools kuralları sıcak yükleniyor ve sürümleniyor. ONNX Runtime, herhangi bir çerçeveden gelen modeli CPU'da milisaniyede çalıştırıyor. |
| Snapshot arşivi ve çevrimdışı depo | Apache Iceberg, Object Lock'lu Ceph RGW üzerinde | Yedi yıllık snapshot'lar için ucuz ve değiştirilemez depolama; Spark ve Trino aynı tabloları okuyor. MinIO topluluk sürümü daraldığı için Ceph. |
| Eğitim ve model kaydı | Apache Spark ve MLflow | Eğitim, snapshot'ları analist etiketleriyle birleştiriyor; böylece modelin gerçekten gördüğü özellikleri kullanıyor. MLflow sürüm, metrik ve onayı tutuyor, champion işaretçisini yönetiyor. |
| Vaka yönetimi | PostgreSQL ve özel servisler | Uyarı kuyruğu, analist sonuçları ve kural metadata'sı. Küçük, ilişkisel ve denetlenebilir. |
| Geçit ve kimlik | Apache APISIX ve Keycloak | Analist ve denetçi ekranları, bankanın kimlik sağlayıcısına federe OpenID Connect ile çalışıyor; rol bazlı erişim ve denetim günlüğü var. Kong OSS açık sürümden özellik çıkardığı için APISIX. |
| Sır ve anahtar yönetimi | OpenBao | Konnektör kimlik bilgileri, şifreleme anahtarları ve PKI. HashiCorp Vault, Business Source License'a geçtiği için Vault'un MPL lisanslı çatalı. |
| Gözlemlenebilirlik | OpenTelemetry, Prometheus, Grafana, Loki, Tempo | Aşama başına izler, 150 ms'nin nereye gittiğini gösteriyor. Grafana yığınının AGPL lisansı OSI onaylı; kurum içi kullanımda yükümlülük doğurmuyor. |
Katayı aç: Anlık Ödemelerde Gerçek Zamanlı Dolandırıcılık Kararı
BSS Modernizasyonu ve Gerçek Zamanlı Müşteri 360
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Mainframe değişiklik yakalama | Debezium Db2 konnektörü (Kafka Connect) | Db2 günlüğünü ASN yakalama tablolarıyla okumak ölçülebilir ve uygulama şemasına dokunmuyor. Tabloları doğrudan sorgulamak mainframe CPU'sunu yakar. ASN Capture'ın kendisi lisanslı bir IBM bileşeni. |
| Mainframe'e yazma yolu | Anti-corruption layer (ACL) servisi ve Kafka Connect IBM MQ hedefi | ACL, TM Forum siparişini mainframe'in zaten bildiği bir MQ işlemine çeviriyor; korelasyon kimliği ve göndermeden önce tekrar kaydıyla. Eski model yeni alanlara sızmıyor. |
| Kimlik çözümleme | CRM alanının sahip olduğu müşteri crosswalk tablosu ve ana veri eşleme kuralları | Aynı kişi 14 sistemde farklı kimliklerle yaşıyor. Ulusal kimlik ve sözleşme numarasıyla eşleme bir güven skoru veriyor. Eşik altı "olası eşleşme" olarak görünüyor, asla birleştirilmiyor. |
| Uydu sistemler | Debezium (PostgreSQL, Oracle, MySQL) ve dosya ile API adaptörleri | On iki kaynak günlüğünü açıyor; değişiklik yakalama en düşük yükü ve en iyi tazeliği veriyor. Gece dosyası veren iki kaynak kendi tazelik işaretini taşıyor. Hiçbir kaynak gerçek zamanlıymış gibi gösterilmiyor. |
| Olay omurgası | Apache Kafka (Strimzi) | Kalıcı, tekrar oynatılabilir, müşteri anahtarında sıralı bir log. Sıkıştırılmış kanonik topic'ler okuma modelini kaynağa dönmeden yeniden kurabiliyor. Redpanda, Business Source License nedeniyle elendi. |
| Şema yönetişimi | Apicurio Registry; Avro ve TM Forum şemaları | Kanonik ve iş olayı şemaları sürümleniyor; geriye uyumluluk CI'da zorunlu. Confluent Schema Registry, Community License nedeniyle elendi. |
| Okuma modeli üreticisi | Apache Flink | 14 akışı 20 milyon altın müşteri anahtarında durum bilgili birleştirmek tam Flink'in işi. Kafka'ya tam bir kez; PostgreSQL ve OpenSearch'e en az bir kez ve idempotent upsert. |
| Okuma modeli depoları | PostgreSQL (CloudNativePG) ve OpenSearch | Komut ve sorgu ayrımı: uygulama PostgreSQL'den tek belge okuyor, temsilci OpenSearch'te arıyor. Elasticsearch'ün SSPL ve AGPL çift lisans dönemi nedeniyle OpenSearch. |
| Sipariş iş akışları | Temporal | 10 saniyelik sipariş bir mainframe MQ adımı ve telafi içeriyor. Temporal durumu kalıcı tutuyor, yeniden deniyor, zaman aşımını görünür kılıyor. Camunda 8 kaynak-erişimli lisansa geçtiği için elendi. |
| Kohort yönlendirme | Unleash | Geçiş ve geri alma bir bayrak çevirmesi olmalı. Geçit ve iş akışı aynı bayrağı okuyor. LaunchDarkly ticari. Unleash'te SSO ve RBAC ücretli sürümde, kohortlar açık sürümde. |
| Veri mesh | Apache Iceberg (Ceph), Trino, DataHub | Veri ürünlerinin sahibi alan ekipleri; katalog, soy ağacı ve SLA DataHub'da. Merkez platformu ve standardı veriyor, veriyi değil. MinIO topluluk sürümü daraldığı için Ceph. |
| Churn modeli | Apache Spark, MLflow, SHAP, ONNX servisi | 20 milyon abone için günlük skor bir toplu iş; olay tetikli yeniden skorlama dışa aktarılmış ONNX modelinden geliyor. SHAP gerekçe kodları temsilciye açıklama veriyor. Takma adlı özellikler GDPR'a göre hâlâ kişisel veri. |
| Geçit, kimlik ve politika | Apache APISIX, Keycloak, Open Policy Agent | TM Forum Open API'leri tek geçitten; abone ve temsilci için OpenID Connect. OPA kullanım verisine amaç bazlı erişimi geçitte ve Trino'da uyguluyor. Kong OSS özellik çıkardığı için APISIX. |
| Sır ve anahtar yönetimi | OpenBao | Mainframe kimlik bilgileri yalnızca alım namespace'inde; takma ad anahtarı şirket içinde kalıyor. HashiCorp Vault, Business Source License nedeniyle elendi. |
| Gözlemlenebilirlik | OpenTelemetry, Prometheus, Grafana, Loki, Tempo | Mainframe CPU bütçesi, yakalama gecikmesi, sipariş adım izleri ve çift çalışma fark oranı tek panoda. Geçiş komitesinin tek girdisi bu pano. |
Google Cloud'da Birleşik Pazarlama Zekâsı
| İhtiyaç | Seçim | Neden |
|---|---|---|
| GA4 akış girişi | Sunucu tarafı Google Tag Manager toplayıcısı, Pub/Sub, BigQuery aboneliği | GA4'ün yerel Pub/Sub dışa aktarımı yok. BigQuery aboneliği kod istemiyor; akış görünümü iki dakika hedefini tutuyor. Dataflow yalnızca gerçek zenginleştirme için; her akışa Dataflow gereksiz maliyet. |
| Toplu dosya girişi | Cloud Composer (yönetilen Airflow) | Rakip dosyaları yeniden deneme, geriye dönük yükleme ve bağımlılık istiyor; klasik bir orkestrasyon problemi. Airflow açık standart; yönetilen servis DAG'ları taşınabilir bırakıyor. |
| API girişi | Cloud Run konnektör servisi | Sosyal platform, Ads ve Search Console API'leri token yönetimi, hız sınırı ve kaynak başına watermark istiyor. Küçük, durumsuz, ölçeklenen bir servis; Composer yalnızca zamanlamayı tetikliyor. |
| Ambar erişimi | Authorised view'lar | Ambar zaten aynı kuruluşta BigQuery'de; Analytics Hub listesine gerek yok. Kopya maliyet ve ikinci bir gerçek getirir. Görünüm aynı satırları okuyor, sahiplik veri ekibinde kalıyor. |
| Depolama ve hesaplama | BigQuery, katmanlı dataset'ler | Tüm kaynaklar zaten buraya iniyor; ayrı bir motor ikinci kopya ve ikinci gerçek demek. Mart'lar olay tarihine göre bölümleniyor. Bu bağımlılık bilinçli; adı konmuş alternatif Iceberg üzerinde Trino ya da ClickHouse. |
| Dönüşüm | Dataform; SQL ve assertion'lar Git'te | Sürümlü, bağımlılık grafiği olan SQL; assertion'lar yayın kapısının test seti. Aynı model dbt Core ile de kurulabiliyor, bu yüzden bağımlılık düşük. |
| Yayın kapısı | Dataform assertion'ları ve publish ID ile görünüm değişimi | Aday tablolar kurulup sınanıyor, sonra CREATE OR REPLACE VIEW mart'ları onlara çeviriyor. Başarısızlıkta görünümler dünde kalıyor. Geri alma bir görünüm değişikliği; yeniden yükleme yok. |
| Semantik katman | Git'te metrik sözleşmesi ve Cloud Run'da metrik API'si | Tasarımın kalbi ve bilinçli olarak bizim kodumuz. Tek tanım Power BI'ı, LLM'i ve ajanları besliyor. Cube ya da dbt Semantic Layer yerine geçebilir; ama tanımın sahipliği bizde kalıyor. |
| BI | Power BI tabular model, artımlı yenilemeli import | 400 kullanıcı eğitimli, kurumsal standart ve lisans zaten var. Import mod tıklamaları BigQuery'den uzak tutuyor. Ölçüler ve satır rolleri sözleşmeden üretiliyor. Açık alternatif Superset. |
| LLM | AB uç noktalarında Vertex AI Gemini | Model soruyu yapılandırılmış çıktı olarak metrik, filtre ve tarih aralığına çeviriyor; sayıyı metrik API'si üretiyor. Veri perimetre dışına çıkmıyor. Açık ağırlıklı modelle vLLM aynı araç arayüzünü koruyor. |
| Ajanlar | Vertex Agent Engine ve onay kuyruğu | Araçlar metrik API'si, katalog ve teklif yazıcı. Ham SQL aracı da doğrudan Ads değişikliği de yok. Her aksiyon kanıtı, onaylayanı ve geri alma kaydıyla saklanıyor. |
| ML besleme | Vertex AI Feature Store | Özellikler aynı mart'lardan üretiliyor; ikinci bir boru hattı yok, model raporla aynı tanımları kullanıyor. BigQuery üzerinde Feast aynı deseni izler. |
| Katalog ve sözleşme | Dataplex | Sertifikalı ve ham ayrımı bir rozet olarak görünüyor. Soy ağacı BigQuery'de yerel; Dataplex etiketleri sözleşme sürümünü ve tazelik hedefini taşıyor. Metadata OpenMetadata'ya aktarılabilir. |
| Kimlik, gizlilik ve sırlar | IAM, policy tag, row access policy, Cloud DLP, Secret Manager | Sütun etiketleri pazarlama rolünün tanımlayıcı seçmesini engelliyor. Ad-hoc ve LLM yollarında satır politikası marka ve ülkeyi süzüyor. API token'ları otomatik dönüyor. |
Rakip Fiyat ve İndirim Zekâsı Platformu
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Toplama hukuku ve nezaket | Git'te ve BigQuery tablosunda site kayıt defteri | Robots kuralı, hız, ülke hukuki durumu, seçici sürümü ve hukuk notu tek yerde. İşçi kendi satırı olmadan başlamıyor. Hukuk bir ülkeyi mühendis olmadan durdurabiliyor; işçinin içindeki bir yapılandırma dosyası denetlenemez. |
| Toplayıcı filosu | Cloud Run Jobs; Playwright ve HTTP işçileri | İş bitince sıfıra iniyor; site ve ülke başına bir iş, nezaket için token bucket. Kubernetes node havuzu gece boşken de fatura üretir; Cloud Functions tarayıcı için yetersiz. Düz HTTP ucuz yol. |
| Sabit çıkış adresleri | Cloud NAT, ülke başına kayıtlı IP | Hukuk hangi adresten topladığımızı bilmek istiyor. Proxy rotasyonu engel aşma sayılıyor ve kapsam dışı. Her ülkenin bildirilmiş bir IP'si ve açık bir user agent'ı var. |
| Zamanlama | Cloud Composer (yönetilen Airflow) | Günlük plan, yeniden deneme, yeniden ayrıştırma kampanyaları ve sağlayıcı dosyaları klasik orkestrasyon. DAG'lar taşınabilir kalıyor. |
| Ham görüntü deposu | Cloud Storage bronze, beş yıllık saklama kilidiyle | Yeniden üretilebilirlik yalnızca dokunulmamış kaynaktan gelir; kilit yönetici için bile silmeyi engelliyor. Ham HTML'i BigQuery'de tutmak pahalı ve kilitlenemez. Archive sınıfı beş yılı karşılanabilir kılıyor. |
| Olaylar | Pub/Sub | Toplandı, ayrıştırıldı ve eşlendi olayları bir sonraki aşamayı tetikliyor; aşamalar birbirini çağırmıyor. Kafka burada fazla: akış işleme yok, sıra gerekmiyor, günde birkaç on milyon küçük mesaj. |
| Ayrıştırma | Sürümlü seçicili Cloud Run servisi | Toplamadan ayrı bir aşama. Seçici kırılınca görüntüler yeniden ayrıştırılıyor; siteye bir daha gidilmiyor. Yorum yazarı gibi kişisel veri burada düşüyor ve bronze tablolara hiç girmiyor. |
| Eşleme | Kurallar, pgvector ile Vertex gömmeleri, gri bölgede Gemini, insan kuyruğu | Kurallar ve gömmeler yaklaşık %80'i deterministik çözüyor. LLM yalnızca gri bölgeyi görüyor; günlük tavan ve %5 örneklem denetimiyle. pgvector açık ve taşınabilir; Pinecone gibi yönetilen servisler gereksiz bağımlılık. |
| Ambar ve dönüşüm | BigQuery AB ve Dataform; bronze, silver, gold | Beş yıl ve günde 8 milyon satır için bölümlenmiş, sütunlu bir ambar. Kendi kümemizi işletmek sabit bütçeyi aşardı. Dataform SQL'i Git'te ve dbt ile uyumlu. |
| Endeks, esneklik ve öneri | BigQuery ML ve SQL kural motoru | Günlük koşu deterministik: aynı girdi, aynı çıktı. Kurallar karar uzayını çiziyor, model yalnızca o uzayda sıralıyor. Günlük bir batch için ayrı bir Vertex model servisi gereksiz. |
| Servis ve kimlik | Cloud Run'da Intelligence API, Keycloak | Salt okunur API. Fiyatlama sistemine yazabilen bir servis hesabı yok; "yalnızca tavsiye" kuralını IAM zorluyor. Keycloak açık kaynak OpenID Connect ve ülke rolleri veriyor. |
| Trend özeti | Gemini; haftalık, atıf zorunlu | Her cümle bir ham görüntüye atıf yapıyor ve "özet" etiketi taşıyor; atıfsız cümle üretilmiyor. Altın, sapma ve injection testleri her sürümde koşuyor. |
| LLM izleme ve değerlendirme | Cloud Run ve Cloud SQL üzerinde Langfuse | Her LLM çağrısı maliyeti ve çıktısıyla izleniyor; değerlendirme koşuları sürüm kapısı. Çekirdek MIT lisanslı. Yönetilen izleme ürünleri veriyi perimetre dışına çıkarırdı. |
| Pano | Looker Studio ve BI Engine | Gold üzerinde ücretsiz pano; hukukun toplama denetim görünümü de aynı yerde. Açık alternatif Superset, ama işletilecek bir servis daha demek. |
Yönetişimli GenAI Veri Ajanları ve LLM Değerlendirme
| İhtiyaç | Seçim | Neden |
|---|---|---|
| API geçidi ve kimlik | Apache APISIX ve Keycloak | OpenID Connect ile giriş, ardından her ajan ve araç çağrısıyla taşınan kısa ömürlü, imzalı bir kullanıcı iddiası. Kullanıcı başına hız sınırı ve denetim günlüğü. Kong OSS açık sürümden özellik çıkardığı için APISIX. |
| Ajan çalışma zamanı | Kubernetes üzerinde LangGraph | Ajan adımları açık bir graf. Araç çağrıları JSON şemayla doğrulanıyor, ajan başına araç izin listesi Git'ten geliyor, her adım bir span üretiyor. Bedrock Agents gibi yönetilen çerçeveler araç yüzeyini ve iz biçimini gizliyor. |
| Model geçidi | LiteLLM | İki sağlayıcı ve vLLM tek, OpenAI uyumlu arayüzde. Sağlayıcı anahtarları yalnızca burada; ekip başına kota, ajan başına yönlendirme, maliyet etiketleri. Kısıtlı belgeler yalnızca vLLM'e gidiyor. MIT çekirdek yeterli. |
| Açık ağırlıklı model servisi | vLLM ve Apache 2.0 lisanslı 32B model | Tensor paralelliği iki olan iki replika, tahmini saniyede yaklaşık 1.760 token'lık tepeyi karşılıyor. Hassas belge sınıfları ve maliyet için yerinde yol. Llama topluluk lisansı OSI onaylı değil. |
| Metrik API'si | Dataform ile üretilen sertifikalı tanımlar ve ince bir servis | Ajan metrik kimliği ve filtre seçiyor; SQL'i katman derliyor, kullanıcının satır ve sütun politikasını uyguluyor. Yanlış ciro rakamının kaynağı serbest text-to-SQL'di; tasarım gereği kapalı. |
| Katalog ve veri ürünleri | OpenMetadata | Ajana yalnızca şema, sahip, SLA ve politika sözleşmesi olan ürünler görünüyor; soy ağacı ve sahip kanıta giriyor. DataHub da Apache 2.0; OpenMetadata'nın sözleşme ve politika modeli daha doğrudan. |
| Erişim için belge deposu | PostgreSQL ve pgvector, OpenSearch | Belge başına erişim listesi ve sınıf etiketi belge yönetim sisteminden geliyor. Yetki süzgeci vektör sıralamasından önce çalışıyor; model yetkisiz parçayı hiç görmüyor. Elasticsearch lisans değişikliği nedeniyle OpenSearch. |
| Politika kararı | Sidecar olarak Open Policy Agent | Her araç servisinde ajan, kullanıcı ve kaynak için karar veriyor. İzin listeleri ve sınıf politikaları Git'te sürümlü paketler; her ret sayılıyor. Politika prompt'ta değil, veride uygulanıyor. |
| Kanıt deposu ve arşiv | Kendi PostgreSQL kanıt depomuz, outbox, Debezium, iki yıl Apache Iceberg | Kanıt satırı ve outbox satırı tek işlemde; cevap ancak commit sonrası serbest kalıyor. Langfuse v3, ClickHouse deposu ve asenkron alımı nedeniyle outbox alamıyor; kanıt bu yüzden ayrı duruyor. |
| LLM gözlemlenebilirliği | Langfuse v3; ClickHouse, Valkey ve blob depolama | Span, gecikme, token ve değerlendirme puanları; yalnızca gözlemlenebilirlik için asenkron alınıyor. Redis 7.4 lisansı nedeniyle Valkey. Arize Phoenix, Elastic 2.0 lisansı nedeniyle elendi. |
| Değerlendirme platformu | Kendi CI koşucularımız, Langfuse değerlendirmeleri, Git'te politika dosyası | Ajan başına altın set, araç sırası puanı, injection ve sızdırma süitleri, sağlayıcı tolerans testi. Eşikler sürümlü bir politika dosyasında. LangSmith gibi ticari değerlendirme servisleri elendi. |
| Onay akışı | Flowable (BPMN) | Yan etkisi olan her eylem bir insan görevi; kim neyi ne zaman onayladı ve geri alma kaydı tutuluyor. Onay hiçbir zaman kendiliğinden yürümüyor. Camunda 8 kaynak-erişimli lisansa geçtiği için elendi. |
| Deterministik üretim | Cloud Composer ve Dataform | Onboarding ajanı tasarım anında kod ve sözleşme taslağı çıkarıyor; bir insan inceleyip birleştiriyor. Composer birleşen kodu LLM'siz çalıştırıyor. Zaten mevcut bir platform bileşeni olduğu için seçildi. |
| Yönetişim kaydı ve maliyet | PostgreSQL ve küçük bir arayüz, LiteLLM etiketleri, Grafana | Ajan, risk sınıfı, sahip, değerlendirme durumu, izinli modeller, olaylar ve AB Yapay Zekâ Yasası yükümlülükleri. Kayıt, sürümün ön koşulu. Ajan ve ekip başına günlük maliyet LiteLLM etiketlerinden. |
Katayı aç: Yönetişimli GenAI Veri Ajanları ve LLM Değerlendirme
Belge Zekâsıyla Hasar Talebi Alımı
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Çok kanallı alım | Apache Camel | IMAP, REST ve SFTP bağlayıcıları hazır; her kanal aynı claim.received olayını ve aynı depolama düzenini üretiyor. Kanal başına özel kod yerine rota. Apache 2.0 ve Red Hat desteği var. |
| Belge deposu | Ceph RGW, S3 Object Lock ile | Orijinaller ve OCR metni yedi yıl değiştirilemez duruyor. GPU işçileri ve Iceberg aynı depoyu S3 API ile kullanıyor. MinIO topluluk sürümü daraldığı için Ceph. |
| Olay omurgası ve GPU iş kuyruğu | Apache Kafka (Strimzi) | Talep olayları ve GPU işleri aynı omurgada; öncelik ve toplu şeritleri iki ayrı topic. Kuyruk GPU kesintisini emiyor. RabbitMQ eklemek yerine mevcut Kafka. Redpanda lisansı nedeniyle elendi. |
| Metin tanıma ve belge sınıflama | PaddleOCR ya da docTR | GPU'da hızlı, yerleşim ve tablo çıkarımı var, Apache 2.0. Ticari OCR API'leri, veri dışarı çıkamadığı için dışarıda. Tesseract fotoğraflı belgelerde yetersiz. |
| Dil modeli servisi | vLLM ve açık ağırlıklı bir model | Sürekli toplu işleme 8 GPU'dan en yüksek verimi alıyor. Çıktı JSON şemaya kısıtlı, güven kalibre edilmiş log-prob'lardan. Ağırlıklar Apache 2.0 lisanslı, Qwen ya da Mistral gibi; Llama lisansı OSI onaylı değil. |
| Görü modeli | vLLM üzerinde açık ağırlıklı görü modeli | Hasar sınıfı ve kopya fotoğraf tespiti aynı servis katmanında, ayrı model kaydıyla. Ayrı bir görü platformu gereksiz. |
| İş akışı | Flowable (BPMN) | Alımdan ödemeye her adım görünür; SLA zamanlayıcıları ve yükseltme yerleşik. İnsan onay kapısı bir görev tipi. Camunda 8 kaynak-erişimli lisansa geçti, Camunda 7 bakım modunda. |
| Kural motoru | Drools (DRL ve DMN) | 2.000 EUR altı basit talepler deterministik, sürümlü ve test edilebilir kurallarla karara bağlanıyor. Olumsuz kararın gerekçesi ateşlenen kuraldan geliyor. "Model karar vermez" ilkesi burada somutlaşıyor. |
| Dolandırıcılık grafı | PostgreSQL ve Apache AGE | Tamirhane, taraf, fatura ve hesap arasındaki tekrar ve halka örüntüleri Cypher ile, ilişkisel veriyle aynı veritabanında. Neo4j Community GPL, kümesi ticari. JanusGraph operasyonel yük getirir. |
| Karar denetim kaydı | PostgreSQL outbox, Debezium, Ceph üzerinde Apache Iceberg | Denetim satırı ve outbox satırı Flowable'ın PostgreSQL işlemine birlikte giriyor; Debezium günlükten yayınlıyor, çift yazma yok. Iceberg yedi yıl saklıyor, denetçi Trino ile sorguluyor. |
| LLM izleme | Langfuse | Her çağrının prompt'u, sürümü, token'ı ve gecikmesi; değerlendirme skorları ve gölge karşılaştırma. Çekirdek MIT lisanslı; ticari kurumsal özellikler gerekmiyor. |
| Model ve prompt kaydı | MLflow ve Git | Ağırlık özeti ve sürüm MLflow'da; prompt şablonları ve değerlendirme seti Git'te, her gece bir GPU'da regresyon koşuyor. Terfi dört göz onayı istiyor, geri alma bir işaretçi değişikliği. |
| Geçit ve kimlik | Apache APISIX ve Keycloak | Eksper, müfettiş, denetçi ve müşteri rolleri OpenID Connect ile; geçitte denetim günlüğü ve hız sınırı. Kong OSS açık sürümden özellik çıkardığı için APISIX. |
| Sır ve anahtar yönetimi | OpenBao | Talep başına veri anahtarıyla zarf şifreleme. Saklama sonunda anahtarı imha etmek silme demek; dava tedbirinde anahtar korunuyor. HashiCorp Vault, Business Source License nedeniyle elendi. |
Benzer bir tasarım problemiyle mi uğraşıyorsunuz?