Apache Beam (Java) ile Dataflow Geliştirme

Bağlam

LC Waikiki’nin kurumsal veri ambarı 2023–2024’te BigQuery’ye taşındı. Verinin ters yönde de akması gerekiyor: SQL Server üzerinde çalışan operasyonel sistemler BigQuery’deki veriye ihtiyaç duyuyor.

Rol: Boru hatlarının geliştirilmesi (Veri Çözüm Mimarı).

Problem

İki yön için ölçeklenebilir ve esnek boru hatları gerekiyordu: gerçek zamanlı olayların BigQuery’ye girişi ve toplu verinin BigQuery’den SQL Server’a dönüşü.

Yaklaşım

• Gerçek zamanlı: Pub/Sub’dan BigQuery’ye akan, Dataflow üzerinde Apache Beam (Java) ile yazılmış ve BigQuery Storage Write API ile yazan bir akış boru hattı.
• Toplu entegrasyon: BigQuery’den SQL Server’a, ilk yükleme (initial load) ve ekleme (append) seçenekleri olan bir boru hattı.
• Standart: Pub/Sub → Dataflow (Beam) → BigQuery Storage Write API, kurum genelinde gerçek zamanlı akışın standart deseni oldu; yanında BigQuery’den SQL Server’a ters yönlü boru hatları duruyor.

Mimari ve teknoloji

Dataflow üzerinde Apache Beam (Java); olay kaynağı olarak Pub/Sub; BigQuery’ye yazmak için BigQuery Storage Write API; toplu boru hattının hedefi olarak SQL Server.

Sonuç

• Pub/Sub, Dataflow ve BigQuery Storage Write API, şirket genelinde gerçek zamanlı akışın standart deseni.
• Toplu veri, BigQuery’den SQL Server’a ilk yükleme ve ekleme modlarıyla taşınıyor.
• Platformlar arası boru hatlarında daha iyi ölçeklenebilirlik, esneklik ve performans.

Öğrenimler

• Standardın arkasında çalışan kod var: gerçek zamanlı desen, Dataflow üzerinde çalışan bir Beam boru hattıyla birlikte geldi. Bu, rolün referans uygulama (reference implementation) yaklaşımıyla uyumlu.