Kurumsal Veri Ambarının Google BigQuery'ye Taşınması

Bağlam

LC Waikiki’nin kurumsal veri ambarı 3.000+ tabloda 80 TB veri tutuyordu ve 100+ kaynak sistemden besleniyordu. Ambar şirket içinde, SQL Server ve 15 düğümlü bir Cloudera kümesi üzerinde çalışıyordu.

2019–2022 arasında GCP (BigQuery, Dataflow) ve Azure (Synapse, Data Factory) üzerinde yapılan bulut kavram kanıtlama (PoC) çalışmaları, FinOps ve teknik bir iş gerekçesi ortaya koydu. Bu göç o gerekçeye dayandı.

Rol: Göçün tasarımı ve liderliği (Kıdemli Veri Mühendisliği ve Veri Mimarisi Grup Yöneticisi); süreç boyunca 18 kişilik veri organizasyonunun yönetimi.

Problem

Şirket içi platform, SQL Server ve Cloudera lisans ve donanım maliyetleri taşıyordu.

Yaklaşım

• Hedef platform: BigQuery; yanında Dataflow, Dataform ve Cloud Composer.
• Katmanlar yeniden tasarlandı: Landing, Staging, Core ve Data Mart; her model için sürümleme ve CI/CD.
• ETL/ELT iyileştirmesi: 3.000+ tablo genelinde Dataflow ve Dataform ile.
• Kalite baştan içeride: Veri kalitesi kontrolleri (assertion) sonradan eklenmedi, boru hatlarının içine kuruldu.
• Emeklilik: SQL Server ve Cloudera lisans ve donanım maliyetleri ortadan kalktı.

Mimari ve teknoloji

• Kaynak: Şirket içinde SQL Server ve 15 düğümlü Cloudera kümesi.
• Hedef: BigQuery; boru hatları ve dönüşümler için Dataflow ve Dataform; orkestrasyon için Cloud Composer (Apache Airflow).
• Katmanlar: Landing → Staging → Core → Data Mart.
• Teslimat: Her model için Git tabanlı CI/CD ve veri kalitesi kontrolleri.

Sonuç

• Yıllık $550K tasarruf.
• %75 daha düşük altyapı maliyeti.
• 7 kat daha hızlı iş akışları.

Öğrenimler

• Göç bir iş gerekçesiyle başladı. Önce iki bulutta kavram kanıtlama yapıldı; yönü onların FinOps ve teknik sonuçları belirledi.
• Veri kalitesi kontrolleri, taşımadan sonra değil, boru hatları yeniden kurulurken eklendi.