Vaka çalışması · P—07

Cloudera Büyük Veri ETL Aktarım (Offload) Programı

Rol: Program liderliği · Büyük Veri Yönetimi ve Veri Mimarisi Yöneticisi
Dönem: Aralık 2019 – Eylül 2020
Kurum: LC Waikiki
Teknolojiler: SQL Server, Cloudera, Apache Spark, Apache Hive, Apache Impala, Apache Sqoop, Apache Airflow, Parquet
Durum: Tamamlandı

Bağlam

LC Waikiki’nin veri ambarı, Kimball yaklaşımıyla yıldız şema (star schema) olarak tasarlanmış 80 TB’lık bir SQL Server ambarıydı. Bu dönemde aynı rol Cloudera Hadoop platformundan, SQL Server ambarından ve OLAP katmanlarından sorumluydu ve 8-12 kişilik bir mühendis ekibini yönetiyordu.

Rol: ETL aktarım programının liderliği (Büyük Veri Yönetimi ve Veri Mimarisi Yöneticisi).

Problem

Ambar, batch penceresi içinde güncellenmekte zorlanıyordu.

Yaklaşım

Önce kavram kanıtlama: Bir PoC’nin ardından en ağır analitik iş yükleri, şirketin kendi veri merkezindeki 15 düğümlü bir Cloudera kümesine taşındı.
Taşıma değil, yeniden kurma: Yüksek yüklü 200+ ETL süreci Spark, Hive ve Impala üzerinde ELT olarak yeniden kuruldu.
Araçlar: Veri alımı için Sqoop, orkestrasyon için Airflow, depolama biçimi olarak Parquet.
Ambara geri dönüş: Sonuçlar yeniden veri ambarına yüklendi.

Mimari ve teknoloji

SQL Server → Sqoop → Cloudera (Parquet üzerinde Spark, Hive, Impala) → sonuçlar SQL Server’a geri; akışı Airflow yönetiyor.

Sonuç

Batch iş yükleri ortalamada yaklaşık 12 kat, en ağır işlerde 30 kata kadar hızlandı.
SQL Server, OLTP ve iş zekâsı (BI) için rahatladı.
Lisans maliyetleri düştü; ekipte büyük veri teknolojilerinin kullanımı yaygınlaştı.
Sonraki BigQuery göçünün teknik temeli oluştu.

Öğrenimler

Aktarım, tam taşımadan önce geldi. Ağır işler 2019–2020’de SQL Server’dan ayrıldı; ambarın kendisi 2023–2024’te, bu programın kurduğu temel üzerinde BigQuery’ye taşındı.
Platformla birlikte ekibin yetkinliği de değişti: sonuçlardan biri yalnız hız değil, büyük veri teknolojilerinin ekipte yaygınlaşmasıydı.