İlk Veri Mühendisliği Ekibi, Hadoop Platformu ve Veri Gölü

Bağlam

Bu çalışmanın başında LC Waikiki’nin veri platformu SQL Server ve SSIS üzerine kuruluydu; şirkette bir veri mühendisliği ekibi yoktu.

Rol: Şirketin ilk veri mühendisliği ekibinin (4-6 mühendis) kurulması ve hibrit platforma geçişin yönetimi (Veri Mühendisliği Takım Lideri).

Problem

CRM, ERP, clickstream ve üçüncü taraf kaynaklardan gelen verinin raporlama ve makine öğrenmesi için bir araya gelmesi gerekiyordu; fiyatlama, tedarik zinciri ve müşteri 360 iş yükleri ağır SSIS işleri üzerinde duruyordu.

Yaklaşım

• Hibrit mimari: Tek bir SQL Server ve SSIS yığını yerine, ilişkisel veritabanlarının yanında Hadoop.
• Üretim kümesi: Ad alanları (namespace), güvenlik ve kaynak izolasyonu olan 15 düğümlü bir Cloudera CDH kümesi.
• İlk veri gölü: Çok kaynaklı (CRM, ERP, clickstream, üçüncü taraf veri); raporlamayı ve makine öğrenmesini besliyor.
• Boru hatları: Fiyatlama, tedarik zinciri ve müşteri 360 için ağır SSIS işlerinin yerini Spark, Hive ve Impala boru hatları aldı.
• Pratikler: Git, kod incelemesi, otomatik test ve nöbet (on-call) düzeni getirildi.

Mimari ve teknoloji

SQL Server’ın yanında Spark, Hive ve Impala ile Cloudera CDH (Hadoop). Kaynaklar: CRM, ERP, clickstream ve üçüncü taraf veri. Tüketiciler: raporlama ve makine öğrenmesi.

Sonuç

• Şirketin ilk veri mühendisliği ekibi (4-6 mühendis).
• Üretimde çalışan 15 düğümlü bir Cloudera CDH kümesi.
• Raporlamayı ve makine öğrenmesini besleyen ilk çok kaynaklı veri gölü.

Öğrenimler

• Mühendislik pratiği platformla birlikte geldi: Git, kod incelemesi, otomatik test ve nöbet düzeni yeni boru hatlarıyla aynı anda getirildi.
• Hadoop platformu daha sonra BigQuery’ye taşınan ambarın kaynaklarından biri oldu (2023–2024).