Mimari kata · K—10
Belge Zekâsıyla Hasar Talebi Alımı
Mimari kata · kurgusal bir problem tanımı üzerine tasarım çalışması
- Sektör
- Sigorta
- Teknolojiler
- Apache Camel, Apache Kafka, PaddleOCR, vLLM, Flowable, Drools, PostgreSQL, Apache AGE, Debezium, Apache Iceberg, Langfuse, MLflow
Kısaca
Kendi sunucumuzdaki modeller öneri üretir, kural ve eksper karar verir; sekiz GPU kuyruğun arkasında, her karar yedi yıl denetlenebilir.
Problem
Bir mal ve kaza sigortacısı yılda 400.000 hasar talebi işliyor ve bunların %60’ı PDF form, fatura ve fotoğraf içeren e-postalarla geliyor. Yaklaşık 600 eksper zamanlarının kabaca %40’ını veri girişine harcıyor. Düzenleyici, AB Yapay Zekâ Yasası kapsamında otomatik kararlar için insan gözetimi ve açıklanabilirlik istiyor. Şirketin sekiz GPU’su var ve müşteri verisini dış yapay zekâ servislerine göndermeyecek. 2.000 EUR altındaki basit talepler iş kurallarıyla otomatik kapatılmak isteniyor.
Yaklaşım
Belirleyici kısıtlar insan gözetimi, yeniden üretilebilirlik, sekiz GPU ve verinin kuruluştan çıkmaması. Müşteri SLA’ları 24 saatte bildirim ve basit talepler için üç günde sonuç olduğundan hızdan çok doğruluk ve izlenebilirlik önemli. Model karar vermiyor, öneri üretiyor. Basit talepleri kurallar, geri kalanını adı yazılı bir insan karara bağlıyor; olumsuz kararların hepsi bunun içinde. GPU işleri bir kuyrukta bekliyor.
Mimari
- Alım: Apache Camel e-posta, portal, uygulama ve broker girdisini alıyor. Orijinaller Object Lock’lu nesne depolamaya gidiyor; Kafka’ya bir claim.received olayı düşüyor.
- Belge hattı: PaddleOCR veya docTR ile OCR, ardından vLLM üzerindeki açık ağırlıklı bir dil modeli alanları JSON şemasına çıkarıyor; her alanın güven skoru var.
- Karar: Flowable BPMN iş akışını yürütüyor. Basit talepleri Drools karara bağlıyor. Eşik altı alanlar ekspere inceleme görevi oluyor.
- Dolandırıcılık ve izleme: PostgreSQL üzerinde Apache AGE grafı, tekrar eden tamirhaneleri ve kopya faturaları skorluyor. Langfuse her model çağrısını izliyor. MLflow model sürümlerini tutuyor, prompt’lar Git’te duruyor.
Neden bu bileşenler
| İhtiyaç | Seçim | Neden |
|---|---|---|
| Çok kanallı alım | Apache Camel | IMAP, REST ve SFTP bağlayıcıları hazır; her kanal aynı claim.received olayını ve aynı depolama düzenini üretiyor. Kanal başına özel kod yerine rota. Apache 2.0 ve Red Hat desteği var. |
| Belge deposu | Ceph RGW, S3 Object Lock ile | Orijinaller ve OCR metni yedi yıl değiştirilemez duruyor. GPU işçileri ve Iceberg aynı depoyu S3 API ile kullanıyor. MinIO topluluk sürümü daraldığı için Ceph. |
| Olay omurgası ve GPU iş kuyruğu | Apache Kafka (Strimzi) | Talep olayları ve GPU işleri aynı omurgada; öncelik ve toplu şeritleri iki ayrı topic. Kuyruk GPU kesintisini emiyor. RabbitMQ eklemek yerine mevcut Kafka. Redpanda lisansı nedeniyle elendi. |
| Metin tanıma ve belge sınıflama | PaddleOCR ya da docTR | GPU’da hızlı, yerleşim ve tablo çıkarımı var, Apache 2.0. Ticari OCR API’leri, veri dışarı çıkamadığı için dışarıda. Tesseract fotoğraflı belgelerde yetersiz. |
| Dil modeli servisi | vLLM ve açık ağırlıklı bir model | Sürekli toplu işleme 8 GPU’dan en yüksek verimi alıyor. Çıktı JSON şemaya kısıtlı, güven kalibre edilmiş log-prob’lardan. Ağırlıklar Apache 2.0 lisanslı, Qwen ya da Mistral gibi; Llama lisansı OSI onaylı değil. |
| Görü modeli | vLLM üzerinde açık ağırlıklı görü modeli | Hasar sınıfı ve kopya fotoğraf tespiti aynı servis katmanında, ayrı model kaydıyla. Ayrı bir görü platformu gereksiz. |
| İş akışı | Flowable (BPMN) | Alımdan ödemeye her adım görünür; SLA zamanlayıcıları ve yükseltme yerleşik. İnsan onay kapısı bir görev tipi. Camunda 8 kaynak-erişimli lisansa geçti, Camunda 7 bakım modunda. |
| Kural motoru | Drools (DRL ve DMN) | 2.000 EUR altı basit talepler deterministik, sürümlü ve test edilebilir kurallarla karara bağlanıyor. Olumsuz kararın gerekçesi ateşlenen kuraldan geliyor. “Model karar vermez” ilkesi burada somutlaşıyor. |
| Dolandırıcılık grafı | PostgreSQL ve Apache AGE | Tamirhane, taraf, fatura ve hesap arasındaki tekrar ve halka örüntüleri Cypher ile, ilişkisel veriyle aynı veritabanında. Neo4j Community GPL, kümesi ticari. JanusGraph operasyonel yük getirir. |
| Karar denetim kaydı | PostgreSQL outbox, Debezium, Ceph üzerinde Apache Iceberg | Denetim satırı ve outbox satırı Flowable’ın PostgreSQL işlemine birlikte giriyor; Debezium günlükten yayınlıyor, çift yazma yok. Iceberg yedi yıl saklıyor, denetçi Trino ile sorguluyor. |
| LLM izleme | Langfuse | Her çağrının prompt’u, sürümü, token’ı ve gecikmesi; değerlendirme skorları ve gölge karşılaştırma. Çekirdek MIT lisanslı; ticari kurumsal özellikler gerekmiyor. |
| Model ve prompt kaydı | MLflow ve Git | Ağırlık özeti ve sürüm MLflow’da; prompt şablonları ve değerlendirme seti Git’te, her gece bir GPU’da regresyon koşuyor. Terfi dört göz onayı istiyor, geri alma bir işaretçi değişikliği. |
| Geçit ve kimlik | Apache APISIX ve Keycloak | Eksper, müfettiş, denetçi ve müşteri rolleri OpenID Connect ile; geçitte denetim günlüğü ve hız sınırı. Kong OSS açık sürümden özellik çıkardığı için APISIX. |
| Sır ve anahtar yönetimi | OpenBao | Talep başına veri anahtarıyla zarf şifreleme. Saklama sonunda anahtarı imha etmek silme demek; dava tedbirinde anahtar korunuyor. HashiCorp Vault, Business Source License nedeniyle elendi. |
Kararlar ve ödünleşimler
- İki şeritli GPU kuyruğu. Kata günde 8–9 GPU-saat işe karşı 192 GPU-saat kapasite tahmin ediyor. Sorun kullanım değil, gecikme değişkenliği. Bu yüzden hedef saniye değil dakika; istemci zaman aşımı yok. GPU’lar durursa kuyruk büyüyor; alındı bilgisi ve eksper ekranları çalışmaya devam ediyor. Bedeli: bu kurgu gerçek zamanlı sohbete yetmezdi.
- Denetim satırı ve outbox satırı tek işlemde. Diğer katalarda olay doğrudan Kafka’ya yazılıyor. Burada AI Act kaydı ile iş akışı adımı asla ayrı düşmemeli; veritabanı ve Kafka’ya çift yazma tam da bu riski taşır. Debezium günlükten yayınlıyor. Bedeli, Iceberg kopyasının saniyeler sonra gelmesi; o pencerede gerçeğin kaynağı PostgreSQL.
- Model öneriyor; kural ve insan karar veriyor. Drools yalnızca 2.000 EUR altı basit talepleri kapatıyor. Ret ya da indirim, adı yazılı bir insan onayı istiyor. Müşteri açıklaması ateşlenen kuraldan ve eksper notundan üretiliyor, ham model çıktısından asla. Bedeli otomasyon yanlılığı riski; bu yüzden taleplerin %10’u onu ölçen kör örneklem.
- Alan başına güven, alan tipine göre eşik. IBAN ile serbest metin hasar açıklaması aynı eşiği paylaşmıyor. Düşük güvenli bir alan, tüm talebi değil yalnızca o alanı incelemeye gönderiyor. Güven kalibre edilmiş log-prob’lardan geliyor; kısıtlı üretim ham olasılıkları yeniden normalize ediyor. Bedeli, kalibrasyonu güncel tutmak.
- Prompt ve kurallar kod gibi sürümleniyor. CI’da her gece bir GPU’da değerlendirme setine karşı sınanıyor; yeni sürümler önce gölgede çalışıyor. %95 doğruluk hedefi vaat edilmiyor, haftalık örneklemle ölçülüyor. Bedeli, o seti bakımda tutmak.
- Silme, anahtar imhasıyla. Talep başına veri anahtarları saklama sonunda imha ediliyor; bu, GDPR Madde 17 kapsamında silme sayılıyor. Denetim kaydındaki prompt ve çıktılar da şifreli tutulduğu için anahtar imhası onları da kapsıyor. Dava tedbiri anahtarı koruyor. Bedeli titiz bir anahtar yönetimi; veri koruma görevlisinin bunu yine de incelemesi gerekiyor.
Yeniden ele alacaklarım
- GPU tipi. 8 GPU 40–80 GB’lık veri merkezi kartı mı, 24 GB’lık iş istasyonu kartı mı? Model boyutu ve tensor paralelliği buna bağlı.
- Basit talep tanımı. Taleplerin %45’ini varsaydım. Gerçek pay, otomatik kapanış oranını ve eksper tasarrufunu belirler.
- AI Act rolü. Sigortacı yüksek riskli sistemin sağlayıcısı. Teknik dosyanın ve uygunluk değerlendirmesinin sahibi kim; onaylanmış kuruluş gerekiyor mu?
- Fotoğraftan hasar tahmini. Yalnızca sınıflama mı, tutar önerisi de mi? Görü modeli ve GPU payı buna bağlı.
Sonuç notları (tasarım varsayımları, ölçüm değil)
Bu bir tasarım çalışmasıdır, çalışan bir sistem değildir. Çıktı: dört sayfalık diyagram seti, tek sayfalık beyaz tahta sürümü ve 16 sayfalık Türkçe PDF. Alan doğruluğu ve basit taleplerin %45’lik payı, kata metnindeki varsayımlardır; sonuç değildir.
Kaynaklar
- Mimari PDF (Türkçe, 16 sayfa).
- draw.io diyagramları (İngilizce etiketler): dört sayfalık set ve 30 dakikalık tek sayfa sürüm.
İlgili yazılar
Bu konudaki gerçek projeler
P—03
Sürüyor
Öne çıkan
Sözleşme Odaklı Veri Platformu: GenAI Destekli Kaynak Ekleme
Yeni veri kaynakları doğrulanmış YAML sözleşmeleriyle eklenir; LLM ajanları yalnız tasarım aşamasında çalışır, üretim deterministik kalır.
Rol
Mimari ve uygulamalı geliştirme · Veri Çözüm Mimarı
P—04
Tamamlandı
Moda için Rekabet İstihbaratı ve GenAI Trend Platformu
20+ marka ve ~95 pazarda rakip fiyat, stok ve renk verisi, LLM ile normalize ediliyor: fiyatlama ve ürün çeşitliliği kararları 1 haftadan 1 güne indi.
Rol
Tasarım ve geliştirme · Veri Çözüm Mimarı