Giriş

AI projelerinin doğruluğu ve güvenilirliği büyük ölçüde veri hazırlığının kalitesine dayanır. Veri hazırlık; veri kalitesi değerlendirmesi, temizleme, özellik mühendisliği, etiketleme, ETL (Extract-Transform-Load) süreçleri ve data governance (veri yönetimi) uygulamalarını kapsayan uçtan uca bir süreçtir. Bu rehberde hem yüksek seviyede prensipleri hem de uygulamaya dönük kontrol listelerini bulacaksınız. Bazı en iyi uygulama önerileri endüstri kaynaklarıyla paraleldir; örneğin veri kalitesi ve proje yönetimi yaklaşımlarına dair örnekler için Bella Binary ve etiketleme platformları değerlendirmeleri için Bilarna kaynaklarına bakabilirsiniz.

Veri hazırlama yaşam döngüsü — adım adım

Veri hazırlama genelde şu aşamalardan oluşur: veri kaynağı değerlendirme, veri toplama/ingest, profil oluşturma ve kalite kontrolleri, temizleme ve ön işleme, özellik mühendisliği, etiketleme (labeling), ETL boru hattı tasarımı, veri yönetimi ve izleme. Her adımda açık sorumluluklar, ölçümler ve otomasyon gerekir.

1. Veri kaynağı ve toplama

  • Veri envanteri oluşturun: her veri kaynağının sahibi, schema, güncelleme sıklığı ve uygunluk notlarını kaydedin.
  • Örnekleme stratejisi belirleyin: tüm popülasyonu mı yoksa hedef segmentleri mi örnekleyeceksiniz? Dengesizlik riskini değerlendirin.
  • Provenans ve izin kayıtlarını tutun: veri nereden geliyor, hangi koşullarda toplandı, kullanım izinleri nelerdir?

2. Veri kalite metrikleri (neyi ölçmelisiniz)

Aşağıdaki temel kalite metriklerini her veri kümesi için tanımlayın ve düzenli olarak ölçün:

  • Tamlık (completeness): eksik değer oranı, zorunlu alanların doluluk oranı.
  • Doğruluk (accuracy): harici kaynaklarla çapraz doğrulama veya “gold label” karşılaştırmaları ile hata oranı.
  • Tutarlılık (consistency): aynı kaynaktan gelen kayıtların birbirine tutarlılığı ve format uyumu.
  • Tekillik (uniqueness): yinelenen kayıt oranı ve birincil anahtar tutarlılığı.
  • Zamanlılık (timeliness): verinin güncellik durumu ve gecikme süresi.
  • Geçerlilik (validity): değerlerin beklenen aralık/format ile uyumu.

Bu metrikler için otomatik profil oluşturma ve günlük/haftalık raporlama kurun; sapma tespitinde uyarı üretin.

3. Veri temizleme ve ön işleme

Temizleme aşaması, model performansı için kritik olan hataları düzeltir ve tutarlı bir giriş sağlar.

  • Eksik değer stratejisi: silme, imputasyon (medyan, ortalama, model tabanlı) veya ayrı kategori olarak ele alma.
  • Aykırı değer tespiti: iş bağlamına göre aykırıyı düzeltme veya işaretleme.
  • Tip ve format dönüşümleri: tarih/parsing, sayı formatları, normalizasyon.
  • Tekrarlı kayıtların birleştirilmesi ve tutarsız kayıtların temizlenmesi.

4. Özellik mühendisliği

Özellik mühendisliği model başarısını doğrudan etkiler. Temel stratejiler:

  • Kategorik verilerin kodlanması: one-hot, ordinal veya hedef kodlama; seçim problem ve modele göre değişir.
  • Sürekli değişken dönüşümleri: log, kutu-cox veya standartlaştırma/ölçekleme gerektiğinde uygulanır.
  • Tarih ve zaman özellikleri: sezon, saat dilimi, gecikmeli değerler (lag) gibi bilgileri çıkarma.
  • Etkileşim ve polinomlar: iki veya daha fazla özelliğin etkileşimini modelleyin; ancak aşırı boyutlanmayı izleyin.
  • Özellik seçimi: korelasyon analizi, model tabanlı önem (ör. ağaç tabanlı), L1 regularizasyonu veya mutual information yöntemleriyle gereksiz özellikleri eleyin.

Bu adımda deneysel değerlendirmeler yapın: hangi dönüşümlerin doğruluk, performans ve gecikme üzerindeki etkisini ölçün.

5. Veri etiketleme ve kalite güvence

Doğru etiketleme, özellikle denetimli öğrenmede modelin sağlıklı öğrenmesi için şarttır. Etiketleme stratejileri şunları içerir:

  • Net annotation rehberleri hazırlayın: örnekler, köşe vakalar, açıklayıcı kriterler ve örnek etiket açıklamaları olsun.
  • Kalite kontrolleri: gold standard setler, çift etiketleme (consensus), örnekleme yoluyla manuel kontrol.
  • Annotatör eğitimi ve geri bildirim döngüsü kurun; tutarsızlıkları erken tespit edin.
  • Önceliklendirme: active learning yaklaşımlarıyla en bilgilendirici örnekleri öne alın.

Etiketleme platformları ve sağlayıcı değerlendirmeleri hakkında karşılaştırmalı bilgiler için Bilarna'nın derlemesine bakabilirsiniz.

6. ETL ve veri boru hattı tasarımı

ETL süreçleri verinin güvenilir şekilde işlenmesini sağlar. Tasarım ilkeleri:

  • İdempotans: aynı verinin tekrar işlenmesi güvenli olmalı.
  • Incremental yüklemeler: tam yeniden yüklemeyi minimize edin ve zaman/durum damgası kullanın.
  • Şema yönetimi ve dönüşümlerin açıklanması (schema registry).
  • Gözlemlenebilirlik: izleme, logging ve veri hatası bildirimleri kurun.
  • Data lineage: verinin hangi adımlardan geçtiğini izleyin.

ETL boru hatlarını otomatik testler ve günlük sağlık kontrolleri ile destekleyin.

7. Data governance ve uyumluluk

Veri yönetimi; erişim kontrolleri, metadata yönetimi, veri catalog ve saklama politikalarını kapsar. Uygulama önerileri:

  • Veri sahipliği ve roller tanımlayın: kim neye erişebilir, değişiklik onayı nasıl alınır?
  • Metadata ve veri sözlüğü oluşturun: alan açıklamaları, olası değer aralıkları ve örnekler bulunmalı.
  • Gizlilik ve anonimleştirme: hassas veriler için maskeleme, pseudonimleştirme ve erişim kısıtları uygulayın.
  • Saklama ve imha politikaları belirleyin; yasal gereksinimler için kurum içi danışmanlık alın.

Sağlam veri yönetimi uygulamaları, verinin güvenli ve uyumlu kullanılmasını kolaylaştırır; bu alandaki prensipler için pratik öneriler kaynaklarda da yer almaktadır.

İzleme, sürümlendirme ve üretimde sürdürülebilirlik

Veri ve model performansını üretimde izlemek zorunludur. Öneriler:

  • Veri seti sürümlendirme: her eğitim kümesi versiyonlanmalı, yeniden üretilebilir olmalı.
  • Drift tespiti: veride ve model girdilerinde zamanla oluşan dağılım değişikliklerini izleyin.
  • Geribildirim döngüsü: üretim hatalarını etiketleyip eğitim setine geri besleyin.

Uygulamalı kontrol listesi (hızlı takip)

Projeye başlamadan ve her sprint sonunda kontrol edin:

  • Veri envanteri ve sahiplik belirlendi mi?
  • Kalite metrikleri tanımlandı ve otomatik profilleme kuruldu mu?
  • Etiketleme rehberi hazır ve örnek gold set mevcut mu?
  • ETL boru hattı idempotent ve loglama/izleme sağlıyor mu?
  • Veri sürümlendirme ve lineage mekanizması mevcut mu?
  • Gizlilik/erişim politikaları dokümante edildi mi?

Roller ve sorumluluklar

  • Data Engineer: ETL, pipeline ve veri altyapısından sorumlu.
  • Data Scientist / ML Engineer: özellik mühendisliği, deney tasarımı ve model doğrulama.
  • Annotator / Labeler: etiketleme kalite standartlarını uygular; eğitim ve kalite kontrolü alır.
  • Data Steward: veri katalog, metadata ve governance politikalarını yönetir.

Sık yapılan hatalar ve kaçınma yolları

  • Veri hazırlığına yeterli zaman ayırmamak: veri işinin payını küçümsemeyin; planlayın.
  • Etiketleme kalite güvence sürecini pas geçmek: küçük ama kaliteli gold setler oluşturun ve düzenli olarak kontrol edin.
  • Lineage ve sürümlendirmeyi atlamak: yeniden üretilebilirlik için zorunlu kabul edin.

Sonuç

AI projeleri için veri hazırlama, teknik detay ve süreç yönetimini birleştiren çok disiplinli bir alandır. Temel prensipler: veri kalitesine yatırım yapmak, net etiketleme süreçleri kurmak, ETL ve izleme ile otomasyonu sağlamak ve uygun veri yönetimi politikalarını uygulamaktır. Aşamaları kontrol listeleriyle izleyin ve düzenli metrik takibiyle karar verin.

Kaynaklar ve daha fazla okuma: