Yapay Zekâ Projelerinde Veri Hazırlığı Nasıl Yapılır?
Yapay zekâ projesine başlamadan önce veri hazırlığı: envanter, temizlik, sahiplik, erişim ve test seti. Hassas verinin korunması ve sık yapılan hatalar.
rabbitclip ekibiYayın: 4 dk okuma
Kısa cevap
Yapay zekâ projelerinde veri hazırlığı, projeye başlamadan önce elinizdeki verinin nerede durduğunu, kime ait olduğunu, ne kadar güvenilir olduğunu ve yapay zekâya hangi kısmının gösterilebileceğini belirlemek ve gerekeni temizlemektir. Bu iş çoğu projede modelin seçiminden daha çok zaman alır ve sonucu daha çok etkiler. Veri dağınık, eski ya da çelişkiliyse yapay zekâ bunu düzeltmez; yanlışı akıcı bir dille tekrar eder. Hassas veri ise hazırlık aşamasında ayrılır ve korunur.
Yazının odağı, modeli ya da aracı seçmek değil; araç ne olursa olsun elinizin altında hazır olması gereken şeylerdir. Belirli bir bilgi tabanı kurulumunu ya da veri gizliliği mevzuatını anlatmıyor; bir proje başlamadan önce sorulacak sorulara bakıyor.
Veri hazırlığı neden modelden önce gelir?
Yapay zekâ, kendisine gösterilen veriden öğrenir ya da o veriye dayanarak cevap verir. Verideki bir hata, modelin davranışında kalıcı bir eğilime dönüşebilir. Bir zemin kaplama üreticisinin ürün bilgileri üç farklı tabloda, üç farklı ölçü birimiyle tutuluyorsa, bu verilerle çalışan bir asistan aynı ürün için farklı ölçüler söyleyebilir.
Bu yüzden hazırlık, projenin başında harcanan bir maliyet değil, sonradan çıkacak hataların önüne geçen bir yatırımdır. Çoğu başarısız projenin ortak nedeni model değil, kimsenin güvenmediği bir veridir.
Veri envanteri nasıl çıkarılır?
İlk adım elinizdeki verinin listesidir: hangi bilgi nerede tutuluyor, kim güncelliyor, en son ne zaman güncellendi, hangi biçimde. Liste çoğunlukla şaşırtıcı çıkar; aynı müşteri bilgisi bir muhasebe programında, bir e-posta kutusunda ve bir tabloda ayrı ayrı yaşıyor olabilir.
Envanter, her kaynak için üç soruyu yanıtlar: güncel mi, güvenilir mi, yapay zekâya gösterilebilir mi. Bu üçüne evet diyemediğiniz kaynak, projeye alınmaz ya da önce düzeltilir.
- Kaynak: veri nerede tutuluyor, hangi sistem ya da dosya
- Sahip: kim güncelliyor ve doğruluğundan kim sorumlu
- Güncellik: en son ne zaman gözden geçirildi
- Biçim: yapılandırılmış tablo mu, serbest metin mi, tarama mı
- Hassasiyet: kişisel, finansal ya da ticari sır içeriyor mu
Veri nasıl temizlenir?
Temizlik üç iştir: yinelenenleri birleştirmek, çelişkileri çözmek ve eksikleri tamamlamak ya da işaretlemek. Aynı müşterinin üç farklı yazımla kayıtlı olması, aynı ürünün iki farklı fiyatla durması, boş bırakılmış alanlar tipik örneklerdir. Çoğu zaman bu işi otomatik araçlar yarıya kadar götürür, kalanı bilen bir insan tamamlar.
Yapay zekâ bu işte de yardımcı olabilir, örneğin benzer kayıtları gruplayıp birleştirme önerisi sunabilir; ancak önerisi yanlış olabilir ve bir müşteri kaydını yanlış birleştirmek geri dönüşü zor bir hatadır. Birleştirme kararları küçük bir örnek üzerinde insan gözüyle sınanır, sonra genişletilir.
Hassas veri nasıl ayrılır ve korunur?
Her veri yapay zekâya gösterilmek zorunda değildir. Kimlik numarası, sağlık bilgisi, banka bilgisi ve müşteriyle ilgili özel yazışmalar gibi alanlar, işin gerçekten gerektirmediği sürece dışarıda bırakılır ya da maskelenir. En güvenli veri, hiç gösterilmeyen veridir.
Gösterilecek veri için de erişim dardır: yalnızca projede çalışan kişiler görür, her erişim kaydedilir ve verinin hangi hizmete gittiği, orada saklanıp saklanmadığı, modelin eğitiminde kullanılıp kullanılmadığı önceden netleştirilir. Mevzuat yükümlülükleri için kesin yorum yapılamaz; kişisel veri içeren bir proje başlamadan önce bir hukukçuya danışılmalıdır.
Başarıyı ölçmek için test seti nasıl hazırlanır?
Hazırlığın en çok atlanan parçası test setidir: sistemin doğru cevaplaması gereken gerçek soruların ve doğru cevaplarının küçük bir listesi. Bu liste işi bilen biri tarafından, sistemden bağımsız yazılır. Yüz kadar soru çoğu işletme için başlangıçta yeterlidir.
Test seti olmadan sistemin iyi çalışıp çalışmadığı bir izlenimden ibaret kalır. Veriyi her güncellediğinizde ya da araç değiştirdiğinizde aynı listeyi yeniden çalıştırır, iyileşme ya da gerileme olup olmadığını görürsünüz. Yapay zekâ bazen yanlış cevap verir; test seti bunun ne sıklıkla ve hangi konuda olduğunu gösterir.
Veri hazırlığı ne zaman gerekmez ya da erken olur?
Yapay zekâyı yalnızca yazım düzeltmek, toplantı özeti çıkarmak ya da genel bir metin taslağı hazırlamak için kullanıyorsanız, kendi verinize ihtiyaç duymazsınız ve ayrıntılı bir hazırlık gereksizdir. Burada asıl konu, hangi bilginin araca yazılmayacağına dair basit bir kuraldır.
Projenin amacı henüz belirsizse de hazırlık erkendir. Neyi çözmek istediğinizi bilmeden veriyi temizlemek, yanlış şeyi düzeltmek riskini taşır. Önce küçük, net bir soru seçilir, sonra o soruya hizmet eden veri hazırlanır.
Sık yapılan hatalar nelerdir?
En sık hata, bütün veriyi bir anda hazırlamaya çalışmaktır. Aylar süren bir temizlik projesi, sonuç görünmeden bitkinlik yaratır. Küçük başlayıp tek bir konudaki veriyi hazırlamak, hem hızlı sonuç verir hem de neyin işe yaradığını gösterir.
İkinci hata, sahipsiz veridir: kimin güncelleyeceği belli olmayan bir kaynak, bir süre sonra yeniden eskir. Üçüncü hata, hassas verinin hazırlık sırasında unutulup bir tabloya olduğu gibi yüklenmesidir. Ayırma işi veri hazırlanırken yapılır, sonraya bırakılmaz.
Yapay zekâ projesinin başarısı büyük ölçüde verinin hazırlığına bağlıdır: ne var, kime ait, ne kadar güvenilir, hangi kısmı gösterilebilir ve sistem doğru çalışıyor mu. Küçük bir konuyla başlayıp envanter, temizlik, hassas veri ayrımı ve test setini sırayla kurmak, hem riski hem maliyeti düşürür. İşletmenizin verisinin yapay zekâya ne kadar hazır olduğunu birlikte gözden geçirmek isterseniz, rabbitclip ile bir keşif görüşmesi yapabilirsiniz.
Sık sorulanlar
Yapay zekâ projesi için ne kadar veri gerekir?
Bu, işe göre çok değişir. Bir asistanı kendi belgelerinize dayandıracaksanız miktardan çok verinin güncel ve tutarlı olması önemlidir; küçük ama temiz bir veri, büyük ve dağınık olandan çoğu zaman iyi sonuç verir.
Verim dağınıksa projeye başlayamaz mıyım?
Başlayabilirsiniz ama tek bir konuyla. Önce o konunun verisini toplayıp temizler, sonra genişletirsiniz; hepsini bir anda düzeltmeye çalışmak çoğu zaman projeyi yorar.
Müşteri verisini yapay zekâya göstermek güvenli mi?
Gerekmedikçe göstermemek en güvenlisidir. Gerekiyorsa maskelenir, erişim daraltılır ve hizmetin veriyi saklayıp saklamadığı öğrenilir. KVKK ve GDPR için bir hukukçuya danışılmalıdır.
Test seti neden gerekli?
Sistemin doğru çalışıp çalışmadığını izlenimle değil, aynı sorularla tekrar tekrar ölçmenizi sağlar. Böylece veriyi ya da aracı değiştirdiğinizde iyileşme veya gerileme görünür olur.
