14.274 satırlık Excel'i 413 müşteri kartına çevirdik — ve verinin yalan söylediği yeri bulduk

Dosya Ne Diyordu

Sigorta şirketinin portalından alınan dışa aktarım: 14.274 satır. Her satır bir poliçe, zeyil, iptal ya da tahsilat hareketi; her satırda müşteri adı serbest metin. Acentenin sorusu basitti: kaç müşterim var, hangisinin ne kadar primi var? Excel'de bu sorunun cevabı yoktu, çünkü aynı müşteri her satırda biraz farklı yazılmıştı.

İlk geçişte isimleri normalize edip (büyük harf, boşluk, noktalama) eşleştirdik: 14.274 satır 413 müşteri kartına indi. Bu kolay kısımdı.

Kolay kısmın bile bir tuzağı vardı: normalizasyon fazla agresif olursa farklı iki müşteriyi birleştirir, az olursa aynı müşteriyi ayrı bırakır. Biz muhafazakâr tarafta kaldık; şüpheliyi birleştirmek yerine işaretledik. Sigorta defterinde yanlış birleşme, iki müşterinin primini ve tahsilatını birbirine karıştırmak demek; ayrı kalan kayıt en azından doğru ama eksik kalır.

Üç Yazımlı Tek Firma

Bir sanayi firması dosyada üç ayrı yazımla duruyordu: kısaltmalı, kısaltmasız, sonuna şirket türü eklenmiş. Üç ayrı müşteri kartı, üç ayrı toplam. Birleştirince kart 361 satırdan 1.164 satıra çıktı; acentenin en büyük müşterisi, kendi defterinde üç orta boy müşteri gibi görünüyormuş.

Bunu yakalayan şey isim benzerliği değil, aynı plakaların ve aynı adreslerin farklı isimlerde geçmesiydi. İsim benzerliğine güvenseydik ya birleştiremezdik ya da birleştirmemesi gerekeni birleştirirdik.

32 Karakter Kırpması

Asıl sürpriz sonra geldi. Bazı müşteri adları tam 32 karakterde bitiyordu — kelimenin ortasında. Kaynak sistem alanı 32 karakterde kesiyordu. Bunun iki sonucu var ve ikisi de sessiz: uzun isimli iki farklı firma ilk 32 karakteri paylaşıyorsa aynı görünür (sahte birleşme); tek firma bir kayıtta tam, başka kayıtta kırpılmış yazılmışsa iki görünür (sahte bölünme).

Bu hata yıllardır dosyada duruyordu ve kimse görmemişti, çünkü Excel'de 32 karakterlik bir isim tuhaf görünmez. Toplamlar yanlış çıkıyordu ama "yaklaşık doğru" yanlış. İki yönde de koruma yazdık: 32 karakterde biten isimler ayrı işaretlenir, birleştirme kararı yalnız isme değil plaka ve adrese bakar, bölünme şüphesi olan kayıtlar insana sorulur.

1.344 Şüpheli Satır, 21 İsim

Otomatik eşleşme 1.344 satırı "emin değilim" diye işaretledi. Korkutucu bir sayı; ama satırları isme göre gruplayınca yalnız 21 farklı isim çıktı. Kararı satır satır değil isim başına verdik: 21 karar, bir öğleden sonra. Bir çift bilinçli olarak ayrı bırakıldı: "CAFE" ve "KAFE" yazımlı iki kayıt. Kırpma değil yazım hatasıydı ve benzerlik eşiğini onları birleştirecek kadar düşürmek 629 sahte öneri üretiyordu. Yanlış birleştirme, birleştirmemekten kötüdür.

Para Tutmalı

Veri temizliğinin tek dürüst kontrolü para: dosyanın kendi dip toplamıyla veritabanındaki toplam tutmalı. Tuttu. Ve artık her yeni dosya yüklendiğinde bu kontrol kendiliğinden geçti/kaldı basıyor; kalırsa dosya deftere yazılmıyor. İçe aktarım hazırlık tablosuna iner, mutabakat geçer, sonra defter — sıra hiç değişmez.

Bir sınır daha: panelin gösterdiği ciro yalnız bir şirketten geliyor; diğer şirketin dosyaları tarih ve prim taşımadığı için içe alınmadı. Gerçek ciro yaklaşık beş katı; "yaklaşık" yazmak yerine eksik dosyayı acenteden istedik. Eksik veriyi tahminle doldurmuyoruz.

Excel Birleştirirken Beş Kural

• İsim benzerliğine tek başına güvenmeyin; plaka, telefon, adres gibi ikinci bir kimlik arayın.
• Sabit uzunlukta biten alanları arayın (32, 40, 50 karakter); kırpma sessiz birleştirir ve böler.
• Şüpheli satırları isme göre gruplayın; karar sayısı satır sayısından çok küçüktür.
• Benzerlik eşiğini düşürmeden önce kaç sahte öneri ürettiğini sayın.
• Para toplamını kaynak dosyanın kendi dip toplamıyla karşılaştırın; tutmuyorsa yazmayın.

Önce Hazırlık Tablosu

Veriyi deftere doğrudan yazmadık. Her dosya önce bir hazırlık tablosuna iniyor: ham satır, normalize edilmiş isim, eşleşme adayı, güven puanı, dip toplam kontrolü. Hazırlık tablosunda ne kadar kötü görünürse görünsün defter temiz kalıyor; kararlar verilip mutabakat geçince tek komutla deftere aktarılıyor. Bu sıra, yanlış birleştirmenin defteri bozmasını engelliyor: hata hazırlıkta yakalanıyor, defterde değil.

Aynı yaklaşım tekrar yüklemeyi de kolaylaştırıyor. Acente her ay yeni dışa aktarım alacak ve aynı satırlar yeniden gelecek. Hazırlık tablosu daha önce görülen satırı tanıyor, yalnız yenileri işliyor. Eşleştirme emeği kaybolmuyor: yerelde yapılan 432 müşterilik isim eşleştirmesi bir takma ad tablosunda duruyor ve her yeni dosyada yeniden kullanılıyor. Bir kez "bu üç yazım aynı firma" dediyseniz sistem bir daha sormuyor.

Veri erişimi tek bir arayüzden geçiyor; içe aktarım komutu doğrudan veritabanına bağlanıyor ama yönetici anahtarı kullanmıyor. Sigorta verisi hassas olduğu için kimin neye yazabildiği sorusu yazılım kadar önemli.

Makine Nerede Durur

Bu işte yapay zekânın ve betiğin yaptığı şeyler belli: isimleri normalize etmek, adayları bulmak, kırpmayı işaretlemek, dip toplamı karşılaştırmak. Yapmadığı şey son kararı vermek. 21 isim için kararı insan verdi ve bir öğleden sonra sürdü. Bu oranı bilerek koruyoruz: makine adayı getirir, insan onaylar; çünkü yanlış birleştirilmiş bir müşteri kartı yanlış prim, yanlış hatırlatma ve yanlış tahsilat demek.

Göç temizliğini de acente sahibi yapacak; biz komut satırı aracı verdik, panelde ayrı bir "veri temizleme ekranı" kurmadık. Sebebi kapsam: acentenin gerçek işi defteri okumak, veri temizliği tek seferlik bir iş. Tek seferlik iş için arayüz kurmak ürünü şişirir.

Sonuçta 14.274 satır 413 müşteri kartına indi, para dosyanın kendi toplamıyla tuttu, üç yazımlı firma tek kart oldu ve 32 karakter kırpması artık her dosyada işaretleniyor. Acentenin bir yıldır sorduğu "kaç müşterim var" sorusunun cevabı tek ekranda duruyor: 1.027.