Parçalara Ayırma
Parçalara ayırma (chunking), bir dokümanın aranabilir pasajlara dönüşme biçimidir. Getirmenin iyi çalışıp çalışmadığını en çok etkileyen tek ayardır ve insanların atladığı ayardır.
Dokümanlar neden bölünür
İki neden:
- Arama isabeti. 40 sayfalık bir kılavuz kırk şey hakkındadır. Tek parça hâlinde her soruyla zayıf, hiçbir soruyla güçlü eşleşir. Pasajlara bölündüğünde iade paragrafı bir iade sorusuyla birebir eşleşir.
- Bağlam sınırları. Getirilen pasajlar modelin talimatına yapıştırılır. Bütün dokümanlar sığmaz — sığdığı yerde bile her mesajda her token'ının parasını ödersiniz.
İyi bir parça, kendi kendine yeten tek bir fikirdir: tek başına anlam taşıyacak kadar bağlam, birkaç şey hakkında olacak kadar değil.
Ayırıcı seçme
Flowera altı metin ayırıcı sunar. İçeriğin ne olduğuna göre seçin:
| Ayırıcı | Neye göre böler | Ne için |
|---|---|---|
| Recursive Character Text Splitter | Önce paragraf, sonra cümle, sonra kelime | Neredeyse her şey. Doğru varsayılan |
| Character Text Splitter | Seçtiğiniz tek bir ayraç | Güvenilir bir ayracı olan içerik |
| Markdown Text Splitter | Markdown başlıkları ve yapısı | Dokümanlar, README'ler, Markdown bilgi tabanları |
| HtmlToMarkdown Text Splitter | Önce Markdown'a çevirerek HTML yapısı | Taranmış web sayfaları |
| Token Text Splitter | Model token'ları | Tam token sayısı denetimi gerektiğinde |
| Code Text Splitter | Dil sözdizimi — fonksiyonlar, sınıflar | Kaynak kodu |
Recursive ayırıcı varsayılan olmayı hak eder: önce paragrafta bölmeye çalışır, cümleye düşer ve ancak başka çaresi kalmadığında cümlenin ortasında böler. Genellikle istediğiniz de budur.
Parça boyutu ve örtüşme
İki sayı, ikisi de anlaşılmaya değer:
Parça boyutu, parça başına en fazla karakter sayısıdır.
| Boyut | Etkisi |
|---|---|
| Küçük (~300–500) | İsabetli eşleşme; ama pasajlar işe yarayacak bağlamdan yoksun kalabilir |
| Orta (~800–1500) | Düz metin için olağan tatlı nokta |
| Büyük (~2000+) | Zengin bağlam, bulanık eşleşme, mesaj başına daha çok token |
Parça örtüşmesi, komşular arasında tekrar eden metin miktarıdır. Örtüşme vardır çünkü iki parçaya bölünmüş bir cümle ikisinde de anlaşılmaz. Yaygın kural, parça boyutunun %10–20'sidir — 1000 karakterlik parçalarda 150 karakter örtüşme.
1000 / 150 ile başlayın ve sorgu alanının döndürdüğüne göre ayarlayın. Bu, akıl yürüterek varılacak değil deneyerek bulunacak bir ayardır.
Saklanan parçaları görüntüleme
Bir yükleyicinin Options menüsünden Parçaları Görüntüle ve Düzenle seçeneğiyle ürettiği her şeyi, sayısı ve karakter toplamlarıyla birlikte görürsünüz.
Parçaları okumak, kötü yanıtları açıklamanın en hızlı yoludur. Getirilen pasaj müşterinin sorduğu bilgiyi içermiyorsa sorun buradadır — talimatta değil.
Parça düzenleme ve silme
Tek tek parçalar düzenlenebilir veya silinebilir. Bu gerçekten şunlar için işe yarar:
- Gürültüyü silmek — bir taramayla gelen menü çubukları, çerez bildirimleri, sayfa altlıkları.
- Çıkarma hasarını onarmak — bir sayı yığınına dönüşmüş bir tablo.
- Düpedüz yanlış içeriği kaldırmak — sürekli karşınıza çıkan eski bir fiyat.
İki uyarı. Yükleyiciyi kaynağından yeniden yüklerseniz düzenlemeler kaybolur; mümkün olduğunda kaynağı düzeltin. Ve bir düzenleme deponun rozetini değiştirmez — indeks eski metni sunarken rozet hâlâ Upsert Edildi görünür. Düzenledikten sonra yeniden upsert edin; kimse size hatırlatmayacak.
İlgili
- Doküman yükleyiciler — parçalar nereden gelir ve nasıl önizlenir
- Vector store — parçaları aranabilir yapma
- Sorgu alanı — parçalamanızın işe yarayıp yaramadığını görme