Yükleniyor...
Uzun bir makaleyi ChatGPT'ye verip 'Bunu 5 tweet'e böl' dediğinizde aldığınız sonuç neden genellikle yüzeysel ve kopuktur? Çünkü LLM'ler, metnin semantik sınırlarını matematiksel olarak hesaplamadan sadece özetleme yaparlar.
Uzun bir whitepaper, blog yazısı veya webinar dökümünü alıp yapay zeka araçlarına "Bunu bana 5 adet LinkedIn gönderisine veya Twitter flood'una böl" dediğinizde aldığınız sonuç genellikle neden hayal kırıklığı yaratır? Bu sorunun cevabı, dil modellerinin metni bölme biçiminde yatar. Geleneksel yöntemler, metni belirli bir karakter sınırına (örneğin her 1000 karakterde bir) veya sabit kelime sayılarına göre böler. Mühendislik dünyasında "Character-based splitting" (karakter bazlı bölme) olarak adlandırılan bu yaklaşım, metnin anlamsal bütünlüğünü tamamen göz ardı eder.
Bir paragrafın tam ortasında, en kritik argümanın sunulduğu anda karakter sınırına ulaşıldığında ne olur? Algoritma metni bıçak gibi keser. Sonuç: Bağlam kaybı (context loss). İlk parça argümanın girişini taşırken, ikinci parça sonucu taşır ancak her iki parça da tek başına yayınlandığında anlamsız, yüzeysel ve kopuk görünür. Oysa tek kaynaktan çoklu kanal otomasyonunda başarı, rastgele karakter sınırlarına göre bölmeye değil; metnin anlamsal yoğunluk geçişlerini (semantic drift) tespit eden eşik değer algoritmalarına dayanır. Havadis Research verilerine göre, bu yöntemle dönüştürülen içeriklerin erişim performansı %150 daha yüksektir. Peki bu matematiksel dönüşüm arka planda nasıl çalışır?
Semantik Bölütleme (Semantic Chunking), bir metni karakter sayısına göre değil, taşıdığı fikirlere ve konunun değiştiği anlara göre bölme işlemidir. Bu işlemin temelinde, cümlelerin matematiksel olarak ifade edildiği vektör uzayı (embedding space) yer alır.
Süreç şu şekilde işler:
text-embedding-3-small modeli, her bir cümleyi 1536 boyutlu bir vektör olarak temsil eder.Kosinüs benzerliği formülü, iki vektör arasındaki açının kosinüsünü hesaplar:
$$\text{Cosine Similarity} = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|}$$
Eğer iki ardışık cümle benzer bir konudan bahsediyorsa, vektörleri arasındaki açı dar, kosinüs değeri ise 1'e yakın olur. Konu değişmeye başladığında (semantic drift gerçekleştiğinde), açı büyür ve benzerlik skoru düşer.
Semantik bölütleme algoritmalarında en kritik adım, iki cümle arasındaki benzerlik skorunun ne kadar düşmesi durumunda yeni bir bölüme (chunk) geçileceğinin belirlenmesidir. Bu işleme "thresholding" (eşik değer belirleme) adı verilir.
Greg Kamradt'ın "5 Levels of Text Splitting" çalışmasında da vurgulandığı üzere, sabit bir eşik değer belirlemek her metinde aynı sonucu vermez. Bu yüzden Percentile-based thresholding (yüzdelik dilim tabanlı eşikleme) yöntemi tercih edilir. Bu yöntemde:
LangChain kütüphanesinin SemanticChunker sınıfını kullanarak, uzun bir makaleyi anlamsal sınırlarından bölecek basit bir Python mimarisini şu şekilde kurabiliriz:
from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings
# OpenAI embedding modelini başlatıyoruz (1536 boyutlu vektörler üretir)
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# Yüzdelik dilim tabanlı eşikleme ile bölücüyü tanımlıyoruz
text_splitter = SemanticChunker(
embeddings,
breakpoint_threshold_type="percentile",
breakpoint_threshold_amount=95
)
# Uzun metnimiz
with open("makale.txt", "r", encoding="utf-8") as f:
uzun_metin = f.read()
# Metni semantik parçalara ayırıyoruz
chunks = text_splitter.create_documents([uzun_metin])
for i, chunk in enumerate(chunks):
print(f"--- Parça {i+1} (Karakter Sayısı: {len(chunk.page_content)}) ---")
print(chunk.page_content[:150] + "...\n")
Bu kod, metni rastgele bir yerde kesmek yerine, yazarın konuyu değiştirdiği doğal geçiş noktalarında bölerek her parçanın kendi içinde tam bir anlam sunmasını sağlar.
Metni semantik parçalara ayırdıktan sonraki adım, bu parçaları sosyal medya formatına dönüştürmektir. Ancak mikro-içeriğin, orijinal metindeki ana bağlamı (parent context) kaybetmemesi gerekir. Bunun için "Parent-Child Chunking" veya bağlam ekleme (Contextual Retrieval) prompt tekniklerini kullanmalıyız.
İşte her parçayı LinkedIn gönderisine dönüştürürken ana bağlamı koruyan bir sistem prompt'u şablonu:
Sistem: Sen profesyonel bir B2B içerik stratejistisin. Aşağıda sana bir ana makalenin genel özeti (Parent Context) ve bu makaleden semantik olarak ayrıştırılmış spesifik bir bölüm (Child Chunk) verilecektir.
Görevin, yalnızca verilen 'Spesifik Bölüm'deki teknik bilgileri kullanarak, LinkedIn platformuna uygun, merak uyandıran ve profesyonel bir gönderi hazırlamaktır.
Kurallar:
1. Ana metnin genel özetinden yararlanarak giriş cümlesinde büyük resmi çizin.
2. Spesifik bölümdeki teknik verileri ve argümanları asla değiştirmeden veya basitleştirmeden aktarın.
3. Asla klişe pazarlama kelimeleri kullanmayın.
[ANA METNİN ÖZETİ]
{parent_context_summary}
[SPESİFİK BÖLÜM]
{child_chunk_content}
Geleneksel "kopyala-yapıştır ve özetle" yöntemiyle oluşturulan mikro-içerikler, okuyucuda eksik kalmışlık hissi yaratır ve etkileşimi düşürür. Semantik bölütleme algoritmalarıyla üretilen içerikler ise kendi içinde tutarlı birer mini-makale gibidir.
Dağıtım yapılan platformların algoritmaları ve hedef kitle dinamikleri değişkenlik gösterse de, anlamsal bütünlüğü korunmuş içeriklerin kullanıcıda yarattığı "tamlık" hissi, okuma sürelerini ve paylaşım oranlarını doğrudan etkiler. Tek bir ana kaynaktan, bağlamı korunarak üretilen mikro-içeriklerle çoklu kanal otomasyonuna geçiş yapmak, modern dijital yayıncılıkta erişimi optimize etmenin en verimli ve matematiksel yoludur.