Yükleniyor...
Geleneksel A/B testlerinde trafiğinizin yarısını (ve potansiyel cironuzu) bilerek 'kaybeden' varyasyona feda ettiğinizi biliyor musunuz?
Geleneksel dönüşüm oranı optimizasyonu (CRO) dünyasında kabul görmüş bir dogma vardır: Bir hipoteziniz varsa, trafiği %50-%50 oranında ikiye bölün, haftalarca bekleyin ve istatistiksel anlamlılık (p-value) eşiğini aşana kadar dokunmayın. Ancak bu yaklaşım, dijital pazarlamanın en büyük ve en az konuşulan gizli maliyetini yaratır: Fırsat Maliyeti Kaybı (Regret).
Bir içerik varyasyonunun diğerinden %20 daha iyi performans gösterdiğini varsayalım. Klasik A/B testinde, testin güvenilir sonuç vermesi için gereken 14 gün boyunca trafiğin yarısını bilerek ve isteyerek daha kötü performans gösteren varyasyona göndermeye devam edersiniz. Peki ya trafiği gerçek zamanlı olarak kazanan seçeneğe kaydırmak mümkün olsaydı?
Bu problemin kalbinde, pekiştirmeli öğrenmenin (reinforcement learning) klasik ikilemi yatar: Yeni seçeneklerin performansını keşfetmek (Exploration) mi, yoksa şu ana kadar en iyi olduğu kanıtlanmış seçeneği sömürmek (Exploitation) mi?
Klasik A/B testleri bu süreci iki keskin faza böler. Önce tamamen keşif yapılır, ardından tamamen sömürüye geçilir. Çok Kollu Haydut (Multi-Armed Bandit - MAB) algoritmaları ise bu iki süreci eş zamanlı ve dinamik bir şekilde yönetir.
Matematiksel olarak, kaybettiğimiz dönüşüm oranı (regret) şu formülle hesaplanır:
$$R(T) = T \cdot p^* - \sum E[N_i] \cdot p_i$$
Burada $p^*$ en iyi varyasyonun dönüşüm oranını, $p_i$ ise diğer varyasyonların dönüşüm oranlarını temsil eder. Klasik testlerde bu pişmanlık metriği doğrusal olarak artarken, MAB algoritmalarında logaritmik bir eğri izleyerek hızla sönümlenir. Yani, sistem daha az dönüşüm getiren varyasyonu erken fark eder ve ona giden trafiği dinamik olarak kısar.
Bandit algoritmaları arasında en popüler olanlardan biri Bayesyen bir yaklaşım sunan Thompson Örneklemesi (Thompson Sampling) algoritmasıdır. Büyük Dil Modelleri (LLM) ile ürettiğiniz yüzlerce başlık varyasyonunu test ederken bu algoritma mükemmel bir şekilde çalışır.
Her varyasyon için bir Beta Dağılımı (Beta(\alpha, \beta)) tanımlanır:
Süreç şu şekilde işler:
Bu yöntem sayesinde başlangıçta tüm varyasyonlar eşit şansa sahipken, dönüşüm aldıkça başarılı olanların dağılımı sağa doğru daralır ve daha sık seçilmeye başlar. Başarısız varyasyonlar ise elenmez, sadece seçilme olasılıkları matematiksel olarak minimize edilir.
MAB algoritmalarını tarayıcı tarafında (client-side) çalıştırmak, sayfa yüklenirken içeriğin sonradan değişmesine (flicker/titreme etkisi) neden olur ve Largest Contentful Paint (LCP) performansını baltalar. Çözüm, yönlendirme mantığını ağın en uç noktasına, yani Edge Worker seviyesine taşımaktır.
Cloudflare Workers gibi teknolojiler, V8 Isolate mimarisi sayesinde 0 milisaniye soğuk başlatma (cold start) süresi sunar. Bu sayede, Edge Worker üzerinde çalışan yönlendirme algoritmaları 50 milisaniyenin altında küresel ortalama yanıt süresiyle çalışarak kullanıcıya daha HTML belgesi ulaşmadan doğru varyasyonu hazırlar.
Google tarafından geliştirilen multi-armed-bandits kütüphanesi veya daha gelişmiş senaryolar için Vowpal Wabbit (VW) gibi kütüphanelerin Contextual Bandit algoritmaları kullanılarak, kullanıcının cihaz tipi, coğrafi konumu veya tarayıcı dili gibi ek bağlamlar (context) da bu karar mekanizmasına dahil edilebilir.
| Metrik / Özellik | Klasik A/B Testi | Multi-Armed Bandit (MAB) |
|---|---|---|
| Birincil Amaç | Bilgi edinmek (İstatistiki kanıt) | Kazancı/Dönüşümü maksimize etmek |
| Trafik Dağıtımı | Sabit (%50 - %50) | Dinamik (Performansa göre değişen) |
| Fırsat Maliyeti (Regret) | Yüksek | Minimum |
| Raporlama | Net p-value ve güven aralığı | Karmaşık Bayesyen olasılıklar |
Hafta 33 · Madde İmlerinde Paralel Yapı: Okuma Ritimini Bozan Asimetrik Listeleri Düzeltmek
Madde İmi Tuzağı: Çeşitlilik Yaratayım Derken Okurun Ritimini Bozmak
Yıllarca madde imlerini metni nefeslendiren sihirli boşluklar olarak gördüm; ta ki okurun zihnindeki o görünmez tümseklere çarpıp durduğunu fark edene kadar.