Araştırma

Olumsuz sonuçlar

Test edilen, 8x90 günlük walk-forward Brier + ECE kriterine karşı değerlendirilen ve yayımlanan topluluğu iyileştirmeyen model varyantları ve özellik eklemeleri. Yayımlama kararı ile yayımlamama kararı aynı kalibrasyon hikayesi olduğu için tam olarak yayımlanmıştır: aşağıdaki her giriş, birinin yazmış olabileceği bir hipotezi, onu değerlendiren testi ve testin neden hayır dediğini kaydeder.

Bütün 23 nottan 11 tanesi yayımlanmamış sonuçtur. Yayımlanan varyantlar dahil tam not dizini şurada: /research/notes/.

Olumsuz sonuçlar neden yayımlanır

  • Seçici yayımlama yok. Yalnızca kriteri iyileştiren varyantlar yayımlansaydı, yayımlanan topluluk olduğundan daha kaçınılmaz görünürdü. Olumsuz sonuçlar, yayımlanan her model değişikliğinin etrafındaki negatif uzayın kanıtıdır.
  • Kazara yeniden test etmeyi önler. Altı ay önceki başarısız bir ablasyon, yazımı bulunabilir olmadıkça yeni bir çalışma arkadaşı için görünmezdir. Olumsuz sonuçları pozitif olanlarla aynı yüzeyde tutmak, "biri bunu daha önce denedi mi?" sorusunun commit günlüğünü okumayı gerektirmeyen bir yanıtının olmasını sağlar.
  • Modelin tavanını belirler. Aynı külliyat üzerinde art arda başarısız olan yoğun kapasite varyantları kendi başına bir ölçümdür: mevcut verilerle kriteri geçmek zordur. Bu sinyal, başarısızlıkları görebilen bir okuyucu için, yalnızca başarıları gören birine kıyasla daha faydalıdır.
Olumsuz sonuçlar · onthepitch