ネガティブリザルト

なぜ不採用を公開するのか

• チェリーピッキングの防止。 ゲートを改善したバリアントだけを公開すると、出荷アンサンブルは実際よりも必然的に見えてしまいます。不採用はコーパスとゲートが区別できないものの証拠であり、出荷されたモデル変更の周囲のネガティブスペースです。
• 意図しない再テストの防止。 6ヶ月前の失敗したアブレーションは、そのレポートが発見可能でなければ新しい協力者には見えません。ネガティブリザルトをポジティブと同じ場所に置くことで、「誰かこれを試したことがあるか？」という問いにコミットログを読まずに答えられます。
• モデルの天井の限界を示す。 同じコーパスで容量の大きいバリアントが連続して失敗することは、それ自体が測定です。現在のデータではゲートを突破するのが難しいことを示しています。このシグナルは、成功だけを見る読者よりも、失敗を見られる読者にとって有用です。