米GitHub（およびMicrosoft Research）は、AIによるプルリクエスト（PR）の自動コードレビューにおける品質や有用性を客観的に評価・測定するためのオープンベンチマークスイート「ReviewBench」を公式発表し、オープンソースとして公開しました。
現在、多くのエンジニア組織でAIコードレビューの導入が進む一方、「無意味なスタイルの些末コメント（ノイズ）が多すぎて開発者が疲弊する」「肝心な論理バグやセキュリティ脆弱性を見落とす」という適合率と再現率のトレードオフが深刻な課題となっていました。
ReviewBenchは、1億件以上の実世界PR分析に基づき、19種類のプログラミング言語・187のリポジトリから厳選された219件の公開PRで構成されています。人間レビュアーのコメント、後続の修正コミット履歴、静的解析ツールの検出結果、そしてモデル推論を統合し、シニアエンジニアが96.6%の合意率で精査した高品質な正解データ（グラウンドトゥルース）を定義しています。
本ベンチマークでの評価スコアは、実運用環境におけるエンジニアの受託率やA/Bテスト結果と極めて高い相関を示しており、開発組織が自律レビューAIを選定・自作・ファインチューニングする際の業界デファクト標準となります（一次ソース：GitHub Official Blog Research / GitHub ReviewBench Repository）。