マサチューセッツ工科大学（MIT）の研究チームは、生成AIモデルに潜むサイバー攻撃の加担や不正コード生成などの「悪用リスク」を、実際に有害なテキストを入力することなく自律検出する新しい監査フレームワークを発表しました。
従来の監査手法では、モデルに対して様々な攻撃的な入力を試す必要があり、テスト自体に法的なリスクや二次被害の懸念がありました。新たな手法では、モデルの内部的なニューロン活性化パターンやパラメータ特徴を直接スキャンすることで、モデルが有害な動作を実行可能か否かを静的に判定します。
これにより、企業が独自のデータや業務システムを連携させた「社内専用AI」や「自律エージェント」を構築する際、本番環境への導入前に安全性を自動かつ高精度にチェックするシステム標準の構築が可能となり、AI導入時の安全対策を強力に後押しするとみられます。
MITの公式発表は、研究一次ソースである MIT News (Official Website) から詳細をご確認いただけます。