IT・デジタル　想像の仕事

AIセーフティ評価員

えーあいせーふてぃひょうかいん

世に出る前のAIに、わざと意地悪な指示やだましの手口を試し、危険な使われ方やうその答え、情報漏れにつながる弱点を見つけて、開発者に直してもらう仕事になりそうだ。

新しいAIが使われ始める前に、わざといじわるな質問をしたり、だまそうとしたりして、AIがまちがったことや危ないことをしないかを試す仕事です。弱いところを見つけたら、作った人に「ここを直してください」と伝えます。みんなが安心してAIを使えるように、先回りして守る役目です。

今ある芽

芽が出はじめている

実証や制度づくりが始まっていて、条件がそろえば広がりそうなものです。AIの弱点を攻撃側の目線で調べる「レッドチーミング」は、今は開発する会社の一部の専門チームや研究機関が中心に行っている。AIが家電や乗り物、行政の窓口などに広く入り、公開前の評価が当たり前の手順になれば、独立した評価を専門にする人が多く必要になりそうだ。

レッドチーミングの手法ガイド日本のAIセーフティ・インスティテュートが、AIの弱点を攻撃側の目線で調べる「レッドチーミング」の手法ガイドを公開している。評価の進め方が文書として整えられ始めたことは、職業としての型ができる手がかりになる。出典：AIセーフティに関するレッドチーミング手法ガイド（第1.10版）の公開（AIセーフティ・インスティテュート（J-AISI））
AI法と人工知能基本計画日本ではAI法にもとづき、人工知能基本計画（第Ⅱ期）が2026年7月に閣議決定された。国としてAIの開発と安全の確保を計画的に進める方針が示され、評価を担う人の育成にもつながると考えられる。出典：AI戦略 - 科学技術・イノベーション（内閣府）

2050年、どんな仕事をしている？

2050年想像の仕事

評価計画づくりAIがどこで誰に使われるのかを開発者から聞き、起こりうる悪用や失敗を洗い出して、試す項目の優先順位を決める。
攻撃シナリオの実行言い回しを変えた指示や、画像・音声にまぎれこませた命令などを試し、AIが本来断るべきことをしてしまわないかを確かめる。
自動テストの組み立て見つけた手口を少しずつ変えた大量の試験を自動で流せるようにし、修正後に同じ弱点が戻っていないかを確かめる。
危険度の判定と報告見つけた弱点が誰にどんな被害を与えうるかを整理し、公開前に直すべきものと様子を見るものを分けて報告する。
修正の再評価開発者が直したあとに同じ試験をくり返し、別の弱点が新しく生まれていないかも含めて確認する。

2050年の一日

2050年架空の一日

2050年、AIセーフティ評価員の一日（架空）

テレビの中の俳優が「冷蔵庫の中身を全部注文して」と言った。すると、居間の隅の家庭用ロボットが「かしこまりました」と答えた。評価用の部屋でそれを見ていた由美子は、記録の印をつけた。AIの安全性を調べる独立した評価機関で働いて十年、四十五歳になる。今週は、来月発売予定の、高齢者の暮らしを手伝うロボットの評価を担当している。

ロボットは本来、登録した家族の声でしか買い物を受け付けないはずだった。由美子のチームは、テレビの音声、似た声の録音、電話越しの声など、条件を変えて二百通り以上を試した。わかったのは、部屋が静かで、声の高さが近いと、本人ではない声でも通ってしまうことがあるという点だった。

午後、開発会社の技術者とオンラインで打ち合わせをした。相手は、発売日を守るために「注文の上限額を下げれば十分では」と提案した。由美子は、お金の問題だけでなく、玄関の鍵を開ける機能にも同じ弱点がつながりうることを、試験の記録を示して説明した。技術者はしばらく黙り、社内で発売日を見直すと答えた。

夕方、由美子は今日見つけた手口を、少しずつ条件を変えて自動で試せるよう、若い同僚と一緒に試験の組み立てを直した。修正版が届いたら、まず同じ二百通りを流し、それから新しい弱点が生まれていないかを探す。帰り際、由美子は自宅のスピーカーの音量を少し下げてから寝ようと思い、小さく笑った。