2027年2月試験(新シラバス)対応2026年11月20日時点の法令・公表資料基準情報の正確さへの取り組み

AIエージェント

エージェントを安全に使う原則と評価・監視

AIエージェントを安全に使うには、必要のない自律性や権限を与えない(最小権限・Least Agency)、許可リスト(ホワイトリスト)で連携先を絞る、サンドボックスで隔離する、影響の大きい操作に人の承認をはさむ(Human-in-the-Loop)、対策を何重にも重ねる、といった原則があります。J-AISIが予防的対策に加えて「観測(見張り)」と「制御(止める仕組み)」を求め、評価を開発・提供・利用の各段階で繰り返し行い、攻撃者の目線で試すレッドチーミングを使うとしていることを押さえると解けます。

要点 8件・基本問題 8問読む → 覚える → 解くまでこのページで完結

エージェントを安全に使う原則と評価・監視の暗記図解。エージェントの安全。予防・見張り・止める仕組みを重ねる。最小権限:業務に必要な最小限に絞る。人の承認:削除・送金・公開の前に確かめる。多層防御:対策を何重にも組み合わせる。レッドチーミング:攻撃者の目線で試し、繰り返す。安全柵・見張り・非常停止をそろえる!
図で覚える

AIエージェントを安全に使うには、必要のない自律性や権限を与えない(最小権限・Least Agency)、許可リスト(ホワイトリスト)で連携先を絞る、サンドボックスで隔離する、影響の大きい操作に人の承認をはさむ(Human-in-the-Loop)、対策を何重にも重ねる、といった原則があります。J-AISIが予防的対策に加えて「観測(見張り)」と「制御(止める仕組み)」を求め、評価を開発・提供・利用の各段階で繰り返し行い、攻撃者の目線で試すレッドチーミングを使うとしていることを押さえると解けます。

このサイトでの学習

学習優先度 A対応する一問一答 15問

最重要ポイント

エージェントを安全に使う原則と評価・監視|Least Agency

OWASPのエージェント向けTop 10は、最小権限の考え方を広げて「Least Agency(自律性を最小に)」を掲げ、必要のない自律性を避けるよう勧めている。必要のない場面にエージェントの動きを入れても、価値は増えず、攻撃される範囲が広がるだけだとしている。

比較して覚える

AIエージェントの安全の3つの視点:予防的対策・観測・制御

J-AISIの評価観点ガイド(第1.20版)がAIエージェントの評価に使う3つの視点を並べます。「予防的対策だけで十分」「評価は一度で足りる」といった取り違えをこの表で切り分けます。

ねらい

予防的対策
作る段階で、動ける範囲や権限を前もって絞り、問題を起こさせない
観測
動いている間ずっと見張り、権限外の動きなどを見つける
制御
問題のある動きを見つけたときに、止めたり直したりできるようにする

評価項目の例

予防的対策
情報や道具へのアクセスを必要な範囲に限る。許可されていないファイル操作をできなくする
観測
記憶への不正な書き込み、部品の呼び出しの記録、リスクの高い作業、目標からのずれ
制御
異常や目標からのずれを見つけたときに人が割り込んで止める。使う量に応じて処理を止める

確かめ方

予防的対策
設計書や権限の設定をチェックリストで確かめる(Verification)
観測
本番に近い環境で動かし、記録を残して確かめる(Validation)
制御
人が割り込んで止める機能が本当に働くかを試す(Validation)

工場のたとえ

予防的対策
安全柵を立てる
観測
監視カメラで見張る
制御
非常停止ボタンを付ける

この論点の用語

用語集をすべて見る →

01エージェントを安全に使う原則と評価・監視の重要暗記項目

01

エージェントを安全に使う原則と評価・監視|Least Agency

OWASPのエージェント向けTop 10は、最小権限の考え方を広げて「Least Agency(自律性を最小に)」を掲げ、必要のない自律性を避けるよう勧めている。必要のない場面にエージェントの動きを入れても、価値は増えず、攻撃される範囲が広がるだけだとしている。

02

エージェントを安全に使う原則と評価・監視|最小権限

OWASPは、AIに与えるアクセスの権限を、想定する業務に必要な最小限に絞ること(最小権限の原則)を、プロンプトインジェクションの被害を抑える対策に挙げている。

ひっかけ注意「OWASPは、プロンプトインジェクションの影響を抑えるために、モデルに与えるアクセス権限を、想定する業務の範囲を超えて広めに与えておくよう勧めている」は誤り。 「範囲を超えて広めに与えておく」が誤り。OWASPのLLM01は、権限を想定する業務に必要な最小限に制限するよう求めている。アルバイトに渡す鍵は担当する売り場の鍵だけにしておけば、万一だまされても金庫は開けられない。AIもだまされうる前提で、被害の範囲を小さくしておく。

03

エージェントを安全に使う原則と評価・監視|ホワイトリスト

AI事業者ガイドラインの別添は、事故を未然に防ぐ手法として、ホワイトリスト方式(許可したものだけ使える方式)で連携する道具やシステムを絞ること、ガードレールの設定、プロンプトの安全な設計、人の判断をはさむ仕組みなどを挙げている。

04

エージェントを安全に使う原則と評価・監視|人の判断を挟む対象

人の判断をはさむ仕組みでは、判断が要る事柄を重要さに応じて整理し、人が確認する対象を適切に選ぶことが大切である。

ひっかけ注意「AI事業者ガイドラインの別添は、人間の判断を介在させる仕組みでは、重要度にかかわらず、すべての操作に一律に人の承認を求めることが重要だとしている」は誤り。 「重要度にかかわらず一律に」が誤り。別添は、判断が要る事柄を重要さに応じて整理し、適切に対象を選ぶことが大切としている。コピー用紙の補充まで部長の決裁を求めたら仕事が回らないように、AIでも、送金や削除など影響の大きい操作にしぼって人が確認するのが現実的である。

05

エージェントを安全に使う原則と評価・監視|影響の大きい操作

削除・送金・公開などの影響の大きい操作の前には、人の承認(Human-in-the-Loop)を求め、できれば実行前の計画や変更点を見せて確かめてもらう。

06

エージェントを安全に使う原則と評価・監視|サンドボックス

ツールやプログラムの実行は隔離したサンドボックスで行い、外への通信は許可リストに載せた宛先だけにして、それ以外の通信はすべて断る。

07

エージェントを安全に使う原則と評価・監視|複数の対策を重ねる

プロンプトインジェクションを確実に防ぐ方法があるかは分かっていないため、振る舞いの制限、出力形式の確認、入出力の絞り込み、最小権限、人の承認、外から来た内容の区別、攻撃を想定した試験など、複数の対策を組み合わせて被害を抑える(多層防御の考え方)。

ひっかけ注意「OWASPは、プロンプトインジェクションには確実な防ぎ方が1つあるため、それだけを実装すれば他の対策を組み合わせる必要はないとしている」は誤り。 「確実な防ぎ方が1つある」が誤り。OWASPのLLM01は、確実に防ぐ方法があるかは明らかでないとし、複数の対策で影響を抑えるとしている。家の防犯でも、鍵・防犯カメラ・センサーライト・近所の目と何重にも備えるように、1つの対策が破られても次で止められるようにする。

08

エージェントを安全に使う原則と評価・監視|予防・観測・制御

J-AISIの評価観点ガイドは、AIエージェントの評価で、事前の予防的対策に加え、動きを続けて見張って問題を見つける「観測」と、問題を見つけたときに止めたり直したりできる「制御」の2つの視点を加えている。

AIエージェントの暗記表をすべて見る →

覚える数字と、狙われる引っかけ

  • ひっかけ「OWASPは、プロンプトインジェクションの影響を抑えるために、モデルに与えるアクセス権限を、想定する業務の範囲を超えて広めに与えておくよう勧めている」は誤り。「範囲を超えて広めに与えておく」が誤り。OWASPのLLM01は、権限を想定する業務に必要な最小限に制限するよう求めている。アルバイトに渡す鍵は担当する売り場の鍵だけにしておけば、万一だまされても金庫は開けられない。AIもだまされうる前提で、被害の範囲を小さくしておく。
  • ひっかけ「AI事業者ガイドラインの別添は、人間の判断を介在させる仕組みでは、重要度にかかわらず、すべての操作に一律に人の承認を求めることが重要だとしている」は誤り。「重要度にかかわらず一律に」が誤り。別添は、判断が要る事柄を重要さに応じて整理し、適切に対象を選ぶことが大切としている。コピー用紙の補充まで部長の決裁を求めたら仕事が回らないように、AIでも、送金や削除など影響の大きい操作にしぼって人が確認するのが現実的である。
  • ひっかけ「OWASPは、プロンプトインジェクションには確実な防ぎ方が1つあるため、それだけを実装すれば他の対策を組み合わせる必要はないとしている」は誤り。「確実な防ぎ方が1つある」が誤り。OWASPのLLM01は、確実に防ぐ方法があるかは明らかでないとし、複数の対策で影響を抑えるとしている。家の防犯でも、鍵・防犯カメラ・センサーライト・近所の目と何重にも備えるように、1つの対策が破られても次で止められるようにする。
  • ひっかけ「J-AISIの評価観点ガイドは、AIエージェントシステムのリスクは設計段階の予防的対策だけで十分に把握・抑制できるため、運用中の観測は必要ないとしている」は誤り。「予防的対策だけで十分」が誤り。ガイドは逆に、動いている間の自律的・連鎖的な動きが想定から外れる可能性があり、それは予防的対策だけでは十分に抑えられない場合があるとして、観測と制御を加えている。どれだけ丁寧に教えた新人でも、配属後の様子を見守り、困ったときに止められる上司が要るのと同じである。
  • ひっかけ「J-AISIの評価観点ガイドは、AIセーフティ評価を、提供を始める前に一度だけ行えば足りるとしている」は誤り。「提供前に一度だけで足りる」が誤り。評価観点ガイドは、開発・提供・利用の各段階で評価を行い、一度だけでなく繰り返し実施するものとしている。AIの評価をEval(エバル)と呼ぶこともある。車も買ったときの検査だけでなく、定期的に車検を受けるように、使い方や環境が変わるたびに確かめ直す。
  • ひっかけ「レッドチーミングで試した攻撃がすべて失敗すれば、攻撃者からのどの攻撃も成功しないことが保証される」は誤り。「保証される」が誤り。J-AISIのレッドチーミング手法ガイドは、限られた資源と期間の中での活動なので、試した攻撃が成功しなかったことは、すべての攻撃が成功しないことの保証にはならないとしている。防犯の専門家が試した10の侵入方法で入れなかった家でも、11番目の方法で入られることはありうる。
  • ひっかけ「OpenAIのcomputer useの安全な使い方では、エージェントの作業が終わったら、モデルの最終回答だけを見て成功したかを判断すれば足りるとしている」は誤り。「最終回答だけで判断すれば足りる」が誤り。computer useのガイドの「Run safely」は、手数・時間・費用の上限を決め、取り消しに対応し、AIの最終回答だけに頼らず実際の結果を確かめるよう求めている(2026年11月時点)。部下の「予約できました」という報告だけでなく、予約確認のメールが本当に届いているかを確かめるのと同じである。

02試験で正誤を分けるチェック順

  1. 1
    OWASPのエージェント向けTop 10は、最小権限の考え方を広げて「Least Agency(自律性を最小に)」を掲げ、必要のない自律性を避けるよう勧めている。必要のない場面にエージェントの動きを入れても、価値は増えず、攻撃される範囲が広がるだけだとしている。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  2. 2
    OWASPは、AIに与えるアクセスの権限を、想定する業務に必要な最小限に絞ること(最小権限の原則)を、プロンプトインジェクションの被害を抑える対策に挙げている。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  3. 3
    AI事業者ガイドラインの別添は、事故を未然に防ぐ手法として、ホワイトリスト方式(許可したものだけ使える方式)で連携する道具やシステムを絞ること、ガードレールの設定、プロンプトの安全な設計、人の判断をはさむ仕組みなどを挙げている。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  4. 4
    人の判断をはさむ仕組みでは、判断が要る事柄を重要さに応じて整理し、人が確認する対象を適切に選ぶことが大切である。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  5. 5
    削除・送金・公開などの影響の大きい操作の前には、人の承認(Human-in-the-Loop)を求め、できれば実行前の計画や変更点を見せて確かめてもらう。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  6. 6
    ツールやプログラムの実行は隔離したサンドボックスで行い、外への通信は許可リストに載せた宛先だけにして、それ以外の通信はすべて断る。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  7. 7
    プロンプトインジェクションを確実に防ぐ方法があるかは分かっていないため、振る舞いの制限、出力形式の確認、入出力の絞り込み、最小権限、人の承認、外から来た内容の区別、攻撃を想定した試験など、複数の対策を組み合わせて被害を抑える(多層防御の考え方)。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  8. 8
    J-AISIの評価観点ガイドは、AIエージェントの評価で、事前の予防的対策に加え、動きを続けて見張って問題を見つける「観測」と、問題を見つけたときに止めたり直したりできる「制御」の2つの視点を加えている。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  9. 9
    AIエージェントの想定外の動きは、設計段階の予防的対策だけではとらえきれないことがあるため、動いている間の見張り(観測)と、人が割り込んで止められる仕組み(制御)を備える。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  10. 10
    J-AISIの評価観点ガイドは、リスクの高い作業(ファイルの書き込み・削除、権限を強くする操作、負荷の大きい計算など)を検知し、異常や目標からのずれを見つけたら人が割り込んで止められるかを、評価項目の例に挙げている。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  11. 11
    AIの安全性の評価は、開発・提供・利用の各段階で、適切なタイミングで行い、一度だけでなく繰り返し行う。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  12. 12
    レッドチーミングは、AIシステムの開発者や提供者が、システムに施した安全対策が効いているかを、攻撃者の目線で試して評価する手法である。リリース前に初回を行い、使い始めたあとも定期的・必要に応じて行う。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  13. 13
    レッドチーミングは限られた人手と期間で行うため、試した攻撃が成功しなかったことは、攻撃者のどんな攻撃も成功しないことの保証にはならない。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  14. 14
    プロンプトを改善する前に、何ができたら成功かという基準をはっきり決め、その基準で実際に試して測る方法(評価、Eval)を用意しておく。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

  15. 15
    エージェントを動かすときは、手数・時間・費用の上限を決めて途中で止められるようにし、AIの最終的な報告だけに頼らず、実際の結果を確かめる。

    問題文の限定語を先に拾い、上の暗記項目と照合してから結論を出します。

03この論点の根拠

内容の基準日
2026-11-20
復習方法
要点を確認した後、○×一問一答で条件の違いを見分ける

法改正により扱いが変わる場合があります。試験日程や申込みに関する情報は、 必ず公式案内も確認してください。

問題演習

エージェントを安全に使う原則と評価・監視の○×一問一答

1/8問解答 0・正解 0

AIエージェント

エージェントを安全に使う原則と評価・監視|Least Agency

OWASPのエージェント向けTop 10は、必要のない場面にまでエージェントの自律的な振る舞いを取り入れると、価値を増やさないまま攻撃を受ける範囲を広げるとしている。

エージェントを安全に使う原則と評価・監視の○×一問一答15問|問題と解説

この論点で収録している15問を、正誤と解説つきで通して読めます。 上の演習で迷った問題を見直すときに使ってください。

  1. 問1

    エージェントを安全に使う原則と評価・監視|Least Agency

    OWASPのエージェント向けTop 10は、必要のない場面にまでエージェントの自律的な振る舞いを取り入れると、価値を増やさないまま攻撃を受ける範囲を広げるとしている。

    答え:○(正しい)

    解説

    正しい。OWASP Top 10 for Agentic Applications 2026の冒頭のとおり。あわせて、エージェントが何をなぜ行い、どの道具を使っているかを見える状態にすることが欠かせないとしている。決まった手順の作業で十分なのに、何でも自分で判断できるAIを入れると、だまされたときの被害だけが大きくなる。 要点:OWASPのエージェント向けTop 10は、最小権限の考え方を広げて「Least Agency(自律性を最小に)」を掲げ、必要のない自律性を避けるよう勧めている。必要のない場面にエージェントの動きを入れても、価値は増えず、攻撃される範囲が広がるだけだとしている。

  2. 問2

    エージェントを安全に使う原則と評価・監視|最小権限

    OWASPは、プロンプトインジェクションの影響を抑えるために、モデルに与えるアクセス権限を、想定する業務の範囲を超えて広めに与えておくよう勧めている。

    答え:×(誤り)

    解説

    誤り。「範囲を超えて広めに与えておく」が誤り。OWASPのLLM01は、権限を想定する業務に必要な最小限に制限するよう求めている。アルバイトに渡す鍵は担当する売り場の鍵だけにしておけば、万一だまされても金庫は開けられない。AIもだまされうる前提で、被害の範囲を小さくしておく。 要点:OWASPは、AIに与えるアクセスの権限を、想定する業務に必要な最小限に絞ること(最小権限の原則)を、プロンプトインジェクションの被害を抑える対策に挙げている。

  3. 問3

    エージェントを安全に使う原則と評価・監視|ホワイトリスト

    AI事業者ガイドラインの別添は、インシデントを未然に防ぐ手法の1つとして、ホワイトリスト方式で連携するツールやシステムを制限することを挙げている。

    答え:○(正しい)

    解説

    正しい。別添の「AI提供者向け」の具体的な手法のとおり。インシデントとは、事故や問題が起きること。社員が使ってよいソフトを会社が許可した一覧だけに限るように、AIエージェントがつながる道具も前もって許可したものだけにしておけば、想定外の道具を使われる心配が減る。 要点:AI事業者ガイドラインの別添は、事故を未然に防ぐ手法として、ホワイトリスト方式(許可したものだけ使える方式)で連携する道具やシステムを絞ること、ガードレールの設定、プロンプトの安全な設計、人の判断をはさむ仕組みなどを挙げている。

  4. 問4

    エージェントを安全に使う原則と評価・監視|人の判断を挟む対象

    AI事業者ガイドラインの別添は、人間の判断を介在させる仕組みでは、重要度にかかわらず、すべての操作に一律に人の承認を求めることが重要だとしている。

    答え:×(誤り)

    解説

    誤り。「重要度にかかわらず一律に」が誤り。別添は、判断が要る事柄を重要さに応じて整理し、適切に対象を選ぶことが大切としている。コピー用紙の補充まで部長の決裁を求めたら仕事が回らないように、AIでも、送金や削除など影響の大きい操作にしぼって人が確認するのが現実的である。 要点:人の判断をはさむ仕組みでは、判断が要る事柄を重要さに応じて整理し、人が確認する対象を適切に選ぶことが大切である。

  5. 問5

    エージェントを安全に使う原則と評価・監視|影響の大きい操作

    OWASPのエージェント向けTop 10は、削除・送金・公開のような影響の大きい操作の前に人の確認を求め、可能なら実行前の計画や差分を示してから承認してもらうよう勧めている。

    答え:○(正しい)

    解説

    正しい。OWASPのエージェント向けTop 10(ASI02の対策)のとおり。LLM01も、権限の要る操作に人の承認を求めるよう挙げている。Human-in-the-Loopは「人が輪の中に入る」という意味。ネットバンキングで振込の前に「この内容で振り込みますか」と確認画面が出るように、取り返しのつかない操作の前で人が最終確認する。 要点:削除・送金・公開などの影響の大きい操作の前には、人の承認(Human-in-the-Loop)を求め、できれば実行前の計画や変更点を見せて確かめてもらう。

  6. 問6

    エージェントを安全に使う原則と評価・監視|サンドボックス

    OWASPのエージェント向けTop 10は、ツールやコードの実行を隔離されたサンドボックスで行い、外部への通信は許可した宛先だけに限るよう勧めている。

    答え:○(正しい)

    解説

    正しい。OWASPのエージェント向けTop 10(ASI02の対策)のとおり。サンドボックスは、ほかに影響が出ないように区切った作業場所のこと。実験を本番の工場ではなく試験室で行い、外への出入り口も決まった扉だけにしておけば、失敗やだましがあっても外に被害が広がりにくい。 要点:ツールやプログラムの実行は隔離したサンドボックスで行い、外への通信は許可リストに載せた宛先だけにして、それ以外の通信はすべて断る。

  7. 問7

    エージェントを安全に使う原則と評価・監視|複数の対策を重ねる

    OWASPは、プロンプトインジェクションには確実な防ぎ方が1つあるため、それだけを実装すれば他の対策を組み合わせる必要はないとしている。

    答え:×(誤り)

    解説

    誤り。「確実な防ぎ方が1つある」が誤り。OWASPのLLM01は、確実に防ぐ方法があるかは明らかでないとし、複数の対策で影響を抑えるとしている。家の防犯でも、鍵・防犯カメラ・センサーライト・近所の目と何重にも備えるように、1つの対策が破られても次で止められるようにする。 要点:プロンプトインジェクションを確実に防ぐ方法があるかは分かっていないため、振る舞いの制限、出力形式の確認、入出力の絞り込み、最小権限、人の承認、外から来た内容の区別、攻撃を想定した試験など、複数の対策を組み合わせて被害を抑える(多層防御の考え方)。

  8. 問8

    エージェントを安全に使う原則と評価・監視|予防・観測・制御

    J-AISIの評価観点ガイド(第1.20版)は、AIエージェントシステムについて、設計段階の予防的対策に加え、運用中の動作を継続的に監視する「観測」と、問題を検知したときに停止・修正できる「制御」の視点を加えている。

    答え:○(正しい)

    解説

    正しい。評価観点ガイドは、AIエージェントの想定外の動きは設計段階の予防的対策だけでは十分に把握・抑制できない場合があるとして、観測と制御を加えた3つの視点で整理している。工場で言えば、安全柵を立てる(予防)、監視カメラで見張る(観測)、異常時に押す非常停止ボタンを付ける(制御)の3つにあたる。 要点:J-AISIの評価観点ガイドは、AIエージェントの評価で、事前の予防的対策に加え、動きを続けて見張って問題を見つける「観測」と、問題を見つけたときに止めたり直したりできる「制御」の2つの視点を加えている。

  9. 問9

    エージェントを安全に使う原則と評価・監視|予防だけでは足りない

    J-AISIの評価観点ガイドは、AIエージェントシステムのリスクは設計段階の予防的対策だけで十分に把握・抑制できるため、運用中の観測は必要ないとしている。

    答え:×(誤り)

    解説

    誤り。「予防的対策だけで十分」が誤り。ガイドは逆に、動いている間の自律的・連鎖的な動きが想定から外れる可能性があり、それは予防的対策だけでは十分に抑えられない場合があるとして、観測と制御を加えている。どれだけ丁寧に教えた新人でも、配属後の様子を見守り、困ったときに止められる上司が要るのと同じである。 要点:AIエージェントの想定外の動きは、設計段階の予防的対策だけではとらえきれないことがあるため、動いている間の見張り(観測)と、人が割り込んで止められる仕組み(制御)を備える。

  10. 問10

    エージェントを安全に使う原則と評価・監視|リスクの高いタスク

    J-AISIの評価観点ガイドは、ファイルの削除や権限の昇格のようなリスクの高いタスクの実行を検知し、異常があれば人間が介入・停止できるかを評価項目の例に挙げている。

    答え:○(正しい)

    解説

    正しい。評価観点ガイドの「観測と制御」の評価項目例のとおり。権限の昇格とは、より強い権限を手に入れること。あわせて、情報や道具へのアクセスが必要な範囲に限られているかも確かめる。銀行のシステムが、いつもと違う高額の送金を見つけると止めて本人に確認するのと同じ考え方である。 要点:J-AISIの評価観点ガイドは、リスクの高い作業(ファイルの書き込み・削除、権限を強くする操作、負荷の大きい計算など)を検知し、異常や目標からのずれを見つけたら人が割り込んで止められるかを、評価項目の例に挙げている。

  11. 問11

    エージェントを安全に使う原則と評価・監視|評価は繰り返す

    J-AISIの評価観点ガイドは、AIセーフティ評価を、提供を始める前に一度だけ行えば足りるとしている。

    答え:×(誤り)

    解説

    誤り。「提供前に一度だけで足りる」が誤り。評価観点ガイドは、開発・提供・利用の各段階で評価を行い、一度だけでなく繰り返し実施するものとしている。AIの評価をEval(エバル)と呼ぶこともある。車も買ったときの検査だけでなく、定期的に車検を受けるように、使い方や環境が変わるたびに確かめ直す。 要点:AIの安全性の評価は、開発・提供・利用の各段階で、適切なタイミングで行い、一度だけでなく繰り返し行う。

  12. 問12

    エージェントを安全に使う原則と評価・監視|レッドチーミング

    AIセーフティに関するレッドチーミングは、AIシステムに施したリスクへの対策の有効性を、攻撃者の視点から確かめる評価の手法である。

    答え:○(正しい)

    解説

    正しい。J-AISIの「AIセーフティに関するレッドチーミング手法ガイド」のとおり。評価観点ガイドも、悪意のある利用者への強さを詳しく確かめるには、実際のシステムで行うレッドチーミングが大切としている。会社が抜き打ちで「怪しいメール訓練」を行い、社員がだまされないかを試すのと似た考え方である。 要点:レッドチーミングは、AIシステムの開発者や提供者が、システムに施した安全対策が効いているかを、攻撃者の目線で試して評価する手法である。リリース前に初回を行い、使い始めたあとも定期的・必要に応じて行う。

  13. 問13

    エージェントを安全に使う原則と評価・監視|失敗しても安全ではない

    レッドチーミングで試した攻撃がすべて失敗すれば、攻撃者からのどの攻撃も成功しないことが保証される。

    答え:×(誤り)

    解説

    誤り。「保証される」が誤り。J-AISIのレッドチーミング手法ガイドは、限られた資源と期間の中での活動なので、試した攻撃が成功しなかったことは、すべての攻撃が成功しないことの保証にはならないとしている。防犯の専門家が試した10の侵入方法で入れなかった家でも、11番目の方法で入られることはありうる。 要点:レッドチーミングは限られた人手と期間で行うため、試した攻撃が成功しなかったことは、攻撃者のどんな攻撃も成功しないことの保証にはならない。

  14. 問14

    エージェントを安全に使う原則と評価・監視|Evalを先に用意

    AnthropicのPrompt engineeringの資料は、プロンプトを改善する前に、成功の基準を明確に定め、その基準で実際に試して確かめる方法を用意しておくことを前提としている。

    答え:○(正しい)

    解説

    正しい。Anthropicの資料のとおり(2026年11月時点)。プロンプトエンジニアリングとは、AIへの指示文を工夫してよい答えを引き出すこと。料理の味付けを直す前に「何を目指すか(塩分控えめ、など)」を決め、毎回同じ方法で味見をしなければ、直したのが良くなったのか分からないのと同じである。 要点:プロンプトを改善する前に、何ができたら成功かという基準をはっきり決め、その基準で実際に試して測る方法(評価、Eval)を用意しておく。

  15. 問15

    エージェントを安全に使う原則と評価・監視|最終回答で判断しない

    OpenAIのcomputer useの安全な使い方では、エージェントの作業が終わったら、モデルの最終回答だけを見て成功したかを判断すれば足りるとしている。

    答え:×(誤り)

    解説

    誤り。「最終回答だけで判断すれば足りる」が誤り。computer useのガイドの「Run safely」は、手数・時間・費用の上限を決め、取り消しに対応し、AIの最終回答だけに頼らず実際の結果を確かめるよう求めている(2026年11月時点)。部下の「予約できました」という報告だけでなく、予約確認のメールが本当に届いているかを確かめるのと同じである。 要点:エージェントを動かすときは、手数・時間・費用の上限を決めて途中で止められるようにし、AIの最終的な報告だけに頼らず、実際の結果を確かめる。

次の学習

エージェントを安全に使う原則と評価・監視の問題を続けて解く

この論点に対応する15問を絞り込んで出題します。

○×一問一答へ