敵対的サンプルとは？

敵対的サンプルの意味

人間には気付けないほど微小な摂動を入力データに加えることで、機械学習モデルに誤った判定をさせる攻撃。

敵対的サンプルの具体例

標識の画像にノイズを重ね、自動運転の認識モデルに別の標識と誤認させる。

敵対的サンプルは試験でどう引っ掛けられる？

学習段階に不正データを混ぜて挙動を歪めるのは「学習データ汚染（ポイズニング）」、出力から学習データを復元するのは「モデルインバージョン」で、いずれも別の攻撃。

敵対的サンプルと関連する用語

• プロンプトインジェクション
• 機械学習

敵対的サンプルが出た過去問

• AIによる画像認識において、認識させる画像の中に人間には知覚できないノイズや微小な変化を含めることによってAIアルゴリズムの特性を悪用し、判定結果を誤らせる攻撃…

  正解：Adversarial Examples攻撃

  要点：微小な摂動でAIの判定を誤らせるのがAdversarial Examples

  Adversarial Examples攻撃は、機械学習モデルの決定境界が入力の微小な変化に敏感である性質を突き、人の目には元の画像と区別がつかない摂動を加えて分類結果を意図的に誤らせる手法である。標識の認識を誤らせるなど、現実の判断に直結する用途では深刻な脅威となる。対策としては摂動を含む例を学習させる敵対的学習や、入力の前処理・検知が研究されている。

  出典：令和3年度 秋期 情報処理安全確保支援士試験 am2 問1（IPA）

• AIによる画像認識において,認識させる画像の中に人間には知覚できないノイズや微小な変化を含めることによって,AIアルゴリズムの特性を悪用し,誤認識させる攻撃はど…

  正解：Adversarial Examples攻撃

  要点：Adversarial Examplesは微小な摂動でAIに誤認識させる攻撃

  Adversarial Examples攻撃は、機械学習モデルの決定境界の性質を突き、人間には判別できないほど微小な摂動を入力に加えることで誤分類を誘発する攻撃である。よってイが正しい。学習済みモデルから訓練データを推定するModel Inversionや、学習データを汚染するポイズニングとは狙いが異なる。

  出典：令和6年度 秋期 情報処理安全確保支援士試験 am2 問2（IPA）