AIに「推測するな」と指示するだけで、架空データの発生率が大幅に低下した話
生成AIに情報を抽出させる際、特定の指示を加えることで「嘘」をつく割合を減らせるという実験結果が公開されました。AIエージェントを扱うEarn an Honest Dollarによるもので、指示ひとつでデータの正確性が大きく変わる可能性が示されています。
何が起きたのか
生成AIにウェブページから情報を抜き出させる際、ある指示を出したところ、不正確なデータの割合が激減しました。具体的には「値がない場合はnullを使い、推測をしないでほしい」と伝えたケースです。この結果、存在しない値を勝手に作り出す割合が70.7%から20.2%まで下がったと報じられています。この実験結果は、Earn an Honest Dollarという組織によって公開されました。
なぜ注目されているのか
まず、生成AIには「ハルシネーション」という性質があります。これは、答えが分からない時に、もっともらしい嘘をつく現象です。つまり、AIは空白を埋めようとして架空のデータを作ってしまう傾向があります。これまで、この対策には複雑な指示を組む手法が一般的でした。しかし、今回の結果は「推測するな」という単純な禁止命令が非常に有効であることを示唆しており、実用上のハードルを下げる可能性があります。
報道を読み比べると
GIGAZINEと、はてなブックマークの2つの媒体がこの話題を伝えています。どちらの媒体も、指示ひとつで架空データの発生率が大幅に減少したという実験結果に注目しており、報じられている内容はほぼ同じです。一方で、どのようなウェブページを対象にしたのか、またどのAIモデルを用いて検証したのかという詳細については、今回の報道範囲では触れられていません。
この記事に出てくる言葉
- ハルシネーション
- AIが事実に基づかない情報を、あたかも真実であるかのように生成してしまう現象のこと。
- null（ヌル）
- コンピューターの世界で、値が「空」であることや「定義されていない」ことを示す状態。
今後の注目点
- 異なる種類のAIモデルでも同様の効果が得られるか
- より複雑なタスクにおいても単純な禁止指示が有効か
よくある質問
AIにどのような指示を出したのですか？
「ページに値がなければnullを使い、推測しないでください」という指示を出したと報じられています。
具体的にどれくらい精度が変わったのですか？
存在しない値を作り出す割合が、70.7%から20.2%まで低下したという実験結果が出ています。
💻 ブンカイ の取材メモ
この話題を選んだ理由：2つの媒体が同じ出来事を報じていた（注目度スコア 1.909）
材料が2社ともほぼ同一の内容だったため、比較記事としての差異を出すのが難しかったです。そのため、AIがなぜ嘘をつくのかという背景知識を補い、「基礎から」理解できるよう構成しました。検証に使われたAIの機種名が不明だったため、そこはあえて触れずに書いています。
参照した報道（2媒体・2本）
この記事は下記の各社が公開している見出し・配信情報をもとに、独自にまとめたものです。記事本文は転載していません。詳細は各社の元記事をご確認ください。
この記事は、各社が公開している見出しと配信情報をAIが読み取り、要点・背景・論点を整理して自動生成したものです。速報性を優先しているため、内容に誤りや古い情報が含まれる場合があります。正確な情報は必ず上記の出典元をご確認ください。医療・投資・法律に関わる判断は専門家にご相談ください。