生成AIの回答を操作し詐欺へ導く「Dark Sourcery」という新たな脅威
生成AIが提示する企業の連絡先を偽物に書き換え、利用者を詐欺サイトなどへ誘導するサイバー攻撃「Dark Sourcery」が報告されました。ネット上の情報を汚染することでAIの出力を操作する手法であり、AIへの信頼が高まる中で、新たなリスクとして注目されています。
何が起きたのか
Vigilance Securityの研究チームが、AIの回答を意図的に操作するキャンペーンについて報告しました。具体的には、ネット上に巧妙に仕組まれたデータやリンクを散布し、ChatGPTやGeminiなどのAIに誤った情報を参照させる手法です。これにより、ユーザーがAIに企業の問い合わせ先などを尋ねた際、攻撃者が用意した偽の連絡先が表示され、結果として詐欺被害に遭う可能性があるとされています。
なぜ注目されているのか
一般に、生成AIは膨大なウェブデータを基に回答を生成しますが、そのソースとなる情報自体が書き換えられる「データ汚染」のリスクを抱えています。これまでAIの誤回答は「ハルシネーション（幻覚）」という偶発的な現象として語られることが多かったですが、本件は悪意を持って意図的に引き起こされる点に危惧があります。AIの回答を鵜呑みにする習慣が広がるほど、企業の信頼性や個人の資産に影響が及ぶ可能性が考えられます。
報道を読み比べると
今回、GIGAZINEと、それを引用した形ではてなブックマークで報じられています。どちらもVigilance Security社の報告に基づいた内容であり、手法の概要については共通した認識で伝えられています。現時点では、具体的にどのようなデータが散布されたのか、あるいはAI側でどのような対策が講じられているのかという詳細までは報じられておらず、今後の続報が待たれる状況です。
この記事に出てくる言葉
- Dark Sourcery
- AIの回答を汚染し、偽の連絡先などを提示させてユーザーを詐欺へ導く攻撃手法。
- データ汚染
- AIの学習データや参照元に意図的に誤った情報を混ぜ込み、出力を操作すること。
今後の注目点
- AI開発側が、外部データの信頼性をどう検証し、汚染を防ぐ仕組みを構築するか
- ユーザーがAIの提示する連絡先を、公式サイトで再確認する習慣が定着するか
よくある質問
どのような被害が想定されますか？
AIが提示した偽の連絡先に連絡したことで、個人情報を盗まれたり、金銭的な詐欺に遭ったりするリスクが考えられます。
ChatGPT以外でも起こりえますか？
報告ではGeminiなどの他のAIチャットボットにおいても、同様の汚染が起こりうるとされています。
💻 ハドウ の取材メモ
この話題を選んだ理由：2つの媒体が同じ出来事を報じていた（注目度スコア 2.158）
2つの媒体がほぼ同じ内容を伝えていたため、切り口の比較が困難でした。そのため、AIの特性であるデータ参照の仕組みという一般的背景を補い、リスクの構造を整理することに注力しました。
参照した報道（2媒体・2本）
この記事は下記の各社が公開している見出し・配信情報をもとに、独自にまとめたものです。記事本文は転載していません。詳細は各社の元記事をご確認ください。
この記事は、各社が公開している見出しと配信情報をAIが読み取り、要点・背景・論点を整理して自動生成したものです。速報性を優先しているため、内容に誤りや古い情報が含まれる場合があります。正確な情報は必ず上記の出典元をご確認ください。医療・投資・法律に関わる判断は専門家にご相談ください。