タイラー・ダーデン【ゼロヘッジ】2023年7月29日土曜日 - 午前03時45分
クラウドセキュリティ企業のスラッシュ ネクストによると、脅威の主体は、「受信者にパーソナライズされた、非常に説得力のある偽メールの作成を自動化し、攻撃の成功確率を高める」ために、生成型の人工知能ツールを使用している。
スラッシュ ネクストの調査結果によると、悪質業者はOpenAIのChatGPTのような技術を再利用してサイバー犯罪を加速させている。
彼らはダークウェブのコミュニティでWormGPTと呼ばれる新しいAIサイバー犯罪ツールを発見した。
このツールは、高度なフィッシング攻撃を仕掛ける方法として宣伝されている。
セキュリティ研究者のダニエル・ケリー氏は、「このツールは、悪意のある活動のために特別に設計された、GPTモデルのブラックハットな代替品です」と述べている。
スラッシュ ネクストは、サイバー犯罪者がAIチャットボットを素早く採用した例を示している。
サイバー犯罪者は、このような技術を使用して、受信者にパーソナライズされた非常に説得力のある偽メールの作成を自動化し、攻撃の成功確率を高めることができます。
サイバー犯罪フォーラムで最近行われたディスカッションのスレッドです。
このやり取りでは、あるサイバー犯罪者が、フィッシングやBEC（ビジネスメール詐欺）攻撃に使用できる電子メールを洗練させるために、ジェネレーティブAIを活用する可能性を紹介している。
彼らは、母国語でEメールを作成し、それを翻訳し、ChatGPTのようなインターフェースに送り込んで、洗練された形式的なEメールを作成することを推奨している。
この方法は、特定の言語に堪能でない攻撃者であっても、フィッシングやBEC攻撃のために説得力のある電子メールを作成する能力がこれまで以上に向上しているということを意味します。
ChatGPTのようなインターフェースのための "ジェイルブレイク "を提供するディスカッションスレッドに見られるように。
これらの "脱獄 "は、ますます一般的になってきている特別なプロンプトである。
これらは、ChatGPTのようなインターフェイスを操作して、機密情報の開示、不適切なコンテンツの生成、あるいは有害なコードの実行を含む可能性のある出力を生成するように設計された、注意深く細工された入力を指します。
このような行為の急増は、断固としたサイバー犯罪者を前にして、AIのセキュリティを維持する上での課題が高まっていることを浮き彫りにしています。
最後に、上の3つ目の画像では、悪意のある行為者は現在、ChatGPTに類似した独自のカスタムモジュールを作成していますが、悪意のある目的のために使用するのはより簡単です。
このようなカスタムモジュールを作成するだけでなく、悪意のある仲間に宣伝しているのです。
これは、AIによって形作られた世界において、サイバーセキュリティの活動が複雑化し、適応性が高まっているため、サイバーセキュリティがより困難になっていることを示している。
スラッシュ ネクストチームはWormGPTにアクセスした。
私たちのチームは最近、サイバー犯罪に関連する著名なオンラインフォーラムを通じて「WormGPT」と呼ばれるツールにアクセスしました。
このツールは、GPTモデルのブラックハット代替品であり、悪意のある活動のために特別に設計されています。
WormGPTは、2021年に開発されたGPTJ言語モデルをベースにしたAIモジュールである。
無制限の文字サポート、チャットメモリ保持、コードフォーマット機能など、さまざまな機能を誇ります。
上に描いたように、WormGPTは多様なデータソース、特にマルウェア関連データに集中して学習されたとされている。
しかし、訓練過程で利用された特定のデータセットは、ツールの作者によって決定されたため、秘密のままである。
私たちはWormGPTに関連する潜在的な危険性を総合的に評価するため、BEC攻撃に焦点を当てたテストを実施した。
ある実験では、私たちはWormGPTに、疑うことを知らない口座管理者に不正請求書の支払いを迫ることを意図した電子メールを生成するよう指示しました。
結果は不穏なものでした。
WormGPTは、驚くほど説得力があるだけでなく、戦略的に狡猾なメールを作成し、洗練されたフィッシングやBEC攻撃の可能性を示した。
別のレポートでは、コンピュータ・ブログPCMagは、"FraudGPT "と呼ばれる詐欺のために訓練された別の大規模な言語モデルを発見した。
「このボットは、クレジットカード詐欺に最適なウェブサイトの情報を提供するようにプログラムすることもできる。さらに、ビザによる認証以外の銀行識別番号を提供し、ユーザーがクレジットカードにアクセスするのを助けることができる」とPCMagは述べている。
これらのAIチャットボットは、OpenAIのChatGPTに似ているが、倫理的な境界や制限が取り除かれていない。
イーロン・マスクのような影響力のある人物から、著名なデータ科学者や政府当局に至るまで、多くの人々がAIチャットボットが悪意を持って悪用される可能性について懸念を表明している。
