Ciscoは、生成AIを活用したインシデント対応訓練の報告書作成に関する検証結果を公表した。ドラフト作成にかかる時間は半減した一方で、幻覚や情報欠落、文書混入といったリスクも確認され、実務利用には人手による検証が欠かせないとしている。

英The Registerによると、Cisco Talosのインシデント対応チームでシニア・インシデント・コマンダーを務めるネイト・ポルス氏はブログで、大規模言語モデル（LLM）が長文の技術文書を生成する際、「重大な不正確さ」「不自然な結論」「文体の不統一」が生じると指摘した。

Ciscoが確認した主な問題は4つある。

1つ目は、同じ質問をしても出力に再現性が乏しい点だ。2つ目は、同じデータから異なる結論を導く点で、情報流出インシデントを巡って全社的なパスワードリセットを推奨する場合もあれば、対象を絞ったリセットにとどめる場合もあった。3つ目は、同一セッション内で前の報告書の内容が次の報告書に混入する可能性がある点。4つ目は、データの欠落によって重要な情報が抜け落ちる可能性がある点だ。

Talosは、こうした問題を抑える手法も検討した。報告書全体を一度に作らせるのではなく、特定の項目ごとに単一タスクとしてLLMに処理させることで、幻覚や内容の誤りを大幅に減らせたという。参照する情報源を明示することや、文体・書式のルールをあらかじめ設定することも有効だったとしている。

この手法を用いた結果、Ciscoは訓練ベースのインシデント報告書のドラフト作成時間を50％削減した。品質評価では、同僚レビュアー、専門エディター、管理者が、AIが作成したことを伏せた状態で評価したところ、総じて好意的な評価を示した。誤字脱字や文法ミスも、平均的な報告書より大幅に少ないとの評価だった。

一方、同一セッション内で複数の報告書を編集すると、前の報告書の内容が次の報告書に混入するケースがあった。Talosは対策として、報告書ごとに新しいセッションを開始し、プロンプトも都度入力し直すよう推奨している。

Ciscoはスペルチェックや文法チェック向けのプロンプトも開発したが、実際には、存在しない誤りを指摘したり、逆に実際の誤りを見落としたりするケースが多かった。成功率は50％未満にとどまり、Ciscoは「実務利用には不適切」との見方を示した。

ポルス氏は、このアプローチは他のサイバーセキュリティ関連報告書にも応用できるとした。そのうえで、「最終報告書のすべての文について、作成者が責任を負わなければならない」と強調。手作業による検証を欠けば、重複した提言や無関係な内容、実行困難な提案が最終報告書に入り込むおそれがあると指摘した。