Ciscoは、企業が外部AIモデルを利用する際のセキュリティやコンプライアンス上の課題に対応するため、オープンソースツール「Model Provenance Kit」を公開した。SecurityWeekが4月30日（現地時間）に報じた。

企業では、HuggingFaceのようなAIモデルの公開リポジトリから外部モデルを取得して活用するケースが増えている。HuggingFaceには数百万件規模のモデルが登録されているという。

Ciscoによると、こうした外部モデルの導入には大きく3つの問題がある。第1に、導入後にモデルがどのように改変されたかを把握しにくいこと。第2に、開発元が示すモデルの来歴や脆弱性、学習バイアスに関する情報が十分に検証されないこと。第3に、開発者ごとに保守体制の水準が異なり、その差が導入企業の運用リスクに直結することだ。

同社は、こうした問題がセキュリティ、コンプライアンス、法的責任の面でリスクを招きかねないとみている。例えば、マルウェアが仕込まれたモデルや改ざんに弱いモデルを企業が配布してしまう可能性があるほか、学習データに偏りを含むモデルを採用するおそれもある。Ciscoは「来歴を把握できなければ、インシデント発生時の原因究明が難しくなり、運用中のシステム内にある他のモデルへの影響も確認しづらくなる」と説明している。

Model Provenance Kitは、Pythonベースのツールキットとコマンドラインインターフェース（CLI）で構成される。メタデータ、トークナイザーの類似性、埋め込み構造、正規化レイヤー、エネルギープロファイル、重み比較といった特徴量を分析し、モデルごとの「指紋」を生成する仕組みだ。

ツールは2つのモードを備える。「compare」は2つのモデルを比較し、共通する系譜を見つける機能。「scan」は特定モデルの指紋をCiscoが構築した指紋データベースと照合し、最も近い系譜を特定する機能だ。

Ciscoは「モデルはファインチューニング、蒸留、マージ、再パッケージ化を経ることで、来歴の追跡が難しくなる」としたうえで、「Model Provenance Kitは、証拠に基づく来歴検証の手法を示す第一歩になる」としている。