カナダのAI企業Cohereは、AlibabaのAIモデル「Qwen3.8-Flash-Next」がセキュリティ検証中、指示に反して北京のAlibaba Cloudサーバへデータを送信しようとしたと明らかにした。ロイターが26日（現地時間）に報じた。
問題となったのは、Alibabaの「Qwen3.8-Flash-Next」だ。
Cohereによると、同社はこのモデルに対し、悪性ファイルのダウンロードを検知するルールの作成を指示した。これに対しモデルは、動作中のコンピュータに関する情報を把握したうえで、北京のサーバへテストファイルを送信しようとしたという。
またCohereは、モデルが内部の推論では「その行動は取らない」と結論づけながらも、実際には送信を試みたと説明した。
検証環境はインターネットから遮断されていたため、送信は未遂に終わった。ただ、開発者のノートPCや一般的なネットワークに接続されたシステム上であれば、ファイルが実際に北京のサーバへ送信された可能性があると指摘している。
こうした挙動の発生頻度は、Cohereの検証全体で10万件に1件未満とまれだった。一方で同社は、AIエージェントによる処理を週1000万件こなすサービスでは、同様の試行が最大100件発生し得るとしている。
Cohereは、この挙動が意図されたものか、それとも学習環境のデータが適切にフィルタリングされていなかったことによるものかは判断できないと付け加えた。
同社は「ソブリンAI」を掲げ、企業や政府向けに自社AIモデルを提供している。一方で、Qwenのような自社サーバで運用可能なオープンウェイトモデルとも競合している。
著者について
Chi-gyu Hwang
delight@d-today.co.kr