据SecurityWeek4月30日（当地时间）报道，Cisco发布开源工具“Model Provenance Kit”，旨在帮助企业识别并降低引入外部AI模型带来的安全与合规风险。
在部署AI模型时，企业通常会从HuggingFace等模型平台引入第三方模型。Cisco指出，HuggingFace目前已收录数百万个模型，企业在使用这些外部模型时，普遍面临来源难核实、后续变更难追踪以及维护水平参差不齐等问题。
具体来看，企业往往难以掌握引入后的模型是否经历过修改，也未必会核验开发者提供的模型来源、漏洞情况以及训练数据偏差等信息。与此同时，不同开发者的维护能力存在差异，也会进一步放大企业在使用相关模型时面临的风险。
Cisco认为，上述问题最终可能演变为安全、合规和法律责任风险。企业可能在不知情的情况下部署被植入恶意代码或遭篡改的模型，也可能引入存在训练数据偏差的模型。一旦模型来源无法确认，事故发生后不仅难以追溯问题根源，也难以判断系统内其他模型是否受到影响。
Model Provenance Kit由基于Python的工具包和命令行接口（CLI）组成，可通过分析模型元数据、分词器相似度，以及嵌入结构、归一化层和权重特征等信息，为不同模型生成“指纹”。
该工具提供两种使用模式。其中，“compare”模式用于比较两款模型并识别其共同的模型谱系；“scan”模式则将特定模型的指纹与Cisco建立的指纹数据库进行比对，以寻找最接近的来源关系。
Cisco表示，随着模型经过微调、蒸馏、合并和重新打包，模型谱系追踪正变得愈发困难。Model Provenance Kit是推动“基于证据的模型来源核验”的第一步。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr