“三点三”运营方Jobis&Villains日前表示，公司已搭建自研AI代理管理平台“Carter”，用于对内部各自运行的AI代理进行统一管理。
据介绍，Carter可对AI代理开发和运营过程中的成本进行监控与管理，并集中提供安全与隐私保护能力。
Jobis&Villains表示，依托经过验证的通用组件和基础设施，各个AI代理无需再分别重复建设相关功能，从而减少重复开发，并维持一致的AI运营环境。目前，包括三点三Q、三点三App在内，覆盖三点三服务及公司内部业务场景的8个AI代理已接入Carter平台。
在成本控制方面，三点三也借助Carter进一步压缩AI运维支出。公司称，在答案编排和生成环节仍保留高性能模型，同时将意图分类、安全判定等辅助任务交由轻量模型处理。通过这一“模型分层（Model Tiering）”方式，约50%的整体调用量由轻量模型承担，大语言模型（LLM）调用成本因此下降约45%。
此外，公司还将“提示词缓存（Prompt Caching）”纳入平台标准能力。对于重复使用的提示词，系统可进行存储和复用，从而在可复用场景下将调用成本再降低约43%。
Jobis&Villains CTO Byeonggyu Kang表示，公司已将内部AI代理和知识资产整合至Carter，以提升运营效率，并夯实安全使用基础。下一步，公司不仅将持续推进降本，还将建立回答质量的衡量和管理体系，进一步完善让员工能够更安全地开发和运营AI代理的环境。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr