图片来源:WhaTap Labs

韩国可观测性企业WhaTap Labs于9日举行“LLM可观测性媒体日”,发布面向AI时代的“GPU监控、LLM可观测性与AI自律运维”一体化战略。

当天,WhaTap Labs公布了覆盖GPU监控、LLM可观测性和AI自律运维的全栈路线图。其中,LLM可观测性功能已正式上线。

WhaTap Labs去年提出“AI原生可观测性”愿景,并推出GPU监控产品。此次活动则标志着其在LLM可观测性领域的布局进一步落地。

公司还升级了对话式AI“WhaTap AI”的能力,强化异常检测、根因分析与处置支持。WhaTap Labs表示,在AI环境中,故障往往不同于传统IT系统中由单一因素引发的问题,而是由跨层级、多环节因素叠加所致。以服务时延为例,背后可能同时涉及推理GPU资源不足、LLM API响应延迟、检索环节瓶颈以及应用调用错误等多种原因,因此需要对全栈进行统一观测。

WhaTap Labs称,通过“GPU监控、LLM可观测性与AI自律运维”一体化战略,企业可以将AI系统的全链路纳入同一平台持续追踪和分析,从而更清晰地识别过去犹如“黑盒”的AI系统运行状态。

WhaTap Labs研发负责人Choi Jin-sik表示,公司正通过技术创新打破割裂式监控模式,将AI资源观测、服务质量管理和自律运维打通为一体,帮助客户更直观地理解复杂的AI分层结构。下一阶段,公司将继续推进由AI率先发现异常、分析原因并自动处置的AI自律运维能力。

关键词

#WhaTap Labs #可观测性 #GPU监控 #LLM可观测性 #AI自律运维 #WhaTap AI #异常检测 #根因分析
版权所有 © DigitalToday。未经授权禁止转载或传播。