Ngày 9/6, WhaTap Labs tổ chức sự kiện “LLM Observability Media Day”, đồng thời công bố chiến lược tích hợp GPU, LLM Observability và AI Ops nhằm hoàn thiện nền tảng vận hành AI theo hướng full-stack.

Tại sự kiện, công ty giới thiệu lộ trình kết nối ba lớp gồm giám sát GPU, observability cho LLM và vận hành tự trị dựa trên AI. Đây được xem là bước đi tiếp theo sau khi WhaTap Labs đưa ra tầm nhìn “AI-native observability” và ra mắt giải pháp giám sát GPU vào năm ngoái.

Lần này, WhaTap Labs chính thức ra mắt các tính năng LLM Observability. Cùng với đó, công ty cũng nâng cấp “WhaTap AI” để bổ sung các chức năng như tự động phát hiện bất thường, suy luận nguyên nhân và đề xuất cũng như triển khai phương án xử lý.

Theo WhaTap Labs, sự cố trong môi trường AI khác với hệ thống IT truyền thống ở chỗ thường không bắt nguồn từ một nguyên nhân đơn lẻ, mà hình thành từ mối quan hệ nhân - quả đan xen giữa nhiều lớp hệ thống.

Công ty lấy ví dụ, một hiện tượng chậm dịch vụ có thể xuất phát từ nhiều yếu tố như thiếu GPU cho suy luận, độ trễ phản hồi từ API LLM, điểm nghẽn ở khâu tìm kiếm hoặc lỗi trong lời gọi ứng dụng. Vì vậy, việc quan sát đồng thời toàn bộ các lớp của hệ thống là điều cần thiết.

Với chiến lược hợp nhất GPU, LLM Observability và AI Ops, WhaTap Labs cho biết có thể hỗ trợ doanh nghiệp theo dõi toàn bộ hệ thống AI trong một luồng vận hành thống nhất.

Nhờ đó, đội ngũ vận hành IT của doanh nghiệp có thể phân tích tập trung trên một nền tảng duy nhất đối với các hệ thống AI vốn khó quan sát từ bên trong và thường bị xem như một “hộp đen”.

Ông Choi Jin-sik, phụ trách phát triển tại WhaTap Labs, cho biết công ty đang thúc đẩy đổi mới theo hướng vượt ra ngoài mô hình giám sát rời rạc, tiến tới kết nối tài nguyên AI, chất lượng dịch vụ và vận hành tự trị trong một luồng thống nhất.

Theo ông, giai đoạn tiếp theo sẽ là vận hành tự trị dựa trên AI, trong đó AI có thể chủ động phát hiện bất thường, suy luận nguyên nhân và tự động thực hiện các biện pháp xử lý.