Techzine ngày 21/4 dẫn dữ liệu từ Cast AI cho biết mức sử dụng tài nguyên trong các môi trường Kubernetes vẫn ở mức rất thấp. Phân tích trên hàng chục nghìn cụm Kubernetes cho thấy GPU chỉ đạt mức sử dụng trung bình 5%, CPU 8% và bộ nhớ 20%.

Kubernetes là nền tảng mã nguồn mở dùng để tự động triển khai và quản lý các container ứng dụng phân tán trên nhiều máy chủ. Tuy nhiên, khi ngày càng nhiều doanh nghiệp mở rộng áp dụng Kubernetes, chênh lệch giữa chi phí hạ tầng đám mây phải chi trả và nhu cầu sử dụng thực tế cũng nới rộng.

Theo Techzine, đây là một nghịch lý trong bối cảnh Kubernetes vốn được kỳ vọng sẽ nâng cao hiệu quả vận hành hạ tầng quy mô lớn. Ngay cả với các khối lượng công việc AI và học máy, GPU cũng chỉ được khai thác trung bình 5%.

Cast AI lưu ý chi phí phát sinh từ GPU nhàn rỗi lớn hơn đáng kể so với CPU. Nếu GPU không được sử dụng, chi phí có thể lên tới vài USD mỗi giờ, trong khi CPU nhàn rỗi thường chỉ tốn vài cent. Điều này khiến tổn thất kinh tế do lãng phí GPU trở nên đáng kể hơn nhiều.

Về nguyên nhân, Cast AI cho rằng nhiều doanh nghiệp chỉ tối ưu tài nguyên một lần tại thời điểm triển khai. Dù cấu hình ban đầu có thể phù hợp, workload và mô hình lưu lượng vẫn liên tục thay đổi, khiến thiết lập còn phù hợp cách đây 6 tháng có thể không còn hiệu quả ở thời điểm hiện tại.

Công ty cho biết tình trạng này cũng xuất hiện ở các quyết định như lựa chọn Spot Instance, cấu hình autoscaler hay quản lý vòng đời node.

Cast AI nhấn mạnh rằng để kiểm soát chi phí hạ tầng, doanh nghiệp cần tối ưu hóa một cách tự động và liên tục. Công ty hiện cung cấp nền tảng tự động tối ưu chi phí đám mây cho môi trường Kubernetes.