AI & Enterprise

Lightbits Labs ra mắt Infera, mở rộng KV cache trên GPU để tăng hiệu quả suy luận AI

Lightbits Labs giới thiệu Infera, công cụ quản lý KV cache trên HBM, DRAM và NVMe, giúp cải thiện hiệu quả suy luận AI và tối ưu chi phí vận hành các mô hình ngôn ngữ lớn.

AI & Enterprise

Kỷ nguyên suy luận AI tái định hình hạ tầng doanh nghiệp

Doanh nghiệp đang chuyển trọng tâm đầu tư AI từ huấn luyện mô hình sang suy luận trong môi trường vận hành thực tế, buộc phải điều chỉnh chiến lược hạ tầng, dữ liệu và chi phí.