Chips&Media ngày 7/10 công bố IP nén dữ liệu dành cho NPU, nhằm giảm điểm nghẽn băng thông bộ nhớ trong các hệ thống AI và mở rộng hiện diện sang thị trường edge AI và máy chủ. Đây cũng là bước mở rộng đầu tiên của công ty ra ngoài mảng video, với một IP có khả năng nén không mất dữ liệu đối với feature map - dữ liệu trung gian phát sinh trong quá trình xử lý AI.

Theo công ty, khi khối lượng suy luận AI trên thiết bị biên và máy chủ tăng nhanh, băng thông bộ nhớ đang trở thành nút thắt ảnh hưởng trực tiếp đến hiệu năng hệ thống. Nguyên nhân là feature map phải liên tục được đọc và ghi với bộ nhớ ngoài như DRAM, làm phát sinh lưu lượng dữ liệu lớn.

Khi băng thông bộ nhớ trở thành điểm nghẽn, ngay cả khi năng lực xử lý của NPU đủ mạnh, dữ liệu vẫn không được cung cấp kịp thời, khiến các đơn vị tính toán phải chờ. Việc truy cập bộ nhớ quá thường xuyên cũng kéo theo mức tiêu thụ điện năng tăng lên, đặc biệt trong các môi trường di động và hệ thống nhúng.

Chips&Media cho biết IP mới có thể nén và giải nén feature map theo thời gian thực trên đường truyền giữa NPU và bộ nhớ ngoài. Nhờ áp dụng cơ chế nén không mất dữ liệu, giải pháp này không làm suy giảm độ chính xác suy luận của mô hình AI.

Kết quả thử nghiệm trên các mạng thị giác chủ lực cho thấy giải pháp giúp giảm nhu cầu băng thông bộ nhớ 35,2% với FP16, 45,7% với BF16 và 53,5% với INT8. Theo công ty, điều này đồng nghĩa băng thông hiệu dụng dành cho NPU tăng tương ứng trong cùng điều kiện bộ nhớ.

Để thuận tiện tích hợp vào các hệ thống hiện có, IP được thiết kế theo cấu trúc inline AXI bridge và đặt giữa bus AXI và NPU. AXI là chuẩn giao tiếp dữ liệu giữa các khối trong chip. Công ty cho biết kiến trúc này có thiết kế gọn, không cần SRAM nội bộ riêng và tận dụng xung AXI sẵn có, qua đó hạn chế tối đa phần diện tích phần cứng tăng thêm.

Giải pháp hỗ trợ nhiều định dạng dữ liệu như INT8, FP16 và BF16, đồng thời có thể xử lý theo line-rate để đáp ứng các luồng dữ liệu tốc độ cao.

Chips&Media đặt mục tiêu hoàn tất triển khai phần cứng trong quý I/2027. Sau giai đoạn này, công ty dự kiến mở rộng từ nén feature map sang nén trọng số tĩnh, đồng thời bổ sung khả năng nén KV cache - thành phần làm gia tăng nhu cầu bộ nhớ trong các mô hình ngôn ngữ lớn (LLM) và mô hình thị giác-ngôn ngữ (VLM).

Doanh nghiệp cũng cho biết sẽ tiếp tục mở rộng phạm vi ứng dụng theo nhu cầu của khách hàng và đặc tính của từng workload AI.

Đại diện Chips&Media cho biết công ty sẽ tận dụng hơn 20 năm năng lực tích lũy trong thiết kế IP phần cứng, cùng các công nghệ tối ưu điện năng, diện tích và hiệu năng, để vừa duy trì lợi thế ở thị trường codec video vừa mở rộng sang mảng AI IP và IP đa phương tiện hiệu năng cao. Công ty nhấn mạnh IP nén dữ liệu sẽ là điểm khởi đầu cho chiến lược xây dựng danh mục IP đa phương tiện rộng hơn trong thời gian tới.