Ngày 24/6 (giờ địa phương), OpenAI cho biết đang phối hợp với Broadcom phát triển Jalapeno, một chip AI chuyên cho suy luận dành cho máy chủ. Động thái này nằm trong chiến lược giảm phụ thuộc vào chip của Nvidia và tăng mức độ tự chủ về hạ tầng phần cứng.

Theo SiliconAngle, OpenAI dự kiến đưa máy chủ đầu tiên sử dụng Jalapeno vào vận hành cuối năm nay, sau đó mở rộng triển khai.

Khác với các GPU của Nvidia có thể đồng thời xử lý cả huấn luyện lẫn suy luận, Jalapeno được thiết kế để tối ưu riêng cho tác vụ suy luận. OpenAI cho biết các thử nghiệm ban đầu cho thấy chip này đạt hiệu năng trên mỗi watt cao hơn đáng kể so với những sản phẩm tiên tiến nhất hiện nay.

OpenAI chưa công bố nhiều chi tiết về thiết kế của Jalapeno. Tuy nhiên, công ty cho biết kiến trúc nền tảng của chip được xây dựng theo hướng giảm khối lượng dữ liệu phải truyền trong hệ thống.

Cụm suy luận sử dụng Jalapeno cũng sẽ tích hợp dòng chip mạng Tomahawk của Broadcom. Đây là dòng chip dùng cho bộ chuyển mạch Ethernet, phục vụ truyền dữ liệu giữa các máy chủ trong cùng một rack cũng như giữa nhiều rack với nhau. Phiên bản mới nhất, Tomahawk 6, hỗ trợ băng thông tối đa 1,6 terabit/giây và giúp giảm nghẽn mạng nhờ cơ chế quản lý tắc nghẽn tích hợp.

OpenAI cũng đang phát triển rack máy chủ thiết kế riêng, tích hợp Jalapeno cùng thiết bị mạng của Broadcom. Để triển khai hệ thống này, công ty hợp tác với Celestica, doanh nghiệp có trụ sở tại Toronto, chuyên thiết kế thiết bị cho trung tâm dữ liệu.