Amazon ngày 19/10 (giờ địa phương) thông báo ra mắt TorchNeuron, công cụ cho phép chạy mô hình PyTorch trên chip AI Trainium mà không cần chỉnh sửa mã nguồn. Công ty cũng cho biết sẽ công bố mã nguồn mở TorchNeuron tại PyTorch Conference North America ngày 20/10.

Theo Amazon, PyTorch hiện là công cụ phát triển AI được khoảng 85% nhà nghiên cứu và lập trình viên AI sử dụng. Trước đây, khi chuyển mô hình sang một dòng chip mới, các nhà phát triển thường phải mất nhiều tháng để viết lại và kiểm thử mã. Với TorchNeuron, quá trình này được rút gọn xuống còn việc thay đổi một thiết lập.

Amazon cho biết các công cụ mà lập trình viên đang sử dụng cho kiểm thử, gỡ lỗi và mở rộng quy mô cũng có thể tiếp tục giữ nguyên.

Theo hãng, với nhiều doanh nghiệp, bao gồm cả các startup, khoản tốn kém lớn nhất không phải là chip mà là thời gian của đội ngũ phát triển. Việc phải điều chỉnh phần mềm để tương thích với phần cứng mới có thể làm chậm tiến độ cải thiện sản phẩm.

Amazon cũng nhấn mạnh rằng nếu việc chuyển đổi giữa các dòng chip trở nên dễ dàng hơn, cạnh tranh giữa các nhà sản xuất chip có thể gia tăng, qua đó góp phần giảm chi phí phát triển.

Công ty cho biết đang phối hợp với cộng đồng PyTorch để cải thiện mã nguồn, nhằm tránh việc nền tảng này bị phụ thuộc vào một loại chip cụ thể.

Một số đơn vị đã bắt đầu sử dụng Trainium và TorchNeuron. Cartesia, startup AI giọng nói, đang chạy các tác vụ suy luận trên Trainium với rất ít thay đổi đối với mã PyTorch. River Brain Development Institute, tổ chức nghiên cứu liệu pháp điều trị các rối loạn thần kinh - tâm thần như tâm thần phân liệt, cũng đang dùng TorchNeuron trong quá trình phát triển thuốc mới. Trong khi đó, Hugging Face đã hỗ trợ Trainium theo mặc định trong bộ công cụ phát triển AI của mình.

TorchNeuron hiện hỗ trợ Trainium2 và Trainium3.