The Information dẫn nguồn thạo tin cho biết Nvidia đang phát triển mô hình ngôn ngữ lớn nguồn mở Nemotron 4, trong bối cảnh hãng đẩy mạnh đầu tư vào AI nguồn mở.

Theo nguồn tin của The Information, Nemotron 4 có thể vượt mốc 1 nghìn tỷ tham số, gần gấp đôi quy mô của Nemotron 3 Ultra ra mắt hồi tháng 6.

Dù mốc 1 nghìn tỷ tham số không thua kém các mô hình nguồn mở quy mô lớn của Trung Quốc, Nvidia được cho là đặt trọng tâm vào công nghệ nén để những mô hình nhỏ hơn vẫn có thể đạt hiệu năng cao.

Cũng trong ngày 11/8, Nvidia công bố Nemotron 3.5 Lightning, một mô hình cỡ nhỏ được tối ưu cho tác nhân AI. Hãng đồng thời phát hành phần mềm định tuyến mô hình miễn phí, cho phép doanh nghiệp tự động chọn mô hình có chi phí thấp nhất và phù hợp nhất cho từng tác vụ.

The Information nhận định việc tăng tốc với AI nguồn mở đang đặt Nvidia vào thế khó. Công ty vừa phải cạnh tranh với các startup AI nguồn mở mà họ đã rót vốn, vừa đối đầu với những tên tuổi lớn như OpenAI, hiện là khách hàng lớn nhất của Nvidia. Nvidia được cho là đã đầu tư 30 tỷ USD vào OpenAI.

Trong email gửi The Information, Kory Brisky, Phó chủ tịch phụ trách AI tạo sinh của Nvidia, cho biết: “Chúng tôi đầu tư vào Nemotron vì tin rằng mọi doanh nghiệp và mọi quốc gia đều cần những mô hình nguồn mở tiên phong, dễ tiếp cận để bảo đảm an toàn và thúc đẩy đổi mới”.

Liên minh Nemotron hiện có sự tham gia của Reflection, Cursor, Thinking Machines Lab và Mistral. Cũng theo The Information, Prime Intellect đã cung cấp 300.000 môi trường mô phỏng phục vụ quá trình huấn luyện mô hình.