Ngày 23/9, theo giờ địa phương, Qualcomm cho biết sẽ mở rộng nền tảng phần mềm AI dựa trên công nghệ của Modular sang toàn bộ danh mục sản phẩm, bao gồm Snapdragon, nhằm thống nhất môi trường phần mềm cho nhiều loại chip AI.

Theo Qualcomm, khi phần cứng AI ngày càng đa dạng, chi phí và độ phức tạp trong việc phát triển phần mềm riêng cho từng kiến trúc cũng tăng theo. Mục tiêu của hãng là giảm gánh nặng này bằng một stack phần mềm thống nhất.

Phát biểu tại bài thuyết trình chính ở Snapdragon Summit, ông Chris Lattner, Phó chủ tịch cấp cao phụ trách phần mềm và nền tảng AI tiên tiến của Qualcomm, cho biết stack của Modular hiện hỗ trợ 6 kiến trúc đến từ 6 công ty trong cùng một nền tảng.

Ông Lattner đánh giá phần mềm vẫn là một trong những điểm nghẽn lớn nhất của ngành AI. Theo ông, stack phần mềm ở đây bao gồm ngôn ngữ lập trình, trình biên dịch và các thư viện cần thiết để chạy mô hình AI trên chip.

Ông cho rằng ngành công nghệ đang đầu tư mạnh cho phần cứng với nhiều hướng tiếp cận khác nhau, nhưng trở ngại lớn nhất vẫn nằm ở phần mềm. Trước đây, mỗi nhóm phát triển phần cứng gần như phải tự xây dựng stack từ đầu.

Điều đó khiến các nhà phát triển phải làm việc với nhiều stack khác nhau dù chức năng khá tương đồng. Mỗi stack lại có cách vận hành và điểm lỗi riêng, làm tăng độ phức tạp trong phát triển và triển khai.

Theo Qualcomm, các mô hình AI ngày càng phức tạp và đang dần mang đặc trưng của một bài toán hệ thống phân tán với nhiều lớp phụ thuộc. Chỉ một mắt xích yếu cũng có thể khiến sản phẩm mất lợi thế cạnh tranh.

Để giải quyết bài toán này, Qualcomm đã mua lại Modular vào tháng 6. Mục tiêu của thương vụ là xây dựng một lớp tính toán AI không phụ thuộc vào một chip cụ thể, có thể phủ từ thiết bị đầu cuối, thiết bị biên đến trung tâm dữ liệu.

Modular là công ty do ông Chris Lattner đồng sáng lập, nơi ông từng giữ cương vị CEO. Trong khoảng 4 năm rưỡi, công ty này đã phát triển một stack AI hợp nhất có thể vận hành trên nhiều loại phần cứng. Sau thương vụ, ông Lattner cũng gia nhập Qualcomm.

Theo giới thiệu của Qualcomm, stack của Modular gồm ba lớp là Mojo, MAX và Modular Cloud. Trong đó, Mojo là lớp nền thấp nhất, được phát triển như một ngôn ngữ lập trình hiệu năng cao cho phần cứng AI.

Mojo sử dụng cú pháp quen thuộc với Python nhưng cho phép kiểm soát phần cứng ở mức trực tiếp hơn, qua đó giúp tránh phải viết lặp lại cùng một tác vụ trên nhiều lớp ngôn ngữ. Trước đây, phần lớn nhà phát triển xây dựng mô hình bằng Python, nhưng do Python không tối ưu cho việc khai thác phần cứng nên để đạt hiệu năng cao, họ thường phải viết lại bằng C++ hoặc các ngôn ngữ cấp thấp như CUDA.

Tháng trước, Modular đã phát hành Mojo 1.0 và mở mã nguồn theo giấy phép Apache 2.0.

Lớp phía trên Mojo là MAX, một framework dùng để thiết kế, xây dựng và phục vụ mô hình AI. Trong ngữ cảnh này, “phục vụ mô hình” là giai đoạn vận hành mô hình đã được huấn luyện để phản hồi các yêu cầu từ người dùng.

Qualcomm cho biết MAX cho phép chạy các mô hình do nhà nghiên cứu phát triển trên phần cứng đích với hiệu năng cao, cả trong trung tâm dữ liệu lẫn trên PC. Cách tiếp cận này giúp đưa quá trình xây dựng mô hình và triển khai thực tế về cùng một stack phần mềm.

Ở lớp trên cùng, Modular Cloud hướng đến các doanh nghiệp triển khai AI ở quy mô lớn và cần năng lực tính toán đáng kể. Nền tảng này đảm nhiệm các tác vụ như cấp phát máy chủ, lập lịch, mở rộng, tối ưu và quản lý mức sử dụng, trong khi người dùng chỉ cần làm việc thông qua API và các công cụ quen thuộc.

Qualcomm cho biết gần đây Modular đã mở rộng phạm vi hỗ trợ từ GPU sang cả các bộ tăng tốc chuyên dụng cho trung tâm dữ liệu, với tổng cộng 6 kiến trúc. Điều này đồng nghĩa nhà phát triển không còn phải viết lại mã cho từng bộ tăng tốc riêng lẻ.

Bộ tăng tốc trung tâm dữ liệu của Qualcomm cũng nằm trong nhóm được hỗ trợ. Theo công ty, Modular đã triển khai stack của mình trên lớp phần mềm NPU của Qualcomm để áp dụng cho dòng bộ tăng tốc này.

Ngoài ra, Microsoft đang phối hợp với nhóm Modular của Qualcomm để hỗ trợ Mojo chạy trực tiếp trên Windows. Mục tiêu của Microsoft là giúp các nhà phát triển Windows có thể lập trình ở cấp hệ thống bằng cú pháp quen thuộc như Python nhưng vẫn đạt hiệu năng tối ưu.

Qualcomm cũng cho biết sẽ mở rộng stack của Modular sang các dòng sản phẩm ngoài trung tâm dữ liệu. Ông Lattner nói Qualcomm sở hữu danh mục nền tảng trải từ mức microwatt đến trên kilowatt, và hãng đang đưa toàn bộ nền tảng phần mềm của Modular lên hệ sinh thái sản phẩm của mình, trong đó có Snapdragon.