Startup AI của Đức Aleph Alpha vừa công bố Kolibri, mô hình ngôn ngữ lớn mới hướng đến các lĩnh vực đòi hỏi tiêu chuẩn cao về bảo mật và tuân thủ như khu vực công, công nghiệp và hàng không vũ trụ.

Theo Gigazine, Aleph Alpha giới thiệu Kolibri hôm 3/10, nhân Ngày Thống nhất Đức. Mô hình này sử dụng kiến trúc Mixture of Experts (MoE), có tổng cộng 78,1 tỷ tham số nhưng mỗi lần xử lý chỉ kích hoạt khoảng 3,46 tỷ tham số. Kolibri hỗ trợ tiếng Anh và tiếng Đức, với độ dài ngữ cảnh tối đa 1 triệu token.

Aleph Alpha xác định các lĩnh vực như hành chính công, sản xuất và hàng không vũ trụ là thị trường trọng tâm, do đây là những ngành có yêu cầu cao về bảo mật và tuân thủ quy định. Công ty cho biết trong các bài đánh giá nội bộ về toán học, lập trình, xử lý văn bản dài và tác vụ dạng agent, Kolibri đạt hiệu năng tương đương một số mô hình open-weight có số tham số kích hoạt lớn hơn tới 4 lần. Tuy vậy, đây là số liệu do chính Aleph Alpha công bố.

Một trọng tâm trong chiến lược của công ty là chủ quyền AI. Aleph Alpha cho biết mô hình được phát triển tại Đức và huấn luyện trên hạ tầng đặt tại Đức và Phần Lan. Toàn bộ quy trình, từ chọn lọc dữ liệu, tiền huấn luyện, hậu huấn luyện đến tối ưu hóa, đều được thực hiện bằng pipeline riêng của công ty. Doanh nghiệp cũng có thể triển khai mô hình trong môi trường riêng để tự điều chỉnh chi phí, độ trễ và năng lực suy luận.

Để giảm hiện tượng “ảo giác”, Aleph Alpha áp dụng phương pháp huấn luyện Merlin-Arthur. Theo công ty, mô hình được thiết kế để không đưa ra câu trả lời khi thiếu căn cứ từ tài liệu được cung cấp. Cách tiếp cận này được kỳ vọng giúp tăng mức độ bám sát nguồn của câu trả lời trong các ngành chịu giám sát chặt.

Aleph Alpha cũng nhấn mạnh năng lực xử lý tiếng Đức của Kolibri. Trong tập dữ liệu tiền huấn luyện gồm 20 nghìn tỷ token, tiếng Đức chiếm 21,3%. Công ty đồng thời phát triển bộ tokenizer riêng cho tiếng Đức và tiếng Anh, đồng thời giảm mức độ phụ thuộc vào dữ liệu dịch.

Trọng số và tệp cấu hình của Kolibri đã được công bố trên Hugging Face theo giấy phép Apache 2.0. Dù vậy, mã huấn luyện, kiến trúc mô hình và toàn bộ phương pháp huấn luyện vẫn chưa được công khai hoàn toàn dưới dạng mã nguồn mở.