Upstage ngày 15/7 cho biết sẽ cung cấp tính năng tóm tắt AI trên cổng thông tin Daum do công ty con AXZ vận hành. Dịch vụ được xây dựng trên mô hình ngôn ngữ lớn Solar của Upstage và bộ xử lý thần kinh Renegade của FuriosaAI.

Thông tin được công bố tại buổi tọa đàm có sự tham gia của CEO Upstage Kim Seong-hun, CEO AXZ Lee Geon-su và CEO FuriosaAI Baek Jun-ho. Phát biểu tại sự kiện, ông Kim gọi đây là trường hợp hợp tác đầu tiên kết nối toàn bộ chuỗi AI, từ hạ tầng, mô hình đến dịch vụ, bằng công nghệ nội địa.

Ba lãnh đạo đã gặp gỡ tại trụ sở AXZ ở Pangyo, Seongnam, tỉnh Gyeonggi để trao đổi về các trường hợp hợp tác và kế hoạch trong thời gian tới.

Theo Upstage, tóm tắt AI của Daum là tính năng sử dụng LLM để phân tích trực tiếp nội dung trên web và tổng hợp câu trả lời khái quát cho kết quả tìm kiếm. Khi người dùng nhập từ khóa vào ô tìm kiếm của Daum, hệ thống sẽ hiển thị phần tóm tắt những điểm chính kèm căn cứ tham chiếu. Nội dung cũng được cập nhật tự động khi nguồn thông tin thay đổi.

Ông Lee Geon-su cho biết tính năng này hiện xử lý khoảng 20% tổng lượng truy vấn. Theo ông, dịch vụ sẽ tiếp tục mở rộng sang các lĩnh vực chuyên biệt như mua sắm và tìm quán ăn, đồng thời Daum cũng đang chuẩn bị phổ cập mô hình “mỗi người dùng có một AI agent riêng”.

Daum bắt đầu thử nghiệm bản beta của tính năng tóm tắt AI từ ngày 1/7. AXZ dự kiến mở rộng phạm vi áp dụng trong năm nay để phát hành phiên bản chính thức.

Ông Lee cũng cho biết AXZ đã nâng cấp hệ thống “harness engineering” nhằm kiểm soát hiện tượng ảo giác của AI, đồng thời áp dụng mô hình tìm kiếm lai kết hợp giữa tìm kiếm theo từ khóa và tìm kiếm theo vector để đưa dữ liệu mới nhất có độ liên quan cao vào LLM Solar.

Về hạ tầng tính toán cho dịch vụ này, ông Baek Jun-ho cho biết hiện có ba nút (node) đang xử lý 500 triệu token mỗi ngày. Theo ông, FuriosaAI đang phát triển cả phần cứng lẫn phần mềm theo kiến trúc nền tảng, bao gồm trình biên dịch giúp ánh xạ mô hình AI lên bộ gia tốc hiệu quả hơn và hệ thống serving suy luận được tối ưu, qua đó đạt hiệu năng tương đương H200.

Ông Baek nói thêm rằng khi áp dụng NPU của FuriosaAI, hiệu quả tiết giảm chi phí suy luận có thể đạt từ 50% trở lên. Ông cũng nhấn mạnh trong bối cảnh địa chính trị quốc tế hiện nay, cần nhìn nhận chiến lược kết hợp giữa bán dẫn AI tự chủ, mô hình và dịch vụ.

Trong khi đó, CEO Kim Seong-hun đánh giá năng lực cạnh tranh của Solar đến từ hiệu năng đạt cấp độ hàng đầu thế giới nhờ cách tiếp cận tự thiết kế mô hình cỡ nhỏ, đồng thời tối ưu tốt cho tiếng Hàn. Ông cho biết Upstage sẽ tiếp tục nâng cao năng lực của các LLM nội địa để cạnh tranh với các mô hình của các tập đoàn công nghệ toàn cầu, đồng thời kêu gọi thị trường chú ý tới thế hệ mô hình tiếp theo mà công ty sắp công bố, bao gồm các dự án về mô hình nền tảng AI độc lập.