Krafton ngày 29/7 cho biết đã công bố A.X K2 Raon-Speech, mô hình AI giọng nói nền tảng của hãng, trên nền tảng AI toàn cầu Hugging Face. Công ty cho biết công nghệ này sẽ được dùng làm nền tảng để nâng cấp CPC (Co-Playable Character), tức các nhân vật đồng hành trong game.

Theo Krafton, A.X K2 Raon-Speech là kết quả từ giai đoạn nghiên cứu thứ hai của công ty trong quá trình tham gia dự án phát triển mô hình AI nền tảng nội địa do Bộ Khoa học và ICT của Hàn Quốc chủ trì phối hợp với SK Telecom. Dựa trên mô hình ngôn ngữ cỡ nhỏ A.X K2 của SK Telecom, Krafton đã tích hợp bộ mã hóa giọng nói và codec do hãng tự phát triển, qua đó cho phép mô hình trực tiếp hiểu và tạo giọng nói.

Điểm cốt lõi của mô hình nằm ở khả năng xử lý trực tiếp tín hiệu giọng nói, thay vì phải chuyển giọng nói thành văn bản rồi mới tạo lại âm thanh như cách làm trước đây. Theo Krafton, cách tiếp cận này giúp giảm thất thoát cảm xúc và ngữ điệu trong giọng nói của người dùng.

Công ty cho biết đã tự huấn luyện bộ mã hóa giọng nói để chuyển giọng nói của con người thành dữ liệu mà AI có thể xử lý, đồng thời phát triển codec giọng nói nhằm tái tạo âm thanh tự nhiên. Hệ thống cũng được thiết kế để duy trì năng lực xử lý văn bản của mô hình ngôn ngữ, đồng thời giữ kết nối ổn định giữa đầu vào và đầu ra bằng giọng nói, qua đó bảo toàn tông giọng và cảm xúc.

A.X K2 Raon-Speech có quy mô 21B, tương đương 21 tỷ tham số. Theo Krafton, trong nhóm các mô hình ngôn ngữ giọng nói công khai dưới 30B tham số, mô hình này đứng đầu ở hạng mục tổng hợp giọng nói tiếng Hàn và xếp thứ ba ở tiếng Anh. Kết quả được đưa ra sau 46 bài kiểm thử, gồm 24 bài tiếng Hàn và 22 bài tiếng Anh, trải rộng trên 6 lĩnh vực: nhận dạng giọng nói, tổng hợp giọng nói, hiểu giọng nói, hỏi đáp bằng giọng nói, hỏi đáp bằng văn bản và khả năng gọi công cụ.

Trước đó, vào tháng 4, Krafton đã ra mắt thương hiệu AI mang tên Raon và công bố mã nguồn mở cho 4 dòng mô hình, gồm mô hình ngôn ngữ giọng nói, mô hình hội thoại giọng nói thời gian thực, mô hình chuyển đổi văn bản thành giọng nói và bộ mã hóa thị giác. Theo công ty, A.X K2 Raon-Speech là phiên bản được nâng cấp từ các công nghệ nền tảng này.

Lee Kang-wook, Giám đốc AI của Krafton, cho biết A.X K2 Raon-Speech là kết quả của quá trình nghiên cứu và cải tiến liên tục các công nghệ AI nền tảng. Ông nhấn mạnh công ty sẽ tiếp tục nâng cấp năng lực AI phục vụ game nhằm tạo ra những trải nghiệm mới.

Krafton cho biết sẽ ứng dụng các công nghệ AI giọng nói tích lũy từ nghiên cứu này để nâng cấp CPC trong game. Mục tiêu là thoát khỏi cách phát thoại theo kịch bản cố định, tiến tới môi trường nơi nhân vật AI có thể nhận biết giọng nói và ý định của người chơi theo thời gian thực, từ đó tương tác bằng giọng nói phù hợp với ngữ cảnh.