Google ngày 12/8 (giờ địa phương) công bố SL2T, mô hình AI có khả năng chuyển ngôn ngữ ký hiệu thành văn bản, đồng thời cho biết tính năng này sẽ được triển khai trước tiên trên Pixel 11.

Theo SiliconANGLE, SL2T cho phép người khiếm thính và người nghe kém ra ký hiệu trước camera smartphone để hệ thống chuyển thành văn bản. Phiên bản đầu tiên của mô hình hỗ trợ chuyển ngôn ngữ ký hiệu Mỹ sang tiếng Anh.

Với SL2T, người dùng có thể tìm kiếm trên web mà không cần gõ bàn phím, soạn email hoặc tin nhắn, chỉnh sửa tài liệu, đặt câu hỏi cho Gemini hay ra lệnh thực hiện tác vụ. Khi kết hợp với Live Transcribe, hệ thống cũng cho phép người dùng phản hồi bằng ngôn ngữ ký hiệu trong các cuộc trò chuyện trực tiếp.

Google ước tính hiện có khoảng 70 triệu người khiếm thính và người nghe kém trên toàn cầu. Theo hãng, cộng đồng này sử dụng hơn 200 ngôn ngữ ký hiệu, nhưng từ trước đến nay chưa được các hệ thống AI hỗ trợ tương xứng. SL2T được phát triển nhằm giúp họ tương tác với smartphone bằng chính ngôn ngữ ký hiệu.

Trong quá trình huấn luyện, SL2T sử dụng hơn 100.000 giờ dữ liệu về hơn 50 ngôn ngữ ký hiệu, trong đó khoảng 1/4 là dữ liệu ngôn ngữ ký hiệu Mỹ. Dù vậy, ở giai đoạn phát hành đầu tiên, hệ thống mới chỉ hiểu ngôn ngữ ký hiệu Mỹ. Google cho biết việc huấn luyện đồng thời nhiều ngôn ngữ ký hiệu giúp mô hình học được các mẫu cấu trúc chung giữa các ngôn ngữ.

Về cách vận hành, SL2T theo dõi vị trí khuôn mặt, bàn tay, cánh tay và thân người thông qua MediaPipe Holistic chạy trên thiết bị. Thay vì tải toàn bộ video lên máy chủ, hệ thống chỉ gửi dữ liệu tọa độ lên đám mây. Theo Google, cách tiếp cận này vừa nhanh hơn, vừa an toàn hơn vì không phải truyền video thực.

Google cho biết SL2T chuyển trực tiếp động tác ngôn ngữ ký hiệu thành văn bản mà không cần qua lớp chú giải trung gian gọi là gloss. Mô hình cũng được tối ưu để giảm độ trễ, hạn chế nguy cơ nhận diện sai các chuyển động không phải ngôn ngữ ký hiệu, đồng thời hỗ trợ người thuận tay trái và các ngôn ngữ ký hiệu dùng một tay.

SL2T đạt 70 điểm BLEURT trên bộ benchmark FLEURS-ASL. Google cũng đã thành lập hội đồng tư vấn AI về ngôn ngữ ký hiệu với sự tham gia của các tổ chức người khiếm thính và chuyên gia, nhằm hỗ trợ quá trình triển khai có trách nhiệm cũng như cùng xây dựng báo cáo về tính năng và các giới hạn hiện nay của SL2T. Trong thời gian tới, hãng cho biết sẽ tiếp tục mở rộng số ngôn ngữ ký hiệu được hỗ trợ và phát triển thêm mô hình tạo ngôn ngữ ký hiệu.