Khi Agentic AI chuyển từ vai trò hỗ trợ sang trực tiếp lập kế hoạch và thực thi tác vụ trong quy trình phát triển, câu hỏi về độ tin cậy không thể tiếp tục bị bỏ ngỏ. Với các hệ thống tác tử có khả năng suy luận qua nhiều miền, gọi công cụ kỹ thuật và lặp tác vụ liên chức năng, yêu cầu về an toàn, hiệu năng và khả năng kiểm chứng trở nên khắt khe hơn bao giờ hết.

Vấn đề nằm ở chỗ, nếu AI tham gia vào khâu lập kế hoạch, thực thi và lặp lại tác vụ, thì một kết quả có vẻ đúng ở cấp thành phần vẫn có thể dẫn tới hành vi ngoài ý muốn ở cấp hệ thống. Nguyên nhân là tương tác giữa các cấu phần có thể tạo ra lỗi chỉ xuất hiện khi tích hợp.

Đối với các sản phẩm định nghĩa bằng phần mềm, rủi ro này không đơn thuần đến từ việc AI “tự hành động”. Cốt lõi của vấn đề là quy trình kỹ thuật hiện tại không thể biểu đạt hành vi ở cấp hệ thống theo cách có thể thực thi và kiểm chứng.

Hiện nay, hơn 1/5 các đợt triệu hồi ôtô có liên quan đến thay đổi phần mềm. Tình trạng tương tự cũng xuất hiện ở nhiều hệ thống định nghĩa bằng phần mềm khác. Chẳng hạn, một thay đổi về timing có thể vượt qua unit test nhưng vẫn gây lỗi khi tích hợp vào một vòng điều khiển lớn hơn vốn phụ thuộc vào hành vi ban đầu.

Theo ông Kim Young-woo, nguyên nhân là trong quá trình hệ thống liên tục phát triển, hành vi ở cấp hệ thống không được đánh giá nhất quán.

Để xây dựng niềm tin vào Agentic AI, các nhóm kỹ thuật cần áp dụng System-First Engineering. Đây là cách tiếp cận đặt hành vi ở cấp hệ thống làm ưu tiên ngay từ đầu quá trình phát triển và được hiện thực hóa thông qua thiết kế dựa trên mô hình (Model-Based Design).

Thay vì bàn giao giữa các nhóm dựa trên giả định, việc cùng sử dụng một mô hình hệ thống có thể thực thi sẽ tạo ra chuẩn tham chiếu chung ở cấp hệ thống cho cả kỹ sư và Agentic AI. Mô hình này trở thành chuẩn hành vi thống nhất cho cơ khí, điện và phần mềm, giúp AI bám theo một quy trình kỹ thuật đã được kiểm chứng, thay vì chỉ xử lý các yêu cầu mang tính trừu tượng.

Nhờ đó, ngay cả khi quá trình phát triển được mở rộng sang nhiều nhóm và nhiều chức năng, cách diễn giải hành vi vẫn có thể được duy trì thống nhất.

System-First Engineering không chỉ tạo ra một môi trường có cấu trúc để Agentic AI vận hành mà còn giúp giảm rủi ro phát sinh ngoài ý muốn. Các nhóm đi đầu hiện đã ảo hóa hệ thống từ trước khi phần cứng tồn tại và liên tục đánh giá mô hình hệ thống thông qua các quy trình tự động.

Cách tiếp cận này chủ yếu được triển khai bằng pipeline CI/CD và mô phỏng vòng kín.

Agentic AI có thể đẩy nhanh quy trình phát triển bằng cách điều phối, đồng thời trực tiếp thực hiện các tác vụ như mô hình hóa, kiểm thử và xác minh. Quá trình này diễn ra trên cơ sở gọi các phần có thể tự động hóa trong Model-Based Design và tuân theo quy trình đã được định nghĩa sẵn cho từng bước thực thi.

Trong môi trường như vậy, các thay đổi do agent tạo ra sẽ được đánh giá sớm theo chuẩn hành vi ở cấp hệ thống, trước khi dẫn tới lỗi tích hợp ở giai đoạn muộn. Kỹ sư vẫn là người giám sát quy trình và kết quả của agent, đồng thời chịu trách nhiệm phê duyệt cuối cùng cho Verification and Validation (V&V).

Nhờ đó, việc thực thi dựa trên AI không còn dựa vào từng kết quả rời rạc mà được đặt trên một nền tảng kiểm soát ở cấp hệ thống.

Kiểm chứng xác định là nền tảng của niềm tin

Niềm tin vào Agentic AI bắt nguồn từ tính lặp lại. Mà tính lặp lại chỉ có thể đạt được khi hệ thống có cơ chế kiểm chứng mang tính xác định, tức tạo ra bằng chứng nhất quán, có thể kiểm toán để phục vụ truy vết và rà soát an toàn.

Các nhóm áp dụng System-First Engineering sử dụng “đặc tả có thể thực thi” xuyên suốt từ kiến trúc, thiết kế đến tạo mã và kiểm thử, thay cho các tài liệu dễ dẫn đến cách hiểu khác nhau. Nhờ vậy, mọi thay đổi do agent thực hiện đều có thể được đánh giá theo cùng một chuẩn hành vi ở cấp hệ thống.

Trong khi phần mềm có thể được lặp và cập nhật hằng ngày, phần cứng thường cần vài tuần đến vài tháng. Vì vậy, phụ thuộc hoạt động kiểm chứng vào phần cứng là cách làm không thực tế.

Thay vào đó, nhóm kỹ thuật có thể chạy mô phỏng liên tục trên mô hình hệ thống đã xây dựng để giảm phụ thuộc vào các bài kiểm thử phần cứng tốn kém. Mọi thay đổi về phần mềm, kiến trúc và logic điều khiển đều được kiểm chứng theo cách xác định dựa trên mô hình thể hiện toàn bộ hệ thống.

Cách làm này giúp phát hiện sớm các lỗi ở cấp hệ thống, như không đáp ứng mục tiêu timing hoặc sử dụng bộ nhớ vượt mức, trước khi bước sang giai đoạn phần cứng. Một nền tảng kiểm chứng có thể lặp lại cũng cho phép đội ngũ tiếp tục rà soát và chứng nhận các thay đổi do Agentic AI tạo ra ngay cả khi độ phức tạp công việc tăng lên.

Agentic AI phải vận hành trong một hệ thống đã được kiểm chứng

Khi niềm tin đã được thiết lập thông qua kiểm chứng xác định, câu hỏi tiếp theo là Agentic AI sẽ hoạt động như thế nào trong môi trường đó. Theo bài viết, Agentic AI vận hành bên trong quy trình kỹ thuật, xử lý các đầu ra như mô hình hệ thống, mô hình thành phần, test case và các biến thể kịch bản, trong đó nhiều hạng mục có thể được tạo ra bằng AI tạo sinh.

Agentic AI cũng có thể tham gia tạo ra những đầu ra này, nhưng vai trò cốt lõi vẫn là xử lý chúng ngay trong quy trình nơi mọi thay đổi đều phải được kiểm chứng. Ví dụ, khi agent điều chỉnh một tham số timing, thay đổi đó có thể vượt qua kiểm thử cục bộ, nhưng một bộ điều khiển con vốn được tinh chỉnh theo tốc độ tín hiệu ban đầu vẫn có thể diễn giải sai tín hiệu sau khi thay đổi.

Để ngăn các lỗi dạng này, Agentic AI cần vận hành trong một quy trình tách bạch giữa khâu tạo sinh và khâu thực thi. Nói cách khác, Agentic AI phải nâng mức tự động hóa cho quy trình Model-Based Design sẵn có, bao gồm mô phỏng, tạo mã, phân tích và kiểm thử.

Các quy trình này có thể được triển khai bằng những công cụ như Simulink Agentic Toolkit. Trong đó, vai trò của System-First Engineering là xác định những gì có thể thực thi và kiểm chứng; còn Agentic AI sẽ quyết định khi nào và bằng cách nào áp dụng các bước tự động hóa.

Việc đưa System-First Engineering và Agentic AI vào quy trình kỹ thuật thường diễn ra theo lộ trình. Thông thường, kỹ sư bắt đầu với một tính năng và một nhóm, xác minh mô hình hệ thống bằng mô phỏng và kiểm thử tự động, sau đó mới mở rộng sang các nhóm lân cận.

Agentic AI sẽ tạo và đánh giá thay đổi, còn bước kiểm chứng bảo đảm các thay đổi đó đã được thử nghiệm trước khi chuyển sang giai đoạn tiếp theo. Nhiều tổ chức cũng xây dựng một môi trường khởi đầu chung, cung cấp cùng một pipeline CI/CD và cùng một lớp kiểm soát kiểm chứng cho mọi nhóm, nhằm tránh tình trạng triển khai manh mún, nơi mô hình chỉ hoạt động trong phạm vi một nhóm và không được khai thác xuyên suốt CI/CD hay giữa các miền kỹ thuật.

Môi trường chung này giúp bảo đảm Agentic AI không bị đưa vào vận hành trong trạng thái tách rời ngay từ đầu, mà hoạt động trong một ngữ cảnh nhất quán ở cấp hệ thống. Nhờ đó, doanh nghiệp có thể mở rộng ổn định mà không làm phân mảnh quy trình, đồng thời tạo nền tảng cần thiết để xây dựng niềm tin cho việc thực thi dựa trên AI.

Theo ông Kim Young-woo, việc mở rộng phát triển sản phẩm định nghĩa bằng phần mềm sẽ thất bại nếu doanh nghiệp chỉ xem một miền đơn lẻ là “hệ thống”, thay vì nhìn toàn bộ hoạt động kỹ thuật như một hệ thống thống nhất. Niềm tin vào Agentic AI cũng sẽ sụp đổ trong chính điều kiện đó.

Ông nhấn mạnh, để tạo ra sản phẩm vững chắc luôn cần những nguyên tắc không thể thỏa hiệp, và nay các nguyên tắc ấy cũng phải được áp dụng tương tự với Agentic AI.

“Nếu không phải là mô hình có thể thực thi, đó chỉ là ý kiến. Mã nguồn có thể định nghĩa hành vi của từng cấu phần, nhưng chỉ mô hình hệ thống có thể thực thi mới cung cấp một chuẩn chung cho thấy các cấu phần tương tác với nhau như thế nào ở cấp hệ thống”, ông cho biết.

Theo ông, nếu một thay đổi không vượt qua kiểm chứng trên mô hình toàn hệ thống, thay đổi đó không nên được áp dụng. Một thay đổi vượt qua kiểm thử cục bộ vẫn có thể gây hồi quy ở phần khác của hệ thống.

Tương tự, nếu hành vi chưa được kiểm chứng bằng mô phỏng phản ánh đúng điều kiện vận hành thực tế, mọi đánh giá khi đó vẫn chỉ là suy đoán. Những chế độ hỏng hóc (failure mode) tiềm ẩn sẽ chỉ bị phát hiện muộn ở giai đoạn kiểm thử phần cứng hoặc khi vận hành thực tế, nơi chi phí làm lại là rất lớn.

Nếu yêu cầu không được liên kết với mô hình, bài kiểm thử và dữ liệu, tính nhất quán với triển khai hệ thống sẽ bị phá vỡ. Khi đó, doanh nghiệp sẽ khó truy vết mô hình hay bài kiểm thử nào đang xác minh từng yêu cầu, và hành vi triển khai thực tế có thể lệch khỏi ý định ban đầu.

Ông cũng cho rằng, nếu thay đổi do agent dẫn dắt không thể được kiểm chứng thông qua mô hình có thể thực thi, phân tích xác định và rà soát của con người, thay đổi đó không nên được chấp nhận. Nếu thiếu lớp kiểm chứng này, khâu rà soát và phê duyệt sẽ không thể giải thích rõ điều gì đã thay đổi, vì sao thay đổi và liệu thay đổi đó có đáp ứng yêu cầu ở cấp hệ thống hay không.

Trong mô hình này, kỹ sư vẫn giữ quyền kiểm soát đối với các thay đổi do agent tạo ra, rà soát kết quả trên nền tảng cấp hệ thống và đưa ra phê duyệt cuối cùng. Khi xảy ra sự cố, cũng như với mọi vấn đề kỹ thuật khác, nhóm phát triển sẽ truy vết, chẩn đoán và sửa lỗi thông qua mô hình và kiểm thử trước khi chuyển sang bước tiếp theo.

“Những đội ngũ có đủ công cụ, quy trình và thực hành để kỹ nghệ hóa hệ thống có thể đưa Agentic AI vào mà không đánh mất mức độ chắc chắn ở cấp hệ thống, đồng thời cung cấp các sản phẩm định nghĩa bằng phần mềm đáng tin cậy. Ngược lại, các đội ngũ không chuẩn bị đầy đủ có thể chạm tới giới hạn của hành vi tác tử ở các giai đoạn tích hợp, chứng nhận hoặc thậm chí là triệu hồi”, ông Kim Young-woo kết luận.