KAISTは9月4日、自然言語の質問をSQLに変換するText-to-SQLで発生する実行エラーを、SQL全体を再生成せず部分的に修正する技術「SafeQL」を開発したと発表した。誤り箇所のみを段階的に補正することで、LLMの再呼び出し回数を抑え、コストと処理時間の削減を図る。

開発したのは、キム・ミンス電算学部教授の研究チーム。SafeQLは、AIが生成したSQLに誤りが含まれていても、最初から作り直すのではなく、問題のある部分だけを特定して修正する仕組みだ。

近年は、「昨年最も売れた商品は何か」といった自然言語の問いをAIがSQLに変換し、企業の売上高や顧客、在庫データを検索するText-to-SQLの活用が広がっている。

一方で、AIがデータベースに存在しないテーブルやカラムを参照したり、結合条件を誤ったりすると、SQLが実行できなくなることがある。従来はこうした場合、SQL全体をLLMに再投入して生成し直す手法が一般的だった。

ただ、この方法では再生成のたびに新たなエラーが入り込む可能性があるうえ、LLMの利用回数が増えるほどコストと処理時間も膨らむという課題があった。

SafeQLは、データベースのエラー情報と内部情報を基に、誤りのある箇所だけを絞り込んで修正する。存在しないテーブルやカラム、欠落した結合、誤った関数や検索値などを段階的に補正する方式を採る。

研究チームはあわせて、複数の修正候補の中から、元のSQLに近い候補を優先的に検証する「Safe Query Space」手法を適用した。データ型が一致しない候補や関連性の低い候補を事前に除外することで、修正にかかる時間も短縮したとしている。

実装先には、オープンソースのデータベース管理システムであるPostgreSQLを採用した。部分修正だけでは対応が難しい場合に限ってLLMを再呼び出しし、不要な再実行を抑える構成とした。

性能は、国際的なText-to-SQLベンチマークのBIRDとSpiderで検証した。BIRDでは初期SQLの実行エラーを最大87.4％解消し、従来方式と比べてトークン使用量を最大15.1倍、修正時間を最大29.6倍削減した。Spiderでも実行精度91.7％を記録したという。

研究チームは、SafeQLが企業向けAIエージェントや自然言語によるデータ分析、ビジネスインテリジェンス、データ分析コパイロットなど幅広い分野で活用できるとみている。

キム・ミンス教授は「企業でAIが実務を担うには、必要なデータを正確に見つけ出すことが重要だ。SafeQLは、AIの誤りとコスト、時間を同時に減らせる技術だ」とコメントした。

今回の研究には、KAIST電算学部のイ・ゴノ研究員が筆頭著者として参加し、キム・ミンス教授が責任著者を務めた。研究成果は、米ボストンで開かれるデータベース分野の国際学会VLDBで発表される予定だ。