「変更しました」と言われたら、本当に終わっている？

「配送先を変更して」と頼んだ後に「変更しました」と返ったとします。住所を聞き取っただけか、注文記録まで変わったかは別の問題です。これは架空例です。

用事全体を測るτ-Voice

τ-Voiceは、音声エージェントが複数領域のタスクをどこまで完了するかを調べるベンチマークです。音声利用者をシミュレーションし、会話の後に環境状態を評価します。論文の278はタスク数で、278人の実生活調査ではありません。英語音声合成などの利用者シミュレーションを用い、未実行なのに完了したと告げる問題も分析しています。自然な返答だけでなく、実際の状態が変わったかを確認する必要があります。

確認は正確さと時間の両方に関わる

τ-Elicitationは、氏名・住所・日付などを音声で正確に集める200課題のベンチマークです。利用者役は協力的なシミュレーションで、値を尋ねられてから答え、求められれば正しく綴り、読み返しにも確認・訂正で応じます。その発話音声にはElevenLabsの合成音声が使われました。研究者は、確認方法をエージェントに任せる条件と、綴り確認・読み返し・訂正・確認の手順を指定する条件を比べました。指定手順では頑健な成功率が14〜31ポイント上がる一方、通話時間は21〜28秒延びました。確認済みの誤りでも実際に修復されたのは24〜37%で、確認したことと正しく記録できたことは同じではありません。これは模擬利用者・合成音声のベンチマークであり、実際の電話利用者を調査した結果ではありません。すべてのサービスや話者に同じ結果が当てはまるとも限りません。

「話せた」から「終わった」までを分ける

τ-Voiceとτ-Elicitationは、どちらも音声エージェントを評価しますが、焦点は異なります。τ-Voiceは複数の領域でタスクが完了したかを調べる一方、τ-Elicitationは正確に記録する必要のある値をどのように聞き取り、確認して修正するかを詳しく扱います。前者からは会話後の状態確認、後者からは確認のための会話自体にかかる労力を考えられます。課題数やスコアを直接比較して、どちらのシステムが優秀かを決める設計ではありません。

確認の回数を増やせば誤入力を減らせる可能性がありますが、毎項目を繰り返すと利用者が疲れたり、電話や会話が長引いたりします。反対に一度も読み返さなければ、数字や否定語の誤りを見つけられないかもしれません。住所や日付など誤りの影響が大きい箇所だけ確認する、聞き返しの理由を簡潔に説明する、本人が「違う」と言った後に訂正経路を用意する、といった工夫は研究から考えられる論点です。個々の利用者に適した回数は、このベンチマークだけでは決まりません。

ここからは当サイトの考察

注文先変更なら、聞き取り、対象確認、実行、結果表示、訂正や取消までを一続きで見ます。変更後の値と処理状態が示され、誤りを戻せる設計が望ましいでしょう。取消機能が現行製品にあるという意味ではなく、当サイトの提案です。タイマーと金銭・配送の変更では必要な確認も異なります。音声で完了と聞いただけで済ませず、公式アプリや注文記録で反映を確かめる方法を用意してください。