まだ考えているのに、AIが話し始める

「明日の……午後に」と予定を思い出している途中で、相手が続きを待たずに話し始めたら、話し手は考えをまとめ直す必要があります。これは説明用の架空の場面で、実際の利用者の体験談ではありません。音声AIでは、返答の速さだけでなく、沈黙を考え中と受け取るか、発話終了と受け取るかも使いやすさに関わります。

研究が扱ったこと

J-Moshiは、日本語で全二重の音声対話モデルを構築した研究です。全二重とは、相手の声を聞きながら応答を組み立て、相づちや発話の重なりを扱う方式です。従来の逐次対話では、利用者の発話が終わったと機械が判断してから応答します。自然な会話には、短い相づちや重なりがあり、単純な交代制だけでは間合いを表しにくいという課題があります。

論文では、日本語対話音声を用いた事前学習と、品質を整えたステレオ音声での追加学習を行い、合成対話データも利用しています。著者らは日本語の基準モデルと比べ、自然さと意味のある応答について評価上の改善を報告しました。これはモデル間の実験であり、家庭で暮らす人々の長期利用試験ではありません。

学習には、話者の区別を付けて対話データ化したJ-CHAT約6万9千時間を用い、別々のチャンネルで二人の声を記録した日本語対話344時間で全二重の応答を調整しました。さらに、文章からマルチストリーム音声合成で作った602時間を加えた拡張モデルも比較しています。評価では709個の音声断片から冒頭10秒を提示し、続く20秒を生成させました。人による評価は、その中から各モデル50断片を選び、計125人の評価者が自然さと意味の分かりやすさを5段階で評価する設計です。125人は研究参加者が実生活でAIと会話した人数ではなく、生成音声の評価者です。

J-Moshiは比較モデルdGSLMより自然さの平均評価が高く（2.67対2.44）、意味の分かりやすさも高い評価でした（2.19対1.76）。合成音声を加えたJ-Moshi-extでは意味の評価が2.30となり、J-Moshiより改善しました。一方、実際の音声を再合成した比較条件は自然さ3.90、意味3.92、元の音声は4.46、4.45で、生成モデルにはなお差がありました。709は生成音声の評価断片数であり、実際の会話相手の人数ではありません。評価課題は短い音声から対話を続ける実験で、利用者が考えている間にシステムが待つかを直接測ったものではありません。

速さと待つことは別の目標

短い確認なら即答が便利でも、考えながら言葉を探す場面では沈黙に余白を残すほうが役立つかもしれません。一方、長く待たれると、応答が止まったように感じる人もいます。システムは文脈や声の変化、間の長さなどから判断しますが、誤判断を完全になくせるとは限りません。相づちも聞いている合図になりますが、多すぎれば発話を遮ります。

研究の評価と、暮らしの対話の違い

論文の「自然さ」や「意味のある応答」は、モデルの出力を条件をそろえて比較する評価です。沈黙を何秒待つと本人が考えやすいか、相づちをどれほど心地よく感じるか、話し始めた後に割り込みを止められるかを、生活場面で長期的に確かめた評価とは異なります。発話の間が長い理由も、言葉を探している、息を整えている、周囲の音を確認しているなど、人によって違います。単一の待ち時間を全員に当てはめれば、待ちすぎと割り込みの両方が起こり得ます。

また、全二重の応答は相手の声を聞きながら話し始めるため、従来方式より自然な重なりを作れる一方、利用者の発話を誤って遮る可能性もあります。設計を比べるときは、短い質問への応答時間と、思案中の発話が守られるかを別の評価軸にする必要があります。研究モデルの自然さ評価から、特定サービスで割り込みを無効にできると推測することもできません。

ここからは当サイトの考察

読み上げ速度だけでなく、返答を始める間、途中で止めたり言い直したりできるか、聞き返しが責めるように響かないかを別々に見るのがよさそうです。これは論文が直接検証した結論ではなく、研究から導く編集上の提案です。J-Moshiは市販製品の性能や、年齢・障害・話し方の異なる全利用者の待機性能を保証しません。実際に使うサービスで開始・停止・言い直しの方法を確認してください。

音声アシスタントの全体像と選び方もご覧ください。