JP4517260B2 - 自動通訳システム、自動通訳方法、および自動通訳用プログラムを記録した記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、言語の異なる話者間での対話を通訳することを目的とした自動通訳システム、自動通訳方法、および自動通訳用プログラムを記録した記憶媒体に関し、特に、通訳中のある発話の通訳が受け手にとって理解不能である場合でも利用者間の意志疎通を回復するように誘導することができる自動通訳システム、自動通訳方法、および自動通訳用プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
言語の異なる話者間の通訳を対象とした自動通訳では、従来、音声による発話入力、および音声によるその通訳出力をめざした研究開発が、その基盤技術である音声認識、自動翻訳、音声合成の各分野においてそれぞれ進められてきた。近年、これらの各分野における進歩によって自動通訳の性能も着実に向上し、自動通訳の実用化に向けた研究開発が国内外で活発化している。このような自動通訳技術は、実用上、様々な状況、話者、会話内容で利用されることが想定されるため、これらの利用環境によらずに安定した高い性能を発揮することが要求される。
【０００３】
このような頑健性の問題を解決するための手法として、話者とシステムの間に対話手段を備え、音声認識や翻訳に誤りや失敗が生じた場合に、利用者が誤りを判断し訂正するような方式や、認識結果や翻訳結果の誤りの自動検出、認識結果の音声による提示、翻訳結果の逆翻訳による提示など、誤りの確認に関する利用者の負担を軽減するような方法がすでに多数提案されている。
【０００４】
前者に関しては、たとえば特開平09-258776号公報において、自動翻訳の入力文中に含まれる誤りを、利用者が前編集によって訂正するという方法が記載されている。この方法では、利用者自身が誤りを確認するため、誤りを確実に除去することが可能である。
【０００５】
また、後者に関しては、たとえば特開平06-203069号公報において、翻訳前の文章の文法的なチェックを行って、発見されたエラー文章の原因とそれを修正するための指示を提示することによって、翻訳結果の修正に要する利用者の負担を軽減する方法が記載されている。
【０００６】
【発明が解決しようとする課題】
従来、自動通訳の分野においては、音声認識結果や翻訳結果の妥当性を判定し誤りを訂正するための様々な方法が研究・提案されており、認識結果や翻訳結果の妥当性を自動判定する技術も存在するが、未だに十分な精度と被覆率を達成するに至っておらず、このため、誤り訂正に関する提案の多くは、最終的な誤りの判断と訂正を話者自身が行わなければならない。
【０００７】
たとえば、通訳を用いた対話中に、利用者が相手話者の発話の通訳結果を理解できない場合、その原因は現在の発話の通訳誤りか、それ以前の発話の通訳誤りによって誤解が生じたことによると考えられる。この場合、会話の流れや意味伝達を速やかに回復するためには、このような対話状況を正しく判断し、適切な対処を行うことが不可欠である。
【０００８】
しかし、利用者が相手話者の言語をほとんど理解できない場合、もしくは自動通訳システムの利用経験が乏しい場合には、利用者自身に対話状況や対処方法の適切な判断を期待することは非常に難しく、また、最終的な誤りの判断と対処法を話者自身に委ねる従来の方法では、話者自身がある程度の相手言語に関する知識を有し、かつ自動通訳の利用経験がある場合に限られてしまうという問題がある。
【０００９】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、自動通訳システムにおいて、利用者が相手話者の発話の通訳結果を理解できない場合に、対話状況を適切に判断し適切な対処方法を具体的に提示することが可能な自動通訳システム、自動通訳方法、および自動通訳用プログラムを記録した記憶媒体を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明は、話し手話者の発話を入力する入力手段と、入力された発話を認識し、所定の言語に通訳する通訳手段と、通訳結果を受け手話者に出力する出力手段とを少なくとも有する自動通訳装置において、入力された前記発話の通訳結果に対して、通訳の妥当性を判断して通訳信頼度を求める手段と、通訳結果の内容理解の程度を前記受け手話者に通訳理解度として入力させる手段と、各々の前記発話に対して前記通訳信頼度と前記通訳理解度とを通訳履歴情報として記録保持する通訳履歴管理手段と、ある発話の通訳結果が前記受け手話者にとって理解不能である場合に、前記通訳履歴管理手段に記憶された前記発話及びそれ以前の発話に対する前記通訳信頼度と前記通訳理解度との組み合わせを予め定めた類型に当てはめることにより、現在の対話状況が、前記発話の通訳結果において誤りが生じている状況であるか、もしくは、それ以前の発話の通訳結果において誤解が生じている状況であるかを判断する対話状況判断処理手段と、を備えたものである。
【００１１】
本発明の自動通訳方法は、話し手話者の発話を入力し、入力された発話を認識し、所定の言語に通訳した後、通訳結果を受け手話者に出力する自動通訳装置を用いた自動通訳方法であって、前記自動通訳装置は、入力された前記発話の通訳結果に対して、通訳の妥当性を判別して通訳信頼度を求めると共に、通訳結果の内容理解の程度を前記受け手話者に通訳理解度として入力させ、各々の前記発話に対して前記通訳信頼度と前記通訳理解度とを通訳履歴情報として記録保持し、ある発話の通訳結果が前記受け手話者にとって理解不能である場合に、前記記録保持した前記発話及びそれ以前の発話に対する前記通訳信頼度と前記通訳理解度との組み合わせを予め定めた類型に当てはめることにより、現在の対話状況が、前記発話の通訳結果において誤りが生じている状況であるか、もしくは、それ以前の発話の通訳結果において誤解が生じている状況であるかを判断するものである。
【００１２】
本発明においては、前記対話状況判断処理手段により判断された対話状況に対して、前記話し手話者に前記発話の言い直しを求める言い直し要求、前記受け手話者に発話の言い直しを求める言い直し入力、前記話し手話者に前記発話の音声認識結果の確認を求める認識確認要求、前記発話中の単語に対する辞書引きを行う辞書引き、及び、前記発話に対する翻訳の次の候補を提示する翻訳次候補選択を含む選択肢の中から選択される対処方法を推奨アクションとして前記受け手話者に提示する推奨アクション提示手段を備えることが好ましい。
【００１４】
本発明においては、前記通訳信頼度を高／低、前記通訳理解度を明瞭／不明の２値に各々分類し、ある発話の前記通訳理解度が「不明」である場合において、前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合には、対話状況が、それ以前の発話の通訳結果において誤解が生じている状況と判断され、前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合、又は、前記発話の前記通訳信頼度が「低」で、一つ前の発話の前記通訳理解度が「明瞭」である場合には、対話状況が、前記発話の通訳結果において誤りが生じている状況であると判断される構成とすることができる。
【００１６】
更に、本発明は、上記自動通訳方法の処理をコンピュータに実行させるためのプログラムを記録した記録媒体を含むものである。
【００１７】
本発明は、上記構成により、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、その原因が現在の発話の通訳誤りにあるか、もしくは一つ前の発話の通訳によって誤解が生じたことにあるかを判断することができ、また、対話状況に適した具体的な対処方法として、言い直し要求、言い直し、認識確認要求、辞書引き、翻訳次候補選択等のアクションの中から適切なものを推奨アクションとして出力することができる。
【００１８】
【発明の実施の形態】
次に、本発明の一実施の形態について、図１、図２を参照して詳細に説明する。図１は、本発明の一実施の形態にかかる自動通訳システムの構成を示すブロック図であり、図２は、本自動通訳システムを用いた通訳の流れを示すフローチャート図である。
【００１９】
図１に示すように、本発明の一実施の形態における自動通訳システムは、入力装置１００と出力装置２００と通訳統合装置３００と音声認識装置４００と音声合成装置５００と機械翻訳装置６００とから構成されている。
【００２０】
入力装置１００は、音声入力手段１０１とペン入力手段１０２とキー入力手段１０３とを含み、音声入力手段１０１は、利用者の発話を音声データとして入力し、ペン入力手段１０２は、ディスプレイ表示手段に感圧センサーを備えたパネル（タッチパネル）などに利用者がペン先などで触れた位置情報として入力し、キー入力手段１０３は、主に利用者によるキーボードなどのタイプ操作による入力を含み、テキストのタイピングによる入力等を可能とする。
【００２１】
また、出力装置２００は、音声出力手段２０１とディスプレイ表示手段２０２とを含み、音声出力手段２０１は、スピーカー等により音声データから音声を出力し、ディスプレイ表示手段２０２は、ディスプレイにより自動通訳の処理結果やペン入力の操作パネルなどの画面表示情報を出力する。
【００２２】
また、通訳統合装置３００は、制御手段３０１と、対話履歴管理手段３０２と、対話ナビゲーション処理手段３０３とを含み、制御手段３０１は、各装置間、処理手段間の入出力データを媒介し、処理手順の制御を行う。この入出力データは、入力装置１００からの音声情報、操作情報、位置情報の入力、および出力装置２００への音声データや画面表示情報の出力、および対話履歴管理部３０２への対話履歴情報の出力、対話ナビゲーション処理手段３０３からの対話ナビゲーション情報の入力、および音声認識装置４００への音声情報の出力および音声認識結果の入力、および音声合成装置５００への音声情報の出力、および機械翻訳装置６００への翻訳入力文の入力および翻訳文、通訳信頼度の出力などである。
【００２３】
さらに、音声認識装置４００、音声合成装置５００、および機械翻訳装置６００はそれぞれ概略つぎのように動作する。音声認識装置４００は、音声データを入力とし、話者の発話の内容をテキストデータとして認識、出力し、音声合成装置５００は、翻訳文などのテキストデータを入力として、音声データを合成、出力する。また、機械翻訳装置６００は、話者の発話のテキストデータなどを入力とし、指定された翻訳言語対に関して翻訳処理を行い、その結果得られる通訳結果および通訳信頼度を出力する。
【００２４】
次に、このような構成の自動通訳システムの全体の動作について、図２のフローチャートを参照して詳細に説明する。ここでは、日本語話者が対話ナビゲーションを受ける側である場合について記載している。
【００２５】
まず、通訳システムの利用開始とともに、英語話者に対して自動通訳システムを用いた対話の開始を知らせるスタート英語メッセージの提示を行う（図２のステップＡ１）。次に、日本語話者から発話を開始した場合は、日本語発話の入力を行い（ステップＡ２）、入力された音声データの日本語音声認識を行う（ステップＡ３）。この音声認識結果を利用者に提示し、誤りが含まれていないか認識結果の確認を行う（ステップＡ４）。ステップＡ５において誤りありと判断した場合は、認識結果の編集・訂正を行い（ステップＡ６）、再び認識結果の確認を行い（ステップＡ４）、誤りのない認識結果を得る。
【００２６】
この様にして得られた正しい認識結果を入力として、日英翻訳処理を行い（ステップＡ７）、さらに、翻訳処理の過程で計算される通訳信頼度を出力する（ステップＡ８）。そして、翻訳結果を音声合成により音声出力するとともに、ディスプレイ表示することにより、英語話者へ通訳結果の提示を行う（ステップＡ９）。英語話者は、提示された通訳結果から発話の内容が理解できるかどうかを判断し、通訳理解度として「明瞭」、「不明」のいずれかを選択し入力する（ステップＡ１０）。
【００２７】
ここで、本実施の形態では、ステップＡ１１において通訳理解度が「不明」である場合、それ以前の発話における通訳理解度と通訳信頼度のデータに基づいて予め定めた類型に当てはめて現在の対話の状況を判断し、状況に適した利用者の対応として、推奨アクションの提示を行う（ステップＡ２２）。また、ステップＡ１１において通訳の理解度が明瞭である場合、英語話者は、日本語話者の発話への返答として英語発話の入力を行う（ステップＡ１２）。以降、日英翻訳の場合（ステップＡ２〜Ａ９）と同様に、英日翻訳の処理の結果、英語話者の発話に対する通訳結果が日本語話者に提示される（ステップＡ１２〜Ａ１９）。
【００２８】
日本語話者は、提示された通訳結果から発話の内容が理解できるかどうかを判断し、通訳理解度として「明瞭」、「不明」のいずれかを選択し入力する（ステップＡ２０）。ここで、ステップＡ２１において通訳理解度が「明瞭」である場合、日本語話者は、英語話者の発話への返答として日本語発話の入力を行い（ステップＡ２）、以降、アクション選択において終了を選択するまで同様の手順を繰り返す。また、ステップＡ２１において通訳理解度が「不明」である場合、それ以前の発話における通訳理解度と通訳信頼度のデータに基づいて予め定めた類型に当てはめて現在の対話状況を判断し、状況に適した利用者の対応として、推奨アクションの提示を行う（ステップＡ２２）。
【００２９】
次に、通訳理解度が「不明」である場合の処置方法について詳細に説明すると、推奨アクション提示（ステップＡ２２）では、まず、現在の発話およびそれ以前の発話における通訳理解度と通訳信頼度のデータに基づいて、対話状況が（１）「英日通訳結果を日本語話者が誤解」、（２）「英日通訳結果が理解不能」、（３）「日英通訳結果を英語話者が誤解」、（４）「日英通訳結果が理解不能」、のうちのいずれの類型であるかを判断する。さらにこれらの状況に対して、次のアクション：（１）「英日辞書引き」、（２）「翻訳次候補選択」、（３）「言い直しの入力」、（４）「言い直し要求」、（５）「認識確認要求」、の中から対話状況に適したものを推奨アクションとして日本語話者に提示する。
【００３０】
アクション選択では、提示された一つもしくは複数の推奨アクションの中から、実際に実行するアクションを日本語話者が選択する（ステップＡ２３）。（１）「英日辞書引き」を選択した場合、提示された日英通訳結果の入力中の英単語に対する英日辞書引きを行い（ステップＡ２４）、さらに、英日辞書引き後での日英通訳結果に対する通訳理解度の入力を行う（ステップＡ２０）。（２）「翻訳次候補選択」を選択した場合、英日翻訳処理（ステップＡ１７）において得られた翻訳結果の次候補が提示され、日本語話者はその中からもっとも理解可能なものを選択し（ステップＡ２５）、翻訳次候補選択後での日英翻訳結果に対する通訳理解度の入力を行う（ステップＡ２０）。（３）「言い直しの入力」を選択した場合、日本語話者が自分の前発話に対する言い直しの日本語発話を入力し（ステップＡ２６）、その日本語発話の音声認識を行う（ステップＡ３）。（４）「言い直し要求」を選択した場合、英語話者に対して、前発話に対する言い直しの英語発話を入力する要求メッセージを提示し（ステップＡ２７）、英語話者によって英語発話が入力される（ステップＡ１２）。（５）「認識確認要求」を選択した場合、英語話者の前発話に対する認識結果の誤りを再確認するよう、英語話者に認識確認の要求メッセージを提示し（ステップＡ２８）、英語話者によって英語音声認識結果の確認が行われる（ステップＡ１４）。最後に、ステップＡ２３においてアクション選択において自動通訳終了を選択することにより、一連の自動通訳処理を終了する。
【００３１】
このように本実施の形態の自動通訳システムでは、入力装置１００、出力装置２００、音声認識装置４００、音声合成装置５００、機械翻訳装置６００の各々をつなぐ通訳統合装置３００において、各装置間の入出力および処理の連携を図る制御手段３０１に加え、発話の通訳結果に対して計算される妥当性の値を通訳信頼度として求め、さらに、この通訳結果の内容がどの程度理解できるかを通訳結果の受け側である話者の主観評価によって通訳理解度として入力し、この通訳信頼度、通訳理解度のそれぞれの値を通訳中の各発話に関して通訳履歴情報として記録保持する対話履歴管理手段３０２と、通訳履歴情報に基づいて判断し対話状況として出力する対話状況判断処理手段３０３とを備えることにより、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、その原因が現在の発話の通訳誤りにあるか、もしくは一つ前の発話の通訳によって誤解が生じたことにあるかを判断することができる。
【００３２】
また、本実施の形態では、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、推奨アクション判定処理手段をさらに備えたことにより、対話状況に適した具体的な対処方法として、言い直し要求、言い直し、認識確認要求、辞書引き、翻訳次候補選択等のアクションの中から適切なものを推奨アクションとして出力することができる。
【００３３】
更に、上記のような通訳履歴情報に基づく対話状況の判断を話者に直接提示することによっても、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、その原因が現在の発話の通訳誤りにあるか、もしくは一つ前の発話の通訳によって誤解が生じたことにあるかを判断することができる。
【００３４】
【実施例】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の具体的な実施例について図３乃至図７を参照して詳細に説明する。図３は、通訳における通訳信頼度と通訳理解度との組み合わせとそのダイヤグラムにおける表示方法を示す図であり、図４は、各対話状況とそれに該当する発話事例を示す図であり、図５は、各対話状況とそれぞれに対して提示される推奨アクションを示す図である。また、図６及び図７は、具体的な事例を示す図である。
【００３５】
まず、図２における推奨アクション提示（ステップＡ２２）の動作について説明する。前記した実施の形態において説明したように、推奨アクション提示（ステップＡ２２）は、現在の発話およびそれ以前の発話における通訳理解度と通訳信頼度に基づき判断された対話状況に対応して行われる。
【００３６】
具体的には、会話中での各発話は、たとえば通訳理解度が「明瞭」と「不明」の２値を持ち、さらに、通訳信頼度に関してもある閾値によって「高」と「低」の２値に分類する場合、図３に示すように２×２の組み合わせとなる。ここで、図中のJ、Eは各々日本語、英語を表し、ダイヤグラムのJからEに向かう矢印は、日本語話者から英語話者への発話を表すものとし、また、矢印の線の太さは通訳信頼度（太線の場合、信頼度が高い）を、実線／破線は通訳理解度（実線の場合、理解度が明瞭）を表すものとする。
【００３７】
図４では、このようなダイヤグラムによる表現を用いて、4つの対話状況「英日-誤解」、「日英-理解不能」、「日英-誤解」、「英日-理解不能」のそれぞれに当てはまる発話事例を示している。ここで、発話事例のダイヤグラムは、現在の発話のみならず、一つ前の発話も考慮しており、対話状況の判断は、これらの発話事例に基づいて判断される。
【００３８】
例えば、現在の発話に対する通訳理解度が「不明」であるとする。このとき、通訳信頼度の値が「低」の場合（ダイヤグラム上は細い破線）は、対話状況は（現在の発話に対して）「理解不能」と判断される。また、通訳信頼度の値が「高」の場合は、一つ前の発話に対する通訳信頼度の値を考慮して判断される。たとえば、現在の発話に対する通訳理解度、通訳信頼度がそれぞれ「不明」、「高」であり（ダイヤグラム上は太い破線）、一つ前の発話での通訳理解度、通訳信頼度がそれぞれ「明瞭」、「低」である時（ダイヤグラム上は細い実線）、対話状況は（一つ前の発話に対して）「誤解」と判断される。
【００３９】
図５では、このような「英日-誤解」、「日英-理解不能」、「日英-誤解」、「英日-理解不能」の各対話状況に対して、日本語話者に提示される推奨アクションを示している。「英日-誤解」に対しては、英語話者に対する「言い直し要求」を提示し、「日英-理解不能」および「日英-誤解」に対しては日本語話者の「言い直し」を提示する。「英日-理解不能」に対しては、英語話者に対する「言い直し要求」、「認識確認要求」、および日本語話者の「英日辞書引き」、「翻訳次候補選択」を提示する。
【００４０】
次に、具体的な事例における本実施例の自動通訳システムの動作について、図６及び図７を参照して説明を行う。これらの図中のダイヤクラムでは、英語話者の発話をE側、日本語話者側の発話をJ側に示している。各発話に関して発話順に発話番号n(=1,2,3,…)が割り当てられ、元の発話（原言語）はSn、その通訳結果はTnと示されている。また、発話に対する対話状況（通訳信頼度、通訳理解度）およびその推奨アクションは、図５に示したようなダイヤグラムによって表現されている。なお、ここでは、音声認識誤りは認識結果の確認において適切に訂正されるものとして説明を行う。
【００４１】
まず、図６を参照して第１の事例について説明する。図６では、具体例としてレストランで客（日本人話者J）がウェイター（英語話者E）に料理を注文する場面での会話において、各対話状況とそれぞれに対して提示される推奨アクションをダイアグラムに表示している。
【００４２】
図６に示すように、英語話者の発話S1の通訳結果であるT1に対して、通訳信頼度、通訳理解度はそれぞれ「高」、「明瞭」であると判断されていることが分かる。このT1に対して日本語話者が発話S2を行っており、発話S2では、「サーロインステーキとハムの焼いたの」の部分において、「焼いたの」は「ハム」に係っていると考えられる。
【００４３】
しかし、S2の通訳結果のT2を見ると、「サーロインステーキとハムの焼いたの」対応する部分は「cooked sirloin steak and ham」であり、「焼いたの」に対する訳語「cooked」が並列構造「sirloin steak and ham」の全体に係っていることから、元の発話の意味が正しく通訳されていないことが分かる。
【００４４】
ここで、通訳信頼度の計算方法として、構文解析での構造の曖昧性を考慮する方法を用いれば、S2のような並列構造を含んだ発話に構造の曖昧性が生じた場合、その通訳信頼度の値を低く見積もることが可能であり、T2に対する通訳信頼度も「低」と判断される。また、通訳結果の聞き手である話者Eは、「cooked sirloin steak and ham」が具体的にどんな料理を指しているか分からないが、注文の意図の概要は理解できるという判断をしており、通訳理解度が「明瞭」となっている（ダイヤグラム上は細い実線）。
【００４５】
次に、T2に対する発話S3では、話者Eはその具体的な意味について質問をしている。通訳結果T3は、通訳信頼度「高」であるが、話者Jは、S2での「サーロインステーキとハムの焼いたの」との間に意味的な食い違いがあることから、通訳理解度は「不明」と判断している（ダイヤグラム上は太い破線）。
【００４６】
ここで、図４に示された発話事例に当てはめると、対話状況は「日英-誤解」と判断される。さらに、この状況に対する推奨アクションとして、図５からわかるように、「日本語話者による言い直し」が提示される。そして、話者Jは、ここで、推奨アクション「日本語話者による言い直し」を選択し（点線弧T3-S2）、S4ではS2に対する言い直しを行っている。この通訳結果T4に対する通訳理解度が「明瞭」となっていることから、言い直しによって意志疎通の回復に成功したことが分かる。
【００４７】
その後、S5からS7の通訳に関してはいずれも通訳信頼度が「高」、通訳理解度が「明瞭」であり、対話がスムーズに行われている。
【００４８】
S8に対する通訳結果T8「あなたはどのようにステーキがお好きですか？」では、直訳的で日本語としてはあまり聞き慣れない表現であるが、通訳信頼度は「高」となっている。しかしながら、話者JはこのT8に対し、通訳理解度を「不明」と判断している（ダイヤグラム上は太い破線）。これは、S8が通常ステーキの焼き加減を聞く際に用いられる定型表現であるにも関わらず、その通訳結果T8ではそのようなニュアンスが伝わらないためである。以上の結果から、図４を参照すると対話状況は「英日-理解不能」と判断される。
【００４９】
この通訳結果T8に対し、推奨アクションとして図５に示すように、「英語話者に対する言い直し要求」、「英語話者に対する認識確認要求」、「日本語話者による英日辞書引き」、および「日本語話者による翻訳次候補選択」が提示される。ここで、話者Jは推奨アクション「英語話者に対する言い直し要求」を選択している（点線弧T8-S8）。この言い直し要求を受けて、話者EはS8に対する言い直しS9を発話し、再度ステーキの焼き加減を聞いている。
【００５０】
S9を通訳する際、S9中の「well-done」、「medium」、「rare」に対する訳語として、同様にステーキの焼き加減である「ウェルダン」、「ミディアム」、「レア」を用いることが望ましい。しかし、通訳結果T9の対応する部分では、英日機械翻訳における対訳辞書中に適切な訳語が存在しないため、「よく焼けているか、中間か、希薄で」のような不適切な通訳結果を得ている。
【００５１】
ここで、通訳信頼度の計算において、構文解析での構造の曖昧性に加え、意味的な整合性を考慮する方法を用いることにより、例えば並列構造の各要素の意味概念がばらばらで意味的な整合性が低い場合、通訳結果に対する信頼度が低いと判断することが可能である。このような方法により、T9における並列構造における各要素の訳語が「よく焼けている」、「中間」、「希薄」のように意味的な整合性が低いことによって、その通訳信頼度は「低」と判断される。話者JはこのT9に対し、通訳理解度を「不明」と判断している（ダイヤグラム上は細い破線）。以上の結果から、図４を参照すると対話状況は「英日-理解不能」と判断されている。
【００５２】
この状況に対する推奨アクションとして、「英語話者に対する言い直し要求」、「英語話者に対する認識確認要求」、「日本語話者による英日辞書引き」、および「日本語話者による翻訳次候補選択」が提示される。話者Jは、ここでは推奨アクション「日本語話者による英日辞書引き」を選択し（点線環T9-T9）、S9中の単語「rare」に対する英日辞書引きを行っている。そして「rare」の意味の中に、肉の焼き加減としての「レア」が存在することから、発話S9の意味を正しく理解し、S10ではその質問への回答：「ミディアム・レアをおねがいします」を発話している。
【００５３】
次に、第２の事例について図７を参照して説明する。図７では、具体例として駅で乗客（日本人話者J）が駅員（英語話者E）に車内に忘れ物をしたことを伝える場面での会話において、各対話状況とそれぞれに対して提示される推奨アクションをダイアグラムに表示している。
【００５４】
図中の最初の発話S1からS3の通訳に関してはいずれも通訳信頼度が「高」、通訳理解度が「明瞭」であり、対話がスムーズに行われている。
【００５５】
S4に対する通訳結果T4では、通訳信頼度、通訳理解度はそれぞれ「高」、「不明」であり（ダイヤグラム上は太い破線）、このことから図４を参照すると対話状況は「英日-理解不能」と判断されている。推奨アクションとして、図５に示すように、「英語話者に対する言い直し要求」、「英語話者に対する認識確認要求」、「日本語話者による英日辞書引き」、および「日本語話者による翻訳次候補選択」が提示される。
【００５６】
話者Jは、ここでは推奨アクション「日本語話者による翻訳次候補選択」を選択する（点線環T4-T4）。S4に対する翻訳次候補中に、S4中の単語「car」に対する訳語としてT4中の「車」の代わりに「車両」が使用されているものが存在することから、発話S4の意味を正しく理解し、S5ではその質問への回答：「はい、真ん中の車両だったと思います」を発話している。
【００５７】
このように、ある発話の通訳に対する通訳信頼度を求め、その通訳に対する通訳理解度を聞き手話者が入力し、これらのデータを通訳履歴管理手段に記憶・保持することにより、現在の発話に対する通訳理解度が「不明」であるとき、それ以前の発話に遡り、通訳履歴管理手段に記憶したデータに基づき予め定めた類型に当てはめて対話状況を判断し、更に、各々の対話状況における予め定めた推奨アクションを提示することによって対話をスムーズに行うことができる。
【００５８】
なお、本実施例では、日本語と英語との間の対話を例にして説明したが、本発明は上記実施例に限定されるものではなく、異なる種類の言語間の対話において適用可能であることは明らかである。
【００５９】
【発明の効果】
以上説明したように、本発明の自動通訳システム及び自動通訳方法によれば下記記載の効果を奏する。
【００６０】
本発明の第１の効果は、通訳中のある発話の通訳結果が相手話者に理解不能と判断された場合に、その原因が現在の発話の通訳誤りにあるか、もしくは一つ前の発話の通訳によって誤解が生じたことにあるかというような対話状況の判断を自動化できるということである。
【００６１】
その理由は、発話の通訳結果に対して計算される妥当性の値を通訳信頼度として求め、さらに、この通訳結果の内容がどの程度理解できるかを通訳結果の受け側である話者の主観評価によって通訳理解度として求め、この通訳信頼度、通訳理解度のそれぞれの値を通訳中の各発話に関して通訳履歴情報として保持し、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、その原因が現在の発話の通訳誤りにあるか、もしくは一つ前の発話の通訳によって誤解が生じたことにあるかを通訳履歴情報に基づいて判断し、対話状況として出力することができるからである。
【００６２】
本発明の第２の効果は、対話中にある発話の通訳結果が相手話者に理解不能と判断された場合に、その場面場面に応じた適切な対処方法を具体的に提示することができるということである。
【００６３】
その理由は、通訳履歴情報によって判断された対話状況に基づいて、言い直し要求、言い直し、認識確認要求、辞書引き、翻訳次候補選択等のアクションの中から適切なものを判断し、推奨アクションとして出力することができるからである。
【図面の簡単な説明】
【図１】本発明の一実施の形態における自動通訳システムの構成を示すブロック図である。
【図２】本発明の一実施の形態における自動通訳システムの動作の流れを示すフローチャート図である。
【図３】本発明の一実施例における通訳信頼度と通訳理解度の組み合わせおよびそのダイヤグラムにおける表示方法を示す図である。
【図４】本発明の一実施例における各対話状況とそれに該当する発話事例を示す図である。
【図５】本発明の一実施例における各対話状況とそれぞれに対して提示される推奨アクションを示す図である。
【図６】本発明の一実施例における具体例な事例を示す図であり、レストランで客（日本人話者J）がウェイター（英語話者E）に料理を注文する場面での会話において、各対話状況とそれぞれに対して提示される推奨アクションをダイアグラムに表示した図である。
【図７】本発明の一実施例における具体例な事例を示す図であり、駅で乗客（日本人話者J）が駅員（英語話者E）に車内に忘れ物をしたことを伝える場面での会話において、各対話状況とそれぞれに対して提示される推奨アクションをダイアグラムに表示した図である。
【符号の説明】
１００ 入力装置
１０１ 音声入力手段
１０２ ペン入力手段
１０３ キー入力手段
２００ 出力装置
２０１ 音声出力手段
２０２ ディスプレイ表示手段
３００ 通訳統合装置
３０１ 制御手段
３０２ 通訳履歴管理手段
３０３ 対話状況判定処理手段
４００ 音声認識装置
５００ 音声合成装置
６００ 機械翻訳装置

Claims (9)

1. 話し手話者の発話を入力する入力手段と、入力された発話を認識し、所定の言語に通訳する通訳手段と、通訳結果を受け手話者に出力する出力手段とを少なくとも有する自動通訳装置において、
   入力された前記発話の通訳結果に対して、通訳の妥当性を判断して通訳信頼度を求める手段と、通訳結果の内容理解の程度を前記受け手話者に通訳理解度として入力させる手段と、各々の前記発話に対して前記通訳信頼度と前記通訳理解度とを通訳履歴情報として記録保持する通訳履歴管理手段と、ある発話の通訳結果が前記受け手話者にとって理解不能である場合に、前記通訳履歴管理手段に記憶された前記発話及びそれ以前の発話に対する前記通訳信頼度と前記通訳理解度との組み合わせを予め定めた類型に当てはめることにより、現在の対話状況が、前記発話の通訳結果において誤りが生じている状況であるか、もしくは、それ以前の発話の通訳結果において誤解が生じている状況であるかを判断する対話状況判断処理手段と、を備えたことを特徴とする自動通訳装置。
2. 前記通訳信頼度を高／低、前記通訳理解度を明瞭／不明の２値に各々分類し、ある発話の前記通訳理解度が「不明」である場合において、
   前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合には、対話状況が、それ以前の発話の通訳結果において誤解が生じている状況と判断され、
   前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合、又は、前記発話の前記通訳信頼度が「低」で、一つ前の発話の前記通訳理解度が「明瞭」である場合には、対話状況が、前記発話の通訳結果において誤りが生じている状況であると判断されることを特徴とする請求項１記載の自動通訳装置。
3. 前記対話状況判断処理手段により判断された対話状況に対して、前記話し手話者に前記発話の言い直しを求める言い直し要求、前記受け手話者に発話の言い直しを求める言い直し入力、前記話し手話者に前記発話の音声認識結果の確認を求める認識確認要求、前記発話中の単語に対する辞書引きを行う辞書引き、及び、前記発話に対する翻訳の次の候補を提示する翻訳次候補選択を含む選択肢の中から選択される対処方法を推奨アクションとして前記受け手話者に提示する推奨アクション提示手段を備えたことを特徴とする請求項１又は２に記載の自動通訳装置。
4. 第１言語を用いる第１の話者と第２言語を用いる第２の話者との対話において、
   現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合に、前記推奨アクション提示手段で「第２の話者に対する言い直し要求」が提示され、
   現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「低」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度が「高」である場合、又は、現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合に、前記推奨アクション提示手段で「第１の話者による言い直し入力」及び「第１の話者による認識確認要求」が提示され、
   現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合に、前記推奨アクション提示手段で「第１の話者による言い直し入力」が提示され、
   現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「低」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度が「高」である場合、又は、現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合に、前記推奨アクション提示手段で「第２の話者による言い直し入力」、「第２の話者による認識確認要求」、「第１の話者による辞書引き」及び「第１の話者による翻訳次候補選択」が提示されることを特徴とする請求項３記載の自動通訳装置。
5. 話し手話者の発話を入力し、入力された発話を認識し、所定の言語に通訳した後、通訳結果を受け手話者に出力する自動通訳装置を用いた自動通訳方法であって、
   前記自動通訳装置は、
   入力された前記発話の通訳結果に対して、通訳の妥当性を判別して通訳信頼度を求めると共に、通訳結果の内容理解の程度を前記受け手話者に通訳理解度として入力させ、各々の前記発話に対して前記通訳信頼度と前記通訳理解度とを通訳履歴情報として記録保持し、ある発話の通訳結果が前記受け手話者にとって理解不能である場合に、前記記録保持した前記発話及びそれ以前の発話に対する前記通訳信頼度と前記通訳理解度との組み合わせを予め定めた類型に当てはめることにより、現在の対話状況が、前記発話の通訳結果において誤りが生じている状況であるか、もしくは、それ以前の発話の通訳結果において誤解が生じている状況であるかを判断することを特徴とする自動通訳方法。
6. 前記通訳信頼度を高／低、前記通訳理解度を明瞭／不明の２値に各々分類し、ある発話の前記通訳理解度が「不明」である場合において、
   前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合には、それ以前の発話の通訳結果において誤解が生じている状況と判断し、
   前記発話の前記通訳信頼度が「高」で、一つ前の発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合、又は、前記発話の前記通訳信頼度が「低」で、一つ前の発話の前記通訳理解度が「明瞭」である場合には、前記発話の通訳結果において誤りが生じている状況であると判断することを特徴とする請求項５記載の自動通訳方法。
7. 前記対話状況に対して、前記話し手話者に前記発話の言い直しを求める言い直し要求、前記受け手話者に発話の言い直しを求める言い直し入力、前記話し手話者に前記発話の音声認識結果の確認を求める認識確認要求、前記発話中の単語に対する辞書引きを行う辞書引き、及び、前記発話に対する翻訳の次の候補を提示する翻訳次候補選択を含む選択肢の中から選択される対処方法を推奨アクションとして前記受け手話者に提示することを特徴とする請求項５又は６に記載の自動通訳方法。
8. 第１言語を用いる第１の話者と第２言語を用いる第２の話者との対話において、
   現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合に、前記推奨アクション提示手段で「第２の話者に対する言い直し要求」を提示し、
   現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「低」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度が「高」である場合、又は、現在の第１言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第２言語による発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合に、前記推奨アクション提示手段で「第１の話者による言い直し入力」及び「第１の話者による認識確認要求」を提示し、
   現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度、前記通訳理解度が各々「低」、「明瞭」である場合に、前記推奨アクション提示手段で「第１の話者による言い直し入力」を提示し、
   現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「低」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度が「高」である場合、又は、現在の第２言語による発話の前記通訳信頼度、前記通訳理解度が、各々「高」、「不明」であり、一つ前の第１言語による発話の前記通訳信頼度、前記通訳理解度が各々「高」、「明瞭」である場合に、前記推奨アクション提示手段で「第２の話者による言い直し入力」、「第２の話者による認識確認要求」、「第１の話者による辞書引き」及び「第１の話者による翻訳次候補選択」を提示することを特徴とする請求項７記載の自動通訳方法。
9. 請求項５乃至８のいずれか一に記載の自動通訳方法の処理をコンピュータに実行させるためのプログラムを記録した記録媒体。

Images