JP3920812B2 - コミュニケーション支援装置、支援方法、及び支援プログラム - Google Patents
コミュニケーション支援装置、支援方法、及び支援プログラム Download PDFInfo
- Publication number
- JP3920812B2 JP3920812B2 JP2003149338A JP2003149338A JP3920812B2 JP 3920812 B2 JP3920812 B2 JP 3920812B2 JP 2003149338 A JP2003149338 A JP 2003149338A JP 2003149338 A JP2003149338 A JP 2003149338A JP 3920812 B2 JP3920812 B2 JP 3920812B2
- Authority
- JP
- Japan
- Prior art keywords
- translation
- language information
- language
- source language
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コミュニケーションの際にやり取りされるメッセージの少なくとも一部分について、２つ以上の言語間で翻訳を行うコミュニケーション支援装置、支援方法、及び支援プログラムに関する。
【０００２】
【従来の技術】
近年、異言語間での交流、若しくは異文化間交流が盛んになってきており、異なる言語を母語とする人同士が円滑にコミュニケーション（以下、異言語間コミュニケーションと称する）をする必要性が増大している。
【０００３】
異言語間コミュニケーションを実現するため、そのコミュニケーションの関係者が外国語である相手の言語を修得することは、容易ではなく仮に可能であったとしても多大な時間と費用を要する。また、異言語間コミュニケーションで必要な多言語に精通した通訳者を利用することも考えられるが、通訳者は人数が限られ料金も高く、一般的に広く利用されてはいない。他に、一般の人が海外旅行をする際等に遭遇しそうな場面で想定される会話表現を対訳とともに記載した会話表現集を利用することも考えられる。会話表現集では表現の収録数が限られるために、実際の会話において必要となる表現を網羅することができない。また、会話表現集に収録されている定型表現を利用者が記憶することは多大な時間を要する。さらに、会話表現集は書籍であることから、実際の会話の場面において、必要な表現が記載されているページを迅速に探し出すことが困難であり、実際のコミュニケーションでは必ずしも有効ではない。
【０００４】
そこで、このような会話集のデータを電子化した、例えば携帯可能なサイズの電訳機がある。利用者は電訳機を例えば手に持って、キーボードやメニュー選択操作によって翻訳する文章を指定したり、必要とする表現の検索を行う。電訳機は入力された文章を他国語に変換し、変換後の文章をディスプレイ上に表示したり他国語で音声出力する（例えば、特許文献１参照）。しかし、電訳機は、相変わらず限られた定型表現に基づいて翻訳するに過ぎず、異なる言語を使う人同士の十分なコミュニケーションを可能にしているとはいえない。また、電訳機の収録表現数を増加させると、翻訳する文章の選択が困難となってしまい、実際のコミュニケーションにおける有効性が低下してしまう。
【０００５】
一方、近年の音声認識技術や手書き文字入力の自動認識技術の発展や、自然言語処理技術、特にテキストに対する機械翻訳技術の精度向上や、高速化などの発展があり、このような技術を活用した異言語間コミュニケーションの支援をする支援装置の実現への要求が高まってきている。特に、対面コミュニケーションでは、音声入出力で翻訳が行えることが理想であるため、計算機による音声認識処理技術及び、音声合成処理技術を併用して、音声入力した翻訳元の言語による任意の発話メッセージを、音声認識し、解析翻訳し、翻訳対象言語による発話メッセージに変換して、音声で出力する技術の開発も進められている（例えば、特許文献２参照）。
【０００６】
また、インターネットや、無線ネットワークなどに代表される通信技術の発展に伴い、センターに設置した機器によって、音声認識処理、言語解析処理、言語翻訳処理、言語生成処理、及び音声合成処理などを適宜組み合わせた、コミュニケーション支援サービスを実現し、これをネットワーク接続された機器から利用するサーバクライアント形式のアプリケーションサービスが実現可能となってきている。
【０００７】
【特許文献１】
特開平８−３２８５８５号公報
【０００８】
【特許文献２】
特開平２−７１６８号公報
【０００９】
【発明が解決しようとする課題】
しかし、外国語である非母語による音声アナウンスは、非定型の表現であることが多く、翻訳不可能なことが多く、支援装置が役に立たないことが多い。さらに、支援装置が音声認識さえもできない場合には、外国語での音声アナウンスを確認することもできない。特に、交通機関で起こりがちな突発的な音声アナウンスの場合は、文字又は絵等で表示されていることは期待できない。さらに、この様な突発的な音声アナウンスは、緊急を要する場合も少なくないため、音声アナウンスの音声認識及び翻訳処理の成否は支援装置の利用者にとって死活問題になることさえある。
【００１０】
また、高性能な支援装置を実現するためには、高価な部品が必要となったり、内部構成が複雑化したり、支援装置が大型化したり、消費電力が大きくなる。すなわち、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化の少なくともいずれか１つを両立することは難しい。
【００１１】
また、通信サービス圏外となり通信が不可能となるエリアがある。このエリアでは通信サービスの利用が制限されているためにネットワークを利用してセンターへ接続し、このセンター側で音声認識や翻訳処理を行うことが不可能である。このような場所は、例えば、航空機などの乗り物内や病院内がある。また、通信による処理の時間的遅延が発生し翻訳までに長時間かかり過ぎて、支援装置が実際的に利用不能となる場合がある。さらに、無線通信には一般に多くの電力が必要であり機器の搭載する電源の制限などによって通信可能な時間が制限されていまい、センターに接続する支援装置は常時利用することができるとはいえない。この様に、支援装置がネットワークを利用してセンターに接続すると必ずしも常時利用ができる保証がないという問題がある。
【００１２】
本発明はこのような事情を考慮してなされたもので、その目的は、翻訳結果が高精度であり、入力から出力までの応答に優れ、さらに支援装置を携帯する上で便利である特徴を備えるコミュニケーション支援装置、支援方法、及び支援プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する設定手段と、設定された前記翻訳精度で、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段を具備することを特徴とする。
【００１４】
また、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とする。
【００１５】
上記の目的を達成するために、この発明のコミュニケーション支援方法においては、入力手段が、第１言語で記述される原言語情報を入力し、第１格納手段が、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い点数を対応づけて格納し、照合手段が、前記原言語情報と前記重要キーワードとを照合し、第１判定手段が、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定し、翻訳手段が、前記原言語情報を第２言語で記述される対訳言語情報に翻訳し、提示手段が、該対訳言語情報を提示し、設定手段が、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、第１言語で記述される原言語情報を入力するための入力処理、前記対訳言語情報に翻訳するための翻訳処理、及び、前記対訳言語情報を提示するための提示処理のうち少なくとも１つの処理精度を設定し、実行手段が、設定された前記処理精度で、前記処理精度が設定された処理を実行することを特徴とする。
【００１６】
上記の目的を達成するために、この発明のコミュニケーション支援プログラムにおいては、コンピュータを、
第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段として機能させる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態に係るコミュニケーション支援装置、支援方法、及び支援プログラムについて説明する。なお、ここでは、第１の言語として英語を想定し、また第２の言語として日本語を想定する。また、本実施形態のコミュニケーション支援装置の利用者は日本語を母語とする日本語話者とし、この利用者が英語圏に旅行をした際に、本実施形態のコミュニケーション支援装置、支援方法、及び支援プログラムを利用する場合を例として説明を行う。ただし、言語の組合せ、利用者の母語の種類や語学力、及び本実施形態のコミュニケーション支援装置を利用する場所等は、この設定に限定されるものではない。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図である。
【００１９】
言語認識部１１は、第１の言語で話されている音声を入力して、音声認識を行う。言語認識部１１は、音声認識技術を利用して入力した音声を認識する。言語認識部１１は、認識した音声を原言語のテキストである書き下し文字列（原言語表層文字列と呼ぶ）に変換して、この文字列を出力する。言語認識部１１は、この文字列を原言語解析部１２に出力する。この認識した音声を原言語表層文字列に変換する処理は、音声ディクテーション認識処理と呼ばれる。音声ディクテーション認識処理は既存の技術でも実現可能な技術である。
【００２０】
また、言語認識部１１は、第２の言語で話されている音声を入力して、音声認識を行ってもよい。以下に述べる実施形態の全ての説明で、「第１の言語」と「第２の言語」を入れ替えて読み替えた動作を各部が実行してもよい。このような動作は、利用者が話す第２の言語による表現を第１の言語を母語とする他者に伝えようとする場合に行われる。
【００２１】
なお、ここでは言語認識部１１は音声入力による例のみを示したが、言語認識部１１が例えばカメラ装置と文字認識機能部を備えて、文字を画像入力して文字認識をすることにより、言語認識部１１が第１の言語の文字を認識し第１の言語に基づく内部表現として原言語解析部１２に出力してもよい。
【００２２】
原言語解析部１２は、第１の言語の原言語表層文字列を入力して、例えば形態素解析、構文解析、意味解析処理を行う。この結果、原言語解析部１２は、構文解析木、意味ネットワーク等によって記述された、原言語入力の第１の言語に基づく内部表現を生成する。具体的な例は、図４を参照して後述する。原言語解析部１２は生成した内部表現を言語翻訳部１３に出力する。なお、コミュニケーション支援装置に入力される第１の言語の入力文が音声でなくテキスト等の文書である場合には、言語認識部１１を介さず直接、原言語解析部１２に入力文が入力される。
【００２３】
言語翻訳部１３は、第１の言語に基づく内部表現を入力して、第１の言語から第２の言語に翻訳する。すなわち、言語翻訳部１３は、例えば、第１の言語から第２の言語への語彙の変換、第１の言語の統語構造から第２の言語の統語構造への変換を行う。この結果、言語翻訳部１３は、第１の言語に基づく内部表現を、構文解析木、意味ネットワーク等によって記述された、原言語入力の第２の言語に基づく内部表現に変換する。
【００２４】
また、言語翻訳部１３は、制御部１６の指示に応じて、トレードオフの関係にある処理精度と処理負荷を制御するためのパラメータを適宜変更して翻訳処理を行う。ここでパラメータとしては、例えば、構文解析において検査対象とする候補構造の数がある。他のパラメータとしては、入力された文を構成する各単語や形態素間の係り受け関係の解析において、検証対象とする係り受けの語彙数単位での遠さがある。また、他のパラメータとしては、入力された文の構文解析処理や意味解析処理において、検証対象とする多義語の語義の数や、検証対象とする語義や共起情報の出現頻度がある。ここで共起情報とは、語相互間の自然な結びつきを示す情報である。共起情報は、例えば、“weather”は、“allowing”とは共に使用されず“permitting”とは共に使用されるという情報である。したがって、この共起情報に基づけば、日本語の「天候が許すならば、食事は屋外でしましょう。」は、英語では“Meals will be served outside, weather allowing”ではなく、“Meals will be served outside, weather permitting”が正しい表現ということになる。
【００２５】
言語翻訳部１３は、制御部１６からの指示に応じてパラメータを変更して、いくつかの翻訳モードから１つのモードに設定する。翻訳モードは、例えば、翻訳する速さを優先する低負荷高速モード、翻訳精度を優先する高負荷高精度モードがある。低負荷高速モードは、言語翻訳部１３の処理負荷が低く、ある程度の精度の翻訳結果を迅速に得るためのものであり、高負荷高精度モードは、言語翻訳部１３の処理負荷が高く、高精度な翻訳結果を得るためのものである。低負荷高速モードは、迅速に翻訳結果を得ることができるが、翻訳精度は高くない。一方、高負荷高精度モードは、翻訳精度は高いが、翻訳結果を得るまでに必要とする処理時間が長い。もちろん、これらのモード以外のモードを設定することもできる。
【００２６】
異なる翻訳モードでは、原言語情報に含まれる表現が第２言語のどの表現に対応するかを検査する候補数、訳語辞書の中で候補を検索する範囲が異なる。高負荷高精度モードではこれらのいずれもが低負荷高速モードに比較して大きい。
【００２７】
対象言語生成部１４は、第２の言語に基づく内部表現を入力して、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成する。対象言語生成部１４はこの対訳表層文字列は、対象言語テキストとして出力することが可能である。言語生成処理は、例えば、構成要素の出現順の制御、用言の活用処理、語彙の選択がある。
【００２８】
なお、原言語解析部１２、言語翻訳部１３、及び対象言語生成部１４でなされる一連の処理は、例えば特許第３１３１４３２号公報に記載されている従来の翻訳装置と同様の自然言語処理技術を応用したものである。
【００２９】
重要性判定部１５は、第１の言語に基づく内部表現を入力して、この内部表現に対応する言語情報が重要であるか否かを判定するための判定材料を計算によって求め、この求められた判定材料を制御部１６に出力する。言語情報は、例えば、言語認識部１１に入力される音声、原言語解析部１２に入力される原言語テキストがある。
【００３０】
制御部１６は、言語認識部１１、原言語解析部１２、言語翻訳部１３、対象言語生成部１４、重要性判定部１５、及び言語出力部１７を制御する。特に、制御部１６は、重要性判定部１５が求めた判定材料に基づいて、各部に制御信号を出力する。例えば、制御部１６は、言語翻訳部１３の翻訳モードを指定するための制御信号を言語翻訳部１３に出力する。また、各部がそれぞれ例えば高精度モードと通常モードを有していて、制御部１６は各部にどのモードで処理を行わせるかの指示を行うように設定されていてもよい。もちろん、これらのモードは、２種類だけでなく、３種類以上のモードを設定することができる部があってもよい。また、モードを有していない部もあってもよい。
【００３１】
また、制御部１６は、各部において各部から出力結果が不十分である場合にその処理を再試行させることを指示してもよい。さらに制御部１６は、その再試行させる回数も制御してもよい。ここで、出力結果が不十分であるか否かの判断は処理内容に依存して各部の出力間で異なる。したがって、各部ごとにその出力結果が不十分であるか否かを判定するための閾値を予め設定しておき、制御部１６がその閾値と各部の出力結果を照合することによって、各部ごとの出力結果が不十分であるか否かを判定してもよい。
【００３２】
さらに、制御部１６は、各部に処理を実行させる指示を出力する場合に、その処理で利用することが許容されるメモリ量、その処理の処理時間、その処理をするための処理速度を制御してもよい。
【００３３】
言語出力部１７は、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力する。すなわち、テキスト・トゥー・スピーチ音声合成処理が行われる。なお、テキスト・トゥー・スピーチ音声合成処理自体は既存の技術でも実現可能な技術であるため、ここではこれ以上言及しない。
【００３４】
なお、言語認識部１１及び言語出力部１７は、どちらもあくまで選択的な構成要素であって、本発明の実施に必須の要件ではない。
【００３５】
図２は、図１の重要性判定部１５のブロック図である。
【００３６】
重要性判定部１５は、照合部１５１と重要キーワード記憶部１５２を含んでいる。照合部１５１は、後述の重要キーワード記憶部１５２の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、重要キーワードが含まれているか否かを検査する。重要キーワードとは、言語の中で重要なキーワードのことであり、例えば、緊急を要するような事項を示すキーワードがある。照合部１５１は、重要キーワード記憶部１５２に含まれている、各重要キーワードに対応している各スコアに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の重要度を判定する。照合部１５１は、この重要度を重要性情報として制御部１６に出力する。この重要度は、例えば、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を取ったものである。
【００３７】
重要キーワード記憶部１５２は、重要キーワードを通常、複数個記憶している。また、重要キーワード記憶部１５２は、その重要キーワードに対応して設定されているスコアも記憶している。さらに、重要キーワード記憶部１５２は、その重要キーワードとスコアが記憶されているアドレス（図３の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、及び、スコアは、図３に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、及び、スコアは上述したように対応付けられていれば必要十分であり、テーブル状に記憶されている必要はない。
【００３８】
図３は、図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図である。
【００３９】
重要キーワード記憶部１５２は、格納アドレス、重要キーワード、及びスコアを分類して予め記憶している。例えば、格納アドレスｐ１のエントリでは、重要キーワードが“risk”で、スコアが“ｓ１”（数値）となっている。これは、重要キーワードである“risk”とこの重要キーワードに対応するスコアである“ｓ１”が格納アドレスｐ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この重要キーワードである“risk”を１つ含む文の重要性を評価するための点数はｓ１点とすべきであることを示す。他の格納アドレスのエントリも同様である。
【００４０】
図４は、図２の第１の言語に基づく内部表現の具体例である。
【００４１】
原言語解析部１２から出力されて照合部１５１に入力される第１の言語に基づく内部表現は、例えば、構文解析結果の構文木構造である。図４は、コミュニケーション支援装置に入力された入力文が“Fasten your seat belt for your safety.”である場合に、この文の構文解析結果の構文木構造を示している。ここで、「Ｓ」は“sentence”の省略形であり文章を示す。「ＶＰ」は“verb phrase”の省略形であり動詞句を示す。「ＰＰ」は“prepositional phrase”の省略形であり前置詞句を示す。「ＮＰ」は“noun phrase”の省略形であり名詞句を示す。なお、ここでは、「ＰＰ」及び「ＮＰ」は、構文木構造の一部を省略して三角形で表記している。
【００４２】
図５は、図１のコミュニケーション支援装置の処理手順を示す流れ図である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００４３】
言語認識部１１に音声が入力されたか否かを判定する（ステップＳ１）。言語認識部１１に音声が入力されたと判断した場合はステップＳ２に進み、一方、言語認識部１１に音声が入力されていないと判断した場合は音声が入力されるまでステップＳ１を所定の周期で繰り返し実行する。
【００４４】
ステップＳ２では、言語認識部１１に入力された音声を原言語表層文字列に変換するように指示する。次に、原言語表層文字列を原言語解析部１２に入力させ、原言語解析部１２に原言語表層文字列を解析させ、第１の言語に基づく内部表現を生成させる（ステップＳ３）。
【００４５】
重要性判定部１５に、重要キーワード記憶部１５２に記憶されている重要キーワードがステップＳ３で生成された内部表現に含まれているか否かを判定させる（ステップＳ４）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和（重要性判定スコアと呼ぶ）Ｓが式（１）（又は数式（１））によって計算される（ステップＳ４）。
【００４６】
【数１】
ここで、ｓｃｉは、図３に示した各重要キーワードのスコアであり、例えば重要キーワードが“risk”である場合はｓｃｉはｓ１である。また、数１でｉは第１の言語に基づく内部表現に含まれる重要キーワードの個数と関係する。例えば、第１の言語に基づく内部表現に含まれる重要キーワードの個数が２個である場合は、ｉは１から２までの数になり、Ｓ＝ｓｃ１＋ｓｃ２となる。
【００４７】
ステップＳ４で計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６に進む。
【００４８】
ステップＳ７では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを高負荷高精度に設定するように指示する。一方、ステップＳ６では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを低負荷高速に設定するように指示する。すなわち、重要性判定スコアＳが閾値Ｔよりも大きいか否かで、翻訳モードを変化させ、言語翻訳部１３の処理精度と処理負荷を設定する。ここで、閾値Ｔは、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００４９】
次に、言語翻訳部１３に、ステップＳ６又はステップＳ７で設定された翻訳モードに応じて、第１の言語から第２の言語に翻訳する（ステップＳ８）。すなわち、第１の言語に基づく内部表現を第２の言語に基づく内部表現に変換するように指示する。
【００５０】
対象言語生成部１４に、第２の言語に基づく内部表現を入力し、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成するように指示する（ステップＳ９）。
【００５１】
言語出力部１７に、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力し、ステップＳ１に戻る（ステップＳ１０）。
【００５２】
以上に説明した図５の流れ図に従った制御が行われることによって、重要な入力は高精度に翻訳し、重要でない入力は高速に翻訳することが可能なコミュニケーション支援装置が実現される。
【００５３】
なお、入力文がテキスト等の文書である場合には、ステップＳ２は実行されずステップＳ１の処理後ステップＳ３に進む。同様に出力文がテキストでよい場合はステップＳ１０は省略される。
【００５４】
また、ステップＳ１で音声入力だけでなく、言語認識部１１が例えばカメラによって文字列を取得してその文字列を原言語表層文字列に変換してもよい。
【００５５】
図６は、図５の流れ図で処理された具体例である。図６は、日本語を母語とする利用者が、図１に示したコミュニケーション支援装置を英語圏で利用した際の例を示している。
【００５６】
時刻ｔ１０に、英語話者である相手が利用者に対して、“Which do you like beef or chicken?”（原言語（英語）入力１）と英語で問い合わせをした際に、この音声入力を検出した本実施形態のコミュニケーション支援装置が、英語の音声認識処理と言語解析処理を経て、重要性判定処理を行ったとする。この文には、重要キーワードは見つからなかったため、重要性判定スコア＝０となる。したがって、重要性判定スコアは予め定めた閾値Ｔを下回り、低負荷高速モードでの翻訳処理が行われることが決定される。その結果、ｔ１ａの処理時間で、出力候補１ａ＝“牛と鶏のどちらが好きですか？”という翻訳結果が得られ、この出力候補１ａが［簡易処理結果］対象言語（日本語）出力１として、利用者に提示される。
【００５７】
利用者がこの簡易処理結果に満足できず、より高精度の翻訳を得たい場合は、「高精度再処理」ボタンをクリックする。「高精度再処理」ボタンは、このボタンをクリックすることにより、翻訳モードを高負荷高精度モードに設定し、入力文を高負荷高精度モードで翻訳する。時刻ｔ１ａ＋αに「高精度再処理」ボタンをクリックすると、この同じ入力文を高負荷高精度モードで翻訳を開始する。時刻ｔ１ａ＋α＋ｔ１ｂに出力候補１ｂ＝“牛肉料理と、鶏肉料理のどちらを召し上がられますか？”といった、より高品位な翻訳結果が得られる。しかし、この翻訳結果を得るために、低負荷高速モードの翻訳に必要だった時間ｔ１ａよりも大幅に長時間であるｔ１ｂが必要となる。すなわち、高負荷高精度モードでは、低負荷高速モードの場合に比較して利用者が長時間待たされることになる。
【００５８】
この「高精度再処理」ボタンは、コミュニケーション支援装置のディスプレイに表示されるものであり、このディスプレイパネル上に表示される。そしてこのディスプレイパネル上には光を透過する感圧式のタッチパネルをクリックするよう構成されていても良い。このような構成にすると、低負荷高速モードで変換したときにのみディスプレイ上に「高精度再処理」ボタンを表示させる。これによりコミュニケーション支援装置の筐体上に高精度再処理専用の「高精度再処理」ボタンを設ける必要はなくなる。
【００５９】
このように、本実施形態によれば、重要な内容を含まない入力に対しては、低負荷の翻訳処理が自動的に選択され、文を入力してから翻訳結果を得るまでの応答の良いコミュニケーション支援装置を実現することができる。さらに、利用者が翻訳結果に満足しない場合は、利用者の意志で高精度な翻訳を実行する翻訳モードを選択することも可能である。
【００６０】
図７は、図１の重要性判定部１５の別のブロック図である。重要キーワード記憶部１５２は、図２を参照して既に説明した。
【００６１】
図７の重要性判定部は、図２の重要性判定部の構成要素に加え、さらに類似判定部１５３及び類似キーワード記憶部１５４を含んでいる。類似判定部１５３は、後述の類似キーワード記憶部１５４の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、類似キーワードが含まれているか否かを検査する。類似判定部１５３は、第１の言語に基づく内部表現の構成要素の中に類似キーワードが含まれていると判定した場合に、その類似キーワードに対応する重要キーワードとその類似キーワードの類似度を類似キーワード記憶部１５４から抽出する。ここで、類似キーワードとは、重要キーワード記憶部１５２に含まれる重要キーワードに類似すると見なすことが適切なキーワードである。
【００６２】
照合部１５１は、類似判定部１５３により抽出された重要キーワードと類似度を類似キーワードごとに入力し、重要キーワード記憶部１５２を参照して、この重要キーワードのスコアとこの重要キーワードの類似キーワードの類似度に基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の類似キーワードによる重要度を判定する。照合部１５１は、この重要度と、図２及び図５で説明したように重要キーワードのスコアとに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の最終的な重要度を判定する。この最終的な重要度は、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれる重要キーワード及び類似キーワードに基づいて計算されたものである。
【００６３】
この最終的な重要度は、例えば、次のように計算される。原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワード及び類似キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を算出する。さらに類似キーワードに対応する類似度とこの類似キーワードに対応する重要キーワードのスコアを積算し、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせる。これら計算されたそれぞれの値が最終的な重要度であるとする。他の例として、重要キーワードに対応するスコアの和と全ての類似キーワードについて積算した値の和を足しあわせたものが最終的な重要度であるとすることも可能である。
【００６４】
類似キーワード記憶部１５４は、類似キーワードを通常、複数個記憶している。また、類似キーワード記憶部１５４は、その類似キーワードに対応して設定されている類似度、及びその類似キーワードに対応する重要キーワードも記憶している。さらに、類似キーワード記憶部１５４は、その重要キーワードと類似度が記憶されているアドレス（図８の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、類似キーワード、及び、類似度は、図８に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、類似キーワード、及び、類似度は上述したように対応付けられていれば必要十分であり、テーブル状に記憶されていると限定する必要はない。
【００６５】
図８は、図７の類似キーワード記憶部１５４に格納されている類似キーワードテーブルを示す図である。
【００６６】
類似キーワード記憶部１５４は、格納アドレス、重要キーワード、類似キーワード、及び類似度を分類して予め記憶している。例えば、格納アドレスｑ１のエントリでは、重要キーワードが“dangerous”で、類似キーワードが“tender”、類似度が“０．８”となっている。これは、重要キーワードである“dangerous”と、この重要キーワードに類似していると見なすことのできる類似キーワードである“tender”と、この類似キーワードと重要キーワードの類似の度合いを示す類似度“０．８”が格納アドレスｑ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この類似キーワードである“tender”を１つ含む文の重要性を評価するために参照されるべき点数は０．８点であることを示す。他の格納アドレスのエントリも同様である。
【００６７】
類似キーワードテーブルは、重要な意味を含む重要キーワード自身だけでなく、重要キーワードと何らかの観点で類似した語句を含む入力に対しても、重要性が高い可能性があると判定するためのものである。類似した語句とは、重要キーワードと、表記上、あるいは音声信号の特徴上など、何らかの観点で類似しているものである。この類似キーワードテーブルを利用することにより、入力時、解析時、あるいは認識時の誤差を吸収し、より確実性の高い重要度判定を行うことができるようになる。
【００６８】
図９は、図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図である。ステップＳ３までのステップと、ステップＳ６及びステップＳ７以降のステップは、図５の流れ図と同様である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
ステップＳ３で生成された、第１の言語に基づく内部表現に、重要キーワード記憶部１５２に記憶されている重要キーワード、及び、類似キーワード記憶部１５４に記憶されている類似キーワードが含まれているか否かを重要性判定部１５に判定させる（ステップＳ４１）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワード及び類似キーワード記憶部１５４に記憶されている類似キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和Ｓ（重要性判定スコア）を上記の数１によって計算する。さらに、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせたものＲ（類似性判定スコアと呼ぶ）が式（２）（又は数式（２））によって計算される（ステップＳ４１）。
【００６９】
【数２】
ここで、ｒｊは図８に示した各類似キーワードの類似度であり、例えば類似キーワードが“tender”である場合はｒｊは０．８である。また、式（２）（又は数式（２））でｊは第１の言語に基づく内部表現に含まれる類似キーワードの個数と関係する。例えば、第１の言語に基づく内部表現に含まれる類似キーワードの個数が４個である場合は、ｊは１から４までの数を取り得る。ｊが１から４までの数を取る場合は、Ｒ＝ｓｃ１×ｒ１＋ｓｃ２×ｒ２＋ｓｃ３×ｒ３＋ｓｃ４×ｒ４となる。
【００７０】
ステップＳ４１で計算された重要性判定スコアＳが、予め定めた閾値Ｔ１よりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５１に進む。ここで、閾値Ｔ１は、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７１】
ステップＳ５１では、ステップＳ４１で計算された類似性判定スコアが予め定めた閾値Ｔ２よりも大きいか否かを判定する。類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ７に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ２は、類似性判定スコアＲの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７２】
図１０は、図９の処理手順の変形例を示す流れ図である。図５又は図９に示したステップと同様なステップは同一の符号を付して説明を省略する。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００７３】
制御部１６がカウンタをリセットして、例えばカウンタ値Ｎ＝１に設定する（ステップＳ０）。
【００７４】
ステップＳ５で重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５０に進む。ステップＳ５０では、カウンタ値Ｎが予め設定された値ｎ０よりも大きいか否かを判定する。カウンタ値Ｎがｎ０よりも大きいと判定された場合はステップＳ７に進み、カウンタ値Ｎがｎ０よりも大きくないと判定された場合はステップＳ５１に進む。
【００７５】
ステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ５２に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。
【００７６】
ステップＳ５２では、カウンタ値Ｎに１を加算し、ステップＳ２に戻る。すなわち、ステップＳ５で重要性が低いと判定され、かつ、カウンタ値Ｎが値ｎ０よりも大きくなく、かつ、ステップＳ５１で類似度が高いと判定された場合は、再び、言語認識処理（ステップＳ２）、原言語解析処理（ステップＳ３）、及び重要性判定処理（ステップＳ４１）を実行させる。カウンタ値Ｎが大きくなるにしたがって、ステップＳ２、Ｓ３、及びＳ４１の各処理の精度が上がるように制御されるように設定されていることが好ましい。
【００７７】
カウンタ値Ｎがｎ０よりも大きい場合は、ｎ０回だけ言語認識処理、原言語解析処理、及び重要性判定処理が実行されてもステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合であるので、入力文は重要であると見なしてステップＳ７に進む（ステップＳ５０）。
【００７８】
また、本実施形態では、第１の言語から第２の言語への片方向の翻訳処理を例として説明したが、第１の言語と第２の言語との間での翻訳処理を双方向に可能なように各装置部分を設定してもよい。さらに発展させて、複数の言語が混在した入力をある特定の言語に翻訳することができるように各装置部分を設定してもよい。また、２つの言語間だけでなく３つ以上の言語間で翻訳処理が可能なように各装置部分を設定してもよい。
【００７９】
また、いくつかの翻訳モードから１つの翻訳モードでのみ翻訳処理を行う例を示したが、全ての翻訳モード翻訳処理を平行に行ってもよい。その場合、利用者は、翻訳結果を翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って取捨選択する。本実施形態のコミュニケーション支援装置が、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに基づいて自動的に翻訳結果を利用者に提示するように設定されていてもよい。
【００８０】
これらは以下の実施形態においても同様である。
【００８１】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００８２】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、注意喚起部１８及び確認操作部１９を備えている。注意喚起部１８は、制御部１６からの制御に応じて、利用者に注意を喚起するためのブロックである。重要性判定部１５が重要性の高い入力を検知した場合に、この検知結果を受けた制御部１６は、利用者に注意を促すための動作を実行するように注意喚起部１８に指示する。注意喚起部１８は、例えば、ブザー装置からアラーム音を出力したり、振動発生装置から振動を発生したり、ライトから光点滅を提示したり、表示画面を反転表示したり点滅表示したり、電気を利用者に流す電気刺激によって、利用者に注意を喚起し、利用者がコミュニケーション支援装置に注意を注ぐように促す。なお、この注意喚起部１８は、既存の携帯電話、又は既存のＰＤＡ（個人用携帯情報端末）などで用いられているバイブレーター、アラーム音、ＬＥＤ（発光ダイオード）ディスプレイ、ＬＣＤ（液晶ディスプレイ）画面の表示の切替えなどによって実現可能である。また、この注意喚起は、利用者にとっての母語で音声を出力したり、文字表示で行ってもよい。
【００８３】
確認操作部１９は、注意喚起部１８が実行した注意喚起を利用者が認識したか否かを制御部１６が判定するためのブロックである。確認操作部１９は、利用者からの確認入力を受け取ると、この確認入力を受け取った旨を制御部１６に通知する。先に述べた通り重要性判定部１５が利用者に注意を促すための動作を実行するように注意喚起部１８に指示した場合に、この確認操作部１９が利用者からの確認操作の有無を制御部１６に通知する。制御部１６は、確認操作部１９が通知した確認動作の有無に基づいて、利用者への注意喚起を再度実施したり、利用者への注意喚起を停止したり、注意喚起の強度を調整したりする。確認操作部１９は、例えばスイッチ、タッチセンサー、音声センサー、振動センサー、カメラなどのセンサーを含んでいる。
【００８４】
図１２は、図１１のコミュニケーション支援装置の処理手順を示す流れ図である。図１２に示した流れ図は、図５のステップＳ７とステップＳ８との間に新たなステップを追加したものである。この流れ図の各ステップは、制御部１６が図１１の各部に指示を出力することによって実行される。
【００８５】
ステップＳ７で言語翻訳部１３を高負荷高精度モードに設定した後、注意喚起部１８に注意喚起を開始する指示を行い、注意喚起部１８が制御部１６から指示を受取、上述したように利用者に音や振動によって注意を喚起する動作を開始する（ステップＳ７１）。確認操作部１９から、利用者が注意喚起を確認した旨の確認操作を行ったか否かの信号を受取、この信号に基づいて利用者の確認操作があったか否かを判定する（ステップＳ７２）。利用者の確認操作があったと判定された場合はステップＳ７４に進み、利用者の確認操作がなかったと判定された場合はステップＳ７３に進む。
【００８６】
ステップＳ７３では、本実施形態のコミュニケーション支援装置が注意喚起をしていることを利用者に気づいてもらうために、本実施形態のコミュニケーション支援装置の注意喚起を強化する。例えば、注意喚起部１８が出力するアラーム音の音量を増大させる、振動発生装置による振動を増幅させる、又は、ライトからの光点滅の光量を増大させる。ステップＳ７４では、利用者が注意喚起に気づいたと見なして注意喚起部１８の動作を停止させる。
【００８７】
図１３は、図１２の流れ図で処理された具体例である。図１３は、日本語を母語とする利用者が英語圏を旅行中で、図１１に示したコミュニケーション支援装置を例えばポケットに入れたまま、航空機の乗り物に乗っている状況を例として想定する。
【００８８】
時刻ｔ２０に、“Fasten your seat belt for your safety.”（原言語（英語）入力２）という英語による音声アナウンスが機内でアナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、音声認識処理、原言語解析処理、及び重要性判定処理を行う。原言語（英語）入力２の内部表現の中に、図３に示したように重要キーワード記憶部１５２の格納アドレスｐ８に記憶されている重要キーワード“safety”が含まれているため、格納アドレスｐ８のエントリのスコア欄の値ｓ８が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ８は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力２は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。この時、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。
【００８９】
高負荷高精度モードが設定されたと同時に、制御部１６が注意喚起部１８に動作を開始するように指示する。この指示によって注意喚起部１８が、利用者に例えば振動刺激を与える。この刺激によって、仮に利用者が本実施形態のコミュニケーション支援装置又は外国語によるアナウンスに注意を払っていなくても、重要な情報については、本実施形態のコミュニケーション支援装置が自動的に検知して、利用者に注意を促すことで、重要な情報を聞き漏らしたりする恐れが少なくなると期待できる。アナウンスは突発的に行われることが多いので、このように利用者に注意を促すことは重要である。
【００９０】
利用者がこの振動刺激に気が付き、ポケットの中から本実施形態のコミュニケーション支援装置を取り出し、確認入力としてのボタン操作などを行うことで、注意喚起のための振動が停止する。その後、時刻ｔ２ｂに高負荷高精度モードで実施した翻訳処理が終了し、［高精度処理結果］として例えば対象言語（日本語）出力３＝“危険ですので安全ベルトを締めてください”という適切で高品質の翻訳結果が利用者に提示される。
【００９１】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳モードを低負荷高速モードに変更したい場合は、利用者は「キャンセル」ボタンをクリックする。図１３の例では、時刻βに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時に翻訳モードが高負荷高精度モードから低負荷高速モードへ変更され、低負荷高速モードで翻訳処理が開始される。その後、時刻β＋ｔ２ａに、［簡易処理結果］として、例えば、対象言語（日本語）出力４＝“あなたの無難とベルトを繋ぎなさい”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、高負荷高精度モードで翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、この高負荷高精度モードボタンをクリックすることによって適切な翻訳結果を得ることができると期待することができる。
【００９２】
さらにオプショナルな事項として、後に図１７以降で説明する外部のサーバ装置に接続し、この接続したサーバ装置でより高精度な翻訳処理を実行してもよい。
【００９３】
本実施形態のコミュニケーション支援装置によれば、重要な内容を含む入力に対しては、高精度の翻訳処理が自動的に選択され、利用者に注意を促すことにより、重要な内容を聞き漏らすことがなくなると期待することができる。
【００９４】
（第３の実施形態）
図１４は、本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００９５】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、韻律分析部２０及び生体センサー部２１を備えている。韻律分析部２０は、制御部１６からの制御に応じて、本実施形態のコミュニケーション支援装置に入力された音声を分析する。韻律分析部２０は、例えば、イントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を捕らえて、韻律の上で顕著な変化を検出した際に、その発生時刻に関する情報とともに、プロミネント情報（prominent information）として、重要性判定部１５に出力する。重要性判定部１５は、このプロミネント情報を参照して、入力された音声に強調発声、又は緊張した発声などが含まれている場合は、重要性が高い入力であると判定する。
【００９６】
生体センサー部２１は、本実施形態のコミュニケーション支援装置を利用する利用者の生体情報を検出する。生体情報は、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のような生体的なパラメータからなる。これらの生体的なパラメータの値やその値の変化をモニターしその顕著な変化を検出した際に、その発生時刻に関する情報とともに、バイオメトリクス情報（biometrics information）として、重要性判定部１５に出力する。重要性判定部１５は、このバイオメトリクス情報を参照して、利用者が緊張していると推測される時点での原言語入力は、重要性が高い入力であると判定する。
【００９７】
生体センサー部２１は、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝える場合に動作する。すなわち、本実施形態の場合は、日本語を母語とする利用者が英語を母語とする人に言葉を伝える場合に生体センサー部２１は動作する。一方、韻律分析部２０は、生体センサー部２１とは異なり、双方向の翻訳で動作する。すなわち、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝えようとする場合と、母語が第１の言語である人が母語が第２の言語である利用者に言葉を伝えようとする双方の場合に韻律分析部２０は動作する。
【００９８】
図１５（Ａ）は、図１４の韻律分析部２０の処理手順を示す流れ図である。図１５（Ａ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【００９９】
ステップＳ１で原言語入力があると判断された場合は、原言語入力が韻律分析部２０に入力され、原言語入力の音声を分析する（ステップＳ２１）。韻律分析部２０は、例えばイントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を検出する。ここでは、発声速度を韻律的特徴値（重要性判定スコア）Ｓ３とする。この場合、韻律分析部２０は言語入力の音声を入力して発声速度Ｓ３を測定する（ステップＳ２１）。
【０１００】
次に、重要性判定部１５でステップＳ２１で測定された発声速度Ｓ３に対応する予め定めた閾値Ｔ３をメモリから抽出する（ステップＳ４１）。ステップＳ２１で測定された発声速度Ｓ３がステップＳ４１で抽出された予め定めた閾値Ｔ３よりも大きいか否かを判定する（ステップＳ５３）。発声速度Ｓ３が閾値Ｔ３よりも大きいと判定された場合はステップＳ７に進み、発声速度Ｓ３が閾値Ｔ３よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ３は、重要性判定スコアＳ３の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０１】
図１５（Ｂ）は、図１４の生体センサー部２１の処理手順を示す流れ図である。図１５（Ｂ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【０１０２】
ステップＳ１で利用者による原言語入力があると判断された場合は、生体センサー部２１が利用者の生体情報をモニターし、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のうちの少なくとも１つの生体的なパラメータやそのパラメータの変化を検出する。ここでは、脈拍速度を生体的パラメータＳ４とする。この場合、生体センサー部２１は原言語入力があった時に利用者の脈拍速度Ｓ４を測定する（ステップＳ２２）。このように利用者の生体情報を測定するのは、第２の言語を母語とする利用者が第１の言語を母語とする他者に言葉を話しかける場合である。利用者が利用者の声等によって原言語入力をする場合は、例えば、原言語を入力している間にあるボタンを利用者が押すことによって原言語入力が利用者によるものであることが特定されるように設定されている。これによって、ステップＳ１での原言語入力が、利用者が他者に伝えるために入力であるか、他者から利用者への入力であるかが特定される。
【０１０３】
次に、重要性判定部１５でステップＳ２２で測定された脈拍速度Ｓ４に対応する予め定めた閾値Ｔ４をメモリから抽出する（ステップＳ４２）。ステップＳ２２で測定された脈拍速度Ｓ４がステップＳ４２で抽出された予め定めた閾値Ｔ４よりも大きいか否かを判定する（ステップＳ５４）。脈拍速度Ｓ４が閾値Ｔ４よりも大きいと判定された場合はステップＳ７に進み、脈拍速度Ｓ４が閾値Ｔ４よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ４は、重要性判定スコアＳ４の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０４】
以上の図１５（Ａ）及び図１５（Ｂ）を参照して説明したように、韻律分析処理及び生体情報処理のいずれかのみで重要性判定処理を行ってもよいが、これら２つの処理を参照して重要性判定処理を行ってもよい。さらに、図５、図９、及び図１０に示したように重要キーワード及び類似キーワードも参照して最終的な重要性判定処理を行ってもよい。具体的には、例えば、重要キーワードによる重要性判定処理、韻律分析による重要性判定処理、及び生体情報による重要性判定処理のいずれか２つの場合において閾値を超えないと翻訳モードを高負荷高精度モードに設定しないとする。このように複数の判定材料により原言語入力の重要性を判定することにより、その判定の信頼度を高めることができる。
【０１０５】
図１６は、図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例である。図１６は、日本語を母語とする利用者が英語圏を旅行中で、図１４に示したコミュニケーション支援装置を所持して、航空機の乗り物に乗っている状況を例として想定する。
【０１０６】
時刻ｔ３０に、“Fasten your seat belt for your safety.”（原言語（英語）入力３）という英語による音声アナウンスが機内アナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、韻律分析処理及び重要性判定処理を行う。また、韻律分析処理及び他の処理、例えば重要キーワードによる重要性判定処理の両方を参酌して、原言語入力の重要性判定を行ってもよい。
【０１０７】
韻律分析処理で得られた重要性判定スコアが閾値Ｔ３を超えていたとする。生体情報処理で得られた重要性判定スコアは利用者が情報を発信する場合のみに利用されるので、この例では生体情報処理で得られた重要性判定スコアは利用されない。この場合、この原言語（英語）入力３は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。このとき、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。後の動作は、図１３に示した事項と同様である。
【０１０８】
（第４の実施形態）
図１７は、本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【０１０９】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、通信部２２を備えている。本実施形態のコミュニケーション支援装置はクライアント装置１として機能しうる。通信部２２は外部のサーバ装置４との間で情報を送受信する。通信部２２は通信路３１を介してサーバ装置４との間で通信を行う。通信部２２は、制御部１６が言語翻訳部１３の高負荷高精度モードよりもさらに高精度な翻訳が必要であると判定した場合にサーバ装置４に原言語入力を送信する。通信部２２は、サーバ装置４が送信した原言語入力を翻訳した翻訳文を受信して制御部１６に出力する。通信部２２は、例えば無線ＬＡＮ（Local Area Network）装置や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、クライアント装置１からの要求に応じて、サーバ装置上で処理されるサービスを遠隔利用することができる。
【０１１０】
サーバ装置４は、言語翻訳部４３、制御部４６、及び通信部５２を備えている。言語翻訳部４３は、クライアント装置１の言語翻訳部１３よりも翻訳能力に優れていることのみが異なる。すなわち、言語翻訳部４３は言語翻訳部１３の高負荷高精度モードで翻訳するよりもさらに高精度の翻訳を行うことができる。制御部４６は、第１の言語に基づく原言語入力の内部表現を通信部５２から入力して、言語翻訳部４３に翻訳するように指示をする。通信部５２は、クライアント装置１から第１の言語に基づく原言語入力の内部表現を受信し、言語翻訳部４３が翻訳した翻訳文をクライアント装置１に送信する。
【０１１１】
より詳しくは、言語翻訳部４３は、第１の言語から第２の言語への翻訳処理を行う。言語翻訳部４３は、言語翻訳部１３と同様に、通信路３１を介して、原言語解析部１２から出力される第１の言語に基づく原言語入力の内部表現を入力する。言語翻訳部４３は、第１の言語から第２の言語への語彙の変換、あるいは第１の言語の統語構造から、第２の言語の統語構造への変換などを行う。その結果、言語翻訳部４３は、第１の言語に基づく原言語入力の内部表現を、構文解析木や意味ネットワークなどによって記述された原言語入力の第２の言語に基づく内部表現に変換する。クライアント装置１に含まれる言語翻訳部１３は、小型軽量のクライアント装置１の構成上の制約や処理能力上の制約から、翻訳精度や翻訳速度が限定されることに対して、この言語翻訳部４３は、処理能力、処理速度、記憶容量、解析規則数、検証される候補数の制約が無いに等しいため、より高精度な翻訳が可能である。
【０１１２】
制御部４６は、通信路３１とサーバ装置４を介して受信した、クライアント装置１からの第１の言語に基づく内部表現の翻訳処理要求に対して、言語翻訳部４３を制御して、第１の言語から第２の言語への翻訳処理を行わせる。そして、制御部４６は翻訳結果である第２の言語に基づく内部表現を言語翻訳部４３から入力し通信部５２に出力する。
【０１１３】
通信部５２は、例えば無線ＬＡＮ機器や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、通信路３１を通じてクライアント装置１との間の通信を実現して、クライアント装置１からの要求に応じて、サーバ装置４上で処理されるサービスを提供する。
【０１１４】
以上のクライアント装置１とサーバ装置４から、最小構成のコミュニケーション支援システムが実現される。このコミュニケーション支援システムにより、利用者が小型軽量なクライアント装置１を携帯し、例えばサービスセンターに設置されたサーバ装置４との間で、有線ネットワークと無線ネットワークを併用した通信路を通じたネットワーク通信を行い、クライアント装置１がサーバ装置４からサービス提供を受けることができる。
【０１１５】
また、通信路３１は、例えば無線通信装置間の通信を実現する媒体である伝送波とその伝送路である空間、有線通信を実現する媒体である電線ケーブル、光ケーブル、ルーター、リピーター、無線アクセスポイントといった中継装置、分配装置、交換装置、接続装置なども含む。通信路３１は、通信部２２と後述のサーバ装置４の通信部５２を介したクライアント装置１とサーバ装置４との間の遠隔ネットワーク通信を実現する。
【０１１６】
以上に説明した、クライアント装置、及び通信路、及びサーバ装置によって、重要性が高いと判定された入力に関しては、通信路を介したサーバ装置の遠隔ネットワーク利用によって、高品質な翻訳がなされ、重要性が高くないと判定された入力に関しては、従来どおりクライアント装置内での翻訳処理がなされる。
【０１１７】
図１８は、図１７のコミュニケーション支援装置（クライアント装置１）を含むコミュニケーション支援システムの処理手順を示す流れ図である。ステップＳ４までのステップとステップＳ９からのステップは図５の流れ図と同様である。この流れ図の各ステップは、制御部１６又は制御部４６が図１の各部に指示を出力することによって実行される。
【０１１８】
クライアント装置１は、例えば携帯が容易なようにその大きさ及び質量等の制約があるが、サーバ装置４は、携帯が容易である必要等の制約がないため、その規模及び質量等を制限する必要がない。したがって、サーバ装置４は、処理能力、処理速度、記憶容量、解析規則数、及び、検証される候補数等をクライアント装置１に比較して遙かに大きくすることが可能であり、原理的にはその時点の世界で最も高精度な翻訳を実現することも可能である。本実施形態のコミュニケーション支援システムは、重要であると判定された原言語入力をサーバ装置４で翻訳させる。
【０１１９】
ステップＳ４で制御部１６が計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７５に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６１に進む。
【０１２０】
ステップＳ７５では、サーバ装置４で第１の言語に基づく内部表現を翻訳させる。すなわち、原言語解析部１２から第１の言語に基づく内部表現を通信部２２に出力し、通信部２２からサーバ装置４へその内部表現を送信する。この後、サーバ装置４の通信部５２がその内部表現を受信し、制御部４６が言語翻訳部４３にその内部表現を出力する。制御部４６が言語翻訳部４３に、この第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳するように指示し、言語翻訳部４３はその翻訳を実行する。
【０１２１】
ステップＳ６１は、図５のステップＳ６又はステップＳ７と、ステップＳ８とを合わせたものと同様である。すなわち、クライアント装置１で第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳する。言語翻訳部１３で翻訳する翻訳モードは、高負荷高精度モードと低負荷高速モードのいずれかに予め設定されていてもよいし、どちらかのモードを利用者が選択することができるように設定されていてもよい。
【０１２２】
図１９は、図１８の流れ図で処理された具体例である。図１９は、日本語を母語とする利用者が、ネットワークによってサービスセンターに設置されたサーバ装置４の翻訳サービスを利用することが可能なクライアント装置１を携帯して、英語圏を旅行している状況を想定する。
【０１２３】
時刻ｔ４０に、クライアント装置１が“Keep out or fine 2,500$.”（原言語（英語）入力４）という英語を入力したとする。クライアント装置１は、原言語（英語）入力４に対し音声認識処理、言語解析処理、及び重要性判定処理を行う。原言語（英語）入力４の内部表現の中に、図３に示した重要キーワード記憶部１５２の格納アドレスｐ１３に記憶されている重要キーワード“fine”が含まれているため、格納アドレスｐ１３のエントリのスコア欄の値ｓ１３が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ１３は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力４は重要性の高い入力であると判定され、サーバ装置４に送信されそこでクライアント装置１の翻訳よりも高精度な翻訳を実行する言語翻訳部４３によって翻訳処理が行われる。このとき、ディスプレイ等に「センター処理中」のメッセージが表示され、利用者はサーバ装置４で翻訳処理が行われていることを認識することができる。
【０１２４】
サーバ装置４が原言語（英語）入力４を入力し翻訳処理を行い、例えば対象言語（日本語）出力７＝“立ち入り禁止、罰金２，５００ドル”という適切で高品質の翻訳結果を生成する。生成された翻訳結果はネットワークを介してクライアント装置１に送信され、対象言語生成部１４及び言語出力部１７での処理を経て、時刻ｔ４ｂに上記の対象言語（日本語）出力７が［センター処理結果］として利用者に提示される。
【０１２５】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳をクライアント装置１で実行するように変更したい場合は、「センター処理中」と表示されている間に利用者は「キャンセル」ボタンをクリックする。図１９の例では、時刻ζに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時にサーバ装置４での翻訳が中止され、クライアント装置１で翻訳処理が開始される。その後、時刻ζ＋ｔ４ａに、［クライアント翻訳処理結果］として、例えば、対象言語（日本語）出力８＝“外に続くか素晴らしい２，５００ドル”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、サーバ装置４で翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、このサーバ装置４で翻訳処理の実行を開始するボタンをクリックすることによって適切な翻訳結果を得ることを期待することができる。
【０１２６】
本実施形態のコミュニケーション支援システムによれば、重要な内容を含む入力に対しては、クライアント装置１よりも高精度の翻訳処理が可能なサーバ装置４が自動的に選択され、非母語による重要な情報を利用者が適切に受け取ることが可能となる。
【０１２７】
図２０は、図１７のサーバ装置の変形例を示すブロック図である。
【０１２８】
サーバ装置４０は、図１７に示したクライアント装置１と同様なブロックを備えている。サーバ装置４０の各ブロックは対応するクライアント装置１の各ブロックと同様な機能を有しているが、その能力がクライアント装置１の各ブロックに比較して著しく優れている。
【０１２９】
この場合、クライアント装置１は音声を入力した後、音声波形をサーバ装置４０に送信する。サーバ装置４０が音声波形を入力し、言語認識部４１が高精度の言語認識を実行する。その後は、サーバ装置４０内で原言語分析、重要性判定、言語翻訳、対象言語生成、言語出力を実行して、サーバ装置４０がクライアント装置１に言語出力の音声波形を出力する。一方、この場合クライアント装置１は、音声波形を原言語入力として取得してサーバ装置４０に送信することと、サーバ装置４０から受信した翻訳済である第２の言語の音声波形を入力して翻訳結果を利用者に提示することのみ行えばよい。
【０１３０】
このようにサーバ装置４０が原言語入力の音声波形の入力から翻訳結果の音声波形の出力までの全てを処理するのではなく、サーバ装置４０はその一部の処理を実行するようにしてもよい。図１７の例のように、サーバ装置４０が翻訳処理のみを実行するように設定してもよい。他にもサーバ装置４０が実行しうる処理の一部のみを実行するように設定することもできる。例えば、言語出力部４７のみを動作させ、第２の言語で記述される翻訳された原言語入力の音声合成処理をサーバ装置４０で高精度に実施してその翻訳結果をクライアント装置１に戻すようにしてもよい。他にもサーバ装置４０が実行しうる処理のいくつかを組み合わせて実行するように設定することもできる。例えば、サーバ装置４０が原言語入力の音声波形をクライアント装置１から受信して原言語解析部４２で形態素解析、構文解析、意味解析処理等を実行して原言語入力の第１の言語に基づく内部表現を生成し、言語翻訳部４３で第２の言語に基づく内部表現に翻訳してその翻訳結果をクライアント装置１に戻すようにしてもよい。
【０１３１】
また、サーバ装置４０は、コミュニケーション支援システムが実行しうる処理の一部のみを実行する場合は、この一部の処理を実行する装置部分だけを備えて、それ以外の装置部分は備えないようにしてもよい。例えば、サーバ装置４０が原言語表層文字列を入力して、その文字列から原言語入力の第１の言語に基づく内部表現を生成し、その内部表現を第２の言語に基づく内部表現に翻訳する処理のみを実行する場合は、サーバ装置は、図２０に示した原言語解析部４２、言語翻訳部４３、制御部４６、及び通信部５２だけを備えておけばよい。
【０１３２】
その他の例としては、サーバ装置を複数設置しておき、サーバ装置ごとに特徴をもたせてもよい。例えば、各サーバ装置をある所定の言語に特化しておき、翻訳する際の言語に応じてクライアント装置１が接続するサーバ装置が選択することが可能なように設定する。
【０１３３】
また、クライアント装置１も複数設置することも可能である。その際は、あるサーバ装置に負荷が集中しないように、複数のサーバ装置で処理を分散することが好ましい。
【０１３４】
また、上述のコミュニケーション支援システムでは、クライアント装置１とサーバ装置４０との間で処理を分担して実行していたが、クライアント装置１とサーバ装置４０が同様な処理を平行して実行してもよい。その後、利用者が双方の翻訳結果を参照してどちらかの翻訳結果を利用者が選択する。利用者は、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って翻訳結果を取捨選択し、利用者に提示するようにしてもよい。
【０１３５】
また、上述のコミュニケーション支援システムでは、サーバ装置４０が翻訳した翻訳結果をクライアント装置１が必ず受け取ることを前提としている。しかし、例えばクライアント装置１がネットワークを利用することが不可能な場合、サーバ装置での翻訳処理の結果が予め設定された許容可能な時間内にクライアント装置１で得られない場合、又は、クライアント装置１が翻訳結果をサーバ装置４０から受け取ることができない場合は、クライアント装置１で翻訳処理した翻訳結果を利用者に提示するようにする。以上により、常に利用が保証されているとはいえないサーバクライアント方式の上述のコミュニケーション支援システムの問題点は解決することができる。
【０１３６】
以上に説明した実施形態において、本実施形態のコミュニケーション支援装置が、上述したように重要性が高いと判定された一連の入力した原言語情報、あるいはその原言語の処理結果の履歴をメモリに記憶しておいて、利用者が所定の操作を行うことによりこの原言語情報及び／又はこの原言語の処理結果の履歴をコミュニケーション支援装置上に適宜表示することができるように設定してもよい。
【０１３７】
また、重要性の高い原言語情報には、その原言語情報の発信者がその原言語情報を発信する際に予め特定の重要性を示す識別情報であるタグ等を原言語情報に付与して発信するように設定されていてもよい。コミュニケーション支援装置が、付与されているタグ等の識別情報によって原言語情報の重要性を判定し、その重要性に基づいて例えば翻訳処理のモードが決定されてもよい。例えば、重要な情報である地震警報は常に重要性が高度である旨の識別情報が付与されて発信される。他の例としては、様々な言語を母語とする人々が集まる国際空港で、旅行者にとって重要と思われるアナウンスは、重要性が高度である旨の識別情報が付与されて発信される。また、原言語情報がどこから発信されたものかを示す情報も識別情報と同様に付与されていてもよい。
【０１３８】
また、コミュニケーション支援装置は、予め重要性が高い旨の識別情報を有する原言語入力や、コミュニケーション支援装置で重要性が高いと判定された原言語入力及び／又はその翻訳文を、自動録音したり、自動で文字化するように設定されていてもよい。さらに、コミュニケーション支援装置は、録音された原言語音声及び翻訳文や文字化された原言語音声及び翻訳文に基づく音声を利用者に提示するように設定されていてもよい。
【０１３９】
以上により、本実施形態のコミュニケーション支援装置は、利用者が非母語を受け取った場合、利用者に適切な対応を促すことができる。
また、本実施形態のコミュニケーション支援装置は、ネットワークを介して超高精度のサーバ装置に接続可能なため、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化を両立することができる。より高精度な翻訳は、サーバ装置に接続することによってサーバ装置から得る。
さらに、本発明のコミュニケーション支援装置は、サーバ装置に接続しないで原言語入力の重要度に応じて翻訳することができるので、ある言語の文を入力してからその翻訳文を出力するまでの時間を少なくすることができる。
また、ネットワークが不通の場合でも、本実施形態のコミュニケーション支援装置は、ある言語の文を入力してからその翻訳文を出力することが可能である。すなわち、本発明のコミュニケーション支援装置は、ネットワークの通信状態に関わらず、翻訳文を出力することが可能である。
【０１４０】
また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のコミュニケーション支援装置と同様な動作が実行され、上述した実施形態のコミュニケーション支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに読み込ませて実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のコミュニケーション支援装置と同様な動作を実現することができる。
【０１４１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４２】
【発明の効果】
本発明のコミュニケーション支援装置、支援方法、及び支援プログラムは、原言語情報の重要度や緊急度に応じて翻訳精度を変えて翻訳することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図。
【図２】 図１の重要性判定部のブロック図。
【図３】 図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図。
【図４】 図２の第１の言語に基づく内部表現の具体例。
【図５】 図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図６】 図５の流れ図で処理された具体例。
【図７】 図１の重要性判定部の別のブロック図。
【図８】 図７の類似キーワード記憶部に格納されている類似キーワードテーブルを示す図。
【図９】 図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１０】 図９の処理手順の変形例を示す流れ図。
【図１１】 本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図。
【図１２】 図１１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１３】 図１２の流れ図で処理された具体例。
【図１４】 本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図。
【図１５】
（Ａ） 図１４の韻律分析部の処理手順を示す流れ図。
（Ｂ） 図１４の生体センサー部の処理手順を示す流れ図。
【図１６】 図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例。
【図１７】 本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図。
【図１８】 図１７のコミュニケーション支援装置を含むコミュニケーション支援システムの処理手順を示す流れ図。
【図１９】 図１８の流れ図で処理された具体例。
【図２０】 図１７のサーバ装置の変形例を示すブロック図。
【符号の説明】
１・・・クライアント装置、４・・・サーバ装置、１１・・・言語認識部、１２・・・原言語解析部、１３・・・言語翻訳部、１４・・・対象言語生成部、１５・・・重要性判定部、１６・・・制御部、１７・・・言語出力部、１８・・・注意喚起部、１９・・・確認操作部、２０・・・韻律分析部、２１・・・生体センサー部、２２・・・通信部、３１・・・通信路、４０・・・サーバ装置、４１・・・言語認識部、４２・・・原言語解析部、４３・・・言語翻訳部、４６・・・制御部、４７・・・言語出力部、５２・・・通信部、１５１・・・照合部、１５２・・・重要キーワード記憶部、１５３・・・類似判定部、１５４・・・類似キーワード記憶部
【発明の属する技術分野】
本発明は、コミュニケーションの際にやり取りされるメッセージの少なくとも一部分について、２つ以上の言語間で翻訳を行うコミュニケーション支援装置、支援方法、及び支援プログラムに関する。
【０００２】
【従来の技術】
近年、異言語間での交流、若しくは異文化間交流が盛んになってきており、異なる言語を母語とする人同士が円滑にコミュニケーション（以下、異言語間コミュニケーションと称する）をする必要性が増大している。
【０００３】
異言語間コミュニケーションを実現するため、そのコミュニケーションの関係者が外国語である相手の言語を修得することは、容易ではなく仮に可能であったとしても多大な時間と費用を要する。また、異言語間コミュニケーションで必要な多言語に精通した通訳者を利用することも考えられるが、通訳者は人数が限られ料金も高く、一般的に広く利用されてはいない。他に、一般の人が海外旅行をする際等に遭遇しそうな場面で想定される会話表現を対訳とともに記載した会話表現集を利用することも考えられる。会話表現集では表現の収録数が限られるために、実際の会話において必要となる表現を網羅することができない。また、会話表現集に収録されている定型表現を利用者が記憶することは多大な時間を要する。さらに、会話表現集は書籍であることから、実際の会話の場面において、必要な表現が記載されているページを迅速に探し出すことが困難であり、実際のコミュニケーションでは必ずしも有効ではない。
【０００４】
そこで、このような会話集のデータを電子化した、例えば携帯可能なサイズの電訳機がある。利用者は電訳機を例えば手に持って、キーボードやメニュー選択操作によって翻訳する文章を指定したり、必要とする表現の検索を行う。電訳機は入力された文章を他国語に変換し、変換後の文章をディスプレイ上に表示したり他国語で音声出力する（例えば、特許文献１参照）。しかし、電訳機は、相変わらず限られた定型表現に基づいて翻訳するに過ぎず、異なる言語を使う人同士の十分なコミュニケーションを可能にしているとはいえない。また、電訳機の収録表現数を増加させると、翻訳する文章の選択が困難となってしまい、実際のコミュニケーションにおける有効性が低下してしまう。
【０００５】
一方、近年の音声認識技術や手書き文字入力の自動認識技術の発展や、自然言語処理技術、特にテキストに対する機械翻訳技術の精度向上や、高速化などの発展があり、このような技術を活用した異言語間コミュニケーションの支援をする支援装置の実現への要求が高まってきている。特に、対面コミュニケーションでは、音声入出力で翻訳が行えることが理想であるため、計算機による音声認識処理技術及び、音声合成処理技術を併用して、音声入力した翻訳元の言語による任意の発話メッセージを、音声認識し、解析翻訳し、翻訳対象言語による発話メッセージに変換して、音声で出力する技術の開発も進められている（例えば、特許文献２参照）。
【０００６】
また、インターネットや、無線ネットワークなどに代表される通信技術の発展に伴い、センターに設置した機器によって、音声認識処理、言語解析処理、言語翻訳処理、言語生成処理、及び音声合成処理などを適宜組み合わせた、コミュニケーション支援サービスを実現し、これをネットワーク接続された機器から利用するサーバクライアント形式のアプリケーションサービスが実現可能となってきている。
【０００７】
【特許文献１】
特開平８−３２８５８５号公報
【０００８】
【特許文献２】
特開平２−７１６８号公報
【０００９】
【発明が解決しようとする課題】
しかし、外国語である非母語による音声アナウンスは、非定型の表現であることが多く、翻訳不可能なことが多く、支援装置が役に立たないことが多い。さらに、支援装置が音声認識さえもできない場合には、外国語での音声アナウンスを確認することもできない。特に、交通機関で起こりがちな突発的な音声アナウンスの場合は、文字又は絵等で表示されていることは期待できない。さらに、この様な突発的な音声アナウンスは、緊急を要する場合も少なくないため、音声アナウンスの音声認識及び翻訳処理の成否は支援装置の利用者にとって死活問題になることさえある。
【００１０】
また、高性能な支援装置を実現するためには、高価な部品が必要となったり、内部構成が複雑化したり、支援装置が大型化したり、消費電力が大きくなる。すなわち、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化の少なくともいずれか１つを両立することは難しい。
【００１１】
また、通信サービス圏外となり通信が不可能となるエリアがある。このエリアでは通信サービスの利用が制限されているためにネットワークを利用してセンターへ接続し、このセンター側で音声認識や翻訳処理を行うことが不可能である。このような場所は、例えば、航空機などの乗り物内や病院内がある。また、通信による処理の時間的遅延が発生し翻訳までに長時間かかり過ぎて、支援装置が実際的に利用不能となる場合がある。さらに、無線通信には一般に多くの電力が必要であり機器の搭載する電源の制限などによって通信可能な時間が制限されていまい、センターに接続する支援装置は常時利用することができるとはいえない。この様に、支援装置がネットワークを利用してセンターに接続すると必ずしも常時利用ができる保証がないという問題がある。
【００１２】
本発明はこのような事情を考慮してなされたもので、その目的は、翻訳結果が高精度であり、入力から出力までの応答に優れ、さらに支援装置を携帯する上で便利である特徴を備えるコミュニケーション支援装置、支援方法、及び支援プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する設定手段と、設定された前記翻訳精度で、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段を具備することを特徴とする。
【００１４】
また、この発明のコミュニケーション支援装置においては、第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とする。
【００１５】
上記の目的を達成するために、この発明のコミュニケーション支援方法においては、入力手段が、第１言語で記述される原言語情報を入力し、第１格納手段が、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い点数を対応づけて格納し、照合手段が、前記原言語情報と前記重要キーワードとを照合し、第１判定手段が、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定し、翻訳手段が、前記原言語情報を第２言語で記述される対訳言語情報に翻訳し、提示手段が、該対訳言語情報を提示し、設定手段が、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、第１言語で記述される原言語情報を入力するための入力処理、前記対訳言語情報に翻訳するための翻訳処理、及び、前記対訳言語情報を提示するための提示処理のうち少なくとも１つの処理精度を設定し、実行手段が、設定された前記処理精度で、前記処理精度が設定された処理を実行することを特徴とする。
【００１６】
上記の目的を達成するために、この発明のコミュニケーション支援プログラムにおいては、コンピュータを、
第１言語で記述される原言語情報を入力する入力手段と、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、前記原言語情報と前記重要キーワードとを照合する照合手段と、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する判定手段と、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、該対訳言語情報を提示する提示手段と、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段として機能させる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態に係るコミュニケーション支援装置、支援方法、及び支援プログラムについて説明する。なお、ここでは、第１の言語として英語を想定し、また第２の言語として日本語を想定する。また、本実施形態のコミュニケーション支援装置の利用者は日本語を母語とする日本語話者とし、この利用者が英語圏に旅行をした際に、本実施形態のコミュニケーション支援装置、支援方法、及び支援プログラムを利用する場合を例として説明を行う。ただし、言語の組合せ、利用者の母語の種類や語学力、及び本実施形態のコミュニケーション支援装置を利用する場所等は、この設定に限定されるものではない。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図である。
【００１９】
言語認識部１１は、第１の言語で話されている音声を入力して、音声認識を行う。言語認識部１１は、音声認識技術を利用して入力した音声を認識する。言語認識部１１は、認識した音声を原言語のテキストである書き下し文字列（原言語表層文字列と呼ぶ）に変換して、この文字列を出力する。言語認識部１１は、この文字列を原言語解析部１２に出力する。この認識した音声を原言語表層文字列に変換する処理は、音声ディクテーション認識処理と呼ばれる。音声ディクテーション認識処理は既存の技術でも実現可能な技術である。
【００２０】
また、言語認識部１１は、第２の言語で話されている音声を入力して、音声認識を行ってもよい。以下に述べる実施形態の全ての説明で、「第１の言語」と「第２の言語」を入れ替えて読み替えた動作を各部が実行してもよい。このような動作は、利用者が話す第２の言語による表現を第１の言語を母語とする他者に伝えようとする場合に行われる。
【００２１】
なお、ここでは言語認識部１１は音声入力による例のみを示したが、言語認識部１１が例えばカメラ装置と文字認識機能部を備えて、文字を画像入力して文字認識をすることにより、言語認識部１１が第１の言語の文字を認識し第１の言語に基づく内部表現として原言語解析部１２に出力してもよい。
【００２２】
原言語解析部１２は、第１の言語の原言語表層文字列を入力して、例えば形態素解析、構文解析、意味解析処理を行う。この結果、原言語解析部１２は、構文解析木、意味ネットワーク等によって記述された、原言語入力の第１の言語に基づく内部表現を生成する。具体的な例は、図４を参照して後述する。原言語解析部１２は生成した内部表現を言語翻訳部１３に出力する。なお、コミュニケーション支援装置に入力される第１の言語の入力文が音声でなくテキスト等の文書である場合には、言語認識部１１を介さず直接、原言語解析部１２に入力文が入力される。
【００２３】
言語翻訳部１３は、第１の言語に基づく内部表現を入力して、第１の言語から第２の言語に翻訳する。すなわち、言語翻訳部１３は、例えば、第１の言語から第２の言語への語彙の変換、第１の言語の統語構造から第２の言語の統語構造への変換を行う。この結果、言語翻訳部１３は、第１の言語に基づく内部表現を、構文解析木、意味ネットワーク等によって記述された、原言語入力の第２の言語に基づく内部表現に変換する。
【００２４】
また、言語翻訳部１３は、制御部１６の指示に応じて、トレードオフの関係にある処理精度と処理負荷を制御するためのパラメータを適宜変更して翻訳処理を行う。ここでパラメータとしては、例えば、構文解析において検査対象とする候補構造の数がある。他のパラメータとしては、入力された文を構成する各単語や形態素間の係り受け関係の解析において、検証対象とする係り受けの語彙数単位での遠さがある。また、他のパラメータとしては、入力された文の構文解析処理や意味解析処理において、検証対象とする多義語の語義の数や、検証対象とする語義や共起情報の出現頻度がある。ここで共起情報とは、語相互間の自然な結びつきを示す情報である。共起情報は、例えば、“weather”は、“allowing”とは共に使用されず“permitting”とは共に使用されるという情報である。したがって、この共起情報に基づけば、日本語の「天候が許すならば、食事は屋外でしましょう。」は、英語では“Meals will be served outside, weather allowing”ではなく、“Meals will be served outside, weather permitting”が正しい表現ということになる。
【００２５】
言語翻訳部１３は、制御部１６からの指示に応じてパラメータを変更して、いくつかの翻訳モードから１つのモードに設定する。翻訳モードは、例えば、翻訳する速さを優先する低負荷高速モード、翻訳精度を優先する高負荷高精度モードがある。低負荷高速モードは、言語翻訳部１３の処理負荷が低く、ある程度の精度の翻訳結果を迅速に得るためのものであり、高負荷高精度モードは、言語翻訳部１３の処理負荷が高く、高精度な翻訳結果を得るためのものである。低負荷高速モードは、迅速に翻訳結果を得ることができるが、翻訳精度は高くない。一方、高負荷高精度モードは、翻訳精度は高いが、翻訳結果を得るまでに必要とする処理時間が長い。もちろん、これらのモード以外のモードを設定することもできる。
【００２６】
異なる翻訳モードでは、原言語情報に含まれる表現が第２言語のどの表現に対応するかを検査する候補数、訳語辞書の中で候補を検索する範囲が異なる。高負荷高精度モードではこれらのいずれもが低負荷高速モードに比較して大きい。
【００２７】
対象言語生成部１４は、第２の言語に基づく内部表現を入力して、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成する。対象言語生成部１４はこの対訳表層文字列は、対象言語テキストとして出力することが可能である。言語生成処理は、例えば、構成要素の出現順の制御、用言の活用処理、語彙の選択がある。
【００２８】
なお、原言語解析部１２、言語翻訳部１３、及び対象言語生成部１４でなされる一連の処理は、例えば特許第３１３１４３２号公報に記載されている従来の翻訳装置と同様の自然言語処理技術を応用したものである。
【００２９】
重要性判定部１５は、第１の言語に基づく内部表現を入力して、この内部表現に対応する言語情報が重要であるか否かを判定するための判定材料を計算によって求め、この求められた判定材料を制御部１６に出力する。言語情報は、例えば、言語認識部１１に入力される音声、原言語解析部１２に入力される原言語テキストがある。
【００３０】
制御部１６は、言語認識部１１、原言語解析部１２、言語翻訳部１３、対象言語生成部１４、重要性判定部１５、及び言語出力部１７を制御する。特に、制御部１６は、重要性判定部１５が求めた判定材料に基づいて、各部に制御信号を出力する。例えば、制御部１６は、言語翻訳部１３の翻訳モードを指定するための制御信号を言語翻訳部１３に出力する。また、各部がそれぞれ例えば高精度モードと通常モードを有していて、制御部１６は各部にどのモードで処理を行わせるかの指示を行うように設定されていてもよい。もちろん、これらのモードは、２種類だけでなく、３種類以上のモードを設定することができる部があってもよい。また、モードを有していない部もあってもよい。
【００３１】
また、制御部１６は、各部において各部から出力結果が不十分である場合にその処理を再試行させることを指示してもよい。さらに制御部１６は、その再試行させる回数も制御してもよい。ここで、出力結果が不十分であるか否かの判断は処理内容に依存して各部の出力間で異なる。したがって、各部ごとにその出力結果が不十分であるか否かを判定するための閾値を予め設定しておき、制御部１６がその閾値と各部の出力結果を照合することによって、各部ごとの出力結果が不十分であるか否かを判定してもよい。
【００３２】
さらに、制御部１６は、各部に処理を実行させる指示を出力する場合に、その処理で利用することが許容されるメモリ量、その処理の処理時間、その処理をするための処理速度を制御してもよい。
【００３３】
言語出力部１７は、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力する。すなわち、テキスト・トゥー・スピーチ音声合成処理が行われる。なお、テキスト・トゥー・スピーチ音声合成処理自体は既存の技術でも実現可能な技術であるため、ここではこれ以上言及しない。
【００３４】
なお、言語認識部１１及び言語出力部１７は、どちらもあくまで選択的な構成要素であって、本発明の実施に必須の要件ではない。
【００３５】
図２は、図１の重要性判定部１５のブロック図である。
【００３６】
重要性判定部１５は、照合部１５１と重要キーワード記憶部１５２を含んでいる。照合部１５１は、後述の重要キーワード記憶部１５２の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、重要キーワードが含まれているか否かを検査する。重要キーワードとは、言語の中で重要なキーワードのことであり、例えば、緊急を要するような事項を示すキーワードがある。照合部１５１は、重要キーワード記憶部１５２に含まれている、各重要キーワードに対応している各スコアに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の重要度を判定する。照合部１５１は、この重要度を重要性情報として制御部１６に出力する。この重要度は、例えば、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を取ったものである。
【００３７】
重要キーワード記憶部１５２は、重要キーワードを通常、複数個記憶している。また、重要キーワード記憶部１５２は、その重要キーワードに対応して設定されているスコアも記憶している。さらに、重要キーワード記憶部１５２は、その重要キーワードとスコアが記憶されているアドレス（図３の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、及び、スコアは、図３に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、及び、スコアは上述したように対応付けられていれば必要十分であり、テーブル状に記憶されている必要はない。
【００３８】
図３は、図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図である。
【００３９】
重要キーワード記憶部１５２は、格納アドレス、重要キーワード、及びスコアを分類して予め記憶している。例えば、格納アドレスｐ１のエントリでは、重要キーワードが“risk”で、スコアが“ｓ１”（数値）となっている。これは、重要キーワードである“risk”とこの重要キーワードに対応するスコアである“ｓ１”が格納アドレスｐ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この重要キーワードである“risk”を１つ含む文の重要性を評価するための点数はｓ１点とすべきであることを示す。他の格納アドレスのエントリも同様である。
【００４０】
図４は、図２の第１の言語に基づく内部表現の具体例である。
【００４１】
原言語解析部１２から出力されて照合部１５１に入力される第１の言語に基づく内部表現は、例えば、構文解析結果の構文木構造である。図４は、コミュニケーション支援装置に入力された入力文が“Fasten your seat belt for your safety.”である場合に、この文の構文解析結果の構文木構造を示している。ここで、「Ｓ」は“sentence”の省略形であり文章を示す。「ＶＰ」は“verb phrase”の省略形であり動詞句を示す。「ＰＰ」は“prepositional phrase”の省略形であり前置詞句を示す。「ＮＰ」は“noun phrase”の省略形であり名詞句を示す。なお、ここでは、「ＰＰ」及び「ＮＰ」は、構文木構造の一部を省略して三角形で表記している。
【００４２】
図５は、図１のコミュニケーション支援装置の処理手順を示す流れ図である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００４３】
言語認識部１１に音声が入力されたか否かを判定する（ステップＳ１）。言語認識部１１に音声が入力されたと判断した場合はステップＳ２に進み、一方、言語認識部１１に音声が入力されていないと判断した場合は音声が入力されるまでステップＳ１を所定の周期で繰り返し実行する。
【００４４】
ステップＳ２では、言語認識部１１に入力された音声を原言語表層文字列に変換するように指示する。次に、原言語表層文字列を原言語解析部１２に入力させ、原言語解析部１２に原言語表層文字列を解析させ、第１の言語に基づく内部表現を生成させる（ステップＳ３）。
【００４５】
重要性判定部１５に、重要キーワード記憶部１５２に記憶されている重要キーワードがステップＳ３で生成された内部表現に含まれているか否かを判定させる（ステップＳ４）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和（重要性判定スコアと呼ぶ）Ｓが式（１）（又は数式（１））によって計算される（ステップＳ４）。
【００４６】
【数１】
【００４７】
ステップＳ４で計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６に進む。
【００４８】
ステップＳ７では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを高負荷高精度に設定するように指示する。一方、ステップＳ６では、言語翻訳部１３に、処理精度と処理負荷を制御するためのパラメータを低負荷高速に設定するように指示する。すなわち、重要性判定スコアＳが閾値Ｔよりも大きいか否かで、翻訳モードを変化させ、言語翻訳部１３の処理精度と処理負荷を設定する。ここで、閾値Ｔは、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００４９】
次に、言語翻訳部１３に、ステップＳ６又はステップＳ７で設定された翻訳モードに応じて、第１の言語から第２の言語に翻訳する（ステップＳ８）。すなわち、第１の言語に基づく内部表現を第２の言語に基づく内部表現に変換するように指示する。
【００５０】
対象言語生成部１４に、第２の言語に基づく内部表現を入力し、この内部表現に言語生成処理を行い、第２の言語で訳された対訳表層文字列を生成するように指示する（ステップＳ９）。
【００５１】
言語出力部１７に、第２の言語で翻訳された対訳表層文字列を入力し、第２の言語に基づく音声出力を合成してスピーカ等に出力し、ステップＳ１に戻る（ステップＳ１０）。
【００５２】
以上に説明した図５の流れ図に従った制御が行われることによって、重要な入力は高精度に翻訳し、重要でない入力は高速に翻訳することが可能なコミュニケーション支援装置が実現される。
【００５３】
なお、入力文がテキスト等の文書である場合には、ステップＳ２は実行されずステップＳ１の処理後ステップＳ３に進む。同様に出力文がテキストでよい場合はステップＳ１０は省略される。
【００５４】
また、ステップＳ１で音声入力だけでなく、言語認識部１１が例えばカメラによって文字列を取得してその文字列を原言語表層文字列に変換してもよい。
【００５５】
図６は、図５の流れ図で処理された具体例である。図６は、日本語を母語とする利用者が、図１に示したコミュニケーション支援装置を英語圏で利用した際の例を示している。
【００５６】
時刻ｔ１０に、英語話者である相手が利用者に対して、“Which do you like beef or chicken?”（原言語（英語）入力１）と英語で問い合わせをした際に、この音声入力を検出した本実施形態のコミュニケーション支援装置が、英語の音声認識処理と言語解析処理を経て、重要性判定処理を行ったとする。この文には、重要キーワードは見つからなかったため、重要性判定スコア＝０となる。したがって、重要性判定スコアは予め定めた閾値Ｔを下回り、低負荷高速モードでの翻訳処理が行われることが決定される。その結果、ｔ１ａの処理時間で、出力候補１ａ＝“牛と鶏のどちらが好きですか？”という翻訳結果が得られ、この出力候補１ａが［簡易処理結果］対象言語（日本語）出力１として、利用者に提示される。
【００５７】
利用者がこの簡易処理結果に満足できず、より高精度の翻訳を得たい場合は、「高精度再処理」ボタンをクリックする。「高精度再処理」ボタンは、このボタンをクリックすることにより、翻訳モードを高負荷高精度モードに設定し、入力文を高負荷高精度モードで翻訳する。時刻ｔ１ａ＋αに「高精度再処理」ボタンをクリックすると、この同じ入力文を高負荷高精度モードで翻訳を開始する。時刻ｔ１ａ＋α＋ｔ１ｂに出力候補１ｂ＝“牛肉料理と、鶏肉料理のどちらを召し上がられますか？”といった、より高品位な翻訳結果が得られる。しかし、この翻訳結果を得るために、低負荷高速モードの翻訳に必要だった時間ｔ１ａよりも大幅に長時間であるｔ１ｂが必要となる。すなわち、高負荷高精度モードでは、低負荷高速モードの場合に比較して利用者が長時間待たされることになる。
【００５８】
この「高精度再処理」ボタンは、コミュニケーション支援装置のディスプレイに表示されるものであり、このディスプレイパネル上に表示される。そしてこのディスプレイパネル上には光を透過する感圧式のタッチパネルをクリックするよう構成されていても良い。このような構成にすると、低負荷高速モードで変換したときにのみディスプレイ上に「高精度再処理」ボタンを表示させる。これによりコミュニケーション支援装置の筐体上に高精度再処理専用の「高精度再処理」ボタンを設ける必要はなくなる。
【００５９】
このように、本実施形態によれば、重要な内容を含まない入力に対しては、低負荷の翻訳処理が自動的に選択され、文を入力してから翻訳結果を得るまでの応答の良いコミュニケーション支援装置を実現することができる。さらに、利用者が翻訳結果に満足しない場合は、利用者の意志で高精度な翻訳を実行する翻訳モードを選択することも可能である。
【００６０】
図７は、図１の重要性判定部１５の別のブロック図である。重要キーワード記憶部１５２は、図２を参照して既に説明した。
【００６１】
図７の重要性判定部は、図２の重要性判定部の構成要素に加え、さらに類似判定部１５３及び類似キーワード記憶部１５４を含んでいる。類似判定部１５３は、後述の類似キーワード記憶部１５４の内容を参照し、原言語解析部１２から出力された第１の言語に基づく内部表現の構成要素の中に、類似キーワードが含まれているか否かを検査する。類似判定部１５３は、第１の言語に基づく内部表現の構成要素の中に類似キーワードが含まれていると判定した場合に、その類似キーワードに対応する重要キーワードとその類似キーワードの類似度を類似キーワード記憶部１５４から抽出する。ここで、類似キーワードとは、重要キーワード記憶部１５２に含まれる重要キーワードに類似すると見なすことが適切なキーワードである。
【００６２】
照合部１５１は、類似判定部１５３により抽出された重要キーワードと類似度を類似キーワードごとに入力し、重要キーワード記憶部１５２を参照して、この重要キーワードのスコアとこの重要キーワードの類似キーワードの類似度に基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の類似キーワードによる重要度を判定する。照合部１５１は、この重要度と、図２及び図５で説明したように重要キーワードのスコアとに基づいて、原言語解析部１２から出力された第１の言語に基づく内部表現の最終的な重要度を判定する。この最終的な重要度は、原言語解析部１２から出力された第１の言語に基づく内部表現に含まれる重要キーワード及び類似キーワードに基づいて計算されたものである。
【００６３】
この最終的な重要度は、例えば、次のように計算される。原言語解析部１２から出力された第１の言語に基づく内部表現に含まれている全ての重要キーワード及び類似キーワードを抽出し、抽出された重要キーワードに対応するスコアの和を算出する。さらに類似キーワードに対応する類似度とこの類似キーワードに対応する重要キーワードのスコアを積算し、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせる。これら計算されたそれぞれの値が最終的な重要度であるとする。他の例として、重要キーワードに対応するスコアの和と全ての類似キーワードについて積算した値の和を足しあわせたものが最終的な重要度であるとすることも可能である。
【００６４】
類似キーワード記憶部１５４は、類似キーワードを通常、複数個記憶している。また、類似キーワード記憶部１５４は、その類似キーワードに対応して設定されている類似度、及びその類似キーワードに対応する重要キーワードも記憶している。さらに、類似キーワード記憶部１５４は、その重要キーワードと類似度が記憶されているアドレス（図８の格納アドレス）を記憶している。本実施形態では、説明を容易にするため、上述したこれら格納アドレス、重要キーワード、類似キーワード、及び、類似度は、図８に示すようにテーブル状に記憶されていると見なす。もちろん、これら格納アドレス、重要キーワード、類似キーワード、及び、類似度は上述したように対応付けられていれば必要十分であり、テーブル状に記憶されていると限定する必要はない。
【００６５】
図８は、図７の類似キーワード記憶部１５４に格納されている類似キーワードテーブルを示す図である。
【００６６】
類似キーワード記憶部１５４は、格納アドレス、重要キーワード、類似キーワード、及び類似度を分類して予め記憶している。例えば、格納アドレスｑ１のエントリでは、重要キーワードが“dangerous”で、類似キーワードが“tender”、類似度が“０．８”となっている。これは、重要キーワードである“dangerous”と、この重要キーワードに類似していると見なすことのできる類似キーワードである“tender”と、この類似キーワードと重要キーワードの類似の度合いを示す類似度“０．８”が格納アドレスｑ１に記憶されていることを示す。また、この重要キーワードテーブルは、例えば、この類似キーワードである“tender”を１つ含む文の重要性を評価するために参照されるべき点数は０．８点であることを示す。他の格納アドレスのエントリも同様である。
【００６７】
類似キーワードテーブルは、重要な意味を含む重要キーワード自身だけでなく、重要キーワードと何らかの観点で類似した語句を含む入力に対しても、重要性が高い可能性があると判定するためのものである。類似した語句とは、重要キーワードと、表記上、あるいは音声信号の特徴上など、何らかの観点で類似しているものである。この類似キーワードテーブルを利用することにより、入力時、解析時、あるいは認識時の誤差を吸収し、より確実性の高い重要度判定を行うことができるようになる。
【００６８】
図９は、図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図である。ステップＳ３までのステップと、ステップＳ６及びステップＳ７以降のステップは、図５の流れ図と同様である。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
ステップＳ３で生成された、第１の言語に基づく内部表現に、重要キーワード記憶部１５２に記憶されている重要キーワード、及び、類似キーワード記憶部１５４に記憶されている類似キーワードが含まれているか否かを重要性判定部１５に判定させる（ステップＳ４１）。すなわち、重要性判定部１５で、第１の言語に基づく内部表現に含まれる構成要素と、重要キーワード記憶部１５２に記憶されている重要キーワード及び類似キーワード記憶部１５４に記憶されている類似キーワードとの間でパターンマッチ検証処理が行われる。そして、パターンマッチ検証処理によって、第１の言語に基づく内部表現に含まれる重要キーワードのスコアの総和Ｓ（重要性判定スコア）を上記の数１によって計算する。さらに、第１の言語に基づく内部表現の構成要素の中にある全ての類似キーワードについて積算した値を足しあわせたものＲ（類似性判定スコアと呼ぶ）が式（２）（又は数式（２））によって計算される（ステップＳ４１）。
【００６９】
【数２】
【００７０】
ステップＳ４１で計算された重要性判定スコアＳが、予め定めた閾値Ｔ１よりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５１に進む。ここで、閾値Ｔ１は、重要性判定スコアＳの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７１】
ステップＳ５１では、ステップＳ４１で計算された類似性判定スコアが予め定めた閾値Ｔ２よりも大きいか否かを判定する。類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ７に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ２は、類似性判定スコアＲの数値と設定される翻訳モードが適切に対応するように予め調整される。
【００７２】
図１０は、図９の処理手順の変形例を示す流れ図である。図５又は図９に示したステップと同様なステップは同一の符号を付して説明を省略する。この流れ図の各ステップは、制御部１６が図１の各部に指示を出力することによって実行される。
【００７３】
制御部１６がカウンタをリセットして、例えばカウンタ値Ｎ＝１に設定する（ステップＳ０）。
【００７４】
ステップＳ５で重要性判定スコアＳが閾値Ｔ１よりも大きいと判定された場合はステップＳ７に進み、重要性判定スコアＳが閾値Ｔ１よりも大きくないと判定された場合はステップＳ５０に進む。ステップＳ５０では、カウンタ値Ｎが予め設定された値ｎ０よりも大きいか否かを判定する。カウンタ値Ｎがｎ０よりも大きいと判定された場合はステップＳ７に進み、カウンタ値Ｎがｎ０よりも大きくないと判定された場合はステップＳ５１に進む。
【００７５】
ステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合はステップＳ５２に進み、類似性判定スコアＲが閾値Ｔ２よりも大きくないと判定された場合はステップＳ６に進む。
【００７６】
ステップＳ５２では、カウンタ値Ｎに１を加算し、ステップＳ２に戻る。すなわち、ステップＳ５で重要性が低いと判定され、かつ、カウンタ値Ｎが値ｎ０よりも大きくなく、かつ、ステップＳ５１で類似度が高いと判定された場合は、再び、言語認識処理（ステップＳ２）、原言語解析処理（ステップＳ３）、及び重要性判定処理（ステップＳ４１）を実行させる。カウンタ値Ｎが大きくなるにしたがって、ステップＳ２、Ｓ３、及びＳ４１の各処理の精度が上がるように制御されるように設定されていることが好ましい。
【００７７】
カウンタ値Ｎがｎ０よりも大きい場合は、ｎ０回だけ言語認識処理、原言語解析処理、及び重要性判定処理が実行されてもステップＳ５１で類似性判定スコアＲが閾値Ｔ２よりも大きいと判定された場合であるので、入力文は重要であると見なしてステップＳ７に進む（ステップＳ５０）。
【００７８】
また、本実施形態では、第１の言語から第２の言語への片方向の翻訳処理を例として説明したが、第１の言語と第２の言語との間での翻訳処理を双方向に可能なように各装置部分を設定してもよい。さらに発展させて、複数の言語が混在した入力をある特定の言語に翻訳することができるように各装置部分を設定してもよい。また、２つの言語間だけでなく３つ以上の言語間で翻訳処理が可能なように各装置部分を設定してもよい。
【００７９】
また、いくつかの翻訳モードから１つの翻訳モードでのみ翻訳処理を行う例を示したが、全ての翻訳モード翻訳処理を平行に行ってもよい。その場合、利用者は、翻訳結果を翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って取捨選択する。本実施形態のコミュニケーション支援装置が、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに基づいて自動的に翻訳結果を利用者に提示するように設定されていてもよい。
【００８０】
これらは以下の実施形態においても同様である。
【００８１】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００８２】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、注意喚起部１８及び確認操作部１９を備えている。注意喚起部１８は、制御部１６からの制御に応じて、利用者に注意を喚起するためのブロックである。重要性判定部１５が重要性の高い入力を検知した場合に、この検知結果を受けた制御部１６は、利用者に注意を促すための動作を実行するように注意喚起部１８に指示する。注意喚起部１８は、例えば、ブザー装置からアラーム音を出力したり、振動発生装置から振動を発生したり、ライトから光点滅を提示したり、表示画面を反転表示したり点滅表示したり、電気を利用者に流す電気刺激によって、利用者に注意を喚起し、利用者がコミュニケーション支援装置に注意を注ぐように促す。なお、この注意喚起部１８は、既存の携帯電話、又は既存のＰＤＡ（個人用携帯情報端末）などで用いられているバイブレーター、アラーム音、ＬＥＤ（発光ダイオード）ディスプレイ、ＬＣＤ（液晶ディスプレイ）画面の表示の切替えなどによって実現可能である。また、この注意喚起は、利用者にとっての母語で音声を出力したり、文字表示で行ってもよい。
【００８３】
確認操作部１９は、注意喚起部１８が実行した注意喚起を利用者が認識したか否かを制御部１６が判定するためのブロックである。確認操作部１９は、利用者からの確認入力を受け取ると、この確認入力を受け取った旨を制御部１６に通知する。先に述べた通り重要性判定部１５が利用者に注意を促すための動作を実行するように注意喚起部１８に指示した場合に、この確認操作部１９が利用者からの確認操作の有無を制御部１６に通知する。制御部１６は、確認操作部１９が通知した確認動作の有無に基づいて、利用者への注意喚起を再度実施したり、利用者への注意喚起を停止したり、注意喚起の強度を調整したりする。確認操作部１９は、例えばスイッチ、タッチセンサー、音声センサー、振動センサー、カメラなどのセンサーを含んでいる。
【００８４】
図１２は、図１１のコミュニケーション支援装置の処理手順を示す流れ図である。図１２に示した流れ図は、図５のステップＳ７とステップＳ８との間に新たなステップを追加したものである。この流れ図の各ステップは、制御部１６が図１１の各部に指示を出力することによって実行される。
【００８５】
ステップＳ７で言語翻訳部１３を高負荷高精度モードに設定した後、注意喚起部１８に注意喚起を開始する指示を行い、注意喚起部１８が制御部１６から指示を受取、上述したように利用者に音や振動によって注意を喚起する動作を開始する（ステップＳ７１）。確認操作部１９から、利用者が注意喚起を確認した旨の確認操作を行ったか否かの信号を受取、この信号に基づいて利用者の確認操作があったか否かを判定する（ステップＳ７２）。利用者の確認操作があったと判定された場合はステップＳ７４に進み、利用者の確認操作がなかったと判定された場合はステップＳ７３に進む。
【００８６】
ステップＳ７３では、本実施形態のコミュニケーション支援装置が注意喚起をしていることを利用者に気づいてもらうために、本実施形態のコミュニケーション支援装置の注意喚起を強化する。例えば、注意喚起部１８が出力するアラーム音の音量を増大させる、振動発生装置による振動を増幅させる、又は、ライトからの光点滅の光量を増大させる。ステップＳ７４では、利用者が注意喚起に気づいたと見なして注意喚起部１８の動作を停止させる。
【００８７】
図１３は、図１２の流れ図で処理された具体例である。図１３は、日本語を母語とする利用者が英語圏を旅行中で、図１１に示したコミュニケーション支援装置を例えばポケットに入れたまま、航空機の乗り物に乗っている状況を例として想定する。
【００８８】
時刻ｔ２０に、“Fasten your seat belt for your safety.”（原言語（英語）入力２）という英語による音声アナウンスが機内でアナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、音声認識処理、原言語解析処理、及び重要性判定処理を行う。原言語（英語）入力２の内部表現の中に、図３に示したように重要キーワード記憶部１５２の格納アドレスｐ８に記憶されている重要キーワード“safety”が含まれているため、格納アドレスｐ８のエントリのスコア欄の値ｓ８が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ８は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力２は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。この時、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。
【００８９】
高負荷高精度モードが設定されたと同時に、制御部１６が注意喚起部１８に動作を開始するように指示する。この指示によって注意喚起部１８が、利用者に例えば振動刺激を与える。この刺激によって、仮に利用者が本実施形態のコミュニケーション支援装置又は外国語によるアナウンスに注意を払っていなくても、重要な情報については、本実施形態のコミュニケーション支援装置が自動的に検知して、利用者に注意を促すことで、重要な情報を聞き漏らしたりする恐れが少なくなると期待できる。アナウンスは突発的に行われることが多いので、このように利用者に注意を促すことは重要である。
【００９０】
利用者がこの振動刺激に気が付き、ポケットの中から本実施形態のコミュニケーション支援装置を取り出し、確認入力としてのボタン操作などを行うことで、注意喚起のための振動が停止する。その後、時刻ｔ２ｂに高負荷高精度モードで実施した翻訳処理が終了し、［高精度処理結果］として例えば対象言語（日本語）出力３＝“危険ですので安全ベルトを締めてください”という適切で高品質の翻訳結果が利用者に提示される。
【００９１】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳モードを低負荷高速モードに変更したい場合は、利用者は「キャンセル」ボタンをクリックする。図１３の例では、時刻βに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時に翻訳モードが高負荷高精度モードから低負荷高速モードへ変更され、低負荷高速モードで翻訳処理が開始される。その後、時刻β＋ｔ２ａに、［簡易処理結果］として、例えば、対象言語（日本語）出力４＝“あなたの無難とベルトを繋ぎなさい”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、高負荷高精度モードで翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、この高負荷高精度モードボタンをクリックすることによって適切な翻訳結果を得ることができると期待することができる。
【００９２】
さらにオプショナルな事項として、後に図１７以降で説明する外部のサーバ装置に接続し、この接続したサーバ装置でより高精度な翻訳処理を実行してもよい。
【００９３】
本実施形態のコミュニケーション支援装置によれば、重要な内容を含む入力に対しては、高精度の翻訳処理が自動的に選択され、利用者に注意を促すことにより、重要な内容を聞き漏らすことがなくなると期待することができる。
【００９４】
（第３の実施形態）
図１４は、本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【００９５】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、韻律分析部２０及び生体センサー部２１を備えている。韻律分析部２０は、制御部１６からの制御に応じて、本実施形態のコミュニケーション支援装置に入力された音声を分析する。韻律分析部２０は、例えば、イントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を捕らえて、韻律の上で顕著な変化を検出した際に、その発生時刻に関する情報とともに、プロミネント情報（prominent information）として、重要性判定部１５に出力する。重要性判定部１５は、このプロミネント情報を参照して、入力された音声に強調発声、又は緊張した発声などが含まれている場合は、重要性が高い入力であると判定する。
【００９６】
生体センサー部２１は、本実施形態のコミュニケーション支援装置を利用する利用者の生体情報を検出する。生体情報は、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のような生体的なパラメータからなる。これらの生体的なパラメータの値やその値の変化をモニターしその顕著な変化を検出した際に、その発生時刻に関する情報とともに、バイオメトリクス情報（biometrics information）として、重要性判定部１５に出力する。重要性判定部１５は、このバイオメトリクス情報を参照して、利用者が緊張していると推測される時点での原言語入力は、重要性が高い入力であると判定する。
【００９７】
生体センサー部２１は、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝える場合に動作する。すなわち、本実施形態の場合は、日本語を母語とする利用者が英語を母語とする人に言葉を伝える場合に生体センサー部２１は動作する。一方、韻律分析部２０は、生体センサー部２１とは異なり、双方向の翻訳で動作する。すなわち、コミュニケーション支援装置を所持している、母語が第２の言語である利用者が母語が第１の言語である人に言葉を伝えようとする場合と、母語が第１の言語である人が母語が第２の言語である利用者に言葉を伝えようとする双方の場合に韻律分析部２０は動作する。
【００９８】
図１５（Ａ）は、図１４の韻律分析部２０の処理手順を示す流れ図である。図１５（Ａ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【００９９】
ステップＳ１で原言語入力があると判断された場合は、原言語入力が韻律分析部２０に入力され、原言語入力の音声を分析する（ステップＳ２１）。韻律分析部２０は、例えばイントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つの韻律的特徴の値や変化を検出する。ここでは、発声速度を韻律的特徴値（重要性判定スコア）Ｓ３とする。この場合、韻律分析部２０は言語入力の音声を入力して発声速度Ｓ３を測定する（ステップＳ２１）。
【０１００】
次に、重要性判定部１５でステップＳ２１で測定された発声速度Ｓ３に対応する予め定めた閾値Ｔ３をメモリから抽出する（ステップＳ４１）。ステップＳ２１で測定された発声速度Ｓ３がステップＳ４１で抽出された予め定めた閾値Ｔ３よりも大きいか否かを判定する（ステップＳ５３）。発声速度Ｓ３が閾値Ｔ３よりも大きいと判定された場合はステップＳ７に進み、発声速度Ｓ３が閾値Ｔ３よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ３は、重要性判定スコアＳ３の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０１】
図１５（Ｂ）は、図１４の生体センサー部２１の処理手順を示す流れ図である。図１５（Ｂ）に示した流れ図は、図５のステップＳ２から図５のステップＳ５を新たなステップに変更したものである。この流れ図の各ステップは、制御部１６が図１４の各部に指示を出力することによって実行される。
【０１０２】
ステップＳ１で利用者による原言語入力があると判断された場合は、生体センサー部２１が利用者の生体情報をモニターし、例えば、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のうちの少なくとも１つの生体的なパラメータやそのパラメータの変化を検出する。ここでは、脈拍速度を生体的パラメータＳ４とする。この場合、生体センサー部２１は原言語入力があった時に利用者の脈拍速度Ｓ４を測定する（ステップＳ２２）。このように利用者の生体情報を測定するのは、第２の言語を母語とする利用者が第１の言語を母語とする他者に言葉を話しかける場合である。利用者が利用者の声等によって原言語入力をする場合は、例えば、原言語を入力している間にあるボタンを利用者が押すことによって原言語入力が利用者によるものであることが特定されるように設定されている。これによって、ステップＳ１での原言語入力が、利用者が他者に伝えるために入力であるか、他者から利用者への入力であるかが特定される。
【０１０３】
次に、重要性判定部１５でステップＳ２２で測定された脈拍速度Ｓ４に対応する予め定めた閾値Ｔ４をメモリから抽出する（ステップＳ４２）。ステップＳ２２で測定された脈拍速度Ｓ４がステップＳ４２で抽出された予め定めた閾値Ｔ４よりも大きいか否かを判定する（ステップＳ５４）。脈拍速度Ｓ４が閾値Ｔ４よりも大きいと判定された場合はステップＳ７に進み、脈拍速度Ｓ４が閾値Ｔ４よりも大きくないと判定された場合はステップＳ６に進む。ここで、閾値Ｔ４は、重要性判定スコアＳ４の数値と設定される翻訳モードが適切に対応するように予め調整される。
【０１０４】
以上の図１５（Ａ）及び図１５（Ｂ）を参照して説明したように、韻律分析処理及び生体情報処理のいずれかのみで重要性判定処理を行ってもよいが、これら２つの処理を参照して重要性判定処理を行ってもよい。さらに、図５、図９、及び図１０に示したように重要キーワード及び類似キーワードも参照して最終的な重要性判定処理を行ってもよい。具体的には、例えば、重要キーワードによる重要性判定処理、韻律分析による重要性判定処理、及び生体情報による重要性判定処理のいずれか２つの場合において閾値を超えないと翻訳モードを高負荷高精度モードに設定しないとする。このように複数の判定材料により原言語入力の重要性を判定することにより、その判定の信頼度を高めることができる。
【０１０５】
図１６は、図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例である。図１６は、日本語を母語とする利用者が英語圏を旅行中で、図１４に示したコミュニケーション支援装置を所持して、航空機の乗り物に乗っている状況を例として想定する。
【０１０６】
時刻ｔ３０に、“Fasten your seat belt for your safety.”（原言語（英語）入力３）という英語による音声アナウンスが機内アナウンスされた際に、本実施形態のコミュニケーション支援装置は、この音声入力を自動的に検出し、韻律分析処理及び重要性判定処理を行う。また、韻律分析処理及び他の処理、例えば重要キーワードによる重要性判定処理の両方を参酌して、原言語入力の重要性判定を行ってもよい。
【０１０７】
韻律分析処理で得られた重要性判定スコアが閾値Ｔ３を超えていたとする。生体情報処理で得られた重要性判定スコアは利用者が情報を発信する場合のみに利用されるので、この例では生体情報処理で得られた重要性判定スコアは利用されない。この場合、この原言語（英語）入力３は重要性の高い入力であると判定され、「高負荷高精度」設定での翻訳処理が行われる。このとき、ディスプレイ等に「高精度処理中」のメッセージが表示され、利用者は高負荷高精度モードで翻訳処理が行われていることを認識することができる。後の動作は、図１３に示した事項と同様である。
【０１０８】
（第４の実施形態）
図１７は、本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図である。なお、図１のブロック図と同様なブロックは同一の符号を付して説明を省略する。
【０１０９】
本実施形態のコミュニケーション支援装置は、図１に示したブロックに加え、通信部２２を備えている。本実施形態のコミュニケーション支援装置はクライアント装置１として機能しうる。通信部２２は外部のサーバ装置４との間で情報を送受信する。通信部２２は通信路３１を介してサーバ装置４との間で通信を行う。通信部２２は、制御部１６が言語翻訳部１３の高負荷高精度モードよりもさらに高精度な翻訳が必要であると判定した場合にサーバ装置４に原言語入力を送信する。通信部２２は、サーバ装置４が送信した原言語入力を翻訳した翻訳文を受信して制御部１６に出力する。通信部２２は、例えば無線ＬＡＮ（Local Area Network）装置や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、クライアント装置１からの要求に応じて、サーバ装置上で処理されるサービスを遠隔利用することができる。
【０１１０】
サーバ装置４は、言語翻訳部４３、制御部４６、及び通信部５２を備えている。言語翻訳部４３は、クライアント装置１の言語翻訳部１３よりも翻訳能力に優れていることのみが異なる。すなわち、言語翻訳部４３は言語翻訳部１３の高負荷高精度モードで翻訳するよりもさらに高精度の翻訳を行うことができる。制御部４６は、第１の言語に基づく原言語入力の内部表現を通信部５２から入力して、言語翻訳部４３に翻訳するように指示をする。通信部５２は、クライアント装置１から第１の言語に基づく原言語入力の内部表現を受信し、言語翻訳部４３が翻訳した翻訳文をクライアント装置１に送信する。
【０１１１】
より詳しくは、言語翻訳部４３は、第１の言語から第２の言語への翻訳処理を行う。言語翻訳部４３は、言語翻訳部１３と同様に、通信路３１を介して、原言語解析部１２から出力される第１の言語に基づく原言語入力の内部表現を入力する。言語翻訳部４３は、第１の言語から第２の言語への語彙の変換、あるいは第１の言語の統語構造から、第２の言語の統語構造への変換などを行う。その結果、言語翻訳部４３は、第１の言語に基づく原言語入力の内部表現を、構文解析木や意味ネットワークなどによって記述された原言語入力の第２の言語に基づく内部表現に変換する。クライアント装置１に含まれる言語翻訳部１３は、小型軽量のクライアント装置１の構成上の制約や処理能力上の制約から、翻訳精度や翻訳速度が限定されることに対して、この言語翻訳部４３は、処理能力、処理速度、記憶容量、解析規則数、検証される候補数の制約が無いに等しいため、より高精度な翻訳が可能である。
【０１１２】
制御部４６は、通信路３１とサーバ装置４を介して受信した、クライアント装置１からの第１の言語に基づく内部表現の翻訳処理要求に対して、言語翻訳部４３を制御して、第１の言語から第２の言語への翻訳処理を行わせる。そして、制御部４６は翻訳結果である第２の言語に基づく内部表現を言語翻訳部４３から入力し通信部５２に出力する。
【０１１３】
通信部５２は、例えば無線ＬＡＮ機器や、有線ＬＡＮ装置によって実現されるネットワーク通信手段であり、通信路３１を通じてクライアント装置１との間の通信を実現して、クライアント装置１からの要求に応じて、サーバ装置４上で処理されるサービスを提供する。
【０１１４】
以上のクライアント装置１とサーバ装置４から、最小構成のコミュニケーション支援システムが実現される。このコミュニケーション支援システムにより、利用者が小型軽量なクライアント装置１を携帯し、例えばサービスセンターに設置されたサーバ装置４との間で、有線ネットワークと無線ネットワークを併用した通信路を通じたネットワーク通信を行い、クライアント装置１がサーバ装置４からサービス提供を受けることができる。
【０１１５】
また、通信路３１は、例えば無線通信装置間の通信を実現する媒体である伝送波とその伝送路である空間、有線通信を実現する媒体である電線ケーブル、光ケーブル、ルーター、リピーター、無線アクセスポイントといった中継装置、分配装置、交換装置、接続装置なども含む。通信路３１は、通信部２２と後述のサーバ装置４の通信部５２を介したクライアント装置１とサーバ装置４との間の遠隔ネットワーク通信を実現する。
【０１１６】
以上に説明した、クライアント装置、及び通信路、及びサーバ装置によって、重要性が高いと判定された入力に関しては、通信路を介したサーバ装置の遠隔ネットワーク利用によって、高品質な翻訳がなされ、重要性が高くないと判定された入力に関しては、従来どおりクライアント装置内での翻訳処理がなされる。
【０１１７】
図１８は、図１７のコミュニケーション支援装置（クライアント装置１）を含むコミュニケーション支援システムの処理手順を示す流れ図である。ステップＳ４までのステップとステップＳ９からのステップは図５の流れ図と同様である。この流れ図の各ステップは、制御部１６又は制御部４６が図１の各部に指示を出力することによって実行される。
【０１１８】
クライアント装置１は、例えば携帯が容易なようにその大きさ及び質量等の制約があるが、サーバ装置４は、携帯が容易である必要等の制約がないため、その規模及び質量等を制限する必要がない。したがって、サーバ装置４は、処理能力、処理速度、記憶容量、解析規則数、及び、検証される候補数等をクライアント装置１に比較して遙かに大きくすることが可能であり、原理的にはその時点の世界で最も高精度な翻訳を実現することも可能である。本実施形態のコミュニケーション支援システムは、重要であると判定された原言語入力をサーバ装置４で翻訳させる。
【０１１９】
ステップＳ４で制御部１６が計算された重要性判定スコアＳが予め定めた閾値Ｔよりも大きいか否かを判定する（ステップＳ５）。重要性判定スコアＳが閾値Ｔよりも大きいと判定された場合はステップＳ７５に進み、重要性判定スコアＳが閾値Ｔよりも大きくないと判定された場合はステップＳ６１に進む。
【０１２０】
ステップＳ７５では、サーバ装置４で第１の言語に基づく内部表現を翻訳させる。すなわち、原言語解析部１２から第１の言語に基づく内部表現を通信部２２に出力し、通信部２２からサーバ装置４へその内部表現を送信する。この後、サーバ装置４の通信部５２がその内部表現を受信し、制御部４６が言語翻訳部４３にその内部表現を出力する。制御部４６が言語翻訳部４３に、この第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳するように指示し、言語翻訳部４３はその翻訳を実行する。
【０１２１】
ステップＳ６１は、図５のステップＳ６又はステップＳ７と、ステップＳ８とを合わせたものと同様である。すなわち、クライアント装置１で第１の言語に基づく内部表現を第２の言語に基づく内部表現に翻訳する。言語翻訳部１３で翻訳する翻訳モードは、高負荷高精度モードと低負荷高速モードのいずれかに予め設定されていてもよいし、どちらかのモードを利用者が選択することができるように設定されていてもよい。
【０１２２】
図１９は、図１８の流れ図で処理された具体例である。図１９は、日本語を母語とする利用者が、ネットワークによってサービスセンターに設置されたサーバ装置４の翻訳サービスを利用することが可能なクライアント装置１を携帯して、英語圏を旅行している状況を想定する。
【０１２３】
時刻ｔ４０に、クライアント装置１が“Keep out or fine 2,500$.”（原言語（英語）入力４）という英語を入力したとする。クライアント装置１は、原言語（英語）入力４に対し音声認識処理、言語解析処理、及び重要性判定処理を行う。原言語（英語）入力４の内部表現の中に、図３に示した重要キーワード記憶部１５２の格納アドレスｐ１３に記憶されている重要キーワード“fine”が含まれているため、格納アドレスｐ１３のエントリのスコア欄の値ｓ１３が重要性判定スコアとして得られる。ここではこの重要性判定スコアｓ１３は予め定めた閾値Ｔを超えていたとする。この場合、この原言語（英語）入力４は重要性の高い入力であると判定され、サーバ装置４に送信されそこでクライアント装置１の翻訳よりも高精度な翻訳を実行する言語翻訳部４３によって翻訳処理が行われる。このとき、ディスプレイ等に「センター処理中」のメッセージが表示され、利用者はサーバ装置４で翻訳処理が行われていることを認識することができる。
【０１２４】
サーバ装置４が原言語（英語）入力４を入力し翻訳処理を行い、例えば対象言語（日本語）出力７＝“立ち入り禁止、罰金２，５００ドル”という適切で高品質の翻訳結果を生成する。生成された翻訳結果はネットワークを介してクライアント装置１に送信され、対象言語生成部１４及び言語出力部１７での処理を経て、時刻ｔ４ｂに上記の対象言語（日本語）出力７が［センター処理結果］として利用者に提示される。
【０１２５】
またオプショナルな事項として、利用者が翻訳結果を早く知りたい等の理由で翻訳をクライアント装置１で実行するように変更したい場合は、「センター処理中」と表示されている間に利用者は「キャンセル」ボタンをクリックする。図１９の例では、時刻ζに利用者は「キャンセル」ボタンをクリックする。「キャンセル」ボタンをクリックすると同時にサーバ装置４での翻訳が中止され、クライアント装置１で翻訳処理が開始される。その後、時刻ζ＋ｔ４ａに、［クライアント翻訳処理結果］として、例えば、対象言語（日本語）出力８＝“外に続くか素晴らしい２，５００ドル”という翻訳結果が得られる。この場合の翻訳結果は誤訳である。また、サーバ装置４で翻訳処理を実行することができるボタン等が設定されてもよい。例えば、出力された日本語が奇妙で利用者が誤訳であるのではないかと訝る場合は、このサーバ装置４で翻訳処理の実行を開始するボタンをクリックすることによって適切な翻訳結果を得ることを期待することができる。
【０１２６】
本実施形態のコミュニケーション支援システムによれば、重要な内容を含む入力に対しては、クライアント装置１よりも高精度の翻訳処理が可能なサーバ装置４が自動的に選択され、非母語による重要な情報を利用者が適切に受け取ることが可能となる。
【０１２７】
図２０は、図１７のサーバ装置の変形例を示すブロック図である。
【０１２８】
サーバ装置４０は、図１７に示したクライアント装置１と同様なブロックを備えている。サーバ装置４０の各ブロックは対応するクライアント装置１の各ブロックと同様な機能を有しているが、その能力がクライアント装置１の各ブロックに比較して著しく優れている。
【０１２９】
この場合、クライアント装置１は音声を入力した後、音声波形をサーバ装置４０に送信する。サーバ装置４０が音声波形を入力し、言語認識部４１が高精度の言語認識を実行する。その後は、サーバ装置４０内で原言語分析、重要性判定、言語翻訳、対象言語生成、言語出力を実行して、サーバ装置４０がクライアント装置１に言語出力の音声波形を出力する。一方、この場合クライアント装置１は、音声波形を原言語入力として取得してサーバ装置４０に送信することと、サーバ装置４０から受信した翻訳済である第２の言語の音声波形を入力して翻訳結果を利用者に提示することのみ行えばよい。
【０１３０】
このようにサーバ装置４０が原言語入力の音声波形の入力から翻訳結果の音声波形の出力までの全てを処理するのではなく、サーバ装置４０はその一部の処理を実行するようにしてもよい。図１７の例のように、サーバ装置４０が翻訳処理のみを実行するように設定してもよい。他にもサーバ装置４０が実行しうる処理の一部のみを実行するように設定することもできる。例えば、言語出力部４７のみを動作させ、第２の言語で記述される翻訳された原言語入力の音声合成処理をサーバ装置４０で高精度に実施してその翻訳結果をクライアント装置１に戻すようにしてもよい。他にもサーバ装置４０が実行しうる処理のいくつかを組み合わせて実行するように設定することもできる。例えば、サーバ装置４０が原言語入力の音声波形をクライアント装置１から受信して原言語解析部４２で形態素解析、構文解析、意味解析処理等を実行して原言語入力の第１の言語に基づく内部表現を生成し、言語翻訳部４３で第２の言語に基づく内部表現に翻訳してその翻訳結果をクライアント装置１に戻すようにしてもよい。
【０１３１】
また、サーバ装置４０は、コミュニケーション支援システムが実行しうる処理の一部のみを実行する場合は、この一部の処理を実行する装置部分だけを備えて、それ以外の装置部分は備えないようにしてもよい。例えば、サーバ装置４０が原言語表層文字列を入力して、その文字列から原言語入力の第１の言語に基づく内部表現を生成し、その内部表現を第２の言語に基づく内部表現に翻訳する処理のみを実行する場合は、サーバ装置は、図２０に示した原言語解析部４２、言語翻訳部４３、制御部４６、及び通信部５２だけを備えておけばよい。
【０１３２】
その他の例としては、サーバ装置を複数設置しておき、サーバ装置ごとに特徴をもたせてもよい。例えば、各サーバ装置をある所定の言語に特化しておき、翻訳する際の言語に応じてクライアント装置１が接続するサーバ装置が選択することが可能なように設定する。
【０１３３】
また、クライアント装置１も複数設置することも可能である。その際は、あるサーバ装置に負荷が集中しないように、複数のサーバ装置で処理を分散することが好ましい。
【０１３４】
また、上述のコミュニケーション支援システムでは、クライアント装置１とサーバ装置４０との間で処理を分担して実行していたが、クライアント装置１とサーバ装置４０が同様な処理を平行して実行してもよい。その後、利用者が双方の翻訳結果を参照してどちらかの翻訳結果を利用者が選択する。利用者は、翻訳処理の成否や、処理時間や、あるいは翻訳精度の評価スコアなどに従って翻訳結果を取捨選択し、利用者に提示するようにしてもよい。
【０１３５】
また、上述のコミュニケーション支援システムでは、サーバ装置４０が翻訳した翻訳結果をクライアント装置１が必ず受け取ることを前提としている。しかし、例えばクライアント装置１がネットワークを利用することが不可能な場合、サーバ装置での翻訳処理の結果が予め設定された許容可能な時間内にクライアント装置１で得られない場合、又は、クライアント装置１が翻訳結果をサーバ装置４０から受け取ることができない場合は、クライアント装置１で翻訳処理した翻訳結果を利用者に提示するようにする。以上により、常に利用が保証されているとはいえないサーバクライアント方式の上述のコミュニケーション支援システムの問題点は解決することができる。
【０１３６】
以上に説明した実施形態において、本実施形態のコミュニケーション支援装置が、上述したように重要性が高いと判定された一連の入力した原言語情報、あるいはその原言語の処理結果の履歴をメモリに記憶しておいて、利用者が所定の操作を行うことによりこの原言語情報及び／又はこの原言語の処理結果の履歴をコミュニケーション支援装置上に適宜表示することができるように設定してもよい。
【０１３７】
また、重要性の高い原言語情報には、その原言語情報の発信者がその原言語情報を発信する際に予め特定の重要性を示す識別情報であるタグ等を原言語情報に付与して発信するように設定されていてもよい。コミュニケーション支援装置が、付与されているタグ等の識別情報によって原言語情報の重要性を判定し、その重要性に基づいて例えば翻訳処理のモードが決定されてもよい。例えば、重要な情報である地震警報は常に重要性が高度である旨の識別情報が付与されて発信される。他の例としては、様々な言語を母語とする人々が集まる国際空港で、旅行者にとって重要と思われるアナウンスは、重要性が高度である旨の識別情報が付与されて発信される。また、原言語情報がどこから発信されたものかを示す情報も識別情報と同様に付与されていてもよい。
【０１３８】
また、コミュニケーション支援装置は、予め重要性が高い旨の識別情報を有する原言語入力や、コミュニケーション支援装置で重要性が高いと判定された原言語入力及び／又はその翻訳文を、自動録音したり、自動で文字化するように設定されていてもよい。さらに、コミュニケーション支援装置は、録音された原言語音声及び翻訳文や文字化された原言語音声及び翻訳文に基づく音声を利用者に提示するように設定されていてもよい。
【０１３９】
以上により、本実施形態のコミュニケーション支援装置は、利用者が非母語を受け取った場合、利用者に適切な対応を促すことができる。
また、本実施形態のコミュニケーション支援装置は、ネットワークを介して超高精度のサーバ装置に接続可能なため、支援装置の高性能化と、支援装置の小型化、軽量化、低価格化、及び低消費電力化を両立することができる。より高精度な翻訳は、サーバ装置に接続することによってサーバ装置から得る。
さらに、本発明のコミュニケーション支援装置は、サーバ装置に接続しないで原言語入力の重要度に応じて翻訳することができるので、ある言語の文を入力してからその翻訳文を出力するまでの時間を少なくすることができる。
また、ネットワークが不通の場合でも、本実施形態のコミュニケーション支援装置は、ある言語の文を入力してからその翻訳文を出力することが可能である。すなわち、本発明のコミュニケーション支援装置は、ネットワークの通信状態に関わらず、翻訳文を出力することが可能である。
【０１４０】
また、上述の実施形態の中で示した処理手順に示された指示、及び流れ図の各ステップに示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のコミュニケーション支援装置と同様な動作が実行され、上述した実施形態のコミュニケーション支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに読み込ませて実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態のコミュニケーション支援装置と同様な動作を実現することができる。
【０１４１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４２】
【発明の効果】
本発明のコミュニケーション支援装置、支援方法、及び支援プログラムは、原言語情報の重要度や緊急度に応じて翻訳精度を変えて翻訳することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態に係るコミュニケーション支援装置のブロック図。
【図２】 図１の重要性判定部のブロック図。
【図３】 図２の重要キーワード記憶部に記憶されている重要キーワードテーブルの具体例を示す図。
【図４】 図２の第１の言語に基づく内部表現の具体例。
【図５】 図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図６】 図５の流れ図で処理された具体例。
【図７】 図１の重要性判定部の別のブロック図。
【図８】 図７の類似キーワード記憶部に格納されている類似キーワードテーブルを示す図。
【図９】 図７の重要性判定部を備えた図１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１０】 図９の処理手順の変形例を示す流れ図。
【図１１】 本発明の第２の実施形態に係るコミュニケーション支援装置のブロック図。
【図１２】 図１１のコミュニケーション支援装置の処理手順を示す流れ図。
【図１３】 図１２の流れ図で処理された具体例。
【図１４】 本発明の第３の実施形態に係るコミュニケーション支援装置のブロック図。
【図１５】
（Ａ） 図１４の韻律分析部の処理手順を示す流れ図。
（Ｂ） 図１４の生体センサー部の処理手順を示す流れ図。
【図１６】 図１５（Ａ）及び図１５（Ｂ）の流れ図で処理された具体例。
【図１７】 本発明の第４の実施形態に係るコミュニケーション支援装置のブロック図及びサーバ装置のブロック図。
【図１８】 図１７のコミュニケーション支援装置を含むコミュニケーション支援システムの処理手順を示す流れ図。
【図１９】 図１８の流れ図で処理された具体例。
【図２０】 図１７のサーバ装置の変形例を示すブロック図。
【符号の説明】
１・・・クライアント装置、４・・・サーバ装置、１１・・・言語認識部、１２・・・原言語解析部、１３・・・言語翻訳部、１４・・・対象言語生成部、１５・・・重要性判定部、１６・・・制御部、１７・・・言語出力部、１８・・・注意喚起部、１９・・・確認操作部、２０・・・韻律分析部、２１・・・生体センサー部、２２・・・通信部、３１・・・通信路、４０・・・サーバ装置、４１・・・言語認識部、４２・・・原言語解析部、４３・・・言語翻訳部、４６・・・制御部、４７・・・言語出力部、５２・・・通信部、１５１・・・照合部、１５２・・・重要キーワード記憶部、１５３・・・類似判定部、１５４・・・類似キーワード記憶部
Claims (30)
- 第１言語で記述される原言語情報を入力する入力手段と、
前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、
前記原言語情報と前記重要キーワードとを照合する照合手段と、
照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、
照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する際の翻訳精度を設定する設定手段と、
設定された前記翻訳精度で、前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段を具備することを特徴とするコミュニケーション支援装置。 - 前記重要キーワードは、緊急を要する事項を示すキーワードを含むことを特徴とする請求項１に記載のコミュニケーション支援装置。
- 第１言語で記述される原言語情報を入力する入力手段と、
前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、
前記原言語情報と前記重要キーワードとを照合する照合手段と、
照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する第１判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とするコミュニケーション支援装置。 - 前記設定手段は、前記翻訳処理を、
照合した重要キーワードに対応する点数が前記閾値より大きいと判定された場合は、第１翻訳精度および第１翻訳速度で翻訳処理を実行する高精度モードに設定し、
照合した重要キーワードに対応する点数が前記閾値より大きくないと判定された場合は、前記第１翻訳精度よりも低い第２翻訳精度で、かつ、前記第１翻訳速度よりも速い翻訳処理を実行する高速度モードに設定することを特徴とする請求項３に記載のコミュニケーション支援装置。 - 前記設定手段は、設定したモードに依存して、前記原言語情報に含まれる表現が第２言語のどの表現に対応するかを検査する候補数、訳語辞書の中で候補を検索する範囲、利用することが許容されるメモリ量、前記翻訳処理の処理時間、前記翻訳処理を実行するための処理速度のうち少なくとも１つを変更することを特徴とする請求項４に記載のコミュニケーション支援装置。
- 前記第１判定手段は、前記原言語情報に含まれる重要キーワードに対応する点数の合計を計算し、該合計が高いほど前記重要度を高く判定することを特徴とする請求項３から請求項５のいずれかに記載のコミュニケーション支援装置。
- 前記第１判定手段は、さらに、
前記第１言語の重要キーワードに類似している類似キーワードを格納している第２格納手段を具備し、
前記照合手段は、前記原言語情報と前記類似キーワードを照合することを特徴とする請求項３から請求項６のいずれかに記載のコミュニケーション支援装置。 - 前記第２格納手段は、さらに、類似キーワードに対応付けられている類似度を格納し、
前記第１判定手段は、照合した類似キーワードと該類似キーワードに対応する前記類似度を抽出し、前記類似キーワードに類似している重要キーワードに対応する点数と前記類似度の積を前記重要度と判定することを特徴とする請求項７に記載のコミュニケーション支援装置。 - 前記設定手段は、前記点数、及び、前記点数と前記類似度との積の少なくとも一方がある閾値よりも大きい場合に、複数の翻訳処理モードのうちのより高精度な翻訳処理を実行する高精度モードに設定することを特徴とする請求項８に記載のコミュニケーション支援装置。
- 前記重要度がある閾値より大きいと判定された場合に利用者に刺激を与える付与手段と、
該利用者が該刺激を確認したか否かの旨を受け付ける受付手段と、
前記利用者が刺激を確認した旨を受け付けた場合に、前記刺激を与えることを中止する中止手段と、
前記刺激を確認した旨を受け付けなかった場合に、前記刺激を増大させる増大手段を具備することを特徴とする請求項２から請求項９のいずれかに記載のコミュニケーション支援装置。 - 前記刺激は、光刺激、音刺激、物理的な動きによる物理刺激、及び、電気刺激のうち少なくとも１つであることを特徴とする請求項１０に記載のコミュニケーション支援装置。
- 前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信するための通信手段をさらに具備し、
照合した重要キーワードに対応する点数が前記閾値よりも大きい場合に、該通信手段が、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項３から請求項１１のいずれかに記載のコミュニケーション支援装置。 - 前記原言語情報を記録する第１記録手段と、
前記原言語情報を再生する第１再生手段と、
前記対訳言語情報を記録する第２記録手段と、
前記対訳言語情報を再生する第２再生手段と、
前記照合した重要キーワードに対応する点数が前記閾値より大きいと判定された場合に、前記第１記録手段、前記第１再生手段、前記第２記録手段、及び、前記第２再生手段のうち少なくとも１つの動作を開始する動作開始手段を具備することを特徴とする請求項３から請求項１２のいずれかに記載のコミュニケーション支援装置。 - 第１言語で記述される原言語情報を入力する入力手段と、
前記入力された原言語情報の韻律の韻律的特徴の値及び変化の少なくとも１つを検出値として検出する韻律検出手段と、
前記検出値が大きいほど前記原言語情報の重要度を高く判定する第１判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
前記検出値が韻律的特徴の値及び変化ごとに設定された対応する閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とするコミュニケーション支援装置。 - 前記設定手段は、前記検出値が韻律的特徴の値及び変化ごとに設定された対応する閾値よりも大きい場合には、利用者の緊張度が高い、及び、利用者が強調発声をした、のいずれか１つと判定することを特徴とする請求項１４に記載のコミュニケーション支援装置。
- 前記韻律は、イントネーション、ピッチ、パワー、ポーズ位置、ポーズ長、アクセント位置、発声継続時間、発声間隔、及び発声速度のうちの少なくとも１つであることを特徴とする請求項１４又は請求項１５に記載のコミュニケーション支援装置。
- 第１言語で記述される原言語情報を入力する入力手段と、
前記原言語情報が入力された際に、利用者の生体情報に含まれる生体的なパラメータ及び該パラメータの変化を検出値として検出する生体検出手段と、
前記検出値が大きいほど前記原言語情報の重要度を高く判定する第１判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
前記検出値が生体的なパラメータ及び該パラメータの変化ごとに設定された対応する閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段を具備することを特徴とするコミュニケーション支援装置。 - 前記設定手段は、前記検出値が生体的なパラメータ及び該パラメータの変化ごとに設定された対応する閾値よりも大きい場合には、利用者の緊張度が高いと判定することを特徴とする請求項１７に記載のコミュニケーション支援装置。
- 前記生体情報は、呼吸速度、呼吸の深さ、脈拍速度、血圧、血糖値、体温、皮膚電位、及び、発汗量のうちの少なくとも１つであることを特徴とする請求項１７又は請求項１８に記載のコミュニケーション支援装置。
- 前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信するための通信手段をさらに具備し、
前記検出値が前記閾値より大きいと判定された場合に、該通信手段が、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項１４から請求項１９のいずれかに記載のコミュニケーション支援装置。 - 前記入力手段は、前記原言語情報を音声情報として入力し、該音声情報をテキスト情報に変換する変換手段を含むことを特徴とする請求項３から請求項２０のいずれかに記載のコミュニケーション支援装置。
- 前記提示手段は、前記対訳言語情報を音声情報に変換する変換手段を含むことを特徴とする請求項３から請求項２１のいずれかに記載のコミュニケーション支援装置。
- 前記原言語情報を記録する第１記録手段と、
前記原言語情報を再生する第１再生手段と、
前記対訳言語情報を記録する第２記録手段と、
前記対訳言語情報を再生する第２再生手段と、
前記検出値が前記閾値より大きいと判定された場合に、前記第１記録手段、前記第１再生手段、前記第２記録手段、及び、前記第２再生手段のうち少なくとも１つの動作を開始する動作開始手段を具備することを特徴とする請求項３から請求項２２のいずれかに記載のコミュニケーション支援装置。 - 前記重要キーワードは、緊急を要する事項を示すキーワードを含むことを特徴とする請求項３から請求項２３のいずれかに記載のコミュニケーション支援装置。
- 入力手段が、第１言語で記述される原言語情報を入力し、
第１格納手段が、前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納し、
照合手段が、前記原言語情報と前記重要キーワードとを照合し、
第１判定手段が、照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定し、
翻訳手段が、前記原言語情報を第２言語で記述される対訳言語情報に翻訳し、
提示手段が、該対訳言語情報を提示し、
設定手段が、照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、第１言語で記述される原言語情報を入力するための入力処理、前記対訳言語情報に翻訳するための翻訳処理、及び、前記対訳言語情報を提示するための提示処理のうち少なくとも１つの処理精度を設定し、
実行手段が、設定された前記処理精度で、前記処理精度が設定された処理を実行することを特徴とするコミュニケーション支援方法。 - 前記設定手段は、前記翻訳処理を、
照合した重要キーワードに対応する点数が前記閾値より大きいと判定された場合は、第１翻訳精度および第１翻訳速度で翻訳処理を実行する高精度モードに設定し、
照合した重要キーワードに対応する点数が前記閾値より大きくないと判定された場合は、前記第１翻訳精度よりも低い第２翻訳精度で、かつ、前記第１翻訳速度よりも速い翻訳処理を実行する高速度モードに設定することを特徴とする請求項２５に記載のコミュニケーション支援方法。 - 通信手段が、前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信し、
前記照合した重要キーワードに対応する点数が前記閾値より大きい場合に、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項２５又は請求項２６に記載のコミュニケーション支援方法。 - コンピュータを、
第１言語で記述される原言語情報を入力する入力手段と、
前記第１言語の重要キーワードと、該重要キーワードの重要度が高いほど高い値が付与されている点数と、を対応づけて格納している第１格納手段と、
前記原言語情報と前記重要キーワードとを照合する照合手段と、
照合した重要キーワードに対応する前記点数を抽出し、該点数が高いほど前記原言語情報の重要度を高く判定する判定手段と、
前記原言語情報を第２言語で記述される対訳言語情報に翻訳する翻訳手段と、
該対訳言語情報を提示する提示手段と、
照合した重要キーワードに対応する点数がある閾値よりも大きいか否かにより、前記入力手段での入力のための入力処理、前記翻訳手段での翻訳するための翻訳処理、及び、前記提示手段での提示するための提示処理のうち少なくとも１つの処理の処理精度を設定する設定手段と、
設定された前記処理精度で、前記処理精度が設定された処理を実行する実行手段として機能させるためのコミュニケーション支援プログラム。 - 前記設定手段は、前記翻訳処理を、
照合した重要キーワードに対応する点数が前記閾値より大きいと判定された場合は、第１翻訳精度および第１翻訳速度で翻訳処理を実行する高精度モードに設定し、
照合した重要キーワードに対応する点数が前記閾値より大きくないと判定された場合は、前記第１翻訳精度よりも低い第２翻訳精度で、かつ、前記第１翻訳速度よりも速い翻訳処理を実行する高速度モードに設定することを特徴とする請求項２８に記載のコミュニケーション支援プログラム。 - 前記原言語情報を前記対訳言語情報に翻訳する翻訳装置と通信するための通信手段をさらに具備し、
照合した重要キーワードに対応する点数が前記閾値よりも大きい場合に、該通信手段が、前記翻訳装置に接続し、原言語情報を前記翻訳装置に送信し、前記翻訳装置から翻訳結果を受信することを特徴とする請求項２８又は請求項２９に記載のコミュニケーション支援プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149338A JP3920812B2 (ja) | 2003-05-27 | 2003-05-27 | コミュニケーション支援装置、支援方法、及び支援プログラム |
| US10/753,480 US20040243392A1 (en) | 2003-05-27 | 2004-01-09 | Communication support apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003149338A JP3920812B2 (ja) | 2003-05-27 | 2003-05-27 | コミュニケーション支援装置、支援方法、及び支援プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004355118A JP2004355118A (ja) | 2004-12-16 |
| JP3920812B2 true JP3920812B2 (ja) | 2007-05-30 |
Family
ID=33447685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003149338A Expired - Fee Related JP3920812B2 (ja) | 2003-05-27 | 2003-05-27 | コミュニケーション支援装置、支援方法、及び支援プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040243392A1 (ja) |
| JP (1) | JP3920812B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210398519A1 (en) * | 2018-11-30 | 2021-12-23 | Google Llc | Speech processing |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4263181B2 (ja) * | 2005-03-28 | 2009-05-13 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| JP4050755B2 (ja) * | 2005-03-30 | 2008-02-20 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| JP4439431B2 (ja) * | 2005-05-25 | 2010-03-24 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| JP4064413B2 (ja) * | 2005-06-27 | 2008-03-19 | 株式会社東芝 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| JP4559946B2 (ja) * | 2005-09-29 | 2010-10-13 | 株式会社東芝 | 入力装置、入力方法および入力プログラム |
| US7822596B2 (en) * | 2005-12-05 | 2010-10-26 | Microsoft Corporation | Flexible display translation |
| US7657006B2 (en) * | 2005-12-15 | 2010-02-02 | At&T Intellectual Property I, L.P. | Messaging translation services |
| CN101361065B (zh) * | 2006-02-17 | 2013-04-10 | 谷歌公司 | 分布式模型的编码和自适应、可扩展访问 |
| JP2007220045A (ja) * | 2006-02-20 | 2007-08-30 | Toshiba Corp | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| US7752031B2 (en) * | 2006-03-23 | 2010-07-06 | International Business Machines Corporation | Cadence management of translated multi-speaker conversations using pause marker relationship models |
| US20070225973A1 (en) * | 2006-03-23 | 2007-09-27 | Childress Rhonda L | Collective Audio Chunk Processing for Streaming Translated Multi-Speaker Conversations |
| US7860705B2 (en) * | 2006-09-01 | 2010-12-28 | International Business Machines Corporation | Methods and apparatus for context adaptation of speech-to-speech translation systems |
| JP4393494B2 (ja) * | 2006-09-22 | 2010-01-06 | 株式会社東芝 | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム |
| JP4398966B2 (ja) * | 2006-09-26 | 2010-01-13 | 株式会社東芝 | 機械翻訳を行う装置、システム、方法およびプログラム |
| JP4791984B2 (ja) * | 2007-02-27 | 2011-10-12 | 株式会社東芝 | 入力された音声を処理する装置、方法およびプログラム |
| JP4213755B2 (ja) * | 2007-03-28 | 2009-01-21 | 株式会社東芝 | 音声翻訳装置、方法およびプログラム |
| JP2008269391A (ja) * | 2007-04-23 | 2008-11-06 | Yahoo Japan Corp | 係り受けを解析する方法 |
| JP2008305167A (ja) * | 2007-06-07 | 2008-12-18 | Toshiba Corp | 原言語文を目的言語文に機械翻訳する装置、方法およびプログラム |
| US8290921B2 (en) * | 2007-06-28 | 2012-10-16 | Microsoft Corporation | Identification of similar queries based on overall and partial similarity of time series |
| JP5164061B2 (ja) * | 2007-10-24 | 2013-03-13 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ユーザのコミュニケーションを支援する技術 |
| JP2009189797A (ja) * | 2008-02-13 | 2009-08-27 | Aruze Gaming America Inc | ゲーミングマシン |
| US20090287471A1 (en) * | 2008-05-16 | 2009-11-19 | Bennett James D | Support for international search terms - translate as you search |
| WO2010025460A1 (en) * | 2008-08-29 | 2010-03-04 | O3 Technologies, Llc | System and method for speech-to-speech translation |
| TW201020816A (en) * | 2008-11-25 | 2010-06-01 | Univ Nat Taiwan | Information retrieval oriented translation apparatus and methods, and storage media |
| KR101589433B1 (ko) * | 2009-03-11 | 2016-01-28 | 삼성전자주식회사 | 동시 통역 시스템 |
| US20100268528A1 (en) * | 2009-04-16 | 2010-10-21 | Olga Raskina | Method & Apparatus for Identifying Contract Characteristics |
| US20110238407A1 (en) * | 2009-08-31 | 2011-09-29 | O3 Technologies, Llc | Systems and methods for speech-to-speech translation |
| US20100049497A1 (en) * | 2009-09-19 | 2010-02-25 | Manuel-Devadoss Smith Johnson | Phonetic natural language translation system |
| KR101377459B1 (ko) * | 2009-12-21 | 2014-03-26 | 한국전자통신연구원 | 자동 통역 장치 및 그 방법 |
| US8566078B2 (en) * | 2010-01-29 | 2013-10-22 | International Business Machines Corporation | Game based method for translation data acquisition and evaluation |
| JP5156047B2 (ja) * | 2010-03-31 | 2013-03-06 | 株式会社東芝 | キーワード提示装置、方法及びプログラム |
| US20120330643A1 (en) * | 2010-06-04 | 2012-12-27 | John Frei | System and method for translation |
| CN103038818B (zh) | 2010-06-24 | 2016-10-12 | 本田技研工业株式会社 | 在车载语音识别***与车外语音识别***之间的通信***和方法 |
| US8775156B2 (en) * | 2010-08-05 | 2014-07-08 | Google Inc. | Translating languages in response to device motion |
| JP5666937B2 (ja) * | 2011-02-16 | 2015-02-12 | 株式会社東芝 | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム |
| US9015032B2 (en) * | 2011-11-28 | 2015-04-21 | International Business Machines Corporation | Multilingual speech recognition and public announcement |
| US9672209B2 (en) | 2012-06-21 | 2017-06-06 | International Business Machines Corporation | Dynamic translation substitution |
| US9241539B1 (en) * | 2012-06-29 | 2016-01-26 | Jeffrey Keswin | Shoelace tightening method and apparatus |
| US9471567B2 (en) * | 2013-01-31 | 2016-10-18 | Ncr Corporation | Automatic language recognition |
| JP2015014665A (ja) * | 2013-07-04 | 2015-01-22 | セイコーエプソン株式会社 | 音声認識装置及び方法、並びに、半導体集積回路装置 |
| US9740687B2 (en) | 2014-06-11 | 2017-08-22 | Facebook, Inc. | Classifying languages for objects and entities |
| US9524293B2 (en) * | 2014-08-15 | 2016-12-20 | Google Inc. | Techniques for automatically swapping languages and/or content for machine translation |
| JP6114249B2 (ja) * | 2014-11-20 | 2017-04-12 | ヤマハ株式会社 | 情報送信装置および情報送信方法 |
| JP6259804B2 (ja) | 2014-11-26 | 2018-01-10 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法 |
| US9864744B2 (en) | 2014-12-03 | 2018-01-09 | Facebook, Inc. | Mining multi-lingual data |
| US10067936B2 (en) | 2014-12-30 | 2018-09-04 | Facebook, Inc. | Machine translation output reranking |
| US9830386B2 (en) | 2014-12-30 | 2017-11-28 | Facebook, Inc. | Determining trending topics in social media |
| US9830404B2 (en) | 2014-12-30 | 2017-11-28 | Facebook, Inc. | Analyzing language dependency structures |
| US9477652B2 (en) | 2015-02-13 | 2016-10-25 | Facebook, Inc. | Machine learning dialect identification |
| US9934203B2 (en) | 2015-03-10 | 2018-04-03 | International Business Machines Corporation | Performance detection and enhancement of machine translation |
| US9940324B2 (en) * | 2015-03-10 | 2018-04-10 | International Business Machines Corporation | Performance detection and enhancement of machine translation |
| EP3232131B1 (en) * | 2015-04-03 | 2020-05-06 | Mitsubishi Electric Corporation | Air-conditioning system |
| US9734142B2 (en) | 2015-09-22 | 2017-08-15 | Facebook, Inc. | Universal translation |
| US10133738B2 (en) | 2015-12-14 | 2018-11-20 | Facebook, Inc. | Translation confidence scores |
| US9734143B2 (en) | 2015-12-17 | 2017-08-15 | Facebook, Inc. | Multi-media context language processing |
| US10002125B2 (en) | 2015-12-28 | 2018-06-19 | Facebook, Inc. | Language model personalization |
| US9805029B2 (en) | 2015-12-28 | 2017-10-31 | Facebook, Inc. | Predicting future translations |
| US9747283B2 (en) | 2015-12-28 | 2017-08-29 | Facebook, Inc. | Predicting future translations |
| US10902215B1 (en) | 2016-06-30 | 2021-01-26 | Facebook, Inc. | Social hash for language models |
| US10902221B1 (en) | 2016-06-30 | 2021-01-26 | Facebook, Inc. | Social hash for language models |
| WO2018008227A1 (ja) * | 2016-07-08 | 2018-01-11 | パナソニックＩｐマネジメント株式会社 | 翻訳装置および翻訳方法 |
| WO2018051570A1 (ja) * | 2016-09-13 | 2018-03-22 | パナソニックＩｐマネジメント株式会社 | 音声提示方法、音声提示プログラム、音声提示システム及び端末装置 |
| US9747282B1 (en) * | 2016-09-27 | 2017-08-29 | Doppler Labs, Inc. | Translation with conversational overlap |
| JP2018072568A (ja) * | 2016-10-28 | 2018-05-10 | 株式会社リクルートライフスタイル | 音声入力装置、音声入力方法及び音声入力プログラム |
| US10180935B2 (en) | 2016-12-30 | 2019-01-15 | Facebook, Inc. | Identifying multiple languages in a content item |
| US20180329877A1 (en) * | 2017-05-09 | 2018-11-15 | International Business Machines Corporation | Multilingual content management |
| US10380249B2 (en) | 2017-10-02 | 2019-08-13 | Facebook, Inc. | Predicting future trending topics |
| US10423727B1 (en) | 2018-01-11 | 2019-09-24 | Wells Fargo Bank, N.A. | Systems and methods for processing nuances in natural language |
| CN111046680B (zh) * | 2018-10-15 | 2022-05-24 | 华为技术有限公司 | 一种翻译方法及电子设备 |
| CN111836149A (zh) * | 2020-03-20 | 2020-10-27 | 东莞讯滔电子有限公司 | 无线耳机装置和无线耳机盒的使用方法 |
| WO2021232175A1 (en) * | 2020-05-16 | 2021-11-25 | Citrix Systems, Inc. | Input method language determination |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5247580A (en) * | 1989-12-29 | 1993-09-21 | Pioneer Electronic Corporation | Voice-operated remote control system |
| US5664126A (en) * | 1992-07-24 | 1997-09-02 | Kabushiki Kaisha Toshiba | Human interface system for communicating networked users |
| US5612869A (en) * | 1994-01-21 | 1997-03-18 | Innovative Enterprises International Corporation | Electronic health care compliance assistance |
| JP3161942B2 (ja) * | 1995-06-14 | 2001-04-25 | シャープ株式会社 | 訳振り機械翻訳装置 |
| US5884246A (en) * | 1996-12-04 | 1999-03-16 | Transgate Intellectual Properties Ltd. | System and method for transparent translation of electronically transmitted messages |
| JP3181548B2 (ja) * | 1998-02-03 | 2001-07-03 | 富士通株式会社 | 情報検索装置及び情報検索方法 |
| US6028514A (en) * | 1998-10-30 | 2000-02-22 | Lemelson Jerome H. | Personal emergency, safety warning system and method |
| JP3879321B2 (ja) * | 1998-12-17 | 2007-02-14 | 富士ゼロックス株式会社 | 文書要約装置、文書要約方法及び文書要約プログラムを記録した記録媒体 |
| AUPQ141999A0 (en) * | 1999-07-05 | 1999-07-29 | Worldlingo.Com Pty Ltd | Communication processing system |
| US6151571A (en) * | 1999-08-31 | 2000-11-21 | Andersen Consulting | System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters |
| US6317058B1 (en) * | 1999-09-15 | 2001-11-13 | Jerome H. Lemelson | Intelligent traffic control and warning system and method |
| US20010029455A1 (en) * | 2000-03-31 | 2001-10-11 | Chin Jeffrey J. | Method and apparatus for providing multilingual translation over a network |
| JP2002092265A (ja) * | 2000-09-19 | 2002-03-29 | Nec Corp | 緊急情報送信方法、緊急情報送信システム、記録媒体、情報処理装置、及び移動端末 |
| US20020169592A1 (en) * | 2001-05-11 | 2002-11-14 | Aityan Sergey Khachatur | Open environment for real-time multilingual communication |
| WO2003021391A2 (en) * | 2001-08-30 | 2003-03-13 | Umpleby Stuart A | Method and apparatus for translating between two species of one generic language |
-
2003
- 2003-05-27 JP JP2003149338A patent/JP3920812B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-09 US US10/753,480 patent/US20040243392A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210398519A1 (en) * | 2018-11-30 | 2021-12-23 | Google Llc | Speech processing |
| US11676577B2 (en) * | 2018-11-30 | 2023-06-13 | Google Llc | Speech processing |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040243392A1 (en) | 2004-12-02 |
| JP2004355118A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3920812B2 (ja) | コミュニケーション支援装置、支援方法、及び支援プログラム | |
| US11521600B2 (en) | Systems and method to resolve audio-based requests in a networked environment | |
| US10679611B2 (en) | Adaptive interface in a voice-based networked system | |
| US10679615B2 (en) | Adaptive interface in a voice-based networked system | |
| US11049493B2 (en) | Spoken dialog device, spoken dialog method, and recording medium | |
| US9805718B2 (en) | Clarifying natural language input using targeted questions | |
| US6999932B1 (en) | Language independent voice-based search system | |
| JP4481972B2 (ja) | 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム | |
| JP4398966B2 (ja) | 機械翻訳を行う装置、システム、方法およびプログラム | |
| EP1617409B1 (en) | Multimodal method to provide input to a computing device | |
| JP2015026057A (ja) | インタラクティブキャラクター基盤の外国語学習装置及び方法 | |
| JP2000137596A (ja) | 対話型音声応答システム | |
| JP2001188777A (ja) | 音声をテキストに関連付ける方法、音声をテキストに関連付けるコンピュータ、コンピュータで文書を生成し読み上げる方法、文書を生成し読み上げるコンピュータ、コンピュータでテキスト文書の音声再生を行う方法、テキスト文書の音声再生を行うコンピュータ、及び、文書内のテキストを編集し評価する方法 | |
| US20050010422A1 (en) | Speech processing apparatus and method | |
| CN109543021B (zh) | 一种面向智能机器人的故事数据处理方法及*** | |
| JP5106608B2 (ja) | 読み上げ支援装置、方法、およびプログラム | |
| US11955112B1 (en) | Cross-assistant command processing | |
| JP2005249829A (ja) | 音声認識を行うコンピュータネットワークシステム | |
| JP6723907B2 (ja) | 言語認識システム、言語認識方法、及び言語認識プログラム | |
| JP6347939B2 (ja) | 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム | |
| Rudzionis et al. | Web services based hybrid recognizer of Lithuanian voice commands | |
| WO2021161856A1 (ja) | 情報処理装置及び情報処理方法 | |
| JP4437778B2 (ja) | 上下関係判定方法、上下関係判定装置、上下関係判定プログラムおよび記録媒体 | |
| JP2004118720A (ja) | 翻訳装置、翻訳方法及び翻訳プログラム | |
| Ji et al. | Translation Technology in Accessible Health Communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070215 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3920812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |