JPH07129594A - 自動通訳システム - Google Patents

Abstract

(57)【要約】 【目的】 音声認識誤り、翻訳誤りの発生などのような
使用中に生ずる様々な状況に対処できる自動通訳システ
ムを提供すること。 【構成】 発話入力のための音声入力部１、指示情報入
力のための指示入力部２、音声出力部３および表示部４
を有し、互いに異なる種類の言語を示す属性が付された
複数の入出力手段と、一の入出力手段に含まれる音声入
力部からの発話を該属性に基づいて音声認識してコード
化する音声認識手段１０と、該コードを他の属性の言語
に対応するコードに翻訳する双方向自動翻訳手段１２
と、該コードを音声に変換する音声生成手段１１と、該
発話の認識結果または翻訳結果が特定できなかった場合
に前記一つの入出力手段の操作者すなわち話し手と該結
果に対する確認のための対話をするとともに、該対話が
行われる間、他の入出力手段の操作者すなわち聞き手と
該対話に関する対話をする対話手段１３を備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、異なる言語の話者が互
いに自国の言語で対話することを可能とする自動通訳シ
ステムに関する。

【０００２】

【従来の技術】従来、互いに異なる言語の話者が対話す
るシステムとしては、ポータブル翻訳機のように、２か
国語以上の簡単な対訳辞書とキーボードと、１行程度の
液晶表示部を持ち、キーボードから入力された複数の単
語をそのままの順序で次々と辞書を引き、表示すること
を基本としたものがあるだけであった。これは、翻訳機
という名がつけられているが、言語の文法解析、意味解
析などは行なわないので正しい翻訳は出力されず、単な
る辞書引きツールに過ぎないものであった。

【０００３】この装置では、例えば、 かれ レストラン いく と入力すると、 ＨＥ ＲＥＳＴＡＵＲＡＮＴ ＧＯ のように単語がでてくるだけであった。このような装置
は、すぐに分かるように、複雑な文章に対しては全く実
用にならない。また、簡単な文章でさえ、助詞などの機
能語は辞書にその意味を記述することができないため、
意味がまったく逆の翻訳になることもある。例えば、
「太郎を花子は好きだ。」という意味を、次のように入
力すると、 Ｔａｒｏ Ｈａｎａｋｏ 好き Ｔａｒｏ Ｈａｎａｋｏ ｌｉｋｅ となり、どちらが、どちらを好きなのか全く分からない
し、場合によっては太郎が花子を好きだと誤解されてし
まうこともあり得る。

【０００４】一方、本格的な自動翻訳システムとして
は、原言語の文法解析、意味解析を行なうとともに、対
象言語の生成過程を有する機械翻訳システムが、文書翻
訳の領域で実用化されている。

【０００５】しかし、これらは専ら文書翻訳に用いら
れ、対話をするための装置になっていない。典型的に
は、２言語以上の言語を同時に翻訳するような構成には
なっておらず、たとえ双方向翻訳機能をもっていても、
一度、一つ翻訳方向の翻訳を終了してから、逆方向の翻
訳プログラムを読び出すという手順が必要であった。

【０００６】また、従来の翻訳機はキーボード入力で原
文を入力しており、音声入力によることはできなかっ
た。一方、音声による通訳システムも研究されている
が、現在では、発話された音声を音声認識し、それを単
純に機械翻訳部に通し、翻訳された結果を音声生成部で
音声に変換するだけのものであり、音声認識誤り、翻訳
誤りが起った時にどう対処するか等の実用的な問題に対
する配慮はされていないなどの問題があった。

【０００７】

【発明が解決しようとする課題】このように従来では、
２か国語の話者が自由に音声で対話できる完全な通訳機
は実現されていなかった。本発明は、上記事情に鑑みて
なされたもので、音声認識誤り、翻訳誤りの発生などの
ような使用中に生ずる様々な状況に対処できる自動通訳
システムを提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明に係る自動通訳シ
ステムでは、発話を入力するための音声入力部、指示情
報を入力するための指示入力部、与えられた音声信号を
音声に変換して出力する音声出力部および与えられた情
報を表示する表示部を有し、互いに異なる種類の言語を
示す属性が付与された複数の入出力手段と、前記複数の
入出力手段のうち一つの入出力手段に含まれる前記音声
入力部から入力された発話を、該一つの入出力手段に付
与された前記属性に基づいて音声認識し対応するコード
またはコード列を生成する音声認識手段と、該コードま
たはコード列を、前記一つの入出力手段の他の入出力手
段に付与された属性が示す種類の言語に対応するコード
またはコード列にそれぞれ翻訳する双方向自動翻訳手段
と、該コードまたはコード列を、前記音声出力部に与え
るための音声信号に変換する音声生成手段と、前記音声
認識手段が前記入力された発話に対する認識結果を特定
できなかった場合または前記双方向自動翻訳手段が該音
声認識手段によって生成された前記コードまたはコード
列に対する翻訳結果を特定できなかった場合に、該認識
または該翻訳の結果に対する確認のための確認処理を前
記一つの入出力手段に含まれる前記音声入力部および前
記指示入力部の少なくとも一方ならびに前記音声出力部
および前記表示部の少なくとも一方を用いて行うととも
に、該確認処理が行われる間、前記他の入出力手段に含
まれる前記表示部および前記音声入力部の少なくとも一
方に該確認処理に関する情報を出力する対話手段とを備
えたことを特徴とする。

【０００９】また、好ましくは、前記音声入力部から入
力された前記発話を前記音声認識手段に与えるととも
に、前記他の入出力手段に含まれる音声出力部から該発
話をそのまま出力させるように構成すると良い。

【００１０】また、前記音声認識手段は、前記発話が前
記音声入力部から入力される際に前記指示入力部から与
えられた該発話の中の少なくとも１つの字種を特定する
情報を用いて、該発話を音声認識するように構成しても
良い。

【００１１】さらに、発話者が、前記指示入力部および
前記音声入力部の少なくとも一方を用いて、自分の発話
が終了したことを該自動通訳システムに伝えるように構
成すると好ましい。また、発話者が、前記指示入力部お
よび前記音声入力部の両方を用いて発話を入力するよう
に構成しても良い。

【００１２】

【作用】この結果、本発明（請求項１）によれば、２以
上の各入出力手段は、それぞれ処理対象とする言語の種
類が予め決定されており、いずれかの入出力手段の音声
入力部から発話が入力されると、音声認識手段は該発話
を前記属性が示す種類の言語として音声認識し、双方向
自動翻訳手段はこの認識結果を他の言語に翻訳し、音声
生成手段はこの翻訳結果を音声信号に変換し、翻訳した
言語に対応する音声出力部はこの音声信号を音声に変換
して出力する。ここで、発話者の発話を音声認識した結
果、音声認識に失敗した場合、または音声認識は成功し
たものとして処理され、翻訳の段階で失敗した場合のい
ずれの場合も、対話部を通じて認識または翻訳できなか
った部分を前記一つの入出力手段の操作者である発話者
と対話しながら修正するとともに、対話部は該修正のた
めに発話者と対話している間、前記他の入出力手段の操
作者である一人または複数人の聞き手の対話相手に対し
て、しばらく待つ旨などを知らせたり、聞き手に状況を
逐一知らせたり、問い合わせに答えるような対話相手に
なるなどして、聞き手に無音時間を生じさせることを防
ぐ。

【００１３】また、前記対話手段は、音声を用いるのに
加えて、表示部や指示入力部を使い文字や記号などで行
うこともできるので、音声のみによる修正情報が再び音
声認識に失敗することによる再修正が生ずることを防ぐ
ことができる。

【００１４】また、本発明（請求項２）によれば、前記
一つの入出力手段に含まれる音声入力部から入力された
前記発話を前記他の入出力手段に含まれる音声出力部か
らそのまま出力させる。従って、前記他の入出力手段の
操作者である聞き手が前記一つの入出力手段の操作者で
ある対話相手の発話状況を相手の肉声と背景状況をモニ
ターできる。

【００１５】すなわち、音声通訳された応答が、音声生
成部による合成音であると、発話相手に関する情報が得
られなず、はなはだしい場合、女性の話し手の声が男性
音で合成される可能性もあるが、上記によって、相手の
性別、年齢、イントネーションによる会話の焦点、感情
などの情報が、相手の肉声によって得られ、また、相手
が一人なのか、誰かと相談しながら話しているのかなど
の状況や、相手のいる場所の背景音など通常の電話のよ
うに相手の置かれた状況についての情報を得ることがで
きる。

【００１６】一方、上記対話部の動作中に対話相手と該
自動通訳システムの会話をモニターできるので、聞き手
の待ち時間が長くなった場合、話者と応答部との会話を
モニターすることにより、意味は分からなくても、状況
認識に役立たせることも可能である。

【００１７】また、本発明（請求項３）によれば、話し
手は発話入力の際に、該発話の中の少なくとも１つの字
種を特定する情報を前記指示入力部からシステムに与
え、前記音声認識手段は、この情報を用いて該発話を音
声認識する。

【００１８】従って、例えば英語では大文字か小文字
か、日本語では普通名詞か固有名詞か、などの区別等の
音声のみによっては伝えることの難しい言語情報を用い
て該発話を音声認識するので、音声認識の性能が高めら
れる。

【００１９】

【実施例】以下、図面を参照しながら実施例を説明す
る。図１は、本発明の一実施例に係る自動通訳システム
を示す概略構成図である。この自動通訳システムは、異
なる言語で話す２人の話者Ａおよび話者Ｂの間の通訳を
行うものであり、例えば自動翻訳電話や同時通訳機とい
ったシステムに適用できる。

【００２０】図のように、該自動通訳システムは、表示
部１、入力部２、マイクロフォン３およびスピーカ４か
らなる話者Ａ用の第１の入出力部、表示部５、入力部
６、マイクロフォン７およびスピーカ８からなる話者Ｂ
用の第２の入出力部、制御部９、音声処理部２０および
自動通訳部３０を備える。また、音声処理部２０は音声
認識部１０および音声生成部１１を有し、自動通訳部１
５は双方向自動翻訳部１２と、自然言語理解部１４およ
び自然言語生成部１５からなる対話部１３とを有する。

【００２１】第１の入出力部および第２の入出力部はそ
れぞれ、予め使用する言語の種類を決めておく。ここで
は、各入出力部に対して言語の種類を示す属性を付与し
ておくものとする。

【００２２】表示部１，５は、当該システムの使用者に
情報を伝えるために、文字や記号などの可視情報を表示
するためのものであり、液晶パネルなどにより構成され
る。入力部２，６は、文字や記号など音声以外により発
話や後述する確認用処理などに関する指示情報を入力す
るためのものであり、例えばキーボードマウスやタッチ
パネル等から構成される。

【００２３】マイクロフォン３，７は、話者の音声発話
を入力するためのものである。スピーカ４，８は、音声
生成部１１からの出力を発声する。制御部９は、当該シ
ステム全体の動作を制御するものであり、２種類の言語
における翻訳の方向、各種情報の流れの方向、情報のア
ドレスなど全てに渡って管理・制御する。

【００２４】音声認識部１０は、マイクロフォン３，７
から入力された音声を前記属性に基づいて認識する。音
声生成部１１は、自動翻訳部１２からの出力および対話
部１３からの出力を音声化する。

【００２５】双方向自動翻訳部１２は、音声認識部１０
から送出されてくる発話者の発話を対話相手方言語に翻
訳する。対話部１３は、認識結果や翻訳結果に曖昧性が
あるときのように話し手に対する確認や再度の音声入力
が必要な場合に、自然言語理解部１４および自然言語生
成部１５を用いて、当該システムが話し手と対話すると
ともに、この対話中に当該システムが聞き手と対話する
ものである。この対話のための入出力も双方向自動翻訳
部１２と同じ経路を通って運ばれる。

【００２６】自然言語理解部１４は、発話者の発話が、
曖昧性の解消に対する入力の場合には、自然言語で入力
された文章に対して構文・意味解釈を行い、発話者の指
示を解釈する。

【００２７】自然言語生成部１５は、音声認識部１０で
認識された音声認識結果に曖昧性が生じた場合、または
双方向自動翻訳部１２で翻訳結果に曖昧性が生じた場合
に、発話者へ曖昧性があることを知らせる文章を作成す
る。

【００２８】例えば、音声認識結果に曖昧性がある場
合、「音声認識に曖昧性があります。つぎの２つのう
ち、どちらが正しいか番号で答えてください。１．かた
しはがくせいです ２．わたしはがくせいです」を作成
する。この作成された文章は、話し手側の表示部に出力
されるとともに、音声生成部１１に送られ、音声化され
て発話に知らせられる。

【００２９】発話者は、スピーカに音声出力されたメッ
セージまたは表示部に表示されたメッセージで、曖昧性
があることを知ると、解消する文章を自然言語で入力す
る。例えば、「２番が正解です」と入力する。この入力
は、自然言語１４で解釈が行われ、２番目の文章に該当
する「わたしはがくせいです」が選択される。

【００３０】図２は、自動通訳システムの動作を表すフ
ローチャートである。以下、図２を参照しながら、自動
通訳システムの動作を説明する。ここでは、話者Ａが話
し手となり、話者Ｂが聞き手となっている状態であるも
のとする。また、話者Ａは日本語を用い、話者Ｂは英語
を用いるものとする。

【００３１】ａ）認識および通訳がそれぞれ一回で成功
した場合は、処理の流れは次のようになる。発話者Ａの
発話はまず、マイクロフォン３で入力される（ステップ
１）。

【００３２】入力された音声発話（例えば「わたしはが
くせいです」）は、制御部９によって音声認識部１０に
送られ、ここで前記属性に基づいてコード化される（ス
テップ２）。

【００３３】コード化された発話（すなわちコードまた
はコード列）は、制御部９を介して自動翻訳部１２に送
られ、ここで相手方である話者Ｂの用いる言語による文
章（例えば「Ｉ ａｍ ａ ｓｔｕｄｅｎｔ．」）に対
応するコードまたはコード列に翻訳される（ステップ
４）。

【００３４】翻訳された結果は、再び制御部９を通って
音声生成部１１に送られ、音声化される（ステップ
７）。音声化された発話は、制御部９により、相手方Ｂ
のスピーカ８に送られ、音声出力される（ステップ
８）。

【００３５】ｂ）次に、音声認識部１０による認識結果
として適正なものが得られなかったと判断された場合、
例えば認識ができないためあるいは認識結果に曖昧性が
あるために認識結果を特定できなかった場合など、につ
いて説明する。

【００３６】発話者Ａの発話が、マイクロフォン３で入
力される（ステップ１）。入力された音声発話は、制御
部９によって音声認識部１０に送られ、コード化される
（ステップ２）。

【００３７】ここで、その認識結果として適正なものが
得られなかったと判断された場合（ステップ３）、制御
部９は、音声認識部１０から音声認識結果とともに認識
結果の付帯情報を受けとり、それに応じた確認用処理を
行なう（ステップ６）。

【００３８】例えば、図３のように「わたしはがくせい
です」との発話に対する認識結果として、曖昧性が生じ
たものとする。図３では、「わたし」の中の「わ」が、
「わ」と「か」のどちらか認識できず、両方が出力され
た様子を表している。

【００３９】制御部９は、音声認識部１０から図３の２
つの音声認識結果とともに認識結果の付帯情報、例えば
「曖昧性があります」を受けとって、対話部１３にこの
情報を送り、自然言語生成部１５に「わ」と「か」のど
ちらが正しいかを発話者Ａに問い合せる問い合せ文を作
成させ、音声生成部１１により音声化して、スピーカ４
により音声で問い合せるとともに、必要に応じて文字コ
ードのまま表示部１にも同じ問い合せを表示する。発話
者Ａは、この問い合せに応じて、「わ」の発音に注意す
るなりして再度「わたしはがくせいです」と発話入力
し、再度の認識処理を試みる（ステップ１〜３）。

【００４０】そして、発話が正しく認識されるまで、以
上の処理ループを繰り返す。さらに、本実施例では、前
記問い合せに対して、上記例のように表示部１に表示さ
れた音声認識結果に正しいものがある場合は、例えば図
３の２番目の音声認識結果「わたしはがくせいです」を
前述したような方法により音声であるいはキーボード等
から選択入力することで確認を行って、再度の認識処理
を省くことが可能である。

【００４１】一方、上記確認用処理が行われている間、
待機することになる聞き手Ｂに対しても、対話部１３は
待機用処理を行なう（ステップ６）。例えば、「話し手
Ａからの発話の到着が遅れますので、しばらくお待ち下
さい」あるいは「話し手Ａからの発話を確認しておりま
すので、しばらくお待ち下さい」などの旨の案内を出し
て、無音状態を回避することによって、聞き手Ｂがいら
ついたり、不安になったりすることがないようにする。
この案内は、音声生成部１１を通して、スピーカ８およ
び表示部５の一方あるいは両方を使って行なうことがで
きる。これらの様子を図４に示す。

【００４２】また、上記の他に、聞き手に状況を逐一知
らせたり、聞き手の問い合わせに答えるなどして対話相
手として機能させることも可能である。次に、上記のよ
うにして正しくコード化された発話は、制御部９を介し
て自動翻訳部１２に送られ、ここで相手方である話者Ｂ
の用いる言語による文章に翻訳される（ステップ４）。

【００４３】翻訳された結果は、再び制御部９を通って
音声生成部１１に送られ、音声化される（ステップ
７）。音声化された発話は、制御部９により、相手方Ｂ
のスピーカ８に送られ、音声出力される（ステップ
８）。

【００４４】ｃ）次に、音声認識部１０が認識誤りを検
出できずに、自動翻訳部１２による翻訳結果として適正
なものが得られなかったと判断された場合、例えば翻訳
ができないためあるいは翻訳結果に曖昧性があるために
翻訳結果を特定できなかった場合など、について説明す
る。

【００４５】発話者Ａの発話は、マイクロフォン３で入
力される（ステップ１）。入力された音声発話は、制御
部９によって音声認識部１０に送られ、ここでコード化
される（ステップ２）。

【００４６】コード化された発話は、制御部９を介して
自動翻訳部１２に送られ、ここで相手方である話者Ｂの
用いる言語による文章に翻訳される（ステップ４）。そ
の翻訳結果として適正なものが得られなかったと判断さ
れた場合（ステップ５）、制御部９は、自動翻訳部１２
から自動翻訳結果とともに翻訳結果の付帯情報を受けと
り、それに応じた確認用処理を行なう（ステップ６）。

【００４７】例えば、図５に、音声認識部１０が認識誤
りを検出できなかった場合の様子を示す。仮に音声認識
部１０が音声認識結果「かたしはがくせいです」を正し
いと判断した場合、該認識結果は制御部９に送られる。
制御部９からこの結果を受取った自動翻訳部１２は、
「かたし」を辞書中に見つけられず、未知語として処理
する。この結果、翻訳は不完全なものとなる。全く翻訳
できない場合、あるいは部分的に翻訳できない場合など
いろいろな場合が想定される。これは音声認識の誤りの
性質と自動翻訳部の設計思想に依存する。

【００４８】ここでは、一例として、図５のような結果
が自動翻訳部１２から制御部９に返されるものとする。
制御部９は、この結果を対話部１３に送り発話者Ａに、
修正を求めるための適切な問い合せ文を生成させ、上記
の音声認識誤りの場合と同様にして、話し手Ａと確認の
ための対話を行なう。

【００４９】また、上記の音声認識誤りの場合と同様に
して、上記対話と同時に聞き手Ｂと待機のための対話を
行なう。このようにして正しく翻訳された結果は、再び
制御部９を通って音声生成部１１に送られ、音声化され
る（ステップ７）。

【００５０】音声化された発話は、制御部９により、相
手方Ｂのスピーカ８に送られ、音声出力される（ステッ
プ８）。このように、本実施例の自動通訳システムで
は、音声認識結果や翻訳結果に何等可の問題があった場
合に、話し手と確認のための対話をすると同時に、待機
している聞き手にも該確認に関する情報を伝えるために
対話を行う対話手段を設けたので、音声入力による自動
翻訳で実際に生ずるさまざまな問題に対しての対処が可
能となり、該システムの実用性を飛躍的に向上させるこ
とができる。

【００５１】ここで、上記では発話として音声のみを用
いていたが、音声に加えてキーボードなどからの入力を
用いることにより、記号のように音声入力のみでは入力
しにくいもの、あるいは音声入力に何度も失敗したもの
等が簡単に入力可能になる。

【００５２】また、本実施例の自動通訳システムは、２
人の会話者Ａ，Ｂが同じ場所で対面しながら用いること
も、また制御部９を公衆通信回線に接続して遠隔地にい
る相手との対話に用いることもできる。すなわち、公衆
通信回線を通して会話する場合、スピーカからの出力は
合成音声になるため、相手の年齢、性別、感情、イント
ネーションなどの情報、あるいは相手が一人なのか、誰
かと相談しながら話しているのかなどの状況、相手のい
る場所の背景音など相手の置かれた状況についての情報
が欠落することがあり、相手側の様子が分からない可能
性があるが、制御部９によって発話者Ａのマイクロフォ
ン３からの肉声をそのまま、聞き手Ｂに流すように構成
することによって、該欠落することがある情報を得るこ
とができる。ここで、図６には発話者の発話が、翻訳さ
れる場合の単純化したパスと肉声のパスを、図７には発
話者の発話が聞き手に到着する相対的タイミングを示
す。各図中、ｔ１は発話の開始時刻である。この肉声
は、制御部９から直ちに、公衆通信回線を通って相手に
送られる。この遅れは、通信衛星を通した場合で、１秒
程度である。すなわち、 ｔ２＝ｔ１＋１ｓｅｃ程度 である。また、ｔ３は、発話者が発話にかかる時間、音
声認識にかかる時間、自動翻訳にかかる時間、誤りが生
じた場合の問い合せ・対話にかかる時間からなる。この
時間量は、特定が困難であるが、誤りの修正のための対
話時間がないとし、１０語程度の短い発話ならば、実測
によれば最大３０秒程度である。すなわち、 ｔ３≦
ｔ１＋３０ｓｅｃ である。

【００５３】また、遠隔地通信の場合、時間遅れのため
の会話のタイミングがうまく取れないなどの問題があ
る。国際電話では、特に衛星通信の場合、この発話のタ
イミングは現在でも普通に体験されるところである。自
動通訳を行うシステムでは、音声認識処理、機械翻訳処
理などのため、この時間遅れが膨大なものになる可能性
がある。本実施例では、前記対話手段を用いることによ
って、時間遅れの期間に聞き手にメッセージを与えるな
どすることができる。

【００５４】また、音声入力による場合、発話の終了を
自動的に認識することは困難である。そこで、ある一定
時間、音声入力がない場合、終了したと見做して、翻訳
を開始することもできる。あるいは、トランシーバのよ
うに、制御部９に対して、「どうぞ」のような一定の音
声合図をすることもできる。キーボードなどの音声以外
による入力手段を用いて、システムに発話の終了を伝え
るようにすれば確実であるのでより好ましい。

【００５５】また、音声では、大文字、小文字の区別あ
るいは、普通名詞と固有名詞の区別が困難である。英語
の場合「ｊａｐａｎ」は「漆器」、「Ｊａｐａｎ」は
「日本」と訳さなければならないが、音声で、この区別
をすることは極めて困難である。また、日本語でも、
「近藤」と「混同」の区別は困難である。このような情
報もキーボードから入力するように構成すれば好まし
い。その他、文章中に他言語が混在する場合（例えば、
「Ｈｏｗ ａｂｏｕｔ “ｇｏ ｍｅｎ ｎａ ｓａ
ｉ”」）なども同様である。

【００５６】ここで、音声生成部５では、生成する音声
に話者の属性、例えば年齢、性別、イントネーション
（皮肉、喜怒哀楽等）、アクセントなどを反映させるよ
うに構成すると、聞き手が翻訳音声から話し相手に関す
る情報を得ることができるようになるので効果的であ
る。

【００５７】また、双方向自動翻訳部１２では、ダイア
レクト、例えば語彙の方言、出身地、教育背景などを反
映させて翻訳するようにすれば、聞き手が翻訳文の内容
から話し相手に関する情報を得ることができるようにな
るので効果的である。

【００５８】例えば、英語の「Ｉ」に対応する日本語と
しては、「私」、「僕」、「俺」をはじめとして種々の
ものが揚げられるが、まず、該双方向自動翻訳部１２
は、会話初期には「私」を用いておき、会話が進む過程
で用いられる語彙等を分析して、逐次適切な語彙に置き
換えていくようにすれば良い。

【００５９】次に、本発明の他の実施例に係る自動通訳
システムについて説明する。図８は、本実施例の自動通
訳システムを示す概略構成図である。この自動通訳シス
テムは、図１の自動通訳システムを、異なる言語で話す
Ｎ人の話者の間の通訳を行うもの拡張した例である。な
お、Ｎ人の話者のうちに同一の言語で話す者が含まれて
いても構わない。

【００６０】図のように、該自動通訳システムは、表示
部、入力部、マイクロフォンおよびスピーカからなる入
出力部をＮ組み備えたものであり、例えば話者Ａが話し
手となった場合、話者Ｂ〜Ｎが聞き手となる。

【００６１】この場合、音声処理部２０には、最大Ｎ種
類の言語を処理できる機能を付加し、自動通訳部３０に
は、一方の言語から他方の言語への翻訳として最大Ｎ×
（Ｎ−１）種類の翻訳機能を付加する修正を図１のシス
テムに施せば良い。

【００６２】なお、このＮ人用自動通訳システムの動作
は、図１のシステムの説明から自明であるので、詳細な
説明は省略する。また、本発明は上述した各実施例に限
定されるものではなく、その要旨を逸脱しない範囲で、
種々変形して実施することができる。

【００６３】

【発明の効果】本発明に係る自動通訳システムでは、音
声認識や翻訳において何等かの問題が生じた場合に、話
し手と確認のための対話をすると同時に、待機している
聞き手にも該確認に関する情報を伝えるために対話を行
う対話手段を設けたので、音声入力による自動翻訳で実
際に生ずる種々の問題に対する対処が可能となり、該シ
ステムの実用性を飛躍的に向上させることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る自動通訳システムを示
す概略構成図

【図２】同実施例の動作を示すフローチャート

【図３】同実施例における認識誤りの出力例を示す図

【図４】同実施例におけるシステムから発話者への問い
合せの出力例を示す図

【図５】同実施例における自動翻訳部での誤りの出力例
を示す図

【図６】同実施例における音声発話のパスを説明する図

【図７】同実施例における発話の聞き手に対する発話時
とその到着時の相対的タイミングを示す図

【図８】本発明の他の実施例に係る自動通訳システムを
示す概略構成図

【符号の説明】

１，５…表示部、２，６…入力部、３，７…マイクロフ
ォン、４，８…スピーカ、９…制御部、１０…音声認識
部、１１…音声生成部、１２…双方向自動翻訳部、１３
…対話部、１４…自然言語理解部、１５…自然言語生成
部、２０…音声処理部、３０…自動通訳部

Claims (3)

【特許請求の範囲】
1. 【請求項１】発話を入力するための音声入力部、指示情
   報を入力するための指示入力部、与えられた音声信号を
   音声に変換して出力する音声出力部および与えられた情
   報を表示する表示部を有し、互いに異なる種類の言語を
   示す属性が付与された複数の入出力手段と、 前記複数の入出力手段のうち一つの入出力手段に含まれ
   る前記音声入力部から入力された発話を、該一つの入出
   力手段に付与された前記属性に基づいて音声認識し対応
   するコードまたはコード列を生成する音声認識手段と、 該コードまたはコード列を、前記一つの入出力手段の他
   の入出力手段に付与された属性が示す種類の言語に対応
   するコードまたはコード列にそれぞれ翻訳する双方向自
   動翻訳手段と、 該コードまたはコード列を、前記音声出力部に与えるた
   めの音声信号に変換する音声生成手段と、 前記音声認識手段が前記入力された発話に対する認識結
   果を特定できなかった場合または前記双方向自動翻訳手
   段が該音声認識手段によって生成された前記コードまた
   はコード列に対する翻訳結果を特定できなかった場合
   に、該認識または該翻訳の結果に対する確認のための確
   認処理を前記一つの入出力手段に含まれる前記音声入力
   部および前記指示入力部の少なくとも一方ならびに前記
   音声出力部および前記表示部の少なくとも一方を用いて
   行うとともに、該確認処理が行われる間、前記他の入出
   力手段に含まれる前記表示部および前記音声入力部の少
   なくとも一方に該確認処理に関する情報を出力する対話
   手段とを備えたことを特徴とする自動通訳システム。
2. 【請求項２】前記音声入力部から入力された前記発話を
   前記音声認識手段に与えるとともに、前記他の入出力手
   段に含まれる音声出力部から該発話をそのまま出力させ
   ることを特徴とする請求項１に記載の自動通訳システ
   ム。
3. 【請求項３】前記音声認識手段は、前記発話が前記音声
   入力部から入力される際に前記指示力部から与えられた
   該発話の中の少なくとも１つの字種を特定する情報を用
   いて、該発話を音声認識することを特徴とする請求項１
   に記載の自動通訳システム。