JP3951186B2 - 自動翻訳装置 - Google Patents

自動翻訳装置 Download PDF

Info

Publication number
JP3951186B2
JP3951186B2 JP2003336401A JP2003336401A JP3951186B2 JP 3951186 B2 JP3951186 B2 JP 3951186B2 JP 2003336401 A JP2003336401 A JP 2003336401A JP 2003336401 A JP2003336401 A JP 2003336401A JP 3951186 B2 JP3951186 B2 JP 3951186B2
Authority
JP
Japan
Prior art keywords
data
automatic translation
translation
identification
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003336401A
Other languages
English (en)
Other versions
JP2005107595A (ja
Inventor
一郎 森
伸昌 荒木
康弘 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003336401A priority Critical patent/JP3951186B2/ja
Publication of JP2005107595A publication Critical patent/JP2005107595A/ja
Application granted granted Critical
Publication of JP3951186B2 publication Critical patent/JP3951186B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Description

本発明は、自動翻訳装置に関し、特にユーザーインターフェースを改善した自動翻訳装置に関する。
ある言語を異なる言語へ自動的に翻訳する自動翻訳装置が知られている。そのような装置は、互いに異なる言語を話す2人の利用者が1対1で使用することを想定して設計されている。その場合、1台の自動翻訳装置を交互に使用する方法や、各自が端末を持ち、2台の装置で通信を行いながら使用する方法が採られる。
そのような技術として、特開2000−112939号公報に多言語翻訳装置の技術が開示されている。この技術は、構成が簡単で、複数の言語に容易に対応でき、3以上の言語の使用者が同時に会話をすることができる装置を提供することである。
この技術の多言語翻訳装置は、異なる言語を持つ複数の通話者間で通訳を行う。そして、入力手段と、言語処理手段と、共通符号化手段と、送信手段と、受信手段と、共通複合化手段と、言語処理手段と、出力手段とを具備する。入力手段は、通話者の入力言語を入力しデジタルデータに変換する。言語処理手段は、入力手段の出力を整形加工する。共通符号化手段は、言語処理手段の出力を共通符号に変換する。送信手段は、共通符号化手段により変換された共通符号を送信する。受信手段は、送信側からの信号を受信する。共通複合化手段は、受信手段の出力の共通符号を通話者の言語データに変換する。言語処理手段は、共通複合化手段により複合化された言語データを整形加工する。出力手段は、言語処理手段から出力されるデジタルデータを通話者に通知する。
ここで、2人のときと同様のユーザーインターフェースを用いると、3人以上の複数の人々の間で会話を行う場合、どの発言が誰の発言なのかが分からなくなる状況が考えられる。加えて、複数の人々のうちの一部とだけ会話をすることが困難となる状況も考えられる。更に、相手の装置に自分の発言がきちんと通信されているかを確認したくなる状況も考えられる。
3人以上の複数の人々の間で会話を行う場合でも、発言者を明確にすることが可能な自動翻訳装置が望まれる。会話の状況に適した翻訳出力を行うことのできる自動翻訳装置が望まれる。複数の人々のうちの一部とだけ会話をすることが可能な自動翻訳装置が求められる。相手の装置に自分の発言がきちんと通信されているか確認することのできる自動翻訳装置が求められる。
特開2000−112939号
従って、本発明の目的は、3人以上の複数の人々の間で会話を行う場合でも、発言者を明確にすることが可能な自動翻訳装置を提供することにある。
また、本発明の他の目的は、3人以上の複数の人々の間で会話を行う場合でも、会話の状況に適した翻訳出力を行うことのできる自動翻訳装置を提供することにある。
本発明の更に他の目的は、3人以上の複数の人々の間で会話を行う場合でも、それらのうちの一部とだけ会話をすることが可能な自動翻訳装置を提供することにある。
本発明の別の目的は、3人以上の複数の人々の間で会話を行う場合でも、相手の装置に自分の発言がきちんと通信されているか確認することのできる自動翻訳装置を提供することにある。
以下に、発明を実施するための最良の形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
従って、上記課題を解決するために、本発明の自動翻訳装置は、異なる言語を話す人を相手として使用する自動翻訳装置(1/1a)である。そして、自動翻訳部(2)と、通信部(7)と、表示部(6)とを具備する。自動翻訳部(2)は、第1言語(日本語)を示す第1原語データ(日本語)を第2言語(英語)に翻訳して第1翻訳データ(英語)として出力する。通信部(7)は、第1翻訳データ(英語)と自動翻訳装置(1)を識別する第1識別データとを、他の複数の自動翻訳装置(1b/1c/1d)のうちの少なくとも一つである相手先自動翻訳装置(1c)へ送信する。表示部(6)は、第1言語データ(日本語)と、第1識別データに基づく第1区別データ(あなた)とを関連させて表示する。そして、通信部(7)は、相手先自動翻訳装置(1c)を識別する第2識別データと、第2翻訳データ(英語)とを相手先自動翻訳装置(1c)から受信する。自動翻訳部(2)は、第2翻訳データ(英語)が第1言語(日本語)で無いならば、第1言語(日本語)に翻訳して、改めて第2翻訳データ(日本語)として出力する。表示部(6)は、第2翻訳データ(日本語)と、第2識別データに基づく第2区別データ(Pierre)とを関連させて表示する。
ここで、区別データ(第1区別データ、第2区別データを含む)は、他の複数の自動翻訳装置(又はそのユーザ)の各々を、表示画面上で一目で視認できる(互いに区別できる)ように設定された記号や名称を示す。区別データとしては、ユーザの名前やニックネーム、ID番号、図形、色彩に例示される。
上記の自動翻訳装置において、通信部(7)は、更に、第1原語データ(日本語)を相手先自動翻訳装置(1c)へ送信する。一方、第2翻訳データ(英語)の翻訳前の第3言語(仏語)を示す第2原語データ(仏語)を相手先自動翻訳装置(1c)から受信する。表示部(6)は、更に、第2原語データ(仏語)と第2区別データ(Pierre)とを関連させて表示する。
上記の自動翻訳装置において、表示部(6)は、第2原語データ(仏語)と第2区別データ(Pierre)とを表示した後、第2翻訳データ(日本語)と第2区別データ(Pierre)とを表示する。
上記の自動翻訳装置において、第1原語データ(日本語)は、人の声を音声認識した音声認識データである。
上記の自動翻訳装置において、外部から視認可能な位置に設けられ、第1識別データ及び第2識別データに基づいて、色を変えて点灯するランプ(19)を更に具備する。
上記の自動翻訳装置において、通信部(7)は、他の複数の自動翻訳装置(1b/1c/1d)から送信される複数の翻訳データ(英語)と、他の複数の自動翻訳装置を識別する複数の識別データとを受信する。自動翻訳部(2)は、複数の翻訳データ(英語)を第1言語(日本語)に翻訳して出力する。表示部(6)は、第1言語(日本語)に翻訳された複数の翻訳データの各々と、複数の識別データに基づいて生成される複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて表示する。
上記の自動翻訳装置において、表示部(6)は、翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、通信部(7)で受信した順番に表示する。
上記の自動翻訳装置において、表示部(6)は、表示画面(16a)が複数の翻訳データの一部で埋まった場合、所定の条件を満たしたとき、前記複数の翻訳データの他の部分を表示する。その所定の条件は、予め設定された時間の経過、又は、その複数の翻訳データの他の部分の表示を指示する外部からの信号の入力である。
上記の自動翻訳装置において、表示部(6)は、複数の識別データの各々に対応して表示枠(51−1/51−2/51−3)を設定し、翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、対応する表示枠(51−1/51−2/51−3)に表示する。
上記の自動翻訳装置において、複数の区別データ(John/Pierre/善宇)の各々は、識別図形(59−1/59−3/59−4)を含む。
上記の自動翻訳装置において、表示部(6)は、複数の識別データを複数のグループに分割し、複数のグループの各々に対応して表示枠(54−1/54−2、56−1/56−2)を設定する。そして、翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、対応する表示枠(54−1/54−2、56−1/56−2)に表示する。
上記の自動翻訳装置において、表示部(6)は、その複数の識別データの各々に対応する識別図形(59−1/59−2/59−3/59−4)を表示する。その複数の識別データのうちの一つから翻訳データを受信したとき、対応する識別図形(59−3/59−4)の表示状態を変更する。識別図形(59−4)が選択されたとき、その翻訳データ(58−3)と、その複数の区別データのうちの対応する一つ(善宇)とを関連させて表示する。
上記の自動翻訳装置において、
表示部(6)は、その複数の識別データの各々に対応する識別図形(59−1/59−3/59−4)を表示し、外部信号の入力に基づいて識別図形(59−1/59−3/59−4)の表示位置を変更し、その複数の識別データのうちの一つから翻訳データを受信したとき、対応する識別図形(59−1)と、翻訳データ(51−1’’)と、複数の区別データのうちの対応する一つ(John)とを関連させて表示する。
上記の自動翻訳装置において、表示部(6)は、複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方を設定する。そして、翻訳された複数の翻訳データの各々と複数の区別データのうちの対応する一つとを関連させて、対応する文字フォント及び文字色の少なくとも一方で表示する。
上記課題を解決するために本発明の自動翻訳装置を用いた自動翻訳方法は、(a)〜(d)ステップを具備する。(a)ステップは、第1言語(日本語)を示す第1原語データ(日本語)と、自動翻訳装置(1/1a)を識別する第1識別データに基づく第1区別データ(あなた)とを関連させて表示画面(16/16a)に表示する。(b)ステップは、第2言語(英語)に翻訳した第1翻訳データ(英語)と第1識別データとを、他の複数の自動翻訳装置(1b/1c/1d)のうちの少なくとも一つである相手先自動翻訳装置(1c)へ送信する。(c)ステップは、相手先自動翻訳装置(1c)を識別する第2識別データと、第2翻訳データ(英語)とを相手先自動翻訳装置(1c)から受信する。(d)ステップは、第2翻訳データ(英語)が第1言語(日本語)で無いならば、第1言語(日本語)に翻訳して、改めて第2翻訳データ(日本語)とする。加えて、第2識別データに基づく第2区別データ(Pierre)と関連させて表示画面(16a)に表示する。
上記の自動翻訳方法において、(c)ステップは、(c1)他の複数の自動翻訳装置(1b/1c/1d)から送信される複数の翻訳データと、他の複数の自動翻訳装置(1b/1c/1d)を識別する複数の識別データとを受信するステップを備える。(d)ステップは、(d1)第1言語(日本語)に翻訳された複数の翻訳データ(日本語)の各々と、その複数の識別データに基づいて生成される複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて表示画面(16a)に表示するステップを備える。
上記の自動翻訳方法において、(d1)ステップは、(d11)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、(c1)ステップで受信した順番に表示画面(16a)に表示するステップを備える。
上記の自動翻訳方法において、(d11)ステップは、(d111)表示画面(16a)が複数の翻訳データの一部で埋まった場合、所定の条件を満たしたとき、その複数の翻訳データの他の部分を表示画面(16a)に表示するステップを備える。その所定の条件は、予め設定された時間の経過、又は、その複数の翻訳データの他の部分の表示を指示する外部からの信号の入力である。
上記の自動翻訳方法において、(d1)ステップは、(d12)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、表示画面(16a)における複数の識別データの各々に対応して予め設定された表示枠(51−1/51−2/51−3)のうちの対応するものに表示するステップを備える。
上記の自動翻訳方法において、その複数の区別データの各々は、識別図形(59−1/59−3/59−4)を含む。
上記の自動翻訳方法において、(d1)ステップは、(d13)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、表示画面(16a)の対応する表示枠(54−1/54−2、56−1/56−2)に表示するステップを備える。ここで、表示枠(54−1/54−2、56−1/56−2)は、複数の識別データを複数のグループに分割し、複数のグループの各々に対応して予め設定される。
上記の自動翻訳方法において、(d1)ステップは、(d14)その複数の識別データの各々に対応する識別図形(59−1/59−2/59−3/59−4)を表示画面(16a)に表示するステップと、(d15)複数の識別データのうちの一つから翻訳データを受信したとき、対応する識別図形(59−3/59−4)の表示状態を変更するステップと、(d16)識別図形(59−4)が選択されたとき、翻訳データ(58−3)と、複数の区別データのうちの対応する一つ(善宇)とを関連させて表示画面(16a)に表示するステップとを備える。
上記の自動翻訳方法において、(d1)ステップは、(d17)その複数の識別データの各々に対応する識別図形(59−1/59−3/59−4)を表示画面(16a)に表示するステップと、(d18)外部信号の入力に基づいて識別図形(59−1/59−3/59−4)の表示位置を変更して表示画面(16a)に表示するステップと、(d19)対応する識別図形(59−1)と、翻訳データ(51−1’’)と、その複数の区別データのうちの対応する一つ(John)とを関連させて表示するステップとを備える。
上記載の自動翻訳方法において、(d1)ステップで表示されるデータは、複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方が予め設定され、対応する文字フォント及び文字色の少なくとも一方で表示画面(16a)に表示される。
上記課題を解決するために本発明の自動翻訳装置を用いた自動翻訳方法をコンピュータに実行させるためのプログラムは、(a)〜(d)ステップを具備する。(a)ステップは、第1言語(日本語)を示す第1原語データ(日本語)と、自動翻訳装置(1/1a)を識別する第1識別データに基づく第1区別データ(あなた)とを関連させて表示画面(16/16a)に表示する。(b)ステップは、第2言語(英語)に翻訳した第1翻訳データ(英語)と第1識別データとを、他の複数の自動翻訳装置(1b/1c/1d)のうちの少なくとも一つである相手先自動翻訳装置(1c)へ送信する。(c)ステップは、相手先自動翻訳装置(1c)を識別する第2識別データと、第2翻訳データ(英語)とを相手先自動翻訳装置(1c)から受信する。(d)ステップは、第2翻訳データ(英語)が第1言語(日本語)で無いならば、第1言語(日本語)に翻訳して、改めて第2翻訳データ(日本語)とする。加えて、第2識別データに基づく第2区別データ(Pierre)と関連させて表示画面(16a)に表示する。
上記のプログラムにおいて、(c)ステップは、(c1)他の複数の自動翻訳装置(1b/1c/1d)から送信される複数の翻訳データと、他の複数の自動翻訳装置(1b/1c/1d)を識別する複数の識別データとを受信するステップを備える。(d)ステップは、(d1)第1言語(日本語)に翻訳された複数の翻訳データ(日本語)の各々と、その複数の識別データに基づいて生成される複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて表示画面(16a)に表示するステップを備える。
上記のプログラムにおいて、(d1)ステップは、(d11)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、(c1)ステップで受信した順番に表示画面(16a)に表示するステップを備える。
上記のプログラムにおいて、(d11)ステップは、(d111)表示画面(16a)が複数の翻訳データの一部で埋まった場合、所定の条件を満たしたとき、その複数の翻訳データの他の部分を表示画面(16a)に表示するステップを備える。その所定の条件は、予め設定された時間の経過、又は、その複数の翻訳データの他の部分の表示を指示する外部からの信号の入力である。
上記のプログラムにおいて、(d1)ステップは、(d12)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、表示画面(16a)における複数の識別データの各々に対応して予め設定された表示枠(51−1/51−2/51−3)のうちの対応するものに表示するステップを備える。
上記のプログラムにおいて、その複数の区別データの各々は、識別図形(59−1/59−3/59−4)を含む。
上記のプログラムにおいて、(d1)ステップは、(d13)翻訳された複数の翻訳データの各々と複数の区別データ(John/Pierre/善宇)のうちの対応する一つとを関連させて、表示画面(16a)の対応する表示枠(54−1/54−2、56−1/56−2)に表示するステップを備える。ここで、表示枠(54−1/54−2、56−1/56−2)は、複数の識別データを複数のグループに分割し、複数のグループの各々に対応して予め設定される。
上記のプログラムにおいて、(d1)ステップは、(d14)複数の識別データの各々に対応する識別図形(59−1/59−2/59−3/59−4)を表示画面(16a)に表示するステップと、(d15)複数の識別データのうちの一つから翻訳データを受信したとき、対応する識別図形(59−3/59−4)の表示状態を変更するステップと、(d16)識別図形(59−4)が選択されたとき、翻訳データ(58−3)と、複数の区別データのうちの対応する一つ(善宇)とを関連させて表示画面(16a)に表示するステップとを備える
上記のプログラムにおいて、(d1)ステップは、(d17)その複数の識別データの各々に対応する識別図形(59−1/59−3/59−4)を表示画面(16a)に表示するステップと、(d18)外部信号の入力に基づいて識別図形(59−1/59−3/59−4)の表示位置を変更して表示画面(16a)に表示するステップと、(d19)対応する識別図形(59−1)と、翻訳データ(51−1’’)と、その複数の区別データのうちの対応する一つ(John)とを関連させて表示するステップとを備える。
上記載のプログラムにおいて、(d1)ステップで表示されるデータは、複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方が予め設定され、対応する文字フォント及び文字色の少なくとも一方で表示画面(16a)に表示される。
本発明の自動翻訳装置及び自動翻訳方法により、3人以上の複数の人々の間で会話を行う場合でも、各人発言者を明確にすることができ、加えて、状況に適した翻訳出力を行うことができる。
以下、本発明の自動翻訳装置の実施の形態に関して、添付図面を参照して説明する。
(第1の実施の形態)
本発明の自動翻訳装置の第1の実施の形態について、添付図面を参照して説明する。まず、本発明の自動翻訳装置の第1の実施の形態の構成について説明する。
図1は、本発明の自動翻訳装置の第1の実施の形態の構成を示すブロック図である。自動翻訳装置1は、ソフトウエアとしての自動翻訳部2、制御部3、音声入力部4、音声出力部5、表示部6及び通信部7を具備する。
自動翻訳部2は、入力されたデータを自動翻訳して出力する。自動翻訳部2は、音声認識部21、翻訳部22及び音声合成部23を備える。
音声認識部21は、音声入力部4から供給される音声入力データについて音声認識を行う。そして、音声認識結果としての音声認識データ(例示:テキストデータ)を制御部3及び翻訳部22へ出力する。音声データが、自国語(原言語:英語ではない)の場合、自国語音声認識部31が対応する。音声データが、英語の場合、英語音声認識部32が対応する。制御部3は、音声認識データを表示部6及び通信部7へ出力する。
翻訳部22は、音声認識部21から供給される音声認識データについて翻訳を行う。そして、翻訳結果としての翻訳データを制御部3及び音声合成部23へ出力する。又は、制御部3を介して通信部7から供給される通信入力データについて翻訳を行う。そして、通信入力データと翻訳データとを制御部3及び音声合成部23へ出力する。音声認識データが、自国語(原言語:英語ではない)の場合、自国語/英語翻訳部33が対応する。音声認識データが、英語の場合、英語/自国語翻訳部34が対応する。制御部3は、通信入力データと翻訳データとを表示部6及び通信部7へ出力する。
音声合成部23は、翻訳部22から供給される翻訳データについて音声合成を行う。そして、音声合成結果としての音声出力データを音声出力部5へ出力する。翻訳データが、英語の場合、英語音声合成部35が対応する。翻訳データが、自国語(原言語:英語ではない)の場合、自国語音声合成部36が対応する。
音声入力部4は、マイクのような集音装置から供給される音声入力をアナログ−デジタル変換する。そして、変換結果としての音声入力データを自動翻訳部2へ出力する。
音声出力部5は、音声合成部23から供給される音声出力データをデジタル−アナログ変換する。そして、変換結果としての音声出力をスピーカのような発音装置へ出力する。
表示部6は、制御部3からの音声認識データ、翻訳データ、通信入力データをディスプレイのような表示装置に表示する。その際、複数の形式の中から選択された形式に基づいて、上記各データを表示する。
通信部7は、制御部3からの翻訳データと自身の識別データとを合わせた通信出力データを、他の自動翻訳装置へ出力する。及び、他の自動翻訳装置からの通信入力データを受信し、制御部3へ出力する。通信部7は、識別部24を備える。
識別部24は、自動翻訳装置1自身の識別データを格納している。そして、通信部7から出力される各データ(通信出力データ)に自身の識別データを付加する。加えて、通信圏内にある他の自動翻訳装置の識別データを自動的に検知する。更に、通信入力データに含まれる発信元の自動翻訳装置の識別データを確認する。識別データは、所有者の名称(氏名)、及び、装置の製造番号の組合せに例示される。所有者を示す画像や記号などを用いることも可能である。
制御部3は、スイッチの状態に応じて上記の各処理、各部を仲介又は制御する。
図2は、本発明の自動翻訳装置の第1の実施の形態のハード構成を示す図である。自動翻訳装置1は、PDA(Personal Digital Assistant)に例示される情報処理装置である。特に、携帯可能な大きさ(携帯端末)であることがより好ましい。自動翻訳装置1は、携帯し、いつでも使用可能な状況にあることが望ましいからである。
自動翻訳機は、バスに接続されたメモリ12、CPU(Central Processing Unit)13、マイク14、スピーカ15、ディスプレイ16、通信装置17、スイッチ18及びランプ19を具備する。
例えば、ソフトウエアとしての上記の自動翻訳部2、制御部3、音声入力部4、音声出力部5、表示部6及び通信部7は、メモリ12の一つとしてのHD(Hard Disk)に格納されている。そして、自動翻訳装置1の起動時にメモリ12の一つとしてのRAM(Random Access Memory)に展開される。又は、上記ソフトウエアは、ROM(Read Only Memory)又はRAM、あるいはメモリカードのようなリムーバブルメモリに格納されている。そして、起動時に必要に応じてRAMに展開されるか、又は、格納されているメモリ上で実行される。そして、CPU13は、RAM又はROM内のソフトウエアを用いて、自動翻訳装置1を動作させる。その際、音声入力部4によりマイク14が制御され、音声出力部5によりスピーカ15が制御され、表示部6によりディスプレイ16が制御され、通信部7により通信装置17が制御される。制御部3は、スイッチ18の状態に応じて各処理、各部を制御する。識別部24によりランプ19が制御される。
ランプ19は、互いに発光色の異なる複数のLEDを備える。そのランプ19は、自動翻訳装置1の所有者だけでなく、その会話相手からも見えるように、自動翻訳装置1の上部に突出した形状で設置されている。
次に、本発明の自動翻訳装置の第1の実施の形態の動作について説明する。
図3は、本発明の自動翻訳装置の第1の実施の形態の動作を示すフロー図である。この図では、自動翻訳装置1に対して音声入力を行う場合の動作を示している。
(1)ステップS01:所有者がマイク14をONする操作により、音声入力(発言)が開始される。
(2)ステップS02:音声認識部21は、マイク14に対する一つながりの音声入力(一つの発言)ごとに、固有のID(Identification)を生成する。固有のIDは、この音声入力(発言)に伴って生成される各データ(例示:音声認識データ、翻訳データ、通信出力データ)に常に含まれる。そして、音声入力の進行に伴い、音声認識を行い、音声認識データの生成を開始する。そして、音声認識の途中結果(音声認識データの一部)を制御部3へ出力し始める。
(3)ステップS03:制御部3は、音声認識の途中結果(音声認識データの一部)を音声認識部21から取得したか否かを判定する。ステップS03がYesの場合ステップS04、Noの場合ステップS05へ向かう。
(4)ステップS04:ステップS03がYesの場合、制御部3は、表示部6へその途中結果(音声認識データの一部)を出力し、ディスプレイ16へ表示させる。それと同時に、通信部7へその途中結果(音声認識データの一部)を出力し、他の自動翻訳装置へ通信出力データとして送信させる。
(5)ステップS05:ステップS03がNoの場合、制御部3は、所有者がマイク14をOFFする操作をすることで、音声認識を終了したか否かを判定する。ステップS05がYesの場合ステップS06、Noの場合ステップS03へ向かう。
(6)ステップS06:ステップS05がYesの場合、一つのIDで示される一つながりの音声認識データが、音声認識部21より出力され、制御部3と同時に翻訳部22により取得されている。
(7)ステップS07:制御部3は、表示部6へその音声認識データを出力し、ディスプレイ16へ表示させる。それと同時に、通信部7へその音声認識データを出力し、他の自動翻訳装置へ送信させる。
(8)ステップS08:制御部3は、音声認識データを自身の自動翻訳装置1で翻訳が必要であるか否かを判断する。例えば、音声認識データが英語であれば翻訳せず、音声認識データが英語以外の言語であれば英語に翻訳する。ステップS08がYesの場合ステップS09、Noの場合ステップS10へ向かう。
(9)ステップS09:翻訳部22は、取得した音声認識データについて、翻訳を実行する。そして、翻訳データを音声合成部23又は制御部3へ出力する。
(10)ステップS10:制御部3は、翻訳データを通信部7へ出力し、他の自動翻訳装置へ通信出力データとして送信させる。又は、音声合成部23は、音声出力データを生成し、スピーカに発音させる。
上記動作において、制御部3は、自動翻訳装置1における発言や他の自動翻訳装置から送信されてくる発言の内容、発言元の自動翻訳装置の識別データ、及び、その発言時間(受信時間)を互いに関連付けて、いつでも取り出し可能なように、テーブルとしてメモリ12に格納する。
このような動作により、自動翻訳装置により、自動翻訳を実行することができる。
図4は、本発明の自動翻訳装置の第1の実施の形態の動作を示すフロー図である。この図では、他の自動翻訳装置からの翻訳入力データを自動翻訳装置1で受信した場合の動作を示している。
(1)ステップS11:他の自動翻訳装置から出力された通信出力データを、通信入力データとして受信したか否かを判定する。ステップS11がYesの場合ステップS12、Noの場合ステップS11へ向かう。
(2)ステップS12:制御部3は、通信入力データに含まれる発言に関わるIDが、以前に受信した発言に関わるIDと同じものか否かを調べる。ステップS12がYesの場合ステップS13、Noの場合ステップS14へ向かう。
(3)ステップS13:制御部3は、表示部6へその通信入力データを出力する。表示部6は、通信入力データに基づいて、ディスプレイ16上の表示リストに、今回のIDを有する発言を新たに表示する。
(4)ステップS14:制御部3は、表示部6へその通信入力データを出力する。表示部6は、通信入力データに基づいて、ディスプレイ16上の表示リストに表示された以前の発言を、今回の同じIDを持つ発言で上書きする。
(5)ステップS15:制御部3は、通信入力データについて翻訳が必要か否かを判定する。例えば、上記のステップS04で出力された途中結果の通信入力データであれば、翻訳しないと判定する。一つながりの通信入力データの場合、通信入力データが英語であり自国語でなければ、英語から自国語へ翻訳すると判定する。ステップS15がYesの場合ステップS16、Noの場合ステップS18へ向かう。
(6)ステップS16:ステップS15がYesの場合、制御部3は、通信入力データを翻訳部22へ出力する。翻訳部22は、取得した通信入力データについて、翻訳を実行する。そして、翻訳データを音声合成部23又は制御部3へ出力する。
(7)ステップS17:制御部3は、表示部6へその翻訳データを出力する。表示部6は、翻訳データに基づいて、ディスプレイ16上の表示リストに表示された翻訳前の発言を、今回の同じIDを持つ翻訳データで上書きする。
(8)ステップS18:制御部3は、翻訳データを発音するか否かを判断する。例えば、他の自動翻訳装置からのデータを発音しないというモードならば、発音しないと判定する。ステップS18がYesの場合ステップS19、Noの場合この動作を終了する。
(9)ステップS19:音声合成部23は、翻訳データに基づいて、音声出力データを生成し、スピーカに発音させる。
このような動作により、他の自動翻訳装置との間で、自動翻訳装置を用いたコミュニケーションを行うことができる。
図5は、2つの自動翻訳装置を用いて会話をする場合のそれぞれのディスプレイ上の表示の推移の一例を示す図である。ここでは、図の左側の3つのディスプレイ16aは、日本人の使用する自動翻訳装置である。図の右側の3つのディスプレイ16bは米国人の使用する自動翻訳装置である。そして、図の上から下に向かって時間が推移するものとする。
上段の右側の日本人用の装置において、日本人がマイク14のボタンをONにし、「一番近い駅は」と発声した段階で、音声認識の途中結果として音声認識データの一部「一番近い駅は」が表示される(ステップS02〜S05)。それに対して、上段左側の米国人用の装置において、日本人用の装置より通信入力データを受信し、日本語で「一番近い駅は」が表示される(ステップS11〜S13)。
次に、中段の右側の日本人用の装置において、日本人が「どこですか」と発声してマイクのボタンをOFFにした段階で、音声認識が終了し、音声認識データ「一番近い駅はどこですか」が音声認識結果として表示される(ステップS05〜S07)。それに対して、中段左側の米国人用の装置において、日本人用の装置より通信入力データを受信し、日本語で「一番近い駅はどこですか」が表示される(ステップS11〜S14)。
続いて、下段の右側の日本人用の装置において、「一番近い駅はどこですか」が翻訳され、米国人用の装置へ送信される(ステップS08〜S10)。それに対して、下段左側の米国人用の装置において、日本人用装置より通信入力データを受信し、翻訳された「Where is the nearest station?」が表示される(ステップS11〜S14)。
図6は、2つの自動翻訳装置を用いて会話をする場合のそれぞれのディスプレイ上の表示の推移の一例を示す図である。ここでは、図の左側のディスプレイ16aは、日本人の使用する自動翻訳装置である。図の右側のディスプレイ16bは米国人の使用する自動翻訳装置である。そして、各ディスプレイの上から下に向かって時間が推移するものとする。日本人用の装置(ディスプレイ16a)では、自分について「あなた」と表示され、米国人について「米国人」と表示されている。米国人用の装置(ディスプレイ16b)では、自分について「You」と表示され、日本人について「Japanese」と表示されている。これらは、自動翻訳装置から出力される各データに付加された識別データに基づいて表示される。
日本人及び米国人が図5のプロセスを相互に繰り返すことにより、各々のディスプレイの下方(上方でも良い)に次々に会話が表示されていく。この場合、ディスプレイ16a(16b)の表示リスト40a(40b)がディスプレイ16a(16b)に収まりきれない場合、スクロールバー41a(41b)で対応する。
各発言は、「あなた」「米国人」「You」「Japanese」のように識別容易な表示がなされるので、新しい発言が送信されても、順番に読むことができる。また、これをそのままHDなどのメモリに格納すれば、会話記録として保存できる。また、議事録も容易に作成することが可能である。
図7は、3種類の言語を話す人同士の会話の際に用いられる自動翻訳装置の動作を示す図である。日本人は日本人用の携帯型の自動翻訳装置1a、米国人は米国人用の携帯型の自動翻訳装置1b及びフランス人はフランス人用の携帯型の自動翻訳装置1cを用いている。この場合、日本人は日英翻訳、フランス人は、仏英翻訳の自動翻訳装置を有していれば、英語の翻訳データを介して3人で会話をすることができる。同様に、更に多くの種類の言語を話し人同士が集まって会話をする場合にも、自国語−英語翻訳の自動翻訳装置を一台だけ有していれば、英語の翻訳データを介して多くの人と会話をすることができる。
本発明により、送信された発言をリスト状に表示するので、複数の発言者が短時間に続けて発言した場合でも、結果を全て表示することができる。それにより、発言を聞き逃した場合でも、確実に知ることができる。
本発明により、発言者が発声したときに、その発声に合わせて音声認識の途中結果、音声認識結果及び翻訳結果を順次表示するので、画面に表示された発言と現実の発言との対応を分かりやすくすることができる。
(第2の実施の形態)
本発明の自動翻訳装置の第2の実施の形態について、添付図面を参照して説明する。本実施の形態では、自動翻訳装置を用いて3人以上の複数の相手と話す場合、発話した内容を送る相手を制限できることや、発話した内容が相手に受信されているか否かを瞬時に確認できる点が第1の実施の形態と異なる。
まず、本発明の自動翻訳装置の第2の実施の形態の構成については、図1及び図2に示す通りである。これらは、第1の実施の形態と同様である。
次に、本発明の自動翻訳装置の第2の実施の形態の動作について説明する。自動翻訳装置同士の基本的な通信(対話)は、第1の実施の形態の通りである。
図8は、本発明の自動翻訳装置の第2の実施の形態における自動翻訳装置の状況を示す図である。この図では、例として、日本人(自動翻訳装置1aを携帯)、アメリカ人(自動翻訳装置1bを携帯)、フランス人(自動翻訳装置1cを携帯)及び韓国人(自動翻訳装置1dを携帯)が各自動翻訳装置の通信圏内にいる状況を示している。
図に示すように、自動翻訳装置1aは、識別データ50aとして
name(所有者の名前、取得時に入力):いちろう
ID(自動翻訳装置1aのID、製造時に入力):81A0001
を有している。同様に、自動翻訳装置1bは識別データ50bとしてname:John、ID:93C4009、自動翻訳装置1cは識別データ50cとしてname:Pierre、ID:01B5340、自動翻訳装置1dは識別データ50dとしてname:善宇、ID:88Q3902、をそれぞれ有する。
この図では、自動翻訳装置1aは、通信範囲にある自動翻訳装置との通信により、識別データを相互に交換する。そして、対話可能な自動翻訳装置を自動認識し、対話可能相手データ52としてディスプレイ16aに表示する。その方法は後述する。図示しないが、他の自動翻訳装置1b〜1cにおいても、同様に識別データの一覧が表示される。
発言者は、会話に参加する前に、それらの識別データに対応する対話可能相手データ52の中から発話した内容を送信したい相手を選択する。例えば、この図では、日本人いちろうは、対話可能相手データ52のうち、JohnとPierreのチェックボックスをチェックすることで、発話した内容を送信したい相手を選択している。このようにすることで、JohnとPierreとだけ自動翻訳装置を用いた対話をすることができる。選択は、発言の前に選択を変更することで、個々の発言について送信相手を変更することができる。
図9は、本発明の自動翻訳装置の第2の実施の形態における自動翻訳装置の他の状況を示す図である。
この図では、例として、日本人の自動翻訳装置1aに赤色、アメリカ人の自動翻訳装置1bに青色、フランス人の自動翻訳装置1cに黄色、韓国人の自動翻訳装置1dに白色、がそれぞれ割り当てられた状況を示している。割り当て方法は、後述する。
すなわち、各自動翻訳装置は、通常の使用状態でどこからでも見える位置に複数色で発光可能なランプを搭載している。発言者の発話内容を通信出力データとして自身の識別データと共に送信する際、自動翻訳装置は自身に割り当てられた色でランプを点灯させる。そして、それらのデータを受信した他の自動翻訳装置は、その発言者の色でランプを点灯させ、データを受信したことを示す。
この図では、自動翻訳装置1cが、フランス人の発言内容を示す通信出力データと自身の識別データとを送信する際、自身のランプ19bを、自身に割り当てられた色の黄色に点灯させる。そして、自動翻訳装置1cからのデータを受信した各自動翻訳装置1a、1b、1dは、それぞれのランプ19a、19b、19dを、自動翻訳装置1cに割り当てられた黄色に点灯させる。
図10は、本発明の自動翻訳装置の第2の実施の形態の動作を示すフロー図である。この図では、各自動翻訳装置への色の割り当て、及び、各自動翻訳装置での識別データの表示について示す。
(0)ステップS20:自動翻訳装置の電源がONになる。
(1)ステップS21:自動翻訳装置の通信部7は、周辺にある他の自動翻訳装置を検索する。
(2)ステップS22:通信部7は、周辺に他の自動翻訳装置があるか否かを判定する。判定は、通信部7による予め設定された呼び掛けに応答するか否かにより行う。ステップS22がYesの場合ステップS24、Noの場合ステップS23へ向かう。
(3)ステップS23:通信部7は、周辺に他の自動翻訳装置が見つからないので、自分の色を赤に仮決定する。ステップS25へ進む。
(4)ステップS24:通信部7は、周辺に他の自動翻訳装置があるので、見つかった装置数に基づいて、自分の色を仮決定する。例えば、1つ見つかった場合は青色、2つ見つかった場合は黄色というようにである。色の割り当て方法は、全自動翻訳装置について同一とする。こうすることで、電源を入れた順に、それぞれ異なる色が割り当てられる。
(5)ステップS25:通信部7は、周辺の通信圏の他の自動翻訳装置へ仮決定した自分の色と識別データとを送信する。それと共に、他の自動翻訳装置の識別データを要求する。
(6)ステップS26:他の自動翻訳装置は、識別データを返信する。その際、仮決定の色が重なった場合は、その旨を示す制御信号を併せて返信する。
(7)ステップS27:仮決定の色が重なっているか否かを判定する。その判定は、他の自動翻訳装置から仮決定の色が重なった旨を示す制御信号があるか否かで行う。ステップS27がYesの場合ステップS28、Noの場合ステップS29へ向かう。
(8)ステップS28:通信部7は、受信した他の自動翻訳装置に割り当てられた色に基づいて、それらに重ならないように自身の色を変更する。そして、再び、周辺の通信圏の他の自動翻訳装置へ仮決定した自分の色と識別データとを送信する。このプロセスの後、識別データは、割り当てられた色を含む。
(9)ステップS29:通信部7は、他の自動翻訳装置の識別データと割り当てられた色とを制御部3へ出力する。制御部3は、それらのデータを表示部6へ出力し、ディスプレイ16に表示させる。表示の様子は、例えば、図8の自動翻訳装置1aのようである。このとき、各文字を各自動翻訳装置に割り当てられた色で表示する。これにより、各自動翻訳装置のランプ19の色を理解しやすくなる。
この後、図8及びその説明に示すように、対話可能相手データ52の中から発話した内容を送信したい相手を選択し対話を行う。発言内容を含む通信出力データを送信する際、選択された相手の識別データも併せて送信する。受信側の自動翻訳装置は、送信された通信出力データに自身の識別データが含まれていない場合、表示や翻訳を行わない。
図11は、図8の状況における対話の例を示す図である。この図では、左側が日本人用の自動翻訳装置1a、真中が米国人用の自動翻訳装置1b、右側がフランス人用の自動翻訳装置1cを示す。図の上から下に向かって時間が経過していることを示す。
最初にJohnが、自動翻訳装置1bを用いて発言62−1を行う。このとき、自動翻訳装置1bのランプ19bは、青色(自動翻訳装置1bの色)となる。発言62−1は、自動翻訳装置1aにおいて翻訳されて翻訳61−1となる。自動翻訳装置1aのランプ19aは、青色となる。同様に、発言62−1は、自動翻訳装置1cにおいて翻訳されて翻訳63−1となる。自動翻訳装置1cのランプ19cは、青色となる。
次に、いちろうが、まず、対話可能相手データ52aから、Johnのみを選択する。続いて、自動翻訳装置1aを用いて発言61−2を行う。このとき、自動翻訳装置1aのランプ19aは、赤色(自動翻訳装置1aの色)となる。発言61−2は、自動翻訳装置1aにおいて翻訳された後、自動翻訳装置1bに送信され、翻訳62−2となる。自動翻訳装置1bのランプ19bは、赤色となる。しかし、発言61−2は、自動翻訳装置1cにおいて、翻訳も表示もされない。
続いてJohnが、自動翻訳装置1bを用いて発言62−3を行う。このとき、自動翻訳装置1bのランプ19bは、青色となる。発言62−3は、自動翻訳装置1aにおいて翻訳されて翻訳61−3となる。自動翻訳装置1aのランプ19aは、青色となる。同様に、発言62−3は、自動翻訳装置1cにおいて翻訳されて翻訳63−3となる。自動翻訳装置1cのランプ19cは、青色となる。
本発明により、自動翻訳装置を用いて3人以上の複数の相手と話す場合、発話した内容を送る相手を制限することができる。逆に、発言内容を含む通信出力データを受信する側としては、不必要な発言内容が表示されないので、表示画面を有効に使用することができる。
本発明により、発話した内容を送った複数のランプが反応するので、発話した内容が相手に受信されているか否かを瞬時に確認することができる。
(第3の実施の形態)
本発明の自動翻訳装置の第3の実施の形態について、添付図面を参照して説明する。本実施の形態では、自動翻訳装置を用いて3人以上の複数の相手と話す場合、様々な会話の状況(モード)に応じて、それらに最適な通信(対話)結果表示方法を実行する点が第1及び第2の実施の形態と異なる。
まず、本発明の自動翻訳装置の第3の実施の形態の構成については、図1及び図2に示す通りである。これらは、第1の実施の形態と同様である。モードの選択は、自動翻訳装置1の所有者が、スイッチ18を操作することで行う。表示部6はそれに基づいて、表示方法を変更する。
次に、本発明の自動翻訳装置の第3の実施の形態の動作について説明する。自動翻訳装置同士の基本的な通信(対話)は、第1及び第2の実施の形態の通りである。
図12は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図12は、3人以上の複数の人が自由に話(発言)をする場合での、表示リスト40a−1の表示を示している。ここでは、以下のような特徴がある。
(A)各発言(翻訳済み)は、「あなた」「John」のように発言者ごとに表示されている。
(B)発言順に翻訳結果を並べ表示し、必要に応じて自動的にスクロールする。ディスプレイ16aに表示しきれない分は、スクロールバー41a−1の操作で表示可能である。
(C)記憶容量に応じて、過去にさかのぼって発言を確認することができる。
この場合、重要性の低い古い発言がディスプレイ16aから消え、最も重要な最新の発言を常に確認することができる。また、発言内容を記憶することで、会話記録や議事録を容易に作成することができる。
図13は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図13は、図12の場合と同様に、3人以上の複数の人が自由に話(発言)をする場合での、表示リスト40a−1’の表示を示している。ここでは、以下のような特徴がある。
(A)各発言は、「John」「Pierre」「善宇」のように発言者ごとに表示されている。
(B)発言順に翻訳結果を並べ表示するが、複数の発言を一度(所定の時間内)に受信した場合、自動的にスクロールさせない。一定時間後又はユーザの操作によりスクロールする。ディスプレイ16aに表示しきれない分は、スクロールバー41a−1’の操作で表示可能である。このとき、次の発言(画面に表示しきれいな発言)があることを送りボタン60で示す。
(C)記憶容量に応じて、過去にさかのぼって発言を確認することができる。
複数の発言を一度に、例えば、1秒以内に受信した場合、表示画面40a−1’で各発言の内容を確認するのに時間がかかる。この場合、ユーザが内容確認に必要と考えられる一定時間(例示:5秒)、又は、ユーザが送りボタン60を押すことで、画面がスクロールされる(表示画面40a−1’’)ようにする。それにより、一度に多量の発言を受信したときや、途中から会話に参加する場合などでも読む前に発言が流れていくことがなく、自分のペースで会話の内容を確認することができる。また、発言内容を記憶することで、会話記録や議事録を容易に作成することができる。
図14は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の他の応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図14は、一人が複数の人からの質問に個別に回答する場合での、表示リスト40a−2の表示を示している。ここでは、以下のような特徴がある。
(A)各発言(翻訳済み)は、「あなた」「John」「Pierre」のように発言者ごとに表示されている。
(B)発言者ごとに表示枠を設け、同じ人の発言はそれぞれその枠内に表示している。例えば、「John」は表示枠51−1、「あなた」は表示枠51−2、「Pierre」は表示枠51−3である。
(C)現在発言している人の発言内容を表示する際、その人の表示枠を自動的に広げ、他の人の表示枠を自動的に縮小する。例えば、図の左のディスプレイ16aでは、「あなた」の発言について、表示枠51−2が他の表示枠に比較して広がっている。図の右のディスプレイ16aでは、「John」の発言について、表示枠51−1’が他の表示枠に比較して広がっている。
(D)現在発言している人の発言内容を表示する際、発言者の名称にマークを添えて表示する。例えば、図の左のディスプレイ16aでは、発言者の「あなた」の手前に「▼」(黒逆三角)が添えられている。図の右のディスプレイ16aでは、発言者の「John」の手前に「▼」(黒逆三角)が添えられている。
図15は、図14の表示を行うための表示部の動作を示すフロー図である。
(1)ステップS31:発言内容と発言者の識別データとを取得する。
(2)ステップS32:その識別データに対応する表示枠が設定されているか否かを確認する。ステップS32がYesの場合ステップS34、Noの場合ステップS33へ向かう。
(3)ステップS33:その識別データに対応する表示枠を設定する。
(4)ステップS34:その識別データに対応する表示枠を広げる。
(5)ステップS35:その識別データに対応する表示枠に、マークを添えた識別データ(ここでは、発言者の名称)と共に、その発言内容を表示する。
(6)ステップS36:このモードが終了したか否かを確認する。ステップS36がYesの場合この動作を終了し、Noの場合ステップS31へ向かう。
この場合、今誰が発言しているかが一目で確認できる。加えて、最も重要な最新の発言を最も見易くすることができる。さらに、発言者ごと表示位置が相対的に決まっているので、特定の発言者の発言内容に注目することを容易に行うことができる。
図16は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の他の応用例の変形例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図16は、複数の人が相互に発言する場合での、ディスプレイ16aの表示を示している。ここでは、以下のような特徴がある。
(A)発言者ごとにキャラクタが設けられている。例えば、John59−1、Pierre59−3、善宇59−4である。それらは、ドラッグアンドドロップなどの操作により表示画面16aの適当な場所に自在に設定できる(図16右図)。
(B)各発言(翻訳済み)は、発言者ごと設定されたキャラクタからの吹き出しで表示される。そのとき、自動的にその発言者を示すキャラクタにかぶらないスペースに収まるように、発言者ごとの所定の位置に表示する。例えば、John59−1の発言は、吹き出し51−1’’である。「あなた」は、キャラクタはないが、手前からの吹き出し51−2’’である。
(C)会話の進行に伴い進む会話スライダ64及び会話スライダバー63をディスプレイ16a下部に表示する。会話スライダ64を移動させると、現在から過去にさかのぼって会話内容が表示される。会話スライダバー63は、右端が現在、左端が会話開始時を示す。
図16に関する表示部の動作は、図15における表示枠の設定を、キャラクタ及び吹き出しの設定及び配置に変更すること以外は、図15のフローと同様である。
キャラクタと吹き出しとの関係から、今誰が発言しているかが一目で確認できる。加えて、最も重要な最新の発言を最も見易くすることができる。発言者ごと表示位置が相対的に決まっているので、特定の発言者の発言内容に注目することを容易に行うことができる。
加えて、ユーザが、ディスプレイ16a上のキャラクタの位置を現実の発言者の位置と合わせた場合、各発言の翻訳結果を対応するキャラクタから吹き出し表示するので、より現実との対応が分かりやすくなる。すなわち、自動翻訳装置を通した会話であるにもかかわらず、直接会話している感覚により近づけることができる。更に、会話スライダ64を動かすことで、過去の会話内容を時間順に確認できる。
図17は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に他の応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図17は、司会者がいる場合での、表示リスト40a−3の表示を示している。ここでは、以下のような特徴がある。
(A)指定の人(司会者)の発言内容を表示リストの最上部又は最下部に別の表示枠54−1で常に表示する。
(B)その他の人の発言内容はまとめて一つの表示枠54−2に発言順に、その翻訳結果を並べて表示し、必要に応じて自動的にスクロールする。表示枠54−2に表示しきれない分は、スクロールバーの操作で表示可能である。
例えば、図の左側において、表示リスト40a−3の最上部に司会(John)用の別の表示枠54−1が常に表示されている。図の右側において、司会(John)用の別の表示枠54−1’はそのままであり、他の人の発言は他の人用の表示枠54−2'で表示される。必要に応じてスクロールバー41a−3を表示する。
図18は、図17の表示を行うための表示部の動作を示すフロー図である。
(1)ステップS41:対話可能相手データ52から指定の人を設定する。
(2)ステップS42:発言内容と発言者の識別データとを取得する。
(3)ステップS43:指定の人の発言か否かを確認する。ステップS42がYesの場合ステップS44、Noの場合ステップS45へ向かう。
(4)ステップS44:指定の人用の表示枠54−1へその発言内容を表示する。
(5)ステップS45:その他の人用の表示枠54−2へその発言内容を表示する。
(6)ステップS46:このモードが終了したか否かを確認する。ステップS46がYesの場合この動作を終了し、Noの場合ステップS42へ向かう。
この場合、司会(議事進行者)の質問を常に確認することができるので、多くの人が発言した後でも、質問を間違えることが無く、正しく意見を述べることができる。加えて、一目で司会の発言か、他の人の発言かを識別することができる。
図19は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の別の応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図19は、複数の人がグループに分かれている場合での、表示リスト40a−4の表示を示している。ここでは、以下のような特徴がある。
(A)個々の発言者がどのグループに属するかを予め設定できる。
(B)グループごとに表示枠を設け、同じグループの発言内容は同じ表示枠内に、発言順に翻訳結果をまとめて表示する。必要に応じて自動的にスクロールする。表示枠に表示しきれない分は、スクロールバーの操作で表示可能である。
例えば、図の左側において、表示リスト40a−4に2つのグループに対応して表示枠56−1及び表示枠56−2を表示する。図の右側において、それぞれのグループに属する発言者の発言内容が、それぞれ表示枠56−1’及び56−2’に表示されている。必要に応じてスクロールバー41a−4(1)、41a−4(2)を表示する。はそのままであり、他の人の発言は他の人用の表示枠54−2'で表示される。
図20は、図19の表示を行うための表示部の動作を示すフロー図である。
(1)ステップS51:対話可能相手データ52からグループを設定する。
(2)ステップS52:発言内容と発言者の識別データとを取得する。
(3)ステップS53:その発言者が属するグループの表示枠へその発言内容を表示する。
(4)ステップS54:このモードが終了したか否かを確認する。ステップS54がYesの場合この動作を終了し、Noの場合ステップS52へ向かう。
この場合、グループごとに発言が分かれているので、一目でどのグループに属する人の発言かを識別することができる。
図21は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に別の応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図21は、多くの人と会話をして意見を求める場合での、表示リスト40a−6の表示を示している。ここでは、以下のような特徴がある。
(A)会話の参加者は、表示枠58−4に、例えば、John59−1、Pierre59−3、善宇59−4、あなた59−2のようにキャラクタで表示され、発言者は色が変わって表示される。例えば、図21の右図において、表示枠58−4のPierre59−3と善宇59−4とが点灯して、両者の発言があった(発言を受信した)ことを示す。
(B)ユーザは、発言者に対応するキャラクタを選択することで、その発言者の発言(翻訳済み)を、発言枠(58−1、58−2、58−3)に表示させる。、例えば、善宇59−4を選択すると、発言枠58−3に善宇の発言が表示される。
図22は、図21の表示を行うための表示部の動作を示すフロー図である。
(1)ステップS71:新しい発言を取得したかどうかを確認する。ステップS71がYesの場合ステップS72、Noの場合ステップS76へ向かう。
(2)ステップS72:発言内容と発言者の識別データとを取得する。
(3)ステップS73:その識別データに対応するキャラクタが設定されているか否かを確認する。ステップS73がYesの場合ステップS75、Noの場合ステップS74へ向かう。
(4)ステップS74:その識別データに対応するキャラクタを表示枠58−4へ設定する。
(5)ステップS75:表示枠58−4において、その識別データに対応するキャラクタを点灯(色変え)する。
(6)ステップS76:ユーザがキャラクタを選択したかどうかを確認する。ステップS76がYesの場合ステップS77、ステップS76がNoの場合ステップS78へ向かう。
(7)ステップS77:ユーザの選択により、発言枠(58−1、58−2、58−3)において、選択された発言者の識別データ(ここでは、発言者の名称)と共に、その発言内容を表示する。また、対応するキャラクタを消灯(色変え)する。
(8)ステップS78:このモードが終了したか否かを確認する。ステップS78がYesの場合この動作を終了し、Noの場合ステップS71へ向かう。
この場合、短時間に複数の発言が寄せられた場合でも、発言を受け取るペースに流されず、各発言者の発言をじっくり読むことができる。また、誰が発言したかが一目で確認できる。
図23は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に異なる応用例を示す図である。この図では、例として、日本人用の自動翻訳装置1aのディスプレイ16a(表示画面)を示している。
図23は、発言者ごと、又は、発言者のグループごと、あるいは、指定の人とその他の発言者ごとに翻訳結果を表示する文字のフォントや表示色を変えて表示する場合での、表示リスト40a−5の表示を示している。この応用例は、図12、図13、図14、図16、図17、図19、図21に示す例に対しても適用することができる。ここでは、以下のような特徴がある。
(A)一目で発言者の違いを特定でき、且つ、発言者を特定できる。表示枠に表示しきれない分は、スクロールバー41a−5の操作で表示可能である。
図24は、図23の表示を行うための表示部の動作を示すフロー図である。
(1)ステップS61:発言内容と発言者の識別データとを取得する。
(2)ステップS62:その識別データに対応するフォント(表示色)が設定されているか否かを確認する。ステップS62がYesの場合ステップS64、Noの場合ステップS63へ向かう。
(3)ステップS63:その識別データに対応するフォント(表示色)を設定する。
(4)ステップS64:その識別データに対応するフォント(表示色)で、その発言内容を表示する。
(5)ステップS65:このモードが終了したか否かを確認する。ステップS65がYesの場合この動作を終了し、Noの場合ステップS61へ向かう。
この場合、発言者ごと、又は、発言者のグループごと、あるいは、指定の人とその他の発言者ごとに表示の仕方が異なるので、一目で発言者の違いを判別することができる。
図1は、本発明の自動翻訳装置の第1の実施の形態の構成を示すブロック図である。 図2は、本発明の自動翻訳装置の第1の実施の形態のハード構成を示す図である。 図3は、本発明の自動翻訳装置の第1の実施の形態の動作を示すフロー図である。 図4は、本発明の自動翻訳装置の第1の実施の形態の動作を示すフロー図である。 図5は、2つの自動翻訳装置を用いて会話をする場合のそれぞれのディスプレイ上の表示の推移を示す図である。 図6は、2つの自動翻訳装置を用いて会話をする場合のそれぞれのディスプレイ上の表示の推移を示す図である。 図7は、3種類の言語を話す人同士の会話の際に用いられる自動翻訳装置の動作を示す図である。 図8は、本発明の自動翻訳装置の第2の実施の形態における自動翻訳装置の状況を示す図である。 図9は、本発明の自動翻訳装置の第2の実施の形態における自動翻訳装置の他の状況を示す図である。 図10は、本発明の自動翻訳装置の第2の実施の形態の動作を示すフロー図である。 図11は、図8の状況における対話の例を示す図である。 図12は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法を示す図である。 図13は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の応用例を示す図である。 図14は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の他の応用例を示す図である。 図15は、図14の表示を行うための表示部の動作を示すフロー図である。 図16は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の他の応用例の変形例を示す図である。 図17は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に他の応用例を示す図である。 図18は、図17の表示を行うための表示部の動作を示すフロー図である。 図19は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の別の応用例を示す図である。 図20は、図19の表示を行うための表示部の動作を示すフロー図である。 図21は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に別の応用例を示す図である。 図22は、図21の表示を行うための表示部の動作を示すフロー図である。 図23は、本発明の自動翻訳装置の第3の実施の形態における自動翻訳装置の表示方法の更に異なる応用例を示す図である。 図24は、図23の表示を行うための表示部の動作を示すフロー図である。
符号の説明
1、1a、1b、1c、1d 自動翻訳装置
2 自動翻訳部
3 制御部
4 音声入力部
5 音声出力部
6 表示部
7 通信部
12 メモリ
13 CPU
14 マイク
15 スピーカ
16、16a、16b、 ディスプレイ
17 通信装置
18 スイッチ
19、19a、19b、19c、19d ランプ
21 音声認識部
22 翻訳部
23 音声合成部
24 識別部
31 自国語音声認識部
32 英語音声認識部
33 自国語/英語翻訳部
34 英語/自国語翻訳部
35 英語音声合成部
36 自国語音声合成部
40a、40b、
40a−1(’)(’’)、40a−2(’)、40a−3(’)、40a−4(’)、40a−5 表示リスト
41a、41b、
41a−1(’)、41a−2、41a−3、41a−4(1,2)、41a−5 スクロールバー
50a、50b、50c、50d 識別データ
52、52a 対話可能相手データ
51−1(’)、51−2(’)、51−3(’)、
54−1(’)、54−2(’)、56−1(’)、56−2(’) 表示枠
51−1’’、51−2’’ 吹き出し
59、59−1、59−2、59−3、59−4 キャラクタ
60 送りボタン
61−2、62−1、62−3 発言
61−1、61−3、62−2、63−1、63−3 翻訳
63 会話スライダバー
64 会話スライダ

Claims (29)

  1. 異なる言語を話す人を相手として使用する自動翻訳装置であって、
    音声認識データであり第1言語を示す第1原語データを第2言語に翻訳して第1翻訳データとして出力する自動翻訳部と、
    前記第1翻訳データと前記自動翻訳装置を識別する第1識別データとを、他の複数の自動翻訳装置のうちの少なくとも一つである相手先自動翻訳装置へ送信する通信部と、
    前記第1原語データと、前記第1識別データに対応し前記自動翻訳装置を示す第1区別データとを関連させて表示する表示部と
    外部から視認可能な位置に設けられ、複数の色を発光可能なランプと
    前記ランプの発光を制御する制御部と
    を具備し、
    前記通信部は、
    電源オン時に、前記第1識別データと自身を示す発光色を、前記他の複数の自動翻訳装置へ送信すると共に、前記他の複数の自動翻訳装置から、前記他の複数の自動翻訳装置を識別する複数の識別データと前記他の複数の自動翻訳装置を示す複数の発光色を受信し、
    前記相手先自動翻訳装置を識別する第2識別データと、音声認識データであり第3言語を示す第2原語データを第2言語に翻訳した第2翻訳データとを前記相手先自動翻訳装置から受信し、
    前記自動翻訳部は、前記第2翻訳データが前記第1言語で無いとき、前記第2翻訳データを前記第1言語に翻訳して、改めて第2翻訳データとして出力し、
    前記表示部は、前記第2翻訳データと、前記第2識別データに対応し前記相手先自動翻訳装置を示す第2区別データとを関連させて表示し、
    前記制御部は、
    前記通信部が前記相手先自動翻訳装置へ前記第1翻訳データと前記第1識別データとを送信するとき、前記ランプを、前記第1識別データを示す色で点灯し、
    前記通信部が前記相手先自動翻訳装置から前記第2翻訳データと前記第2識別データとを受信するとき、前記ランプを、前記第2識別データを示す色で点灯する
    自動翻訳装置。
  2. 請求項1に記載の自動翻訳装置において、
    前記通信部は、更に、前記第1原語データを前記相手先自動翻訳装置へ送信し、前記第2原語データを前記相手先自動翻訳装置から受信し、
    前記表示部は、更に、前記第2原語データと前記第2区別データとを関連させて表示する
    自動翻訳装置。
  3. 請求項2に記載の自動翻訳装置において、
    前記表示部は、前記第2原語データと前記第2区別データとを表示した後、前記第2翻訳データと前記第2区別データとを表示する
    自動翻訳装置。
  4. 請求項1乃至のいずれか一項に記載の自動翻訳装置において、
    前記通信部は、前記他の複数の自動翻訳装置から送信される複数の翻訳データと、前記複数の識別データとを受信し、
    前記自動翻訳部は、前記複数の翻訳データを前記第1言語に翻訳して出力し、
    前記表示部は、前記第1言語に翻訳された前記複数の翻訳データの各々と、前記複数の識別データに対応し前記他の複数の自動翻訳装置を示す複数の区別データのうちの対応する一つとを関連させて表示し、
    前記制御部は、
    前記通信部が前記他の複数の自動翻訳装置のいずれかから前記複数の翻訳データのうちの対応する一つと前記複数の識別データのうちの対応する一つとを受信するとき、前記ランプを、前記複数の識別データのうちの対応する一つを示す色で点灯する
    自動翻訳装置。
  5. 請求項に記載の自動翻訳装置において、
    前記表示部は、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記通信部で受信した順番に表示する
    自動翻訳装置。
  6. 請求項に記載の自動翻訳装置において、
    前記表示部は、前記複数の識別データの各々に対応して表示枠を設定し、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、対応する前記表示枠に表示する
    自動翻訳装置。
  7. 請求項に記載の自動翻訳装置において、
    前記表示部は、前記複数の識別データを複数のグループに分割し、前記複数のグループの各々に対応して表示枠を設定し、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、対応する前記表示枠に表示する
    自動翻訳装置。
  8. 請求項に記載の自動翻訳装置において、
    前記複数の区別データの各々は、前記複数の識別データのうちの対応する一つを示し、前記識別データごとに互いに異なる形態を有する識別図形を含む、
    自動翻訳装置。
  9. 請求項に記載の自動翻訳装置において、
    前記表示部は、
    前記複数の識別データの各々に対応する前記識別図形を表示し、
    前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形の表示状態を変更し、
    前記識別図形が選択されたとき、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて表示する
    自動翻訳装置。
  10. 請求項に記載の自動翻訳装置において、
    前記表示部は、
    前記複数の識別データの各々に対応する前記識別図形を表示し、
    外部信号の入力に基づいて前記識別図形の表示位置を変更し、
    前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形と、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて表示する
    自動翻訳装置。
  11. 請求項乃至10のいずれか一項に記載の自動翻訳装置において、
    前記表示部は、前記複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方を設定し、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、対応する前記文字フォント及び前記文字色の少なくとも一方で表示する
    自動翻訳装置。
  12. 自動翻訳装置を用いた自動翻訳方法であって、
    ここで、前記自動翻訳装置は、自動翻訳部と、通信部と、表示部と、制御部と、ランプとを具備し、
    (x)前記自動翻訳装置の電源オン時に、前記通信部が、前記自動翻訳装置を識別する第1識別データと自身を示す発光色とを、他の複数の自動翻訳装置へ送信すると共に、前記他の複数の自動翻訳装置から、前記他の複数の自動翻訳装置を識別する複数の識別データと前記他の複数の自動翻訳装置を示す複数の発光色を受信するステップと、
    (a)前記表示部が、音声認識データであり第1言語を示す第1原語データと、前記第1識別データに対応し前記自動翻訳装置を示す第1区別データとを関連させて表示画面に表示するステップと、
    (b)前記通信部が、前記自動翻訳部が前記第1原語データを第2言語に翻訳した第1翻訳データと前記第1識別データとを、他の複数の自動翻訳装置のうちの少なくとも一つである相手先自動翻訳装置へ送信するステップと、
    (c)前記制御部が、前記相手先自動翻訳装置へ前記第1翻訳データと前記第1識別データとを送信するとき、外部から視認可能な位置に設けられた前記ランプを、前記第1識別データを示す色で点灯するステップと、
    (d前記通信部が、前記相手先自動翻訳装置を識別する第2識別データと、音声認識データであり第3言語を示す第2原語データを第2言語に翻訳した第2翻訳データとを前記相手先自動翻訳装置から受信するステップと、
    (e)前記制御部が、前記相手先自動翻訳装置から前記第2翻訳データと前記第2識別データとを受信するとき、前記ランプを、前記第2識別データを示す色で点灯ステップと、
    (f前記自動翻訳部が、前記第2翻訳データが前記第1言語で無いとき、前記第2翻訳データを前記第1言語に翻訳して、改めて第2翻訳データとして、前記表示部が、前記第2識別データに対応し前記相手先自動翻訳装置を示す第2区別データと関連させて前記表示画面に表示するステップと
    を具備する
    自動翻訳方法。
  13. 請求項12に記載の自動翻訳方法において、
    前記(d)ステップは、
    (d1)前記通信部が、前記他の複数の自動翻訳装置から送信される複数の翻訳データと、前記複数の識別データとを受信するステップを備え、
    前記(e)ステップは、
    (e1)前記制御部が、前記他の複数の自動翻訳装置のいずれかから前記複数の翻訳データのうちの対応する一つと前記複数の識別データのうちの対応する一つとを受信するとき、前記複数の識別データのうちの対応する一つを示す色で点灯するステップを備え、
    前記(f)ステップは、
    (f1)前記表示部が、前記第1言語に翻訳された前記複数の翻訳データの各々と、前記複数の識別データに対応し前記他の複数の自動翻訳装置を示す複数の区別データのうちの対応する一つとを関連させて前記表示画面に表示するステップを備える
    自動翻訳方法。
  14. 請求項13に記載の自動翻訳方法において、
    前記(f1)ステップは、
    (f11)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記(d1)ステップで受信した順番に前記表示画面に表示するステップを備える
    自動翻訳方法。
  15. 請求項13に記載の自動翻訳方法において、
    前記(f1)ステップは、
    (f12)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記表示画面における前記複数の識別データの各々に対応して予め設定された表示枠のうちの対応するものに表示するステップを備える
    自動翻訳方法。
  16. 請求項13に記載の自動翻訳方法において、
    前記(1)ステップは、
    13)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記表示画面の対応する表示枠に表示するステップを備え、前記表示枠は、前記複数の識別データを複数のグループに分割し、前記複数のグループの各々に対応して予め設定される
    自動翻訳方法。
  17. 請求項13に記載の自動翻訳方法において、
    前記複数の区別データの各々は、前記複数の識別データのうちの対応する一つを示し、前記識別データごとに互いに異なる形態を有する識別図形を含む、
    自動翻訳方法。
  18. 請求項17に記載の自動翻訳方法において、
    前記(f1)ステップは、
    (f14)前記表示部が、前記複数の識別データの各々に対応する前記識別図形を前記表示画面に表示するステップと、
    (f15)前記表示部が、前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形の表示状態を変更するステップと、
    (f16)前記表示部が、前記識別図形が選択されたとき、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて前記表示画面に表示するステップと
    を備える
    自動翻訳方法。
  19. 請求項17に記載の自動翻訳方法において、
    前記(f1)ステップは、
    (f17)前記表示部が、前記複数の識別データの各々に対応する前記識別図形を前記表示画面に表示するステップと、
    (f18)前記表示部が、外部信号の入力に基づいて前記識別図形の表示位置を変更して前記表示画面に表示するステップと、
    (f19)前記表示部が、前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形と、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて表示するステップと
    を備える
    自動翻訳方法。
  20. 請求項13乃至19のいずれか一項に記載の自動翻訳方法において、
    前記(f1)ステップで表示されるデータは、前記複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方が予め設定され、対応する前記文字フォント及び前記文字色の少なくとも一方で前記表示画面に表示される
    自動翻訳方法。
  21. 自動翻訳装置を用いた自動翻訳方法をコンピュータに実行させるためのプログラムであって、
    ここで、前記自動翻訳装置は、自動翻訳部と、通信部と、表示部と、制御部と、ランプとを具備し、
    (x)前記自動翻訳装置の電源オン時に、前記通信部が、前記自動翻訳装置を識別する第1識別データと自身を示す発光色とを、他の複数の自動翻訳装置へ送信すると共に、前記他の複数の自動翻訳装置から、前記他の複数の自動翻訳装置を識別する複数の識別データと前記他の複数の自動翻訳装置を示す複数の発光色を受信するステップと、
    (a)前記表示部が、音声認識データであり第1言語を示す第1原語データと、前記第1識別データに対応し前記自動翻訳装置を示す第1区別データとを関連させて表示画面に表示するステップと、
    (b)前記通信部が、前記自動翻訳部が前記第1原語データを第2言語に翻訳した第1翻訳データと前記第1識別データとを、他の複数の自動翻訳装置のうちの少なくとも一つである相手先自動翻訳装置へ送信するステップと、
    (c)前記制御部が、前記相手先自動翻訳装置へ前記第1翻訳データと前記第1識別データとを送信するとき、外部から視認可能な位置に設けられた前記ランプを、前記第1識別データを示す色で点灯するステップと、
    (d前記通信部が、前記相手先自動翻訳装置を識別する第2識別データと、音声認識データであり第3言語を示す第2原語データを第2言語に翻訳した第2翻訳データとを前記相手先自動翻訳装置から受信するステップと、
    (e)前記制御部が、前記相手先自動翻訳装置から前記第2翻訳データと前記第2識別データとを受信するとき、前記ランプを、前記第2識別データを示す色で点灯ステップと、
    (f前記自動翻訳部が、前記第2翻訳データが前記第1言語で無いとき、前記第2翻訳データを前記第1言語に翻訳して、改めて第2翻訳データとして、前記表示部が、前記第2識別データに対応し前記相手先自動翻訳装置を示す第2区別データと関連させて前記表示画面に表示するステップと
    を具備する自動翻訳方法をコンピュータに実行させるためのプログラム。
  22. 請求項21に記載のプログラムにおいて、
    前記[[c]])ステップは、
    [[c]]1)前記通信部が、前記他の複数の自動翻訳装置から送信される複数の翻訳データと、前記複数の識別データとを受信するステップを備え、
    前記(e)ステップは、
    (e1)前記制御部が、前記他の複数の自動翻訳装置のいずれかから前記複数の翻訳データのうちの対応する一つと前記複数の識別データのうちの対応する一つとを受信するとき、前記複数の識別データのうちの対応する一つを示す色で点灯するステップを備え、
    前記(f)ステップは、
    (f1)前記表示部が、前記第1言語に翻訳された前記複数の翻訳データの各々と、前記複数の識別データに対応し前記他の複数の自動翻訳装置を示す複数の区別データのうちの対応する一つとを関連させて前記表示画面に表示するステップを備える
    プログラム。
  23. 請求項22に記載のプログラムにおいて、
    前記(f1)ステップは、
    (f11)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記(d1)ステップで受信した順番に前記表示画面に表示するステップを備える
    プログラム。
  24. 請求項22に記載のプログラムにおいて、
    前記(f1)ステップは、
    (f12)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記表示画面における前記複数の識別データの各々に対応して予め設定された表示枠のうちの対応するものに表示するステップを備える
    プログラム。
  25. 請求項22に記載のプログラムにおいて、
    前記(f1)ステップは、
    (f13)前記表示部が、翻訳された前記複数の翻訳データの各々と前記複数の区別データのうちの対応する一つとを関連させて、前記表示画面の対応する表示枠に表示するステップを備え、前記表示枠は、前記複数の識別データを複数のグループに分割し、前記複数のグループの各々に対応して予め設定される
    プログラム。
  26. 請求項22に記載のプログラムにおいて、
    前記複数の区別データの各々は、前記複数の識別データのうちの対応する一つを示し、前記識別データごとに互いに異なる形態を有する識別図形を含む
    プログラム。
  27. 請求項26に記載のプログラムにおいて、
    前記(f1)ステップは、
    (f14)前記表示部が、前記複数の識別データの各々に対応する前記識別図形を前記表示画面に表示するステップと、
    (f15)前記表示部が、前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形の表示状態を変更するステップと、
    (f16)前記表示部が、前記識別図形が選択されたとき、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて前記表示画面に表示するステップと
    を備える
    プログラム。
  28. 請求項26に記載のプログラムにおいて、
    前記(f1)ステップは、
    (f17)前記表示部が、前記複数の識別データの各々に対応する前記識別図形を前記表示画面に表示するステップと、
    (f18)前記表示部が、外部信号の入力に基づいて前記識別図形の表示位置を変更して前記表示画面に表示するステップと、
    (f19)前記表示部が、前記他の複数の自動翻訳装置のうちの前記複数の識別データのいずれかに対応するものから翻訳データを受信したとき、対応する前記識別図形と、前記翻訳データと、前記複数の区別データのうちの対応する一つとを関連させて表示するステップと
    を備える
    プログラム。
  29. 請求項22乃至28のいずれか一項に記載のプログラムにおいて、
    前記(f1)ステップで表示されるデータは、前記複数の識別データの各々に対応して文字フォント及び文字色の少なくとも一方が予め設定され、対応する前記文字フォント及び前記文字色の少なくとも一方で前記表示画面に表示される
    プログラム。
JP2003336401A 2003-09-26 2003-09-26 自動翻訳装置 Expired - Fee Related JP3951186B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003336401A JP3951186B2 (ja) 2003-09-26 2003-09-26 自動翻訳装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003336401A JP3951186B2 (ja) 2003-09-26 2003-09-26 自動翻訳装置

Publications (2)

Publication Number Publication Date
JP2005107595A JP2005107595A (ja) 2005-04-21
JP3951186B2 true JP3951186B2 (ja) 2007-08-01

Family

ID=34532549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003336401A Expired - Fee Related JP3951186B2 (ja) 2003-09-26 2003-09-26 自動翻訳装置

Country Status (1)

Country Link
JP (1) JP3951186B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239185B2 (en) * 2008-01-17 2012-08-07 Geacom, Inc. Method and system for situational language translation
JP2010026220A (ja) * 2008-07-18 2010-02-04 Sharp Corp 音声翻訳装置、および音声翻訳方法
JP2011192048A (ja) * 2010-03-15 2011-09-29 Nec Corp 発言内容出力システム、発言内容出力装置及び発言内容出力方法
JP6178198B2 (ja) 2013-09-30 2017-08-09 株式会社東芝 音声翻訳システム、方法およびプログラム
JP5907231B1 (ja) * 2014-10-15 2016-04-26 富士通株式会社 入力情報支援装置、入力情報支援方法および入力情報支援プログラム
JP6296193B2 (ja) * 2017-05-08 2018-03-20 富士通株式会社 入力情報支援装置、入力情報支援方法および入力情報支援プログラム
JP7327475B2 (ja) * 2019-05-30 2023-08-16 日本電信電話株式会社 表示情報生成装置、表示情報生成方法及び表示情報生成プログラム
WO2023058451A1 (ja) * 2021-10-04 2023-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2005107595A (ja) 2005-04-21

Similar Documents

Publication Publication Date Title
US5297041A (en) Predictive scanning input system for rapid selection of auditory and visual indicators
Hjalmarsson The additive effect of turn-taking cues in human and synthetic voice
EP1028410A1 (en) Speech recognition enrolment system
KR20090085376A (ko) 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치
US8606560B2 (en) Automatic simultaneous interpertation system
KR101819459B1 (ko) 음성 인식 오류 수정을 지원하는 음성 인식 시스템 및 장치
CN106991094A (zh) 外语口语说话学习***、方法及电脑程序
JP3951186B2 (ja) 自動翻訳装置
CN114464180A (zh) 一种智能设备及智能语音交互方法
JP5137031B2 (ja) 台詞音声作成装置、発話音声収録装置、及びコンピュータプログラム
JPH11109991A (ja) マンマシンインターフェースシステム
KR100888267B1 (ko) 언어의 문자이미지와 음성을 매칭 시키는 언어 학습방법 및학습장치
JP6841309B2 (ja) 電子機器およびプログラム
JP3260275B2 (ja) 活字入力で通話が可能な通信通話装置
KR20050092293A (ko) 장애인용 보완대체 의사 소통 단말기
KR20140078810A (ko) 언어 데이터 및 원어민의 발음 데이터를 이용한 리듬 패턴 학습장치 및 방법
CN101098357B (zh) 支持盲文输入的通信终端及在该终端上发送盲文的方法
JP2020140178A (ja) 音声変換装置、音声変換システム及びプログラム
CN108735049A (zh) 聋哑人辅助发声***及其发声方法
JP2007286376A (ja) 音声案内システム
KR101031405B1 (ko) 음성합성과 음성인식 기능이 채택된 단말기를 이용한 학습 방법
KR20210135151A (ko) 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화 형 외국어 학습방법
US20080228497A1 (en) Method For Communication and Communication Device
JP4229627B2 (ja) ディクテーション装置、方法及びプログラム
US11902466B2 (en) Captioned telephone service system having text-to-speech and answer assistance functions

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees