JP2006302091A - 翻訳装置及びそのプログラム - Google Patents

Abstract

【課題】翻訳装置の多言語翻訳において、翻訳対象となる言語の言語種を的確に識別し翻訳を行う。
【解決手段】
撮像手段から取得した映像データから文字列を抽出し、この文字列の文字種と、この文字種を使用する言語種に対応する言語辞書を参照して翻訳結果を表示装置に表示する翻訳装置において、抽出した文字列についてその文字種データ、単語データ、正書規則データ及び／又はＧＰＳによって翻訳装置の位置情報を取得し当該位置で使用されている言語種のデータを参照し優先順位を付けて言語種の特定を行う。その後、特定した言語種に対応する辞書を参照し所定の言語に翻訳を行う。
【選択図】図１２

Description

本発明は翻訳装置及びそのプログラムに係り、特に、翻訳対象の言語種を特定することによって多国語辞書から適切な辞書を選択し翻訳する翻訳装置及びそのプログラムに関する。

従来から、所定の言語から所定の言語に自動翻訳を行う翻訳装置が知られている。翻訳装置は２ヶ国語翻訳が一般的である。キーボードやスキャナから入力された文字列や文章を単語単位に識別し、単語毎に翻訳エンジン内に記憶された辞書を参照し所定の言語への対訳を行う。

また、翻訳装置では多言語から目的言語に翻訳を行う多言語翻訳装置もある。多言語翻訳装置は、その機能的構成として２つのタイプに大別することができる。一方は、翻訳の対象となる言語の言語種に対応する辞書が上記２ヶ国語翻訳装置と同様に装置に記憶されており、この言語種をユーザが選択（即ち、ユーザが翻訳対象となる言語の言語種を知っている。）して目的言語に翻訳を行うタイプである。他方は、装置自身が翻訳の対象となる言語の言語種を自動判別し、この判別により特定された言語種に対応する辞書を参照して目的言語に翻訳を行うタイプである。前者は、上記２ヶ国語翻訳装置の応用である。後者のタイプはユーザが翻訳対象の言語が何語であるかが不明なときに便利なものである。例えば、特許文献１には、入力された文字列を翻訳に対応する複数の辞書で翻訳を行いその翻訳結果が正しいかを判定する言語判定部を備え、その判定結果により目的言語に翻訳を行う多言語翻訳システムが開示されている。特許文献２には、入力された文字列を翻訳に対応する全ての辞書で検索を行い、検出された場合にこの辞書の言語種で翻訳を行う文書検索装置が開示されている。

また、翻訳装置の外観的な構成としては種々のものが知られている。ワークステーション、パーソナルコンピュータ等を始め、小型電子辞書やＰＤＡ（Personal Digital Assistant）等の小型携行型端末等まである。その中でも小型携行型の端末は、場所を選ばずに使用することができるため、出先での翻訳や辞書としての活用ができ、特に海外旅行等では大いに利用されている。例えば、小型携行型端末として、特許文献３では、小型カメラで撮像した映像データに画像処理を施し映像データ中に含まれる文字列を抽出して文字認識を行い、辞書機能を搭載して翻訳を行うヘッドマウントディスプレイが開示されている。
特開２００１−９２８２３号公報 特開平５−１６５８８９号公報 特開２０００−１５２１２５号公報

しかしながら、言語によっては同一の文字種及び綴りで複数の言語種に該当する単語もある。図１４に世界各国で使用される文字の概要を示す。特にラテン文字、アラビア文字及びキリル文字を使用する国や地域は多く文字種のみから翻訳対象の言語種を特定することはできない場合が多い。また同一文字種を使用する言語間では単語の綴りが似ているあるいは全く同じという場合が少なからずある。例えば、「ｍｅｍｏｒｉａ」という単語は、イタリア語とスペイン語の両方に存在する。「ｉｎｔｅｎｔｉｏｎ」はという単語は、英語とフランス語の両方に存在する。「ｍａｒｉｎｅ」という単語はドイツ語とフランス語に存在する。

このような場合、翻訳装置は何れの言語種であるかの判断がつかず該当するいずれかの言語種で翻訳を行うか、未翻訳語として翻訳の中に原文のまま挿入するかあるいは翻訳を行わない場合がある。

本発明の目的は、入力された文字列の言語種を的確に識別し、その識別された言語種の辞書を参照して多言語翻訳を行うことにある。

上記課題を解決するために、請求項１に記載の発明は、対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照し特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
前記文字列検出手段が検出した文字列から単語を抽出する単語抽出手段と、
前記翻訳手段が翻訳の対象とする言語種毎の単語データを記憶した記憶手段と、
前記抽出手段が抽出した単語と前記記憶手段に記憶された単語データとを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の翻訳装置において、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段を更に備え、
前記記憶手段は、前記翻訳手段が翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
前記制御手段は、前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された文字種データ及び正書規則データとを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の翻訳装置において、
ＧＰＳ信号を受信し前記翻訳装置の位置情報を取得する位置検出手段と、
前記位置情報に対応付けられた言語種データを記憶する記憶手段と、
前記位置情報と前記言語種データとを更に参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする。

請求項４に記載の発明は、対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
ＧＰＳ信号を受信し前記翻訳装置の位置情報を取得する位置検出手段と、
前記位置情報に対応付けられた言語種データを記憶する記憶手段と、
前記位置情報と前記言語種データとを参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項５に記載の発明は、請求項４に記載の翻訳装置において、
前記文字列検出手段が検出した文字列から単語を抽出する単語抽出手段を更に備え、
前記記憶手段は前記翻訳手段が翻訳の対象とする言語種毎の単語データを更に記憶し、
前記制御手段は、前記単語抽出手段が抽出した単語と前記単語データを更に参照して前記入力データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項６に記載の発明は、請求項４に記載の翻訳装置において、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段を更に備え、
前記記憶手段は、前記翻訳手段が翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
前記制御手段は、前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項７に記載の発明は、対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種に対応する言語辞書を参照して特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段と、
前記翻訳手段の翻訳に対応する複数の言語種の文字種データ及び正書規則データを記憶した記憶手段と、
前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された複数の言語種の文字種データ及び正書規則データを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする。

請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の翻訳装置において、
前記翻訳手段は、前記制御手段により特定された言語種の優先順位に基づいて該言語種の言語辞書を参照して特定の言語に翻訳を行うことを特徴とする。

請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の翻訳装置において、
前記言語辞書は、前記翻訳手段により特定の言語に翻訳された訳語に対応する音声データを更に記憶し、
前記翻訳手段が翻訳を行った訳語に対応する音声データから音声を生成し出力する音声出力手段を更に備えることを特徴とする。

請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の翻訳装置において、
前記制御手段により優先順位付けされた言語種の中から翻訳を行う言語種を使用者の操作により指定可能とする指定手段を更に備え、
前記翻訳手段は、前記指定手段により指定された言語種に対応する言語辞書のみを参照して翻訳を行うことを特徴とする。

請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の翻訳装置において、
前記翻訳手段が翻訳の対象とした言語種の履歴を記憶する履歴記憶手段を更に備え、
前記制御手段は、前記履歴記憶手段による言語種の履歴を更に参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項１２に記載の発明は、請求項１１に記載の翻訳装置において、
現在時刻の情報を出力する時計手段を更に備え、
前記記憶手段は、所定時刻と対応付けがなされ、前記翻訳手段で翻訳の対象とする言語種に関連する関連情報を更に記憶し、
前記制御手段は、前記現在時刻の情報に基づいて、前記履歴記憶手段に記憶された言語種の履歴に応じて対応する前記関連情報を前記表示手段に表示することを特徴とする。

請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の翻訳装置において、
前記表示手段はヘッドマウントディスプレイであることを特徴とする。

請求項１４に記載の発明は、請求項１３に記載の翻訳装置において、
前記ヘッドマウントディスプレイは外界光透過型であることを特徴とする。

請求項１５に記載の発明は、請求項１４に記載の翻訳装置において、
前記ヘッドマウントディスプレイは、映像信号から映像を生成して投射する映像表示器と、
前記映像表示器から投射された映像を採光して内部に導光するプリズムと
前記プリズムが導光した映像を回折しホログラム映像を瞳に導く回折フィルムとからなることを特徴とする。

請求項１６に記載の発明は、対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳処理を行うコンピュータに、
前記文字列から単語を抽出する単語抽出機能と、
翻訳の対象とする言語種毎の単語データを記憶する記憶機能と、
前記単語抽出機能によって抽出された単語と前記言語種毎の単語データとを参照し前記文字列の言語種に優先順位をつけて特定を行う言語種特定機能を実現することを特徴とするプログラムである。

請求項１７に記載の発明は、請求項１６に記載のプログラムにおいて、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能を更に実現し、
前記記憶機能で、翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
前記言語種特定機能で、前記文字種抽出機能により抽出した文字種データと前記言語種毎の文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項１８に記載の発明は、請求項１６又１７に記載のプログラムにおいて、
ＧＰＳ信号を受信し位置情報を取得する位置検出機能を更に実現し、
前記記憶機能で、前記位置情報に対応付けられた言語種データを更に記憶し、
前記言語種特定機能で、前記位置情報と前記言語種データとを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項１９に記載の発明は、対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳処理を行うコンピュータに、
ＧＰＳ信号を受信し位置情報を取得する位置検出機能と、
前記位置情報に対応付けられた言語種データを記憶する記憶機能と、
前記位置情報と前記言語種データとを参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う言語種特定機能を実現することを特徴とするプログラムである。

請求項２０に記載の発明は、請求項１９に記載のプログラムにおいて、
前記映像データに含まれる文字列から単語を抽出する単語抽出機能を更に実現し、
前記記憶機能で、翻訳の対象とする言語種毎の単語データを更に記憶し、
前記言語種特定機能で、前記単語抽出機能により抽出した単語と前記言語種毎の単語データを更に参照して前記入力データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項２１に記載の発明は、請求項１９に記載のプログラムにおいて、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能を更に実現し、
前記記憶機能で、翻訳を可能とする複数の言語種の文字種データ及び正書規則データを更に記憶し、
前記言語特定機能で、前記文字種抽出機能により抽出した文字種データと前記言語種毎の文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項２２に記載の発明は、対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の言語種と対応する言語辞書を参照して特定の言語に翻訳処理するコンピュータに、
前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能と、
翻訳の対象とする言語種毎の文字種データ及び正書規則データを記憶する記憶機能と、
前記文字種抽出機能が抽出した文字種データと前記複数の言語種の文字種データ及び正書規則データを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う言語種特定機能を実現することを特徴とするプログラムである。

請求項２３に記載の発明は、請求項１６〜２２のいずれか一項に記載のプログラムにおいて、
前記言語特定機能により特定された複数の言語種の優先順位に基づいて該言語種の言語辞書を参照して前記映像データに含まれる文字列を特定の言語に翻訳する翻訳機能を実現する事を特徴とする。

請求項２４に記載の発明は、請求項１６〜２３のいずれか一項に記載のプログラムにおいて、
前記言語種特定機能により特定した言語種の履歴を記憶する履歴記憶機能を更に実現し、
前記言語種特定機能で、前記履歴記憶機能による言語種の履歴を更に参照し、履歴が最新の言語種に基づいて前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする。

請求項２５に記載の発明は、請求項２４に記載のプログラムにおいて、
前記記憶機能で、所定時刻と対応付けがなされ、翻訳処理の対象とする言語種に関連する関連情報を更に記憶し、
現在時刻の情報を出力する時計機能と、
前記時計機能による現在時刻の情報に基づいて、前記履歴記憶機能に記憶された言語種の履歴が最新の言語種に応じて前記関連情報を前記表示手段に表示させる表示機能を更に実現することを特徴とする。

請求項１に記載の発明によれば、翻訳装置が翻訳を行うに際し、単語抽出手段が文字列から単語を抽出し、この抽出した単語と記憶手段に記憶した言語種毎の単語データとを参照することにより撮像手段から取得した映像データに含まれる文字列の言語種を特定することができる。多言語翻訳では、文字種のみでは翻訳対象物の言語種を特定できない場合が多い。本発明では、更に単語と単語データの比較により言語種の特定を行うことで言語種の特定を行うことができる。また、言語種によっては同一の文字種及び同一の綴りを有する単語が存在することもあり言語種の特定に際し、翻訳対象物によっては複数の言語種が該当する場合もある。この点、本発明では制御手段が該当する言語種に優先順位を付けて特定を行うため、精度の高い言語種特定ができる。

請求項２に記載の発明によれば、請求項１に記載の翻訳装置において、更に映像データに含まれる文字列の文字種を抽出する文字抽出手段を備え、記憶手段に翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶するため、制御手段における言語種の特定の判断に単語、文字種及び正書規則を利用することができ、更に精度の高い多言語翻訳を行うことができる。また、言語種の特定に際し複数の言語種が該当する場合には、該当する言語種に優先順位を付けて特定を行う。即ち、上記３つの判断基準を満たす順に言語種の優先順位付けを行う。このためより精度の高い言語種特定ができる。

請求項３に記載の発明によれば、請求項１又は２に記載の翻訳装置において、
更にＧＰＳ信号を受信し前記翻訳装置の位置情報を取得する位置検出手段を更に備え、この位置情報に対応付けられた言語種データを更に記憶手段に記憶するため、制御手段における言語種の特定の判断に単語、文字種、正書規則及び位置情報を利用することができ、更に精度の高い多言語翻訳を行うことができる。また、言語種の特定に際し複数の言語種が該当する場合には、該当する言語種に優先順位を付けて特定を行う。即ち、上記４つの判断基準を満たす順に言語種の優先順位付けを行う。このためより精度の高い多言語翻訳ができる。

請求項４に記載の発明によれば、翻訳装置が翻訳を行うに際し、位置情報検出手段から翻訳装置の位置を特定し、この位置情報に対応付けられた言語種データを参照すことにより撮像手段から取得した映像データに含まれる文字列の言語種を特定することができる。
また、文字種が同一であって言語種が異なる場合もある。本発明では、位置情報とこの位置情報に対応付けられた言語種データとの比較により言語種の特定を行うことができる。

請求項５に記載の発明によれば、請求項４に記載の翻訳装置において、更に映像データに含まれる文字列の単語を抽出する単語抽出手段を備え、記憶手段に翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶するため、記憶手段に制御手段における言語種の特定の判断に単語及び位置情報を利用することができ、更に精度の高い多言語翻訳を行うことができる。また、言語種の特定に際し複数の言語種が該当する場合には、該当する言語種に優先順位を付けて特定を行う。即ち、上記２つの判断基準を満たす順に言語種の優先順位付けを行う。このためより精度の高い言語種特定ができる。

請求項６に記載の発明によれば、請求項４に記載の翻訳装置において、更に映像データに含まれる文字列の文字種を抽出する文字種抽出手段を備え、記憶手段に翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶するため、制御手段における言語種の特定の判断に位置情報、文字種及び正書規則を利用することができ、更に精度の高い多言語翻訳を行うことができる。また、言語種の特定に際し複数の言語種が該当する場合には、該当する言語種に優先順位を付けて特定を行う。即ち、上記３つの判断基準を満たす順に言語種の優先順位付けを行う。このためより精度の高い言語種特定ができる。

請求項７に記載の発明によれば、翻訳装置が翻訳を行うに際し、文字種抽出手段が文字列の文字種を抽出し、この抽出した文字種と記憶手段に記憶した言語種毎の文字種データ及び正書規則データを参照することにより撮像手段から取得した映像データに含まれる文字列の文字種を特定することができる。
また、文字種が同一で言語種が異なる場合もある。本発明では、文字種と正書規則データの比較により言語種の特定を行うことで言語種の特定を行うことができる。また、言語種の特定に際し、翻訳対象物によっては複数の言語種が該当する場合もある。この点、本発明では制御手段が該当する言語種に優先順位を付けて特定を行うため、精度の高い言語種特定ができる。

請求項８に記載の発明によれば、請求項１〜７のいずれか一項に記載の翻訳装置において、文字列の翻訳に際し、制御手段により特定された言語種の優先順位に基づいて翻訳手段がこれら言語種の言語辞書を参照して翻訳を行うことができる。
言語種によっては同一の文字種及び同一の綴りを有する単語が存在することもあり翻訳対象物によっては複数の言語種が該当する場合もある。この点、本発明では制御手段により言語種に優先順位を付け、翻訳手段がこの優先順位に基づいて言語辞書を参照して翻訳を行うため、精度の高い多国語翻訳ができる。

請求項９に記載の発明によれば、請求項１〜８のいずれか一項に記載の翻訳装置において、翻訳手段により特定の言語に翻訳された訳語に対応する音声データを言語辞書に記憶し、音声出力手段がこの音声データから音声を生成し出力することで聴覚からも文字列の翻訳を取得することができる。

請求項１０に記載の発明によれば、請求項１〜９のいずれか一項に記載の翻訳装置において、指定手段により言語種の指定が可能となり、翻訳手段この指定言語種の言語辞書を参照して文字列の翻訳を行うことができる。

請求項１１に記載の発明によれば、請求項１〜１０のいずれか一項に記載の翻訳装置において、履歴記憶手段を備え、制御手段の言語種特定に際しこの履歴を参照することによって更に精度の高い言語種の特定又は翻訳を行うことができる。例えば、旅行時には旅行先で使用される言語の翻訳が連続する場合が多い。前回翻訳対象とした言語種と今回翻訳対象となる言語種が一致する可能性が高い。このため、特定した言語種の履歴を言語種特定の判断基準にすることで、より精度の高い言語種の特定及び翻訳を行うことができる。

請求項１２に記載の発明によれば、請求項１１に記載の翻訳装置において、現在時刻の情報を出力する時計手段を更に備え、記憶手段に翻訳を可能とする言語種に関連する情報を所定時刻と対応付けを行って記録し、現在時刻情報に基づいて、履歴記憶手段に記憶された言語種の履歴に応じて対応する関連情報を表示することができる。例えば、履歴の有る言語がイタリア語で、所定時刻を正午とする。また正午は昼食どきであるため正午に対応する関連情報をレストランとする。正午になると履歴記憶手段を参照し、履歴がイタリア語であるとの情報を取得し表示手段にイタリアンレストランの情報を表示することができる。

請求項１３に記載の発明によれば、請求項１〜１２のいずれか一項に記載の翻訳装置において、表示手段がヘッドマウントディスプレイであるため携行性に優れるという効果がある。

請求項１４に記載の発明によれば、請求項１３に記載の翻訳装置において、通常の視界に翻訳映像を重畳表示することができる。このため、翻訳対象物を視界でとらえながらにして訳語を確認することができる。

請求項１５に記載の発明によれば、請求項１４に記載の翻訳装置において、通常の視界に翻訳映像を重畳表示することができる。このため、翻訳対象物を視界でとらえながらにして訳語を確認することができる。

請求項１６に記載の発明によれば、コンピュータが翻訳を行うに際し、単語抽出機能により文字列から単語を抽出し、この抽出した単語を複数の言語種毎の単語データとを参照することにより撮像手段から取得した映像データに含まれる文字列の言語種を特定することができる。多言語翻訳では、文字種のみでは翻訳対象物の言語種を特定できない場合が多い。本発明では、更に単語と単語データの比較により言語種の特定を行うことで言語種の特定を行うことができる。また、言語種によっては同一の文字種及び同一の綴りを有する単語が存在することもあり言語種の特定に際し、翻訳対象物によっては複数の言語種が該当する場合もある。この点、本発明では言語種特定機能が該当する言語種に優先順位を付けて特定を行うため、精度の高い言語種特定ができる。

請求項１７に記載の発明によれば、請求項１６に記載のプログラムにおいて、更に映像データに含まれる文字列の文字種を抽出する文字種抽出機能を実現させ、記憶機能により翻訳に対応する複数の言語種の文字種データ及び正書規則データを更に記憶するため、言語種特定機能における言語種の特定の判断に単語、文字種及び正書規則を利用することができ、更に精度の高い言語種の特定を行うことができる。また、言語種の特定に際し複数の言語種が該当する場合には、該当する言語種に優先順位を付けて特定を行う。即ち、上記３つの判断基準を満たす順に言語種の優先順位付けを行う。このためより精度の高い言語種特定ができる。

請求項１８に記載の発明によれば、請求項１６又１７に記載のプログラムにおいて、
更にＧＰＳ信号を受信し位置情報を取得する位置検出機能を更に実現し、記憶手段でこの位置情報に対応付けられた言語種データを更に記憶するため、言語種特定機能における言語種の特定の判断に単語、文字種、正書規則及び位置情報を利用することができ、更に精度の高い言語種特定を行うことができる。

請求項１９に記載の発明によれば、コンピュータが翻訳を行うに際し、位置情報検出機能からコンピュータの位置を検出し、この位置情報に対応付けられた言語種データを参照すことにより撮像手段から取得した映像データに含まれる文字列の言語種を特定することができる。
多言語翻訳では、文字種のみでは翻訳対象物の言語種を特定できない場合が多い。本発明では、位置情報とこの位置情報に対応付けられた言語種データとの比較により言語種の特定を行うことができる。

請求項２０に記載の発明によれば、請求項１９に記載のプログラムにおいて、単語抽出手段により映像データに含まれる文字列の単語を抽出し、記憶機能で翻訳の対象とする言語種毎の単語データを更に記憶するため、言語種特定機能における言語種の特定の判断に単語及び位置情報を利用することができ、更に精度の高い言語種特定を行うことができる。

請求項２１に記載の発明によれば、請求項１９に記載のプログラムにおいて、文字種抽出機能により映像データに含まれる文字列の文字種を抽出し、記憶機能で翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶するため、言語種特定機能で言語種の特定の判断に単語及び位置情報を利用することができ、更に精度の高い言語種特定を行うことができる。

請求項２２に記載の発明によれば、コンピュータが翻訳を行うに際し、文字種抽出機能により文字列の文字種を抽出し、この文字種と記憶機能で記憶した言語種毎の文字種データ及び正書規則データとを言語種特定機能で参照することにより撮像手段から取得した映像データに含まれる文字列の言語種を特定することができる。多言語翻訳では、文字種のみでは翻訳対象物の言語種を特定できない場合が多い。本発明では、文字種と正書規則データの比較により言語種の特定を行うことで言語種の特定を行うことができる。

請求項２３に記載の発明によれば、請求項１６〜２２のいずれか一項に記載のプログラムにおいて、文字列の翻訳に際し、言語種特定手段により特定された言語種の優先順位に基づいて該当する言語種の言語辞書を参照して翻訳を行うことができる。
言語種によっては同一の文字種及び同一の綴りを有する単語が存在すること等もあり翻訳対象物によっては複数の言語種が該当する場合もある。この点、本発明では言語種特定機能により言語種に優先順位を付け、翻訳手段がこの優先順位に基づいて言語辞書を参照して翻訳を行うため、精度の高い多国語翻訳ができる。

請求項２４に記載の発明によれば、請求項１６〜２３のいずれか一項に記載のプログラムにおいて、言語種特定機能による言語種特定に履歴記憶機能による翻訳回数を参照することで、より精度の高い言語種の特定又は翻訳を行うことができる。即ち、旅行時では、旅行先で使用される言語の翻訳が連続する場合が多い。前回翻訳を行った言語種と今回の翻訳処理が一致する可能性が高い。このため、言語種ごとの履歴を言語種の特定の判断基準にすることでより精度の高い言語種の特定及び多言語翻訳を行うことができる。

請求項２５に記載の発明によれば、請求項２４に記載のプログラムにおいて、記憶機能で翻訳の対象とする言語種毎に関連する情報を所定時刻と対応付けを行って記録し、現在時刻の情報を出力する時計機能からの現時時刻情報に基づいて、履歴記憶機能に記憶された言語種の履歴に応じ対応する関連情報を表示することができる。
例えば、履歴がイタリア語で、所定時刻を正午とする。また正午は昼食どきであるため正午に対応する関連情報をレストランとする。正午になると履歴記憶手段を参照し履歴がイタリア語であるとの情報を取得しイタリアンレストランの情報を表示することができる。

次に、図を用いて本発明をヘッドマウントディスプレイに適用した形態について説明する。
本実施の形態におけるヘッドマウントディスプレイは、視線方向の文字列や文章を電子映像として捉えて画像処理により文字認識を行い、各種の言語種特定要素から言語種の特定を行い、予め定められた言語に翻訳し眼前に設けられた表示装置に訳語の表示を行う多言語翻訳機能を有するものである。また、この言語種を特定する処理において特定された言語種の特定履歴を記憶し、所定の時間になると最新の特定履歴から遡って特定回数の多い言語種に関連する情報を表示装置に表示して、ユーザに翻訳対象物の言語種に関係する付随情報を提供する機能を有するものである。

図１に、ヘッドマウントディスプレイ１の外観構成を示す。なお、以下の説明において、接眼方向と反対の方向を正面とする。
ヘッドマウントディスプレイ１は、通常の眼鏡と同様に、鼻当て２及びテンプル３Ｒ及び３Ｌが備えられるフレーム４とレンズ部５Ｒ及び５Ｌを有する。このフレーム４のレンズ部５Ｒの上方には、ユーザの視線方向の映像を捕らえるＣＣＤカメラ７及びコントロールボックス９から送信される映像信号から映像を表示させる表示装置６が一体となって設置されている。また、テンプル３Ｒ及び３Ｌのそれぞれの中間部にケーブルが支持されてイヤホン８Ｒ及び８Ｌがユーザの耳に装着可能に設けられている。表示装置６、ＣＣＤカメラ７及びイヤホン８Ｒ、８Ｌは、それぞれケーブル１４を介してコントロールボックス９に接続される。

コントロールボックス９には、スイッチ１０、十字キー１１、電源スイッチ１２及び電源である電池３９が設けられる。スイッチ１０は、後述する言語特定処理においてユーザの操作により「翻訳モード」の起動及び入力決定を行うものである。十字キー１１は、「翻訳モード」起動時に、アプリケーションに従った各種の入力操作を適宜行うものである。

図２に、表示装置６の左方向からの側断面図を示す。表示装置６は、映像生成ユニット１５と接眼光学系１６とからなる。表示装置６の本体となる筐体１７の内部には、コントロールボックス９から送信される映像信号から映像を生成する透過型の液晶表示器１８、バックライト光源である複数のＬＥＤ（Light Emitting Diode）群１９及びＬＥＤ群１９からの照射光を液晶表示器１８の全面に導くための照明光学系２０が設けられる。接眼光学系１６は、更にプリズム２１とホログラム素子２２とからなる。ホログラム素子２２はレンズ部５と接眼光学系１６との下端部接合面と略同一の大きさを有するシート状の部材からなり、プリズム２１とレンズ部５との下端部接合面に挟まれるにように設けられる。

プリズム２１の上端部は正面方向に厚い楔の形状を有し、液晶表示器１８から照射される映像光束を採光しやすいように形成されている。この上端部から採光された映像光束は、プリズム２１の内部で全反射されながら下端部に設けられたホログラム素子２２へと導かれる。ホログラム素子２２は光を干渉させ、眼球Ｅに虚像を結ばせるものである。
また、接眼光学系１６は、レンズ部５Ｒと光の屈折率を同一とする単一の部材で構成されており、表面方向が段差なく連続するように接合されている。ユーザは、レンズ部５及び接眼光学系１６を通して外界の視界を観察することが可能であるとともに、ホログラム素子２２によって外界視界と重畳する映像を観察することが可能となっている。

図３に、ヘッドマウントディスプレイ１の機能的構成を示す。ヘッドマウントディスプレイ１は、撮像部２５、画像処理部２６、制御部２７、記憶部２８、翻訳エンジン２９、通信部３０、表示部３１、音声出力部３２、表示部及び操作入力部３３から構成される。

撮像部２５はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の光電変換素子を用いたカメラからなる。本実施の形態ではＣＣＤカメラ７を適用している。撮像部２５で取得された映像信号は図示しないＣＤＳ（Correlated Double Sampling）回路やＡ／Ｄ（Analog／Digital）変換回路によりアナログ映像信号の相関二重サンプリングが行われて雑音が低減除去されるとともにゲイン調整が行われ、デジタル映像信号に変換された後画像処理部２６に送信される。

画像処理部２６は、ＤＳＰ（Digital Signal Processor）とグラフィックメモリとから構成される。撮像部２５から送信された映像信号から文字列をパターンマッチングにより抽出する文字列等抽出処理を行い、この文字列等抽出処理により抽出されたデータ（以下、単に「抽出文字データ」）を記憶部２８に送信する。
文字列等抽出処理は、補正処理、特徴抽出処理及び文字等認識処理の３段階に分けられる。

補正処理は、映像データのノイズ除去、平滑化、鮮鋭化、２次元フィルタリング、後述の特徴抽出を容易に行うために映像を２値映像に変換する２値化、認識対象とする図形や文字の骨格線を抽出する細線化、最終段階での映像照合であるパターンマッチングをより正確に行うために映像を拡大、縮小、平行移動、回転及び濃度変換に関する正規化等であり、文字等認識処理の前処理として行われる。

特徴抽出処理は、エッジ検出処理を適用している。映像信号に含まれる色の濃度値から濃度の変換点を抽出し、映像の不連続部分をエッジとして抽出しこのエッジを境界線として映像をいくつかの連続領域に分割する処理である。ラプラシアン（２次微分）処理やハフ変換処理等により行われる。なお、濃度映像からエッジ検出を行う場合には所々で途切れている場合が多いが、この場合は膨張法、収縮法及び延長跡法等により切れている点列を繋ぐ処理が行われる。

文字認識処理は、パターンマッチング法を用いる構成としている。パターンマッチング法は、後述する記憶部２８に予め記憶された各種文字等のパターンデータと上述した特徴抽出処理によりエッジ強調された映像データとを電子的に重ね合わせ、最もよく類似したものを文字等と見なす手法である。具体的には、２つのデータから画素データレベル対応の相関（画素値の一致比率）を調べることにより判別を行う。

記憶部２８は、不揮発性の半導体メモリから構成される。ヘッドマウントディスプレイ１での各種処理におけるデータを一時又は恒常的に記憶する。本実施の形態では小型軽量化を図るためにＥＥＰＲＯＭ（Electric Erasable and Programmable ROM）を適用している。画像処理部２６から送信される抽出文字データを格納し制御部２７からのデータ要求指示信号に応じて適宜抽出文字データを送信する。また、通信部３０から送信される座標データに対応する地図情報及びこの地図情報に対応する各地域使用言語データや後述する「関連情報表示モード」で使用する関連データが予め記憶される。また、言語種特定処理で使用される文字種データ、単語データ及び正書規則データも記憶される。

制御部２７は、ＣＰＵ（Central Processing Unit）３５、ＲＯＭ(Read Only Memory)３６、ＲＡＭ(Random Access Memory)３７から構成される。ＣＰＵ３５は、ＲＯＭ３６に予め記憶されたプログラムをＲＡＭ３７に展開し、プログラムの指示に従いヘッドマウントディスプレイ１の全体制御を行う。「翻訳モード」起動時には、記憶部２８に記憶された抽出文字データを要求し、後述する言語種特定処理により抽出文字等データの言語種の特定を行い、特定した言語種のデータと抽出文字等データとを記憶部２８に送信する。制御部２７は図示しない時計回路を有し、各種信号処理の同期を図る他、現在時刻を計時し適宜出力するとともに各種データの記録等において記録年月日等のデータを供給する。また、言語種特定処理で特定された言語種の特定履歴を記憶部２８に記憶するカウンタ３８を設け、この特定履歴データ、現在時刻データ及び後述するＧＰＳ(Global Positioning system)による位置情報を参照することにより、予め記憶部２８に記憶された関連情報を表示装置６に表示する「関連情報表示モード」を実行する。なお、「関連情報表示モード」については後述する。

翻訳エンジン２９は、抽出文字データと言語種データとから予めユーザ等に設定された特定言語への翻訳を行うものである。ＬＳＩ（Large Scale Integration）等を用いたハード的な構成とすることも可能であるし、ソフトウェア的に制御部２７に翻訳機能を持たせる構成としてもよい。具体的には、図示しない単語辞書等を参照しながら抽出文字データを単語単位に分割する形態素解析、形態素間の接続関係等に基づいて構文構造を求める構文解析、各種言語及びこの言語の音声データが予め記憶された言語辞書から言語種データに基づいてこの言語種辞書の検索を行い、予め指定された言語（例えば、日本語等。）に翻訳を行う翻訳処理を行う。翻訳したテキストデータ及び音声データを制御部２７に送信する。

通信部３０は、ＧＰＳにより人工衛星Ｓから送信される座標データを受信して記憶部２８に予め記憶された地図情報からユーザの現在地を特定し、特定された現在地データを制御部２７に送信する。

表示部３１は表示装置６に対応するものであり、翻訳エンジン２９で所定の言語に翻訳された翻訳文等を表示する。音声出力部３２は、翻訳エンジンから送信される音声翻訳データをイヤホン８Ｒ及び８Ｌに出力する。

次に、制御部２７で処理される言語種特定処理について説明する。言語種特定処理とは通信部３０からのＧＰＳデータ、単語、文字種及び各種言語の正書規則から抽出文字データの言語種を特定する処理である。また、言語種特定処理により特定した言語種の特定履歴を記憶部２８に記憶し、次回の言語種特定処理でこの特定履歴を参照し言語種の特定の精度を上げる処理を行う。一般に、前回特定した言語種は次回の翻訳対象物の言語種と同一である場合が多いためである。

また、本実施の形態における言語種の特定処理では、ＧＰＳデータ、単語、文字種及び各種言語の正書規則といった４種類の言語種特定要素を参照しながら言語種の特定を行うようになっているが、これらの内１種類の言語種特定要素を用いても言語種の特定は可能である。しかしながら、抽出文字データを１つの言語種に特定できる場合と、複数の言語種を特定する場合がある。例えば「ｍｅｍｏｒｉａ」という単語は「記憶」という意味であるが、この語は同一の文字種（ラテンスクリプト）イタリア語とスペイン語の両方に存在する単語である。同様に「ｉｎｔｅｎｔｉｏｎ」は英語とフランス語に、「ｍａｒｉｎｅ」はドイツ語とフランス語に存在する。このように文字種や単語だけでは言語種の完全な特定ができない場合には、ＧＰＳデータからユーザの位置を判別し、該当する位置（地域、国等）の言語を第一として優先順位をつけて言語種の特定を行う。更には、抽出文字データから言語種に固有の正書規則を判別しこの判断結果から言語種の特定（優先順位）を行ったり、言語種の特定履歴を参照し言語特定の参照データとして活用する。言語種特定要素を複数参照することでより精度の高い言語種の特定が可能となる。

ここで、「正書規則」について説明する。正書規則とは、言語をディスプレイ等で表示するとき又は印刷を行う際に適用される文字列の表記上の規則をいう。言語種等毎に特有の正書規則が存在するが、代表的な規則として〔１〕アクセント記号、〔２〕リガチャー（文字近接）、〔３〕文字出現位置による字形変化、〔４〕連結文字、〔５〕書記方向による字形変化、〔６〕文字配列方向、〔７〕特定文字配列時の字形変化（カーニング）、〔８〕ジャスティフィケーション（行頭、行末のそろえ方等）及び〔９〕ハイフネーションと綴り変化の関係が挙げられる。

〔１〕アクセント記号
表記に用いられる文字にアクセント記号を付加するものである。ラテン系言語、ギリシャ語及びベトナム語に見られる。図４（ａ）にイタリア語、図４（ｂ）にギリシャ語におけるアクセント記号の一例を示す。文字列中にこのようなアクセント記号を判別した際に、他の文字種やＧＰＳデータ等と総合的に判断して抽出文字データの言語種の優先順位を決定することが可能となる。

〔２〕リガチャ−（文字近接）
表記上の美的観点より複数の文字を合わせた活字が利用される場合がある。図５（ａ）にラテン語系のリガチャ−を示す。図に示すように“ｆ”と“ｆ”、“ｆ”と“ｉ”、“ｆ”と“ｌ”をそれぞれ文字の一部分を繋げて連続的に表記する。また、図５（ｂ）にドイツ語の「エスツェット」の例を示す。ｓｚ又はｓｓはsと表記される場合がある。

〔３〕位置による字形の変化
単語内での文字の位置や前後に来る文字によって、基本形状以外の文字形状に変化する場合がある。特にアラビア語系言語に多く見られる。図６に示すようにアラビア語系言語では、単語中の文字の位置によって独立形、語頭形、語中形及び語尾形と文字形状が変化する。なお、通常このような規則がない言語においてもフォントの種類によって前後の文字によって字形が変化する場合がある。例えば英語の筆記体フォントが挙げられる。

〔４〕連結文字
インド系のほとんどの言語系では、連結と呼ばれる特殊な正書規則が存在する。複雑な規則であり、上述したリガチャ−、位置による字形変化等に似た規則である。図７にデーバナーガリー文字の一例を示す。

〔５〕書記方向による字形変化
日本語、中国後又は韓国語のように、１つの言語で縦方向と横方向の２つの異なる書記方向をもつものがある。書記方向で字形が変化するものがある。図８に、日本語における例を示す。「スタート」という単語を横書きした場合、長音記号は“ー”と書き表すが、縦書きの場合は“｜”と書き表す。

〔６〕文字配列方向
全ての言語に共通して、文字は特定の直線方向に配列される。図９（ａ）に示す英単語「direction」は左から右の直線方向に文字を配列する。日本語の例では、図９（b）に示すように「文章」という語を上から下の直線方向に配列する。また、図示しないがアラビア語では右から左の直線方向に文字を配列する。

〔７〕特定文字配列時の字形変化（カーニング）
特定の２文字を配列する場合、お互いの文字の形状に応じて文字の間隔を微妙に調整するいわゆるカーニングという正書規則がある。図１０にローマ字の「Ａ」と「ｔ」及び「ｏ」と「ｅ」の関係について示す。図１０（ａ）で、「Ａ」の次に「ｔ」を配列する場合、文字間隔Ｈは他の文字が配列される場合より狭く調整される。同様に、図１０（ｂ）で、「ｏ」の次に「ｅ」を配列する場合も文字間隔Ｈは狭く調整される。文字が有する形状や大きさの関係より文字間隔を調整し視覚的な違和感を調整する規則である。

〔８〕ジャスティフィケーション（行頭、行末のそろえ方等）
単語を配列方向に配列して行を形成する際、言語によっては表示や印刷を行う場合に文書の行頭や行末を揃えるジャスティフィケーションを行う規則がある。

〔９〕ハイフネーションと綴りの関係
単語の途中で区切って改行する場合に改行が許される場所が限られる場合がある。ジャスティフィケーションとも関係し、言語によっては綴りが変わるなどの特有の規則がある場合が有る。例えば、英文では単語の途中で改行を行う場合にはハイフンを挿入して改行を行うが、ドイツ文では更に綴りが変化する。図１１にドイツ語におけるハイフネーション規則の例を示す。文章中の「weken」という単語の途中で改行を行う場合ハイフンを挿入するが、このときハイフンの直前の文字「ｋ」をハイフンの次に重複させて表記する（図１１における行頭の「ｋ」。「weken」が「wek-ken」となる）。

以上のような正書規則のデータが記憶部２８に記憶されており、ＧＰＳデータ等の他のデータと総合的に判断して画像処理部２６から送信される抽出文字データの翻訳言語の優先順位を決定する処理を行う。

以下に、図１２のフロー図を用いてヘッドマウントディスプレイ１の「翻訳モード」における言語種特定処理の動作を説明する。なお、以下の処理は制御部２７のＣＰＵ３５により制御される。
ユーザが操作入力部３３のスイッチ１０を操作することにより送信される信号を受け、ＣＰＵ３５はＲＯＭ３６からプログラムを読み込みＲＡＭ３７上に展開し「翻訳モード」を起動する（ステップＳ１００）。

起動が完了すると、表示装置６に、「翻訳する文字列又は文章を見ながらスイッチ１０を押してください。」との操作案内の表示を行う（ステップＳ１０１）。

ユーザが、翻訳対象物（文字列又は文章等）を視界方向に捉えながらスイッチ１０を押下することで送信される撮像指示信号を受信し、撮像部２５から翻訳対象物の映像を取得する（ステップＳ１０２）。

取得した映像を画像処理部２６に送信し、画像処理（パターンマッチング等）を行い文字の認識を行い抽出文字データの生成を行う（ステップＳ１０３）。抽出文字データは記憶部２８に送信され一時記憶がなされる。

画像処理部２６から送信される抽出文字データの画像処理の完了を示す信号を受信すると、抽出文字データ要求信号を記憶部２８に送信し抽出文字データの読み込みを開始する（ステップＳ１０４）。

ここで、文字種データやＧＰＳデータといった個別の言語種特定処理に先んじて前回の言語種特定結果である言語種特定履歴の参照を行う。記憶部２８にアクセスし言語種特定履歴データがあれば（ステップＳ１０５：ＹＥＳ）、言語種特定履歴を参照し履歴の若い順に言語種の優先順位付けを行う（ステップ：Ｓ１０６）

次に、抽出文字データの文字種と文字種選択データの比較を行い言語種の優先順位付けを行う。具体的には、文字種選択データに記憶される複数の言語種から該当する言語種の優先順位付け（絞込み）を行う（ステップＳ１０７）。例えば、文字種がラテン文字であると判断すると、文字種選択データに対応付けがなされた言語種データ（英語、フランス語、イタリア語等）を他の文字種データと対応付けが行われた言語種データ（例えばアラビア文字データに対応付けられたヒンズー語等）より優先する順位付けを行う。

次に、抽出文字データの文字種と単語選択データの比較を行い言語種の優先順位付けを行う。具体的には、単語選択データに記憶される複数の言語種から該当する言語種の優先順位付け（絞込み）を行う（ステップＳ１０８）。例えば、翻訳対象物が「ＴＯ ＢＥ ＴＯ ＢＥ ＴＥＮＭＡＤＥ ＴＯ ＢＥ」であるとすると、「ＴＯ」、「ＢＥ」、「ＴＥＮ」、「ＭＡＤＥ」等の英単語を認識し、同じラテン文字を使用するイタリア語やフランス語である可能性を否定することが可能となる。

また、抽出文字データが「ＴＯ ＢＥ ＴＯ ＢＥ ＴＥＮＭＡＤＥ ＴＯ ＢＥ」である場合には、日本語のローマ字表記である「とべ とべ てんまで とべ」である可能性もある。そこで、通信部３０から送信される座標データ、地図データ及び地図データに対応する地域言語データを参照し、ステップＳ１０８で優先順位付けを行った言語の中から地域言語データに該当する言語を優先する順位付けを行う（ステップＳ１０９）。例えば、ユーザがニューヨーク（アメリカ）に位置していたとすると、第１優先順位は英語、２番目に日本語といった言語種の優先順位付けを行う。また、例えば抽出文字データが「ｍｅｍｏｒｉａ」といったイタリア語及びスペイン語のいずれかであるか判別がつかないデータで有る場合では、座標データと対応する地域言語データからイタリア語とスペイン語のいずれかに優先順位付けを行うことが可能となる。

更に、抽出文字データから正書規則の判断を行う（ステップＳ１１０）。ステップＳ１０９で優先順位付けを行った言語種データの中からこの正書規則に該当する言語に更に優先順位付けを行い、その後言語種データを記憶部２８に送信し一時記憶する（ステップＳ１１０）。また、特定した言語種を言語種特定履歴として記憶部２８に記憶する（ステップＳ１１１）。

言語種の特定が完了すると、翻訳エンジン２９に翻訳指示信号を送信する（ステップＳ１１２）。翻訳指示信号を受信した翻訳エンジン２９からは抽出文字データ及び言語種データの要求信号が送信され、ＣＰＵ３５はこれらのデータを記憶部２８から読み出し翻訳エンジン２９に送信する。

翻訳エンジン２９では、優先順位付けがなされた言語種データに基づいて翻訳辞書を参照しながら抽出文字データを所定の言語（例えば日本語）に翻訳する処理が行われる（ステップＳ１１２）

ステップＳ１１２にて所定の言語に翻訳された抽出文字データを音声出力部３２及び表示部３１に出力し、翻訳を表示装置６に表示するとともにイヤホン８Ｒ、８Ｌから音声出力を行う（ステップＳ１１３）。

次に、「関連情報表示モード」について説明する。「関連情報表示モード」は、カウンタ３８により記憶部２８に記憶された言語種の特定履歴、ＧＰＳにより取得した位置情報、記憶部２８に記憶された地図情報、この地図情報と対応付けられた関連データ及び時計回路から送信される現在時刻データを参照し、特定回数の多い即ちよく翻訳を行う言語種に関連する情報を提供するものである。具体的には、特定履歴中の最新のものから遡って５つの履歴のうち最も履歴が多い言語種を特定し、現在時刻と関係が有るカテゴリーで分類されたテーブルからこの言語種を使用する国あるいは地方に関連する項目を抽出する。この抽出した項目から地図情報と対応付けられた関連データの検索を行い、表示装置６に位置を表示するようになっている。なお、この処理は「翻訳モード」の処理のバックグラウンドで行われる。

図１３に、「関連情報表示モード」における処理動作を示す。
時計回路から送信される現在時刻データに基づいて、関連情報を表示する時刻（仮に午後１２時とする）に一致するかを判断する（ステップＳ２０１）。

関連情報を表示する時刻に一致する場合には（ステップＳ２０１：ＹＥＳ）、予め時刻とカテゴリーの対応付けがなされたテーブルを参照し検索するカテゴリーを決定する（ステップ：Ｓ２０２）。午後１２時は昼食どきであるため対応するカテゴリーは「昼食」とする。

記憶部２８に記憶された言語種の特定履歴を読み込み、最新の特定言語種から遡って５つの履歴のうち最も多い言語種を検出する（ステップＳ２０３）。仮に、この処理で検出された言語種をイタリア語とする。

ステップＳ２０２で決定された「昼食」というカテゴリーの中から、ステップＳ２０３で検出された「イタリア語」という言語種に関連する「イタリア料理」の項目を検索する（ステップＳ２０４）。

ＧＰＳ信号と地図情報に基づいて現在位置データ及び現在位置を中心とした周辺地域の地図情報を取得し、地図情報に対応付けられた関連データのうちから「イタリア料理」に関する関連データを検索して表示装置６上に表示された周辺地図映像にイタリア料理を提供する場所を表示する（ステップＳ２０３）。

以上のように、本発明を適用したヘッドマウントディスプレイ１によれば、単語、ＧＰＳデータ及び正書規則といった３種類のデータから翻訳対象物の言語種を特定することができる。このため従来からの翻訳対象物と対訳言語とが予め限定されている翻訳機能を有する装置あるいはユーザが予め翻訳対象物の言語種を設定する翻訳機能を有する装置とは異なり、ユーザが外国語に関する知識がなくても自動的に翻訳対象物の言語種を特定して所望の言語に翻訳した表示及び音声出力を提供することができる。

また、言語種の特定に際して１つの言語種に特定するだけでなく、優先順位付けを行いこれらの上位複数種類の言語種におけるそれぞれの対訳を表示及び音声出力を行うため、ユーザが周囲の状況に応じて最も適当な意味を選択することが可能となる。例えば、英語を母国語とし日本語及び中国語に関する知識がない外国人が日本に旅行にきた折に中華街を訪れるとする。街頭の看板等に「熊猫」の文字があるときに日本語では「クマ、ネコ」の意味であるが中国語では「パンダ」の意味である。このときＧＰＳの位置データからは日本領域内であるため抽出文字データの言語種を日本語とするが、単語データからは同じ漢字文化圏として重複する部分も多い中国語を下位順位で言語種データの候補として指定しているため第１の翻訳語として「クマ、ネコ」、第２の翻訳語として「パンダ」をユーザに提供することができる。ユーザは、周囲の状況から「クマ、ネコ」でつじつまが合わなくても「パンダ」という情報から看板等の内容を理解しやすくなる場合もある。このように、複数の言語種を同時に翻訳して表示等を行うことで、使用環境等の個別の状況に対応することが可能となる。

また、翻訳対象物の言語判定に更に正書規則を採用することで、特定の言語が有する特徴的な規則のみから言語種データを生成することができ、候補言語種を精度良く判別することができる。このため、多国語対応の自動翻訳の処理が容易になるという効果がある。

更に、特定した言語の履歴、ＧＰＳデータ及び時計回路からの現在時刻を利用して翻訳された言語に関連する情報を提供することができる。この関連する情報から特定言語種に関係する種々の情報をタイミングよく取得する機会を増やすことができる。例えば、仕事上でイタリア関連の業務を行っているときに、イタリア語の文献を読むに際しヘッドマウントディスプレイ１を用いて翻訳を行っているとする。昼食時に近郊のレストラン等が表示され、そのレストランで昼食をとる場合にイタリアの食文化を体験しながら現在行っている業務のアイディア等を得ることもできる場合もある。このように特定言語種へのアクセス回数を増やすことができるため、仕事や学習を効果的に行うことができる。

以上、本発明を実施するための最良の形態について説明したが、本発明は上記種々の例に限定されるものではない。
たとえば、制御部２７での言語種特定処理では、文字種データ、単語データ、ＧＰＳデータ及び正書規則データの４種類のデータから言語種の優先順位付けを行う構成としたが、これらデータのいずれか１つを言語種の優先順位付けの判別データとしても十分に候補言語種データを生成することができる。

また、制御部２７での言語種特定処理で使用される文字選択データベースや翻訳エンジン２９での翻訳処理に使用される辞書データは必ずしも記憶部２８等に予め記憶されている必要はなく、携帯電話等の小型通信機器を用いてインターネット等のネットワークに接続通信可能とし、ネットワーク上に構成されたサーバ等から適宜ダウンロードする構成としてもよい。これにより、文字選択データ等の大規模検索が可能となり、またヘッドマウントディスプレイ１に係る負担も軽減することができる。

本発明を実施するための最良の形態におけるヘッドマウントディスプレイ１の外観構成を示した概要図である。 図１に示す表示装置６の左側断面を示した断面図。 図１に示すヘッドマウントディスプレイ１の機能的構成を示したブロック図である。 （ａ）は、本発明を実施するための最良の形態におけるイタリア語の正書規則の例を示したものである。（ｂ）は、ギリシャ語の例を示したものである。 （ａ）は、本発明を実施するための最良の形態におけるラテン語系の正書規則の例を示したものである。（ｂ）は、ドイツ語の例を示したものである。 本発明を実施するための最良の形態におけるアラビア語系の正書規則の例を示したものである。 本発明を実施するための最良の形態におけるデーバナーガリー文字の正書規則の例を示したものである。 本発明を実施するための最良の形態における日本語の正書規則の例を示したものである。 （ａ）は、本発明を実施するための最良の形態における英語の正書規則の例を示したものである。（ｂ）は、日本語の例を示したものである。 （ａ）及び（ｂ）は、本発明を実施するための最良の形態におけるローマ字の正書規則の例を示したものである。 本発明を実施するための最良の形態におけるドイツ語の正書規則の例を示したものである。 本発明を実施するための最良の形態におけるヘッドマウントディスプレイ１の言語種特定処理を示したフロー図である。 本発明を実施するための最良の形態におけるヘッドマウントディスプレイ１の「関連情報表示モード」での処理を示したフロー図である。 世界で使用される文字種とその分布を示した概要図である。

符号の説明

１ ヘッドマウントディスプレイ
２ 鼻当て
３Ｒ、３Ｌ テンプル
４ フレーム
５Ｒ、５Ｌ レンズ
６ 表示装置
７ ＣＣＤカメラ
８Ｒ、８Ｌ イヤホン
９ コントロールボックス
１０ スイッチ
１２ 十字ボタン
１３ 電源スイッチ
１４ ケーブル
１５ 映像生成ユニット
１６ 接眼光学系
１７ 筐体
１８ 液晶表示器
１９ ＬＥＤ
２０ 照明光学系
２１ プリズム
２２ ホログラム素子
２５ 撮像部
２６ 画像処理部
２７ 制御部
２８ 記憶部
２９ 翻訳エンジン
３０ 通信部
３１ 表示部
３２ 音声出力部
３３ 操作入力部
３５ ＣＰＵ
３６ ＲＯＭ
３７ ＲＡＭ
３８ カウンタ
３９ 電池

Claims (25)

1. 対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照し特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
   前記文字列検出手段が検出した文字列から単語を抽出する単語抽出手段と、
   前記翻訳手段が翻訳の対象とする言語種毎に対応する単語データを記憶した記憶手段と、
   前記抽出手段が抽出した単語と前記記憶手段に記憶された単語データとを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする翻訳装置。
2. 請求項１に記載の翻訳装置において、
   前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段を更に備え、
   前記記憶手段は、前記翻訳手段が翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
   前記制御手段は、前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された文字種データ及び正書規則データとを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする翻訳装置。
3. 請求項１又は２に記載の翻訳装置において、
   ＧＰＳ信号を受信し前記翻訳装置の位置情報を取得する位置検出手段と、
   前記位置情報に対応付けられた言語種データを記憶する記憶手段と、
   前記位置情報と前記言語種データとを更に参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする翻訳装置。
4. 対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
   ＧＰＳ信号を受信し前記翻訳装置の位置情報を取得する位置検出手段と、
   前記位置情報に対応付けられた言語種データを記憶する記憶手段と、
   前記位置情報と前記言語種データとを参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする翻訳装置。
5. 請求項４に記載の翻訳装置において、
   前記文字列検出手段が検出した文字列から単語を抽出する単語抽出手段を更に備え、
   前記記憶手段は前記翻訳手段が翻訳の対象とする言語種毎の単語データを更に記憶し、
   前記制御手段は、前記単語抽出手段が抽出した単語と前記単語データを更に参照して前記入力データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする翻訳装置。
6. 請求項４に記載の翻訳装置において、
   前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段を更に備え、
   前記記憶手段は、前記翻訳手段が翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
   前記制御手段は、前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする翻訳装置。
7. 対象物を撮像する撮像手段と、該撮像手段から取得した映像データに含まれる文字列を検出する文字列検出手段と、該文字列検出手段が検出した文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した訳語を表示する表示手段を備えた翻訳装置において、
   前記映像データに含まれる文字列の文字種を抽出する文字種抽出手段と、
   前記翻訳手段が翻訳の対象とする言語種毎の文字種データ及び正書規則データを記憶した記憶手段と、
   前記文字種抽出手段が抽出した文字種データと前記記憶手段に記憶された文字種データ及び正書規則データを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う制御手段を備えることを特徴とする翻訳装置。
8. 請求項１〜７のいずれか一項に記載の翻訳装置において、
   前記翻訳手段は、前記制御手段により特定された言語種の優先順位に基づいて該言語種の言語辞書を参照して特定の言語に翻訳を行うことを特徴とする翻訳装置。
9. 請求項１〜８のいずれか一項に記載の翻訳装置において、
   前記言語辞書は、前記翻訳手段により特定の言語に翻訳された訳語に対応する音声データを更に記憶し、
   前記翻訳手段が翻訳を行った訳語に対応する音声データから音声を生成し出力する音声出力手段を更に備えることを特徴とする翻訳装置。
10. 請求項１〜９のいずれか一項に記載の翻訳装置において、
    前記制御手段により優先順位付けされた複数の言語種の中から翻訳を行う言語種を使用者の操作により指定可能とする指定手段を更に備え、
    前記翻訳手段は、前記指定手段により指定された言語種に対応する言語辞書のみを参照して翻訳を行うことを特徴とする翻訳装置。
11. 請求項１〜１０のいずれか一項に記載の翻訳装置において、
    前記翻訳手段が翻訳の対象とした言語種の履歴を記憶する履歴記憶手段を更に備え、
    前記制御手段は、前記履歴記憶手段による言語種の履歴を更に参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とする翻訳装置。
12. 請求項１１に記載の翻訳装置において、
    現在時刻の情報を出力する時計手段を更に備え、
    前記記憶手段は、所定時刻と対応付けがなされ、前記翻訳手段で翻訳の対象とする言語種に関連する関連情報を更に記憶し、
    前記制御手段は、前記現在時刻の情報に基づいて、前記履歴記憶手段に記憶された言語種の履歴に応じて対応する前記関連情報を前記表示手段に表示することを特徴とする翻訳装置。
13. 請求項１〜１２のいずれか一項に記載の翻訳装置において、
    前記表示手段はヘッドマウントディスプレイであることを特徴とする翻訳装置。
14. 請求項１３に記載の翻訳装置において、
    前記ヘッドマウントディスプレイは外界光透過型であることを特徴とする翻訳装置。
15. 請求項１４に記載の翻訳装置において、
    前記ヘッドマウントディスプレイは、映像信号から映像を生成して投射する映像表示器と、
    前記映像表示器から投射された映像を採光して内部に導光するプリズムと
    前記プリズムが導光した映像を回折しホログラム映像を瞳に導く回折フィルムとからなることを特徴とする翻訳装置。
16. 対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳処理を行うコンピュータに、
    前記文字列から単語を抽出する単語抽出機能と、
    翻訳の対象とする言語種毎の単語データを記憶する記憶機能と、
    前記単語抽出機能によって抽出された単語と前記言語種毎の単語データとを参照し前記文字列の言語種に優先順位をつけて特定を行う言語種特定機能を実現することを特徴とするプログラム。
17. 請求項１６に記載のプログラムにおいて、
    前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能を更に実現し、
    前記記憶機能で、翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
    前記言語種特定機能で、前記文字種抽出機能により抽出した文字種データと前記言語種毎の文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とするプログラム。
18. 請求項１６又１７に記載のプログラムにおいて、
    ＧＰＳ信号を受信し位置情報を取得する位置検出機能を更に実現し、
    前記記憶機能で、前記位置情報に対応付けられた言語種データを更に記憶し、
    前記言語種特定機能で、前記位置情報と前記言語種データとを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とするプログラム。
19. 対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の文字種と、該文字種を使用する言語種とに対応する言語辞書を参照して特定の言語に翻訳処理を行うコンピュータに、
    ＧＰＳ信号を受信し位置情報を取得する位置検出機能と、
    前記位置情報に対応付けられた言語種データを記憶する記憶機能と、
    前記位置情報と前記言語種データとを参照して前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う言語種特定機能を実現する事を特徴とするプログラム。
20. 請求項１９に記載のプログラムにおいて、
    前記映像データに含まれる文字列から単語を抽出する単語抽出機能を更に実現し、
    前記記憶機能で、翻訳の対象とする言語種毎の単語データを更に記憶し、
    前記言語種特定機能で、前記単語抽出機能により抽出した単語と前記言語種毎の単語データを更に参照して前記入力データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とするプログラム。
21. 請求項１９に記載のプログラムにおいて、
    前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能を更に実現し、
    前記記憶機能で、翻訳の対象とする言語種毎の文字種データ及び正書規則データを更に記憶し、
    前記言語特定機能で、前記文字種抽出機能により抽出した文字種データと前記言語種毎の文字種データ及び正書規則データを更に参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とするプログラム。
22. 対象物を撮像する撮像手段から取得した映像データに含まれる文字列を検出し、該文字列の言語種と対応する言語辞書を参照して特定の言語に翻訳処理するコンピュータに、
    前記映像データに含まれる文字列の文字種を抽出する文字種抽出機能と、
    翻訳の対象とする言語種毎の文字種データ及び正書規則データを記憶する記憶機能と、
    前記文字種抽出機能が抽出した文字種データと前記複数の言語種の文字種データ及び正書規則データを参照し、前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行う言語種特定機能を実現することを特徴とするプログラム。
23. 請求項１６〜２２のいずれか一項に記載のプログラムにおいて、
    前記言語特定機能により特定された言語種の優先順位に基づいて該言語種の言語辞書を参照して前記映像データに含まれる文字列を特定の言語に翻訳する翻訳機能を実現する事を特徴とするプログラム。
24. 請求項１６〜２３のいずれか一項に記載のプログラムにおいて、
    前記言語種特定機能により特定した言語種の履歴を記憶する履歴記憶機能を更に実現し、
    前記言語種特定機能で、前記履歴記憶機能による言語種の履歴を更に参照し、履歴が最新の言語種に基づいて前記映像データに含まれる文字列の言語種に優先順位を付けて特定を行うことを特徴とするプログラム。
25. 請求項２４に記載のプログラムにおいて、
    前記記憶機能で、所定時刻と対応付けがなされ、翻訳処理の対象とする言語種毎に関連する関連情報を更に記憶し、
    現在時刻の情報を出力する時計機能と、
    前記時計機能による現在時刻の情報に基づいて、前記履歴記憶機能に記憶された言語種の履歴が最新の言語種に応じて前記関連情報を前記表示手段に表示させる表示機能を更に実現することを特徴とするプログラム。

Images