JP4128275B2 - 翻訳機能付カメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
モニタ付のデジタルカメラ、ビデオカメラ等の携帯型カメラに関する。
【０００２】
【従来の技術】
一般的な翻訳ツールとして従来的な専用辞書のほか、近年、翻訳機能を有するものとしては次のような技術を用いた各種の装置がある。特にコンピュータ技術を応用した翻訳装置が普及しているが、携帯性を有するものとしては例えば、調べたい語彙をキー入力によって検索する方式の電子辞典がある。しかし、所望の語彙を調べるまでの手動操作が面倒で、キー入力の際のミス等もあり馴れない人には使い難いものである。
【０００３】
キー入力操作が不要な方式としては、ＯＣＲにかけて紙面に書かれている文章をスキャナで読み取りその後翻訳する方式もあるが、スキャナに読込ませる為には一旦紙に印字する必要があるので、翻訳までの余分な手間がかかるだけでなく持ち運びが難しい故にこれは携帯に適さない。
また、携帯性に優れたものとして特にカメラに翻訳機能が付加されているものに関する従来技術の中には、例えば、文字認識および翻訳を行う電子スチルカメラについて記載した特開平３−８７９７６号公報があり、これは所謂「パターンマッチング法」の利用により文字認識を行い静止画像中の文字に対応する翻訳ができるカメラであった。
【０００４】
また、特開平９−１３８８０２号公報には文字認識翻訳システムとして、例えばＣＣＤカメラで得られた画像データを基に文字データを翻訳するシステムが提案されている。これは特に、翻訳対称の文字の大きさやその形状の特徴を用いるパターンマッチング法だけでは翻訳不可能なことが多いことを考慮したもので、文字形状の特徴を抽出するための分析部や学習部等を付加することで改善した翻訳システムであった。しかしながら、このシステムはデータベースを備えた本格的な翻訳機能を有してはいるが、カメラとしての携帯性は良好とは言えず、操作性においても一般ユーザを対象にするには簡便ではない。
【０００５】
【発明が解決しようとする課題】
例えば、通常の電子カメラ・ムービー等に翻訳を可能とする画像処理回路を搭載した場合、画像を撮影後、翻訳処理しその結果を表示すれば、確かに翻訳可能なカメラとはなるが、操作上や使い勝手で問題が多く発生することがわかる。
【０００６】
上述の従来技術として挙げた２つの従来技術の問題点としても、カメラとしての具体的撮影方法や操作方法等についての実際は記載されていないが、構成から推測すると翻訳に至るまでの設定・操作の手続きが複雑である。
【０００７】
また、実際上の運用面においては、次のような不具合も列挙できる。例えば、１． 翻訳した画像は絵柄としていらない場合も多く、撮影した絵柄を観賞する場合などはその翻訳した画像は余分なものとなる。
２． 一般の撮影の場合、文字以外の被写体に露出やピントが合ってしまい、文字認識できないことも発生する。また、本来の目的である翻訳に対して無駄な画像が多くあるため、翻訳のためのプログラムによる処理に無駄な時間がかかる。
３． 翻訳までの操作手順が多くなる。具体的には、まず記録モードで撮影し、再生モードに切り替えてＬＣＤ等に表示した後、翻訳ボタンを押して翻訳処理され、再度表示される。
【０００８】
以上のような問題点は、翻訳機能をカメラにもたせることで発生してくる。そこでこれらの問題を解決した従来より更に使いやすいカメラの実現が待たれていた。
そこで本発明の目的は、通常のデジタルカメラ等を翻訳機としても利用でき、従来のような文字入力操作等の無駄と煩雑さをなくし、しかもカメラとしての携帯性を兼ね備えた翻訳機能付カメラを提供することにある。
【０００９】
【課題を解決するための手段】
そこで本発明は、上記課題を解決し目的を達成するため次のような手段を講じている。例えば、通常のデジタルカメラを翻訳機としても利用できるように構成する。詳しくは、請求項１の記載の態様によれば、撮影された画像内の文字を翻訳する翻訳機能付カメラにおいて、通常の撮影を行う記録モードに設定する記録モード設定手段と、上記通常の撮影とは異なる翻訳用の撮影を行う翻訳モードに設定する翻訳モード設定手段と、この翻訳モード設定手段によって翻訳モードが設定されたときには、撮影された画像内の文字を認識し翻訳処理を行う文字認識翻訳手段とを備え、上記翻訳モードが設定されたときは、上記記録モードの撮影条件から文字認識に合う条件に変更する翻訳機能付カメラを提供する。
【００１０】
請求項２に記載の態様によれば、撮影された画像内の文字を翻訳する翻訳機能付カメラにおいて、通常の撮影を行う記録モードに設定する記録モード設定手段と、上記通常の撮影とは異なる翻訳用の撮影を行う翻訳モードに設定する翻訳モード設定手段と、上記翻訳モード設定手段によって翻訳モードが設定されたときには、撮影された画像内の文字を認識し翻訳処理を行う文字認識翻訳手段とを具備し、上記翻訳モードが設定されたときには、少なくとも翻訳する文字の領域にピントを合せるあるいは上記文字の領域に露出を合せることを特徴とする翻訳機能付カメラを提供する。
請求項３に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段とを更に具備し、上記翻訳モードが設定されたときには、上記表示手段の表示は単色表示にすることを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項４に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段とを更に具備し、上記翻訳モードが設定されたときには、上記翻訳画像と翻訳された翻訳文の文字データのみを上記記憶手段に記憶することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項５に記載の態様によれば、上記記憶手段への記憶は、単色のデータであることを特徴とする請求項４に記載の翻訳機能付カメラを提供する。
請求項６に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、を更に具備し、上記翻訳モードが設定されたときには、上記翻訳画像内の翻訳する部分と翻訳された翻訳文の文字データのみを上記記憶手段に記憶することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項７に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段とを更に具備し、容量不足で上記記憶手段に記憶できなくなったときは、上記翻訳モードで撮影された上記翻訳画像を優先的に消去することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項８に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、上記記憶手段に記憶された撮影画像を再生する再生モードに設定する再生モード設定手段とを更に具備し、上記再生モード設定手段による再生時は、上記記録モードで撮影された撮影画像を選択的に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項９に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段とを更に具備し、上記翻訳モードが設定されたときには、撮影後、所定の時間再生モードになり、上記翻訳画像内の翻訳する部分と翻訳された翻訳文とを交互に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項１０に記載の態様によれば、上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶 する記憶手段とを更に具備し、上記翻訳モードが設定されたときには、撮影後、所定の時間再生モードになり、上記翻訳された翻訳文のみを別位置に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラを提供する。
請求項１１に記載の態様によれば、再生終了後は、翻訳原文とこの翻訳原文を翻訳した翻訳文とを含む文字データのみを残し、これ以外はスルー画面にすることを特徴とする請求項９又は請求項１０に記載の翻訳機能付カメラを提供する。
【００１１】
【作用】
上記の特徴により次のような作用を奏する。例えば、
１．元々ある記録モードと再生モードに対し翻訳モードを設けることにより、操作手段を少なくし、解り易く使い易いものになる。つまり、従来のような撮影したものを翻訳する感覚ではなく、翻訳用に撮影する感覚で使い勝手をよくする。
２． 翻訳モードを選択された場合は、ピント合せのエリアや露出合せのエリア等の条件を通常の撮影時の条件に対し変えることにより、文字認識に安定した画像を得るようになる。
３． 翻訳モードの記録画像は、通常の記録画像とは区別して記録することで、再生時には翻訳画像として見やすい再生が可能となり、一方、通常の記録画像の再生時には不要な翻訳画像を再生することもなくなり見やすくなる。
よって従来の電子事典のような文字入力操作が一切不要となり、しかも携帯性が損なわれない小型軽量で操作性の簡単な翻訳機能付カメラが実現される。
【００１２】
【発明の実施の形態】
以下、本発明について関連する図面を参照しながら複数の実施形態例を挙げて詳しく説明する。
（第１実施形態例）
図１〜図２及び図３を用いて本発明の第１実施形態例を説明する。
図１（ａ）は、本発明に係わるカメラ本体を斜め上後方から見た斜視図であり図示の如くこのカメラ本体には各種の操作釦（ボタン）が配置されている。
【００１３】
カメラの光学系レンズを内包する鏡筒１と、測距や撮像動作を押下操作で指示するレリーズ釦２と、３つのモード（撮影記録モード／再生モード／翻訳モード）を選択的に切り替えて指示できるモード釦３と、各種操作のための操作釦４と、電子ビューとして撮像した画像を表示するＬＣＤ５と、駒送りのための送り釦６とを備えている。
【００１４】
上記「撮影記録モード」（以下略して撮影モードまたは記録モードと称する）は、通常の撮影を行いその画像の記録を行う為のもので、「再生モード」は撮影記録モードで撮影され記録された画像を再生するためのもので、「翻訳モード」は現在または指定の画像中の例えば外国語文字を日本語文字に翻訳するためのモードである。
【００１５】
このように、本実施形態例のカメラには、従来のカメラとちがって、撮影記録モード及び再生モードのほかに新たな翻訳モード（詳細後述）を備えこれに対応する釦が配置されていることがわかる。
【００１６】
（変形例１）
なお、図１（ｂ）には、本発明に係わるもう１つのカメラ本体を斜め上後方から見た斜視図が構成的な一変形例として示されている。図示の如く、このカメラ本体にも同様に、鏡筒１、レリーズ釦２、操作釦４、ＬＣＤ５および送り釦６がそれぞれ設けられている。また、モード釦３は（記録／再生）のみを備えているが、そのほかに翻訳レリーズ釦７が上面の左側端部近傍に設けられている。
【００１７】
このように本変形例としてのカメラ本体には、第１実施形態例のカメラの構成とは異なり、２つのモード（記録モード、再生モード）から成るモード釦３と、さらに翻訳モードに対応する専用の釦として、翻訳レリーズ釦７が配置されていることがわかる。よって、撮影専用のレリーズ釦２と翻訳専用のレリーズ釦７をこのように本体上面の両側に併設することで、カメラとして使う感覚と、翻訳機として使う感覚がユーザに特に意識させることができる。
【００１８】
図２には、前述の第１実施形態例のカメラの裏側を撮影者側から見た外観として示している。設けられているＬＣＤ５には図示の如く被写体像が映し出されている。また、レリーズ釦２の下側には、「記録モード」「再生モード」「翻訳モード」の順に３つのモードが指示できるモード釦３が配列され、その下には駒の送り（前進）・戻し（後進）の２つから成る送り釦６を備えている。
【００１９】
続いて図３には、本発明の翻訳機能付カメラ１００の構成ブロック図が概略的に示されている。このカメラを機能構成的に大まかに分類すると、カメラ系（記録、再生）と翻訳系２０に分けることができる。ここでは、カメラ１００を制御するコントロール部２１のＣＰＵは共通に１つを共用しているが、カメラ系と翻訳系で各々別個に設けていてもよい。但しこれら相互の同期はとる必要がある。
【００２０】
カメラ１００は、図示しないレンズ、ＣＣＤ及び撮像回路からなる撮像部１１と、画像を記憶するためメモリ部１３と、ユーザが操作するカメラ操作部１２と、画像を表示する画像表示部１５と、それらを制御するコントロール部２１から構成されている。
一方、翻訳系２０は、翻訳するときにユーザが操作する翻訳操作部２２と、カメラ系のメモリ部１３に記憶された画像を基にして文字と認識し、翻訳処理を行なう。文字認識・翻訳部２３と、本翻訳系２０を含むカメラ１００全体を制御するコントロール部２１から構成されている。
【００２１】
図４（ａ），（ｂ）に上述の「翻訳モード」での具体的な表示内容を例示する。図４（ａ）には、翻訳モード時の撮影直前のスルー画像または撮影原画像を示している。この翻訳モードでの表示内容には図の如く翻訳モード時の撮影直前に表示された１コマのスルー画像または、翻訳したい撮影原画像である。これは画像の一例として英文で書かれた１つの看板であり、この看板の上段には”ＣＡＵＴＩＯＮ！”、中段に”ＤＡＮＧＥＲ！”、下段に”ＤＯＮ’Ｔ ＥＮＴＥＲ”と描かれており、この原画像のエリア全域が翻訳対象であることを示している。
【００２２】
このエリア内の英文が日本語に翻訳されると、図４（ｂ）に示すような翻訳結果が得られ、図示のように翻訳された文字のみが表示されることがわかる。すなわち、原画像中の３行の英文と同じ順に、上段には「警告！」、中段に「危険！」、下段に「入るな」が表示される。
【００２３】
（効果１）
本第１実施形態例の翻訳機能付カメラでは、従来のように、撮影モードで記憶された画像を再生モードで再生し、その後、翻訳モードによって翻訳して表示することもできるが、撮影モード、再生モード及び翻訳モードの釦を頻繁に押して切り換える必要があるので、これに対しては、翻訳モードを専用に設けることで操作手順を簡単にすることができる。
【００２４】
（変形例１’）
また、表示例の１つの変形例を示すと、上述した「翻訳モード」での表示例は、翻訳モード時の撮影直前に表示されたスルー画像または撮影原画像であったが、翻訳対象になり得る画像はこれらに限らず、既に記録された画像から任意に選択したものであってもよい。
【００２５】
図５のフローチャートを用いて本発明の翻訳機能付カメラが有する主な３つの機能に関する具体的な操作方法および動作について説明する。
カメラのメインＳＷであるパワーＳＷをＯＮすると（Ｓ１）、翻訳機能付カメラとしてアクティベートされ操作待機状態となる。
ステップＳ５において、モード選択として３つの主なモード（即ち、撮影モード／再生モード／翻訳モード）から１つが、ユーザによるモード釦の押下げ操作によって選択される（Ｓ５）。このとき、撮影モード、再生モードまたは翻訳モードのうちどれにするのかは、ユーザの希望によって任意に決定される。
【００２６】
「撮影モード」では、撮像部から出力された画像が、スルー画像としてモニタ等に表示される（Ｓ７０）。ここでレリーズがあるかを判定し（Ｓ７１）、もしあれば、撮影された画像はメモリに記憶される（Ｓ７２）。そしてパワーＳＷがＯＮのままであるか否かを判定し（Ｓ７３）、ＯＮであれば前記ステップＳ５に戻るが、もしＯＦＦにされたならば、一連のこの撮影モードはここで終了となる（Ｓ９０）。
【００２７】
「再生モード」が選択されたときは、メモリから画像が読み出され（Ｓ８０）、モニタに表示される（Ｓ８１）。ここでコマ送り操作が判定され（Ｓ８２）、例えばコマ送りがされれば、次の画像を読み出し（Ｓ８３）、ステップＳ８１で同様に表示される。そしてパワーＳＷがＯＮのままであるか否かを判定し（Ｓ８４）、ＯＮであれば前記ステップＳ５に戻るが、もしＯＦＦにされたならば、一連のこの再生モードはここで終了となる（Ｓ９０）。
【００２８】
「翻訳モード」が選択されたときは、スルー画像が表示され（Ｓ１０）、ここでレリーズがあるかを判定し（Ｓ１１）、レリーズされるまでスルー画面の表示をモニタとして表示している。もしレリーズされた際は、その表示されていた画像がメモリ中に記憶される（Ｓ１２）。
【００２９】
その画像から文字イメージが抽出され（Ｓ１３）、それは、所定のアルゴリズムに従って文字認識および翻訳処理され（Ｓ１４）、その翻訳結果は、メモリに記憶される（Ｓ１５）。また同時にモニタに文字として表示される（Ｓ１６）。ここで、表示するための所定時間を計時するタイマにより、その時間の経過がみられる（Ｓ１７）。所定時間だけその翻訳結果が表示され、それをすぎると、パワーＳＷがＯＮのままであるか否かを判定し（Ｓ６０）、ＯＮであれば前記ステップＳ５に戻るが、もしパワーＳＷがＯＦＦにされれば、一連のこの翻訳モードを終了する（Ｓ９０）。
【００３０】
（作用効果１）
本発明の翻訳機能付カメラが行う翻訳に対しては次のように動作し機能するように設定されている。すなわち、
まず［撮影］では、翻訳可能エリアをカメラの表示画面内に設けて表示する。そのエリアのサイズを指定する。但しエリアサイズには「斜め撮り」用のものもあるので適宜考慮する。エリアの表示は文字の大きさをイメージできる表示形態とする。例えば、１文字当たりの枠、必要文字サイズを片隅に表示したり、縦文字用にも対応する罫線で表示する。
【００３１】
また、表示するものはファインダ内と液晶パネル（ＬＣＤ）の両方に表示するが、翻訳モードの時は翻訳可能エリアに優先的に露出を合わせる。この翻訳モード時はモノクロで表示出力する。特に翻訳不能時は白黒画像で表示して不可能であることを解りやすく示す。
いわゆる「省エネ」として画面下の右端等に翻訳可能エリアを設定する。例えば２行の撮影エリアを設け、ズームによって文字位置を適正化にする。
翻訳限界をユーザに知らせると共に、文字サイズを認知する。この際は罫線等で示してもよい。
【００３２】
先頭の文字が入るべきエリア側を表示する。但しこれは、縦撮り時にその文字列のどちらが先頭文字であるか解るように認識する。
なお、翻訳エリアを複数箇所指定してそれらを足し合わせるようなモードを設けてもよく、これによれば長い文章の翻訳に特に有効であろう。
【００３３】
また撮影後、［翻訳したい部分の指定］においては、撮影画像の文字エリアを所定の方法で指定する。この際のエリア指定は例えばカーソルで選択する方式でもよい。また、このエリア指定はＬＣＤの画面を直接指先でタッチすることで行ってもよい。これには画面裏にタッチセンサを配置することで対応部分を認識するように構成してもよい。なお、罫線表示の場合はその表示された行を触ることで指定できるようにする。
【００３４】
［翻訳文の表示方式］としては、撮影画像から文字パターンを検出し、その検出位置に翻訳文字を表示する。翻訳エリアが解るように、例えば色を変えるか点滅させる等して表示する。翻訳文字は文字画像として表示する。画面上の翻訳対象部分と翻訳文を対比させる。また、翻訳認識時の文字と翻訳文字を同時に表示して、翻訳結果に間違いが無いか否かの確認ができるようにする。
【００３５】
以上により、この翻訳モードの指定において翻訳された文字は撮影画面上に表示されるのでわかりやすい。また、翻訳エリア以外の画像は表示させないで翻訳文の表示が見やすくなる。
なお、翻訳モードで撮影された画像は次の撮影でその記録は消去されるように設定されているが、所定の記録容量までは記録し続け、それを超過したら自動的に消去されるように設定してもよい。
【００３６】
（第２実施形態例）
本発明の第２実施形態例としての翻訳機能付カメラは、構成的に第１実施形態例とほぼ同様であるのでその説明は省略する。
図６（ａ），（ｂ）に沿って本第２実施形態例における上述の「翻訳モード」での具体的な表示内容について説明する。図６（ａ）には翻訳モード時の撮影直前のスルー画像または撮影原画像を示している。この翻訳モードでの表示内容には図の如く、翻訳モード時の撮影直前に表示された１コマのスルー画像または、翻訳したい撮影原画像が含まれている。この一例は前述の第１実施形態例と同様な英文で書かれた１つの看板であるが、この看板中の下段に書かれた”ＤＯＮ’Ｔ ＥＮＴＥＲ”だけを翻訳したい対象に設定するため、破線で囲んで指定し翻訳するエリアを限定する実例である。
この破線で囲まれたエリア内の英文が日本語に翻訳されると、図６（ｂ）に示すような翻訳結果が得られ、図示のように翻訳された文字のみが表示されることがわかる。すなわち、原画像中の下段の英文が翻訳されると画面中央に「入るな」が表示される。
【００３７】
（作用効果２）
このように、本第２実施形態例では、第一の翻訳モード部分の使い勝手についての説明であるが、翻訳モードにしたときは、図６（ａ）に示すように、スルー画像に対し翻訳可能なエリアを枠３０等により表示し、ユーザに対して翻訳文字を概略的に合せるように示唆するものである。こうすることにより、翻訳のための文字にピントや露出をそのエリアに合せる制御が可能となり、翻訳のための処理プログラムを簡素化できると共に、処理時間が短縮される。
【００３８】
また、ピントをエリア内の翻訳する文字に合せることが可能となり、エリア内の適正露出が得られる。よって、翻訳に不要な画像に影響されることがなくなる。
さらに、文字の方向（縦／横／斜め）を指定することや、文字抽出する処理画像量が少ないので、翻訳プログラムソフトの簡略化および処理時間の短縮が可能となる。
【００３９】
図７〜図９のフローチャートには本第２実施形態例としての処理ステップを示している。なお、本実施形態例における基本的なフローチャートは、前述した図５と同様であるので、まず図７に異なる処理ステップのみを示しこれを用いて説明する。すなわち、
翻訳モードが選択されると、翻訳したい画像を入れる大きさを示す枠の画像をメモリから読み出す（Ｓ２０）。そしてこれに対し、スルー画像を合成しＬＣＤに表示出力する（Ｓ２１）、ここでレリーズ操作があるか判定され（Ｓ２２）、レリーズされたらその撮影された画像を記憶し（Ｓ２３）、翻訳エリア内の画像（二文字の入った画像）のみを切り取って取り出し（Ｓ２４）、その画像から文字イメージが抽出され（Ｓ２５）、これは次に所定のアルゴリズムに従って文字認識および翻訳処理され（Ｓ２６）、その翻訳文はメモリに記憶される（Ｓ２７）。
【００４０】
ステップＳ２８では、その翻訳文がＬＣＤに所定時間だけ表示出力される（Ｓ２８）。つまり、図６（ａ）に示すようなレリーズ操作直前までの表示状態となり、図６（ｂ）に示すような翻訳文の表示となる。
所定時間が経過した後は、前述と同様にしてパワーＳＷがＯＮのままであるか否かを判定し（Ｓ６０）、ＯＮであれば前記ステップＳ５に戻るが、もしパワーＳＷがＯＦＦされれば、一連のこの翻訳モードを終了する（Ｓ９０）。
【００４１】
次に、本第２実施形態例に関するいくつかの変形例を列挙する。
（変形例２−１）
図１０（ａ）は、翻訳エリアを１ラインを数ラインに広げたもので、枠には罫線を入れることにより、文字サイズをどの程度にすべきかをユーザに知らせることができる。また、表示もそれに合せた表示出力（不図示）にすればよい。
【００４２】
（変形例２−２）
また、図１０（ｂ）に示す表示画面の例は、文字認識が可能な文字サイズがあるため、サンプル文字を枠と同時に表示する一例であり、これは実際、表示モニタの解像と撮影解像は同じにならない場合が多いため、表示されている文字が小さくても翻訳可能な場合もあり、特に長い文などには有効である。
上記変形例はいづれにしても翻訳不可な状態（例えば文字が小さすぎるような時）を事前に防止できる。なお、対応するフローチャートは翻訳枠画像の読出しの内容を変えることで適用する。
【００４３】
（変形例２−３）
次に図１０（ｃ）には、もう１つの翻訳結果の表示例を示す。この例は、翻訳する前の画面上に翻訳エリアの枠と翻訳文を同時に表示するようにしたものである。この例に関する動作については翻訳機能付カメラの翻訳処理手順に沿って説明する。なお、この例の基本的なフローチャートは前述した図５と同様であるが、異なる処理ステップのみを図８に示しこれに基づいて説明する。すなわち、前述したステップＳ２０〜Ｓ２７までは同じ処理ステップであり、続くステップＳ３０では次のように処理される。
【００４４】
撮影された画像（絵柄）をメモリから読み出す（Ｓ３１）、一方、翻訳枠内の画像をメモリから読み出す（Ｓ３２）。さらに翻訳文をメモリから読み出す（Ｓ３３）。上記の３つの各種画像を１つの画面に合成し（Ｓ３４）、この合成画像を表示する（Ｓ３５）。上記一連の処理ステップＳ３０（Ｓ３１〜Ｓ３５）が所定時間が経過するまで繰り返された後は、前述同様にしてパワーＳＷがＯＮのままであるか否かを判定し（Ｓ６０）、ＯＮであれば前記ステップＳ５に戻るが、もしパワーＳＷがＯＦＦされれば、一連のこの翻訳モードを終了する（Ｓ９０）。
【００４５】
（変形例２−４）
さらに図１０（ｄ）には、上述した図１０（ｃ）の１つの変形例を示す。すなわちこの例の表示形態は、翻訳エリアの部分に原文と訳文を交互に表示する方式のものである。なお、この例の基本的なフローチャートは前述した図８が基本である。
【００４６】
（変形例２−５）
図１０（ｅ）にはもう１つの表示形態の例を示す。すなわちこの例は、撮影後の表示が上半分がスルー画でその下に翻訳原文と翻訳文の３種類を一緒に表示した例であることがわかる。この例の特徴は、続いて指定する翻訳文をすぐに撮影できる状態にすることが可能なことにある。
また、この例では翻訳された原文が表示されているので、翻訳文との対応がひと目でわかる等が使用上の利点であることがわかる。
【００４７】
この例に関する動作については図９に示す部分的なフローチャートに基づき説明する。なお、この例における基本的なフローチャートも前述の図５と同様であるので、異なる処理ステップのみを図９に沿って説明する。すなわち、
翻訳モードが選択されるとまず、翻訳したい画像を入れる大きさを示す枠の画像をメモリから読み出す（Ｓ４０）。また、翻訳文および翻訳原文をメモリから読み出す（Ｓ４１）。
そして次に、スルー画像と上記の翻訳枠画像と翻訳文および翻訳原文とを合成してＬＣＤにモニタ表示する（Ｓ４２）。ここでレリーズ操作があるか判定され（Ｓ４３）、レリーズされたらその撮影された撮影画像をメモリに記憶し（Ｓ４４）、翻訳枠内の画像を切り取って取り出し（Ｓ４５）、その画像から文字イメージが抽出され（Ｓ４６）、これは次に所定のアルゴリズムに従って文字認識および翻訳処理され（Ｓ４７）、その翻訳文はメモリに記憶される（Ｓ４８）。
【００４８】
ステップＳ４９では、その翻訳文がＬＣＤに所定時間だけ表示出力される（Ｓ４９）。そして所定時間が経過した後は、前述と同様にしてパワーＳＷがＯＮのままであるか否かを判定し（Ｓ６０）、ＯＮであれば前記ステップＳ５に戻るが、もしパワーＳＷがＯＦＦされれば、一連のこの翻訳モードを終了する（Ｓ９０）。
【００４９】
（変形例２’）
翻訳モードで撮影後、撮影した画像をいつまで表示するかについては、前述の実施形態例ではタイマで所定時間の経過を計り、画面を切換えるようにしたが、ある決められた操作によってその画像から、再度撮影できる状態にすることもできるように構成してもよい。これにより、カメラの操作上の自由度が向上する。
【００５０】
また、翻訳モードで撮影後、同モード釦をもう一度押すとスルー画となり翻訳撮影が可能となるようにしてもよい。同様に、一度押すと、図１０（ｅ）に示す表示状態になり、さらにもう一度押すと、まったくのスルー画像になるような表示切替方式でもよい。
【００５１】
この方式については図１１のフローチャートにその動作が示されている。このフローチャートは、前述した図５に類似し、図７〜図９と基本的にほとんど同じであるが、本フローチャートのステップＳ１８の判定条件が異なることがわかる。すなわち、この条件によれば翻訳モードである限りその翻訳文を表示し続ける。
【００５２】
（第３実施形態例）
本発明に係わる第３実施形態例では、翻訳モードで撮影された画像の保存の仕方と、それによる画像データの有効的な利用のための実施形態に関するものである。すなわち、本第３実施形態例の翻訳機能付カメラでは、撮影後に記録される画像は「翻訳モード」と「撮影モード」によって検索可能とするインデックスデータを付加して記録されることを特徴とするものである。
【００５３】
図１２に示す表示形態は、ＬＣＤに所謂「マルチ画面」で表示された状態が例示されている。例えば２５枚の画像が記録され、その中には、翻訳画像も含まれるとすると、図示の如く一画面にマルチ画面として表示された状態では、画像の検索を可能とするインデックスデータは、画像記録時に付加される（詳細後述）。
【００５４】
この図１２では各ワク内にＡ，Ｂ，Ｃ，…，Ｆで示したところが翻訳画像及び翻訳データを示すものであり、画像を表示する場合、対応するインデックスデータを見ることで、翻訳画像の判別をし翻訳画像であることを示すための枠表示（例えば画面の色付枠等で包囲）などの工夫ができたり、翻訳画像は文字データだけを表示したり、あるいは表示しない等といったことが、この翻訳モードを設け、インデックスを自動付加することで可能となる。
【００５５】
なお、図１２に例示したものはマルチ画面であるが、一画面毎の表示に変更してもよく、同様のことが可能となる。また、翻訳が撮影画像かのインデックスデータを付けることで、文字データのみを残して画像メモリ量を小さくすることができる。
【００５６】
図１３のフローチャートで処理ステップを比較すると、前述した第１実施形態例の手順を示す図５のフローチャートにおける３つの各モードにおける処理手順中にて、次のようなインデックスに関する処理を行っていることがわかる。つまり、図１３の「撮影モード」中のステップＳ７２’では、メモリ中に撮影画像を記録するときに、固有なインデックスデータを付加する。
また「再生モード」中のステップＳ８３’では、次の画像と画像インデックスデータの読み出しを行う。さらに「翻訳モード」中のステップＳ１２’では、翻訳画像にインデックスデータを付加している。
このようにメモリ記憶時に、各種の画像に対してインデックスデータが付与されることで、その固有なインデックスデータを使っての管理（例えば検索・選択・ソート／マージ等）が容易にできる。
【００５７】
（変形例３）
なお、画像メモリが満杯になった場合は、翻訳画像を優先的に消去し、撮影画像にまわすか、あるいは、次の翻訳がされたら自動的に前のデータは消去してもよい。また、データ保存の仕方として、翻訳モード時は、白黒として記録することで、メモリ使用量を小さくすることができる。
【００５８】
さらなる応用例として、翻訳モード時は、ＬＣＤ等のディスプレイの表示はスルー画も白黒表示にすることで、翻訳モードであることをユーザに通知する。よって、ユーザは、翻訳モードなのに撮影モードと思い込んで撮影するような誤操作が無くなる。
また以上の実施形態例はデジタルスチルカメラによって記載しているが、当然のことながらデジタルビデオカメラ等であってもよい。
【００５９】
（その他の変形例）
以上説明した以外にも、本発明の要旨を逸脱しない範囲であれば種々の変形実施も可能である。
【００６０】
（用語の対応関係）
なお、明細書に記載した各手段は、実施形態例中の次のような各部位にそれぞれ対応する。即ち、「翻訳モード設定手段」とは翻訳モード釦のことであり、「記録モード設定手段」とは記録モード釦のことであり、「再生モード設定手段」とは再生モード釦のことであり、「記憶手段」とはメモリ部のことであり、「表示手段」とは液晶パネルあるいはファインダ内の画像表示部のことである。
【００６１】
また、「文字認識翻訳手段」とは文字認識翻訳部のことであり、「文字データ」とは翻訳原文と翻訳文を含むデータのことであり、「記録モードで撮影した画像」とは撮影画像のことであり、「翻訳モードで撮影した画像」とは翻訳画像のことである。ここで翻訳原文とは、撮影された文字画像そのものでも、あるいは翻訳に抽出された文字でもよい。
【００６２】
以上、複数の実施形態例および変形例に沿って本発明を説明してきたが、本明細書中には次の発明も含まれている。
【００７０】
Ａ． 画像表示部（ＬＣＤ等）を有するデジタルカメラにおいて、
所定の翻訳機能を働かせるための翻訳用選択手段（翻訳レリーズ釦・ＳＷ）と、翻訳すべく文字の撮影するエリアを設定するための翻訳操作手段と、を少なくとも具備する翻訳機能付カメラ。
【００７１】
Ｂ． モニタ付電子カメラにおいて、文字認識翻訳部と翻訳モードと撮影モードと再生モードとを選択する手段を備えた翻訳機能付電子カメラ。
Ｃ． 上記翻訳モードでは、通常の撮影条件に対し、文字認識に合った条件に変更することを特徴とする翻訳機能付電子カメラ。
【００７２】
Ｄ． 上記翻訳モードでの記録画像は、翻訳画像であることが認識できるように記録されていることを特徴とする翻訳機能付電子カメラ。
ａ． 上記翻訳モード時は、撮影画面において、翻訳エリアを特定し、露出をそのエリアに合せることを特徴とするＣ．に記載のカメラ。
【００７３】
ｂ． 上記翻訳画像の表示は、単色表示で行い、かつ単色で記録することを特徴とするＤ．に記載のカメラ。
ｃ． 上記画像記憶メモリが記録画像でいっぱいになった場合は、翻訳画像を優先的に消去されることを特徴とするＣ．に記載のカメラ。
【００７４】
ｄ． 上記翻訳モードの記録は、元画像と、翻訳された文字データのみを記録するか、又は、翻訳された部分の元画像と文字データのみを記録することを特徴とするＣ．又はＤ．に記載のカメラ。
ｅ． 翻訳モード時は、文字撮影サイズのサンプルをファインダ表示画面内に表示することを特徴とするＤ．に記載のカメラ。
【００７５】
ｆ． 再生時はモードにより選択的に画像を表示することを特徴とするＢ．に記載のカメラ。
ｇ． 翻訳モードによる撮影後（即ちレリーズ後）は、即時的あるいは所定時間のあいだ再生状態となり、翻訳した画像部分と元の画像部分を交互に表示するか、又は、翻訳した画像部分の文字データのみを別位置に表示することを特徴とするＣ．又はＤ．に記載のカメラ。
ｈ． 再生時間終了後は文字データのみを画面に残し、これ以外はスルー画面にすることを特徴とするＢ．に記載のカメラ。
【００７６】
【発明の効果】
通常の撮影モード、即ち記録モードと再生モードに対して、翻訳モードを有することにより、従来の煩わしい例えば、記録してそれを再生し更にそれを翻訳処理する等のモード切替操作がなくなり煩雑さが解消されて操作が簡単になる。
【００７７】
この翻訳モードにおいて、撮影範囲を狭くしてその翻訳対象の範囲にピントを合せるなどの対応をすることにより、翻訳の処理を簡略化でき、文字に対し適正な画像が取り込め、失敗のない翻訳結果が得られる。
【００７８】
また、インデックス等の付与によって通常の撮影画像に対し翻訳画像を識別することで、効率的な再生表示が可能となる。
以上のように、本発明によれば、従来の電子事典のような文字入力操作が一切不要となり、しかも携帯性が損なわれない小型軽量で操作性の簡単な翻訳機能付カメラを提供することができる。
【図面の簡単な説明】
【図１】 本発明に係わるカメラ本体を斜め上後方から見た斜視図であり、図１（ａ）は、第１実施形態例としてのカメラの外観を示す斜視図、
図１（ｂ）は、もう１つのカメラの外観を示す斜視図。
【図２】図２には、撮影者から見たカメラの裏側を示す裏面図。
【図３】図３は、本発明の翻訳機能付カメラの構成を概略的に示すブロック図。
【図４】 翻訳モード時の具体的な表示内容を例示し、
図４（ａ）は、翻訳モード時の撮影直前のスルー画像または撮影原画像を示す説明図、
図４（ｂ）は、翻訳された結果の表示が示されている説明図。
【図５】図５は、本発明の翻訳機能付カメラの主な３つの機能に関する具体的な動作および操作方法を表わすフローチャート。
【図６】 本発明の翻訳機能付カメラの第２実施形態例における翻訳モードでの表示内容を示し、
図６（ａ）は撮影直前のスルー画像または撮影原画像を示す説明図、
図６（ｂ）は翻訳結果の表示を示す説明図。
【図７】図７は、第２実施形態例としての処理ステップを示すフローチャート。
【図８】図８は、第２実施形態例としての処理ステップを示すフローチャート。
【図９】図９は、第２実施形態例としての処理ステップを示すフローチャート。
【図１０】 第２実施形態例に関する表示上の変形例を示し、
図１０（ａ）は、複数の翻訳エリアと罫線を入れた枠を表示する例の説明図、
図１０（ｂ）は、サンプル文字を枠と同時に表示する例の説明図、
図１０（ｃ）は、翻訳前の画面上に翻訳エリアの枠と翻訳文を同時に表示する例の説明図、
図１０（ｄ）は、翻訳エリアの部分に原文と訳文を交互に表示する例の説明図、図１０（ｅ）は、撮影後の表示がスルー画と翻訳文、翻訳原文を同時表示した例の説明図。
【図１１】図１１は、本発明に係わる第３実施形態例としての処理手順を示すフローチャート。
【図１２】図１２は、第３実施形態例としてのマルチ画面を示す説明図。
【図１３】図１３は、図５のフローチャートでの３つのモードの処理中に行うインデックスに関する処理ステップを示すフローチャート。
【符号の説明】
１…鏡筒（カメラのレンズフード）、
２…レリーズ釦、
３…モード釦、
４…操作釦、
５…ＬＣＤ（画像表示部）、
６…駒送り釦、
７…翻訳レリーズ釦、
１１…撮像部、
１２…カメラ操作部、
１３…メモリ部、
１４…表示画像生成部、
１５…画像表示部、
２０…翻訳系、
２１…コントロール部、
２２…翻訳操作部、
２３…文字認識翻訳部、
１００…カメラ（カメラ系、翻訳系）。
Ｓ１〜Ｓ９０…本発明のカメラの処理ステップ。

Claims (11)

1. 撮影された画像内の文字を翻訳する翻訳機能付カメラにおいて、
   通常の撮影を行う記録モードに設定する記録モード設定手段と、
   上記通常の撮影とは異なる翻訳用の撮影を行う翻訳モードに設定する翻訳モード設定手段と、
   上記翻訳モード設定手段によって翻訳モードが設定されたときには、撮影された画像内の文字を認識し翻訳処理を行う文字認識翻訳手段と、を具備し、
   上記翻訳モードが設定されたときは、上記記録モードの撮影条件から文字認識に合う条件に変更することを特徴とする翻訳機能付カメラ。
2. 撮影された画像内の文字を翻訳する翻訳機能付カメラにおいて、
   通常の撮影を行う記録モードに設定する記録モード設定手段と、
   上記通常の撮影とは異なる翻訳用の撮影を行う翻訳モードに設定する翻訳モード設定手段と、
   上記翻訳モード設定手段によって翻訳モードが設定されたときには、撮影された画像内の文字を認識し翻訳処理を行う文字認識翻訳手段と、を具備し、
   上記翻訳モードが設定されたときには、少なくとも翻訳する文字の領域にピントを合せるあるいは上記文字の領域に露出を合せることを特徴とする翻訳機能付カメラ。
3. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   を更に具備し、
   上記翻訳モードが設定されたときには、上記表示手段の表示は単色表示にすることを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
4. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   を更に具備し、
   上記翻訳モードが設定されたときには、上記翻訳画像と翻訳された翻訳文の文字データのみを上記記憶手段に記憶することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
5. 上記記憶手段への記憶は、単色のデータであることを特徴とする請求項４に記載の翻訳機能付カメラ。
6. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   を更に具備し、
   上記翻訳モードが設定されたときには、上記翻訳画像内の翻訳する部分と翻訳された翻訳文の文字データのみを上記記憶手段に記憶することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
7. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   を更に具備し、
   容量不足で上記記憶手段に記憶できなくなったときは、上記翻訳モードで撮影された上記翻訳画像を優先的に消去することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
8. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   上記記憶手段に記憶された撮影画像を再生する再生モードに設定する再生モード設定手段と、
   を更に具備し、
   上記再生モード設定手段による再生時は、上記記録モードで撮影された撮影画像を選択的に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
9. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
   上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
   を更に具備し、
   上記翻訳モードが設定されたときには、撮影後、所定の時間再生モードになり、上記翻訳画像内の翻訳する部分と翻訳された翻訳文とを交互に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
10. 上記撮影画像、翻訳用に撮影された翻訳画像、翻訳画像内の翻訳原文とこの翻訳原文を翻訳した翻訳文とからなる文字データの少なくとも一つを表示する表示手段と、
    上記撮影画像、翻訳画像、文字データの少なくとも一つを記憶する記憶手段と、
    を更に具備し、
    上記翻訳モードが設定されたときには、撮影後、所定の時間再生モードになり、上記翻訳された翻訳文のみを別位置に表示することを特徴とする請求項１又は２に記載の翻訳機能付カメラ。
11. 再生終了後は、翻訳原文とこの翻訳原文を翻訳した翻訳文とを含む文字データのみを残し、これ以外はスルー画面にすることを特徴とする請求項９又は請求項１０に記載の翻訳機能付カメラ。

Images