JP2015069365A

JP2015069365A - 情報処理装置、および制御プログラム

Info

Publication number: JP2015069365A
Application number: JP2013202482A
Authority: JP
Inventors: 健文大塚; Takefumi Otsuka; 忠郎長沢; Tadao Nagasawa
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-09-27
Filing date: 2013-09-27
Publication date: 2015-04-13
Also published as: US20180322677A1; CN105393244A; CN108829644A; US20160117854A1; CN109101467A; US10068359B2; CN105393244B; WO2015045676A1; US10573046B2; US20180276868A1

Abstract

【課題】撮像された画像に含まれる文字列の翻訳を表示させた後であっても、翻訳された文字列を確認できるようにする。
【解決手段】文字列装飾表示制御部（１２）は、撮像された画像の文字列を示す部分を装飾して表示させ、翻訳画像生成部（１３）は、上記文字列を他の言語に翻訳した結果を表す翻訳画像を生成し、翻訳表示制御部（１６）は、ユーザの入力に応じて、上記翻訳画像の表示、および非表示を切り替える。
【選択図】図１

Description

本発明は情報処理装置、および制御プログラムに関する。

旧来より撮像された画像からＯＣＲ（Optical Character Recognition）により文字列を抽出し、翻訳した結果を表示する技術について様々な提案がなされている。例えば、特許文献１には、画像から文字が存在する文字領域を文字認識し、文字コードを生成する文字認識手段と、前記画像の特徴変化が少ない領域を検出する検出手段と、前記検出された領域に前記文字コードから得られるデータを配置する配置手段とを備えた画像処理装置が提案されている。

特開２０１３−１２２７４７号公報（２０１３年６月２０日公開）特開２０１１−１３４１４４号公報（２０１１年７月７日公開）特開２００１−３１９２４０号公報（２００１年１１月１６日公開）特開平１１−５３３６５号公報（１９９９年２月２６日公開）特開平９−１７９８６７号公報（１９９７年７月１１日公開）

しかしながら、上述のような従来技術は翻訳後の文字列を撮像された画像の翻訳前の文字列が存在していた領域に重ねて表示しているため、撮像された画像に含まれる文字列の翻訳を表示させた後に、どのような文字列が翻訳されたのか容易には確認できない、という問題がある。

本発明は、上記問題を鑑みてなされたものであり、その目的は、撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる情報処理装置を提供することにある。

本発明の一態様に係る情報処理装置は、撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段と、上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段と、撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段と、を備え、上記翻訳表示制御手段はユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示する。

本発明の一態様によれば、撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができるという効果を奏する。

本発明の実施形態１に係る機能ブロック図である。本発明の実施形態１に係る情報処理装置の表示画像の切り替えを示す図である。本発明の実施形態１に係る情報処理装置における翻訳画像の表示に関する処理の流れを示すフローチャートである。本発明の実施形態２に係る機能ブロック図である。本発明の実施形態２に係る情報処理装置の表示画像の切り替えを示す図である。本発明の実施形態２に係る情報処理装置における翻訳画像の表示に関する処理の流れを示すフローチャートである。

〔実施形態１〕
以下、本発明の実施の形態について、図１〜図３に基づいて説明すれば、以下のとおりである。

〔１．情報処理装置１の構成〕
まず、図１に基づいて情報処理装置１の概略構成を説明しながら、図２に基づいて、適宜、情報処理装置１の具体的な表示画像の例について説明する。図１は、本実施形態に係る情報処理装置１の概略構成を示している。また、図２は情報処理装置１の表示画像の切り替えを示す図である。

図１に示す通り、情報処理装置１は、制御部１０、撮像部２０、表示部３０、および入力部４０により構成されている。情報処理装置１は、例えば、携帯電話、スマートフォン、PDA（Personal Data Assistant）、PC（Personal Computer）などである。

撮像部２０は、被写体を撮影して画像を取得するためのカメラ機能を提供するものである。撮像部２０は、例えば、光学系および撮像素子（ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等）により実現することができる。

表示部３０は、制御部１０から表示画像の情報を受信し、表示画面に表示する。表示部３０は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備える構成である。

入力部４０は、ユーザからの入力を受け付け、入力された情報を制御部１０へ出力する。入力部４０は、静電誘導式、抵抗膜式、光学式などの変換方式を用いたタッチパネルにより構成される。また、入力部４０は、表示部３０に表示された表示画像の座標または表示されている項目を選択可能なインターフェースであればよく、ボタン、キーボード、マウスなどで構成されていてもよい。

制御部１０は、図１に示す通り、ＯＣＲ部１１、文字列装飾表示制御部１２、翻訳画像生成部１３、翻訳部１４、画像保持部１５、および翻訳表示制御部１６を含んでいる。ＯＣＲ部１１は、入力された画像に含まれる文字列を光学文字認識によって特定（抽出）する。さらに、ＯＣＲ部１１は、抽出した文字列を示す部分の座標および当該文字列を含む文字認識情報を特定し、当該文字認識情報を文字列装飾表示制御部１２へ出力する。また、ＯＣＲ部１１は、文字認識情報を特定できなかった場合、すなわち、入力された画像について文字列および文字列の座標を抽出できなかった場合は、文字列を示す部分が特定できなかったこと、すなわち文字列の抽出に失敗したことを文字列装飾表示制御部１２へ通知する。また、ＯＣＲ部１１は、通信ネットワーク上のサービスを用いるものであってもよい。

文字列装飾表示制御部１２は、撮像部２０により撮像され、入力された画像（以下、入力画像と表す）をＯＣＲ部１１へ出力し、入力画像についての文字認識情報を取得する。文字認識情報を取得し、かつ翻訳画像が非表示となった場合、文字列装飾表示制御部１２は、当該文字認識情報に基づき入力画像に含まれる文字列を示す部分に下線を引くことで装飾し、文字列を示す部分を装飾した画像を表示部３０へ表示させる。また、文字列装飾表示制御部１２は、翻訳画像生成部１３へ文字認識情報を出力する。一方、入力画像に文字列を示す部分が含まれていないことの通知をＯＣＲ部１１から受けた場合、文字列装飾表示制御部１２は、入力画像を表示部３０へ表示させる。例えば、図２の（Ａ）に示すように、入力画像について、ＯＣＲ部１１が文字列を示す部分が特定できなかった場合に、入力画像がそのまま画像Ｄ１として表示部３０へ表示される。

また、図２の（Ｃ）は、入力画像について、ＯＣＲ部１１が文字列を示す部分が特定できた場合における表示部３０への表示画像を示している。この場合、入力画像に含まれる文字列“You have two pens.”を示す部分に下線が引かれている。これにより、入力画像のいずれの部分が文字列を示すかを判別することが容易になる。また、装飾として下線を用いる場合、入力画像が文字列を示す部分の装飾によって隠される部分が少ないため、入力画像を装飾することに起因する視認可能な情報の減少が少なくてすむ。

翻訳画像生成部１３は、文字認識情報を入力された場合、当該文字認識情報が示す文字列を翻訳部１４へ出力し、他の言語に翻訳した結果を取得する。翻訳画像生成部１３は、文字認識情報が示す文字列を他の言語に翻訳した結果を取得した場合、当該翻訳した結果を示す画像である翻訳画像を生成し、当該翻訳画像を画像保持部１５へ保持させる。また、翻訳画像生成部１３は、翻訳表示制御部１６へ翻訳画像を生成したことを通知すると共に文字認識情報に含まれる文字列の座標を入力する。なお、翻訳画像は、文字認識情報に基づくものであるため、文字列を示す入力画像の一部の領域と対応する。

翻訳部１４は、入力された文字列が翻訳可能な文字列であった場合、予め指定された他の言語へ翻訳し、翻訳の結果を翻訳画像生成部１３へ出力する。翻訳部１４は、翻訳エンジンにより構成される。また、翻訳部１４は通信ネットワーク上のサービスを用いてもよい。

画像保持部１５は、翻訳画像生成部１３が生成した翻訳画像を保持する。画像保持部１５は、制御部１０の一部を構成するＲＡＭ（Random Access Memory）に設定された領域であってもよい。

翻訳表示制御部１６は、翻訳画像生成部１３から翻訳画像が生成されたことの通知を受けて、画像保持部１５に保持された翻訳画像を装飾された画像の文字列を示す部分に重畳表示させると共に、切り替えボタンＵＩ１を表示させる。また、入力部４０から、切り替えボタンＵＩ１と対応する座標にユーザの指１００が接触するなどして、切り替えボタンＵＩ１が押下（選択）されたことの通知を受けた場合、翻訳表示制御部１６は、翻訳画像の表示および非表示を切り替える。

例えば、図２の（Ｂ）は、表示部３０に表示される画像Ｄ２の文字列を示す部分に画像保持部１５に保持された翻訳画像Ｔ１を重畳表示させると共に、切り替えボタンＵＩ１を表示させている情報処理装置１を表している。この状態において切り替えボタンＵＩ１をユーザの指１００が接触した場合、図３の（Ｃ）に示すように、翻訳画像Ｔ１は非表示となり、文字列を表す部分に下線が引かれた画像Ｄ２が表示される。また、この状態において、切り替えボタンＵＩ１にユーザの指１００が接触した場合、図３の（Ｂ）に示すように翻訳画像Ｔ１が再び表示される。

〔２．情報処理装置１における翻訳画像の表示に関する処理の流れ〕
次に情報処理装置１における翻訳画像の表示に関する処理の流れについて、図３に基づき説明する。図３は情報処理装置１における翻訳画像の表示に関する処理の流れを示すフローチャートである。

まず、文字列装飾表示制御部１２は、撮像部２０によって撮像された画像を取得する（Ｓ１）。続いて、文字列装飾表示制御部１２は取得した画像（入力画像）をＯＣＲ部１１へ出力する。画像を入力されたＯＣＲ部１１は、入力画像に含まれる文字列および文字列の座標を抽出する（Ｓ２）。

ＯＣＲ部１１は文字列および文字列の座標の抽出が成功したか否かを判定する（Ｓ３）。文字列および文字列の座標の抽出が失敗した場合（Ｓ３でＮＯ）、ＯＣＲ部１１は、文字列の抽出に失敗したことを文字列装飾表示制御部１２へ通知する。当該通知を受けた文字列装飾表示制御部１２は、表示部３０へ入力画像を表示させる（Ｓ１３）。

一方、文字列および文字列の座標の抽出が成功した場合（Ｓ３でＹＥＳ）、その旨を翻訳画像生成部１３へ通知する。当該通知を受けた文字列装飾表示制御部１２は、入力画像を表示部３０へ表示させ（Ｓ４）、また、翻訳画像生成部１３へ文字認識情報を出力する。

文字認識情報が入力された翻訳画像生成部１３は、翻訳部１４へ当該文字認識情報が示す文字列を翻訳部１４へ出力する。文字列を入力された翻訳部１４は当該文字列を予め指定された他の言語へ翻訳し（Ｓ５）、翻訳の結果を翻訳画像生成部１３へ出力する。

翻訳の結果を入力された翻訳画像生成部１３は、当該翻訳した結果を示す画像である翻訳画像を生成し、当該翻訳画像を画像保持部１５へ保持させる。（Ｓ６）。さらに、翻訳画像生成部１３は、翻訳表示制御部１６へ翻訳画像を生成したことを通知すると共に文字認識情報に含まれる文字列の座標を入力する。

翻訳画像生成部１３から翻訳画像が生成されたことの通知を受けた翻訳表示制御部１６は、切り替えボタンＵＩ１を表示させる（Ｓ７）。さらに、翻訳表示制御部１６は、翻訳画像生成部１３に入力された文字列の座標に基づき、表示部３０に表示された入力画像の文字列を示す部分に画像保持部１５に保持された翻訳画像を重畳して表示させる（Ｓ８）。この時点で、文字列を表す部分に重畳して翻訳画像が表示された入力画像が表示される。

続いて、翻訳表示制御部１６は、入力部４０からの通知を確認し、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ９）。切り替えボタンＵＩ１が押下されなかった場合（Ｓ９でＮＯ）、再度、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ９）。

一方、切り替えボタンが押下された場合（Ｓ９でＹＥＳ）、翻訳表示制御部１６は、翻訳画像を非表示とし（Ｓ１０）、文字列装飾表示制御部１２へ切り替えボタンが押下されたことを通知する。切り替えボタンが押下されたことの通知を受けた文字列装飾表示制御部１２は、表示された入力画像の文字列を示す部分に対して文字認識情報に基づき下線を引いて装飾する（Ｓ１１）。この時点で、文字列を表す部分に下線が引かれた装飾された入力画像が表示される。

この状態において、翻訳表示制御部１６は、入力部４０からの通知を確認し、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ１２）。切り替えボタンＵＩ１が押下されなかった場合（Ｓ１２でＮＯ）、再度、切り替えボタンＵＩ１が押下されたか否かを判定する（Ｓ１２）。

一方、切り替えボタンが押下された場合（Ｓ１２でＹＥＳ）、翻訳表示制御部１６は、文字列を表す部分に重畳して翻訳画像を表示させる（Ｓ８）。この時点において、文字列装飾表示制御部１２は、文字列を示す部分に対する装飾を解除してもよい。

上記の処理により、撮像された画像（入力画像）に対して当該撮像された画像に含まれる文字列を示す部分へ上記文字列と対応する翻訳画像を重畳表示させた状態において、当該翻訳画像を非表示とし、上記撮像された画像に含まれる文字列を示す部分を装飾した画像と当該翻訳画像とを切り替えて表示させることができる。よって、ユーザは撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる。

〔変形例〕
上記実施形態において、翻訳画像の表示および非表示を切り替えるための操作として、切り替えボタンを押下することに替えて、いわゆるフリック操作を行うこと、情報処理装置１を振ること、情報処理装置１を回転させることなどを用いるように情報処理装置１を構成してもよい。また、上記実施形態において、入力画像に含まれる文字列を示す部分を装飾する方法として、マーカー表示を付すこと、枠線で囲むことなどを用いるように情報処理装置１を構成してもよい。

また、上記実施形態において、撮像部２０において撮像された画像に対して加工をし、文字列装飾表示制御部１２へ加工された画像を入力するように情報処理装置１を構成してもよい。

〔実施形態２〕
本発明の他の実施形態について、図４〜図６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

〔１．情報処理装置２の構成〕
情報処理装置２の概略構成について図４に基づいて情報処理装置１の概略構成を説明しながら、図５に基づいて、適宜、情報処理装置２の具体的な動作例について説明する。図４は、本実施形態に係る情報処理装置２の概略構成を示している。また、図６は情報処理装置２の表示画像の切り替えを示す図である。

本実施形態に係る情報処理装置２と情報処理装置１との差異は、情報処理装置２が制御部１０に替えて制御部１１０を備えている点である。また、制御部１１０と制御部１０との差異は、情報処理装置２が画像保持部１５を備えず、また、文字列装飾表示制御部１２、翻訳画像生成部１３、翻訳表示制御部１６に替えて、文字列装飾表示制御部１１２、翻訳画像生成部１１３、翻訳表示制御部１１６を備え、さらに選択単語判定部１７を備える点である。

文字列装飾表示制御部１１２は、文字列装飾表示制御部１２と、ＯＣＲ部１１から取得した文字認識情報について単語ごとに処理を行い、文字認識情報を選択単語判定部１７へ出力する点で異なる。具体的には、文字列装飾表示制御部１１２は、図５の（Ａ）の画像Ｄ３を撮像部から取得した場合、図５の（Ｂ）に示すように、単語の表示Ｗ１〜Ｗ５それぞれに下線を引くことによって装飾した画像Ｄ４を表示部３０へ表示させる。また、文字列装飾表示制御部１１２は、単語ごとの文字認識情報を選択単語判定部１７へ出力する。

翻訳画像生成部１１３は、翻訳表示制御部１１６から文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた翻訳画像生成部１１３は、当該文字認識情報に含まれる単語を翻訳部１４へ出力して翻訳の結果を取得し、翻訳画像を生成する。翻訳画像を生成した翻訳画像生成部１１３は、当該翻訳画像を翻訳表示制御部１１６へ出力する。

翻訳表示制御部１１６は、選択単語判定部１７から文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた翻訳画像生成部１１３へ当該文字認識情報を入力し、翻訳画像生成部１１３から翻訳画像を取得する。翻訳画像を取得した翻訳表示制御部１１６は、文字認識情報に基づき、翻訳画像と対応する単語の座標に重畳して当該翻訳画像を表示させる。具体的には、図５の（Ｂ）に示す状態において単語の表示Ｗ２と対応する文字認識情報の入力を翻訳表示制御部１１６が受け付けた場合、翻訳表示制御部１１６は図５の（Ｄ）に示すように翻訳画像Ｔ２を単語の表示Ｗ２に重畳して表示させる。また、表示させた翻訳画像が選択された場合、翻訳表示制御部１１６は当該翻訳画像を非表示にする。

選択単語判定部１７は、文字列装飾表示制御部１１２からの文字認識情報の入力を受け付ける。文字認識情報の入力を受け付けた選択単語判定部１７は、入力部４０へのユーザの入力が翻訳画像と対応する単語の座標を押下するなどの、単語の表示または翻訳画像の表示を選択する操作であった場合に、選択された単語の表示と対応する文字認識情報を翻訳表示制御部１１６へ出力する。

〔２．情報処理装置２における翻訳画像の表示に関する処理の流れ〕
次に情報処理装置２における翻訳画像の表示に関する処理の流れについて、図３に基づき説明する。図３は情報処理装置１における翻訳画像の表示に関する処理の流れを示すフローチャートである。なお、Ｓ１〜Ｓ３、およびＳ１３の処理は情報処理装置１と同様であるため説明を割愛する。

ＯＣＲ部１１が文字列の抽出に成功した場合（Ｓ３でＹＥＳ）、その旨の通知を受けた翻訳画像生成部１３は、取得した文字認識情報について単語ごとに下線を引くことで装飾した入力画像を表示部３０へ表示させる（Ｓ１０１）。さらに、文字列装飾表示制御部１１２は、単語ごとの文字認識情報を選択単語判定部１７へ入力する。

単語ごとの文字認識情報の入力を受け付けた選択単語判定部１７は、入力部４０へのユーザの入力が単語の表示を押下する操作であるか否かを判定する（Ｓ１０２）。入力部４０へのユーザの入力が単語の表示を押下する操作でなかった場合（Ｓ１０２でＮＯ）、選択単語判定部１７は、再度、入力部４０へのユーザの入力が単語の表示を押下する操作であるか否かを判定する（Ｓ１０２）。

一方、入力部４０へのユーザの入力が単語の表示を押下する操作であった場合（Ｓ１０２でＹＥＳ）、選択された単語の表示と対応する文字認識情報を翻訳表示制御部１１６へ入力する。文字認識情報の入力を受け付けた翻訳画像生成部１１３へ当該文字認識情報を入力する。翻訳画像生成部１１３は、翻訳部１４へ当該文字認識情報に含まれる単語を入力し、翻訳部１４に当該単語を翻訳させる（Ｓ１０３）。

翻訳の結果を取得した翻訳画像生成部１１３は、当該翻訳の結果を翻訳画像に変換し（Ｓ１０４）、当該翻訳画像を翻訳表示制御部１１６へ出力する。翻訳画像を取得した翻訳表示制御部１１６は、文字認識情報に基づき、翻訳画像と対応する単語の座標に重畳して当該翻訳画像を表示させる（Ｓ１０５）。

続いて、選択単語判定部１７は、入力部４０へのユーザの入力が翻訳画像と対応する単語の座標を押下する操作、すなわち、翻訳画像の表示を押下する操作であるか否かを判定する（Ｓ１０６）。入力部４０へのユーザの入力が翻訳画像の表示を押下する操作でなかった場合（Ｓ１０６でＮＯ）、再度、翻訳表示制御部１１６は、入力部４０へのユーザの入力が翻訳画像の表示を押下する操作であるか否かを判定する（Ｓ１０６）。

一方、入力部４０へのユーザの入力が翻訳画像の表示を押下する操作であった場合（Ｓ１０６でＹＥＳ）、当該翻訳画像と対応する文字認識情報を翻訳表示制御部１１６へ通知する。文字認識情報の通知を受けた翻訳表示制御部１１６は、当該文字認識情報と対応する翻訳表示を非表示とする（Ｓ１０７）。続いて、Ｓ１０２からの処理が再度実行される。

上記の処理により、ユーザが選択した単語の表示に、当該単語と対応する翻訳画像が重畳表示される。これにより、ユーザは翻訳を希望する単語について、翻訳画像を表示させることができる。

〔３．情報処理装置２における翻訳画像の表示に関する操作の一例〕
図５に基づき、情報処理装置２における翻訳画像の表示に関する操作の一例を説明する。図５の（Ａ）は、ＯＣＲ部１１が入力画像に含まれる文字列を認識しなかった場合の情報処理装置２を表す図である。この場合、入力画像が画像Ｄ３としてそのまま表示されている。

図５の（Ｂ）は、ＯＣＲ部１１が入力画像に含まれる文字列を認識した場合の情報処理装置２を表す図である。この場合、入力画像に含まれる文字列”Could you please rent them”を構成する単語の表示Ｗ１〜Ｗ５ごとに下線で装飾された画像Ｄ４が表示されている。

図５の（Ｃ）は、図５の（Ｂ）に示す状態において、ユーザの指１００が単語”you”を表す単語の表示Ｗ２を押下した時点の情報処理装置２を表す図である。この時点で、情報処理装置２は上述のＳ１０３〜Ｓ１０５に示す処理を実行する。

図５の（Ｄ）は、図５の（Ｃ）に示すように単語の表示Ｗ２が押下され、上述のＳ１０３〜Ｓ１０５が実行された場合の情報処理装置２を表す図である。この場合、単語“you”を他の言語に翻訳した結果である“あなた”を示す翻訳画像Ｔ２が対応する単語の表示Ｗ２に重畳して表示されている。また、この状態において、ユーザの指１００が翻訳画像Ｔ２を押下した場合、翻訳画像Ｔ２が非表示となり、図５の（Ｂ）に示すように単語の表示Ｗ２が確認できる状態となる。上記のようにユーザは本実施形態における情報処理装置２を用いて、撮像された画像に含まれる文字列を構成する単語について、翻訳の結果を確認し、また、翻訳された単語を確認することができる。

〔変形例〕
上記実施形態２において、Ｓ１０３〜Ｓ１０７の処理は単語ごとに独立して実行するように情報処理装置２を構成してもよい。すなわち、図５の（Ｂ）に示す状態において、ユーザの入力に応じて、単語の表示Ｗ１〜Ｗ５それぞれについて独立して翻訳画像を表示し、また、翻訳画像を非表示とするように情報処理装置２を構成してもよい。

また、上記実施形態２において、押下された単語について実行する処理を選択するメニューを表示する処理を、図６のαで示す箇所において行うように情報処理装置２を構成してもよい。メニューにより選択可能とする処理は、例えば、翻訳表示させる処理、指定の辞書ソフトウェアを検索させる処理、インターネットで検索させる処理、などが挙げられる。上記の構成により、撮像された画像に含まれる文字列について実行する処理をユーザが選択することができる。

また、上記実施形態２において、Ｓ１０３の処理に替えて、単語を含む文を翻訳する処理を行うように情報処理装置２を構成してもよい。

また、上記各実施形態において翻訳画像は半透明であってもよく、上記翻訳画像の表示および非表示は翻訳画像の透明度を変更することで行ってもよい。

〔実施形態３〕
情報処理装置１の制御ブロック（特に制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る情報処理装置（１）は、撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段（文字列装飾表示制御部１２）と、上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段（翻訳画像生成部１３）と、撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段（翻訳表示制御部１６）と、を備え、上記翻訳表示制御手段はユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示する。

上記の構成によれば、撮像された画像に対して当該撮像された画像に含まれる文字列を示す部分へ上記文字列と対応する翻訳画像を重畳表示させた状態において、当該翻訳画像を非表示とし、上記撮像された画像に含まれる文字列を示す部分を装飾した画像と当該翻訳画像とを切り替えて表示させることができる。よって、ユーザは撮像された画像に含まれる文字列の翻訳を表示させた後であっても、容易にどのような文字列が翻訳されたのかを確認することができる。

本発明の本発明の態様２に係る情報処理装置は、上記態様１において、上記文字列装飾表示制御手段は、上記文字列に含まれる単語ごとに上記撮像された画像に含まれる文字列を示す部分を装飾してもよい。

上記の構成によれば、撮像された画像に含まれる文字列を示す部分は、単語ごとに装飾される。これにより、ユーザは単語ごとに選択できることをユーザに理解させることができる。

本発明の態様３に係る情報処理装置は、上記態様２において、上記翻訳画像生成手段は、上記単語ごとに他の言語に翻訳した結果を表す画像である翻訳画像を生成し、いずれの上記単語がユーザの入力によって選択されたかを判定する選択単語判定手段（選択単語判定部１７）をさらに備え、上記翻訳表示制御手段は、上記選択単語判定手段が選択されたと判定した装飾された上記単語と対応する画像に、当該単語に対応する上記翻訳画像を重畳表示させてもよい。

上記の構成によれば、ユーザが選択した装飾された上記単語と対応する画像に、当該単語と対応する翻訳画像が重畳表示される。これにより、ユーザは翻訳を希望する単語について、翻訳画像を表示させることができる。

本発明の態様４に係る情報処理装置は、上記態様１から３において、上記文字列装飾表示制御手段は、上記撮像された画像に含まれる文字列を示す部分へ下線を引いた画像を表示させることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。

上記の構成によれば、撮像された画像に含まれる文字列を示す部分へ下線が引かれる。これにより、撮像された画像のいずれの部分が文字列を示すかを判別することが容易になる。また、撮像された画像が文字列を示す部分の装飾によって隠される部分が少ないため、撮像された画像を装飾することに起因する、視認可能な情報の減少が少なくてすむ。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、カメラなどの撮像装置と接続された携帯電話、スマートフォン、PDA、PCに利用することができる。

１情報処理装置
１２、１１２文字列装飾表示制御部（文字列装飾表示制御手段）
１３、１１３翻訳画像生成部（翻訳画像生成手段）
１６、１１６翻訳表示制御部（翻訳表示制御手段）
１７選択単語判定部（選択単語判定手段）

Claims

撮像された画像に含まれる文字列を示す部分を装飾した画像を表示させる文字列装飾表示制御手段と、
上記文字列を他の言語に翻訳した結果を表す画像である翻訳画像を生成する翻訳画像生成手段と、
撮像された画像または上記文字列装飾表示制御手段によって装飾された画像における上記文字列を示す部分に当該文字列と対応する上記翻訳画像を重畳して表示させる翻訳表示制御手段と、を備え、
上記翻訳表示制御手段は、ユーザの入力に応じて、上記翻訳画像の表示および非表示を切り替え、
上記文字列装飾表示制御手段は、上記翻訳表示制御手段が上記翻訳画像を非表示とした場合に上記装飾された画像を表示することを特徴とする情報処理装置。
上記文字列装飾表示制御手段は、上記文字列に含まれる単語ごとに装飾することを特徴とする請求項１に記載の情報処理装置。
いずれの上記単語がユーザの入力によって選択されたかを判定する選択単語判定手段をさらに備え、
上記翻訳画像生成手段は、上記単語ごとに、他の言語に翻訳した結果を表す画像である翻訳画像を生成し、
上記翻訳表示制御手段は、上記選択単語判定手段が選択されたと判定した装飾された上記単語と対応する画像に、当該単語に対応する上記翻訳画像を重畳して表示させることを特徴とする請求項２に記載の情報処理装置。
上記文字列装飾表示制御手段は、上記画像に含まれる文字列を示す部分へ下線を引いた画像を表示させることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
請求項１から４のいずれか１項に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。