JP2015064781A - 情報機器および制御プログラム - Google Patents

Abstract

【課題】ＯＣＲ処理および翻訳処理の精度向上が可能な情報機器を提供する。
【解決手段】スマートフォン（１）は、翻訳対象となる文字を含む第１対象画像をユーザの入力操作に応じて回転させて第２対象画像を生成する角度補正部（２３）と、第２対象画像を文字認識処理の対象として、第２対象画像に含まれる文字を認識するＯＣＲ処理部（２４）と、ＯＣＲ処理部（２４）において認識に成功した文字を翻訳対象として翻訳結果を生成し、第２対象画像に翻訳結果を翻訳対象に重畳させた表示用画像を生成する翻訳処理部（２５）と、を備える。
【選択図】図１

Description

本発明は、情報機器に関する。

現在、ＯＣＲ（Optical Character Recognition，光学文字認識）処理の技術は、イメージスキャナ、ＰＣ（Personal Computer）、およびスマートフォン等の様々な情報機器に適用されている。

特に、近年では、米国Quest Visual社のWord Lensというスマートフォン向けのアプリケーションに、ＯＣＲ処理の技術が適用されている。Word Lensは、スマートフォンのカメラが被写体を撮影することによって生成された画像に対してＯＣＲ処理を行うことにより、ＯＣＲ処理によって得られた文字を翻訳した結果を、カメラアプリケーションのプレビュー画像に表示させるという機能を有している。

ところで、ＯＣＲ処理を行う対象となる画像が傾いている場合（すなわち、画像が正立していない場合）には、ＯＣＲ処理の精度が低下し、画像に含まれている文字が、正しく認識されないという問題がある。特許文献１には、画像の回転角度（傾き角）を自動的に補正することによって、ＯＣＲ処理の精度を向上する方法が開示されている。

特開２００５−１９６５６３号公報（２００５年７月２１日公開）

特許文献１の方法では、画像の回転角度の算出に先立ち、画像内の文字を含む矩形を自動的に抽出している。ゆえに、画像の回転角度がある程度以上の値である場合には、矩形の抽出が適切に行われず、ＯＣＲ処理の精度を向上するための画像の回転角度の補正が自動的に行うことができないという問題があった。

また、上述のWord Lensは、カメラによって撮影された画像の回転角度を補正する機能を有していない。それゆえ、撮影時に水平に安定した足場がない場合、または、被写体を撮影することが可能な位置が限られている場合等には、ユーザが正立した画像を撮影することが困難であるため、Word LensによるＯＣＲ処理および翻訳処理が適切に行われないという問題があった。

本発明は、上記の問題を解決するためになされたものであり、その目的は、ＯＣＲ処理および翻訳処理の精度を向上させることが可能な情報機器を提供することにある。

上記の課題を解決するために、本発明の一態様に係る情報機器は、翻訳対象となる文字を含む第１対象画像を取得し、当該第１対象画像に含まれる文字を翻訳する情報機器であって、ユーザの入力操作に応じて上記第１対象画像を回転させた第２対象画像を生成する画像回転手段と、上記第２対象画像を文字認識処理の対象として、上記第２対象画像に含まれる文字を認識する文字認識手段と、上記文字認識手段において認識に成功した文字を翻訳対象として翻訳結果を生成し、上記第２対象画像に上記翻訳結果を上記翻訳対象に重畳させた表示用画像を生成する翻訳処理手段と、を備えている。

本発明の一態様に係る情報機器によれば、ＯＣＲ処理および翻訳処理の精度を向上させることが可能な情報機器を提供できるという効果を奏する。

本発明の実施形態１に係るスマートフォンの構成を示すブロック図である。 本発明の実施形態１に係るスマートフォンの翻訳処理の流れを示す図である。 （ａ）〜（ｄ）は、本発明の実施形態１に係るスマートフォンにおいて、画像に含まれる文字に対して、ＯＣＲ処理および翻訳が行われた場合を例示する図である。 本発明の実施形態２に係るスマートフォンの構成を示すブロック図である。 本発明の実施形態２に係るスマートフォンの翻訳処理の流れを示す図である。 本発明の実施形態２に係るスマートフォンの翻訳処理の流れの別の一例を示す図である。 （ａ）〜（ｂ）は、本発明の実施形態２に係るスマートフォンにおいて、画像に含まれる文字に対して、ＯＣＲ処理および翻訳が行われた場合を例示する図である。

〔実施形態１〕
本発明の実施形態１について図１〜図３に基づいて説明すれば、以下の通りである。

（スマートフォン１の構成）
図１は、本実施形態のスマートフォン１（情報機器）の構成を概略的に示す機能ブロック図である。スマートフォン１は、タッチパネル１０、主制御部２０、撮影部３０、および記憶部４０を備える。

タッチパネル１０は、例えば、静電容量方式のタッチパネルであり、表示部１１および入力部１２（入力面）を備えている。表示部１１は、例えば液晶ディスプレイである。入力部１２は、ユーザによる入力操作を受け付けるユーザインターフェースであり、表示部１１の表示画面と重畳する位置に配置されている。そのため、入力部１２は、表示部１１の表示画面に対する入力操作を検出することができる。

入力部１２は、指（またはタッチペン等）によるタッチ入力が行われたことを示す入力信号（例えば、静電容量の変化が生じた位置、および静電容量の変化量を示す信号）を、主制御部２０が備える入力位置検出部２２へ与える。

撮影部３０は、例えば、表示部１１が配設されている面とは反対の面（すなわち、スマートフォン１の背面）に設けられたメインカメラである。撮影部３０は、被写体を撮影することによって生成した画像を、主制御部２０が備える画像取得部２１へ与える。記憶部４０は、スマートフォン１において使用される各種データを格納する記憶装置である。

主制御部２０は、スマートフォン１が備える各種ハードウェア（例えば、タッチパネル１０および撮影部３０）の動作、およびスマートフォン１の機能を統括的に制御する。また、主制御部２０は、以下に述べる画像取得部２１、入力位置検出部２２、角度補正部２３（画像回転手段、回転ボタン表示手段）、ＯＣＲ処理部２４（文字認識手段）、および翻訳処理部２５（翻訳処理手段）として機能する。

画像取得部２１は、撮影部３０からの画像を表示部１１に表示させる。なお、画像取得部２１は、撮影部３０が現在撮影している画像を、カメラアプリケーションのプレビュー画像として、表示部１１に表示させることもできる（後述の図３の（ａ）を参照）。

入力位置検出部２２は、入力部１２からの入力信号に基づき、入力部１２に対するユーザからの入力が与えられた位置である入力位置を検出する。表示部１１には、ユーザによる入力操作の対象として各種のボタン（またはアイコン）が表示されており、ユーザは、各ボタンをタップすることにより、入力位置検出部２２を介して、当該ボタンに対応付けられた動作をスマートフォン１に行わせることができる。また、ユーザは、ボタンのタップに限らず、入力部１２におけるドラッグ操作等によっても、入力位置検出部２２を介して、所定の各種の動作をスマートフォン１に行わせることができる。

角度補正部２３（画像回転手段）は、表示部１１に表示されている画像を回転させ、画像の回転角度を調整（補正）する機能を有している。角度補正部２３（回転ボタン表示手段）は、「左回転」または「右回転」のボタン（回転ボタン）を表示部１１に表示させる。ユーザが、表示部１１に表示されている回転ボタンをタップすることによって、角度補正部２３における処理が行われる。

なお、本実施形態では、角度補正部２３が、画像回転手段としての機能に加えて、回転ボタン表示手段としての機能を備えるように構成している場合を例示しているが、画像回転手段と回転ボタン表示手段とは、個別に設けられてもよい。例えば、角度補正部２３に画像回転手段としての機能のみを備えさせ、回転ボタン表示手段としての機能を有する機能ブロックを、主制御部２０内に別途に設けてもよい。

ユーザが「左回転」のボタンを１回タップするごとに、角度補正部２３は、画像を反時計方向に１°回転させる。また、ユーザが「右回転」のボタンを１回タップするごとに、角度補正部２３は、画像を時計方向に１°回転させる（後述の図３の（ｃ）を参照）。

なお、回転ボタンを１回タップするごとの画像の回転角度は、１°に限定されず、スマートフォン１の仕様に応じた他の適当な値（例えば５°）でもよい。また、画像の回転の中心位置（回転中心位置）は、例えば、表示部１１の中心位置である。なお、画像の回転の中心位置は、表示部１１の中心位置以外の所定の位置であってもよく、角度補正部２３に、画像の回転の中心位置を示す座標があらかじめ与えられていればよい。

そして、角度補正部２３は、回転後の画像を、表示部１１に表示させる。また、角度補正部２３は、回転後の画像を、ＯＣＲ処理部２４に与える。なお、角度補正部２３において、画像の回転が行われない場合には、画像取得部２１が撮影部３０から取得した画像が、そのまま角度補正部２３からＯＣＲ処理部２４に与えられる。

ＯＣＲ処理部２４は、表示部１１に表示されている画像に対して、ＯＣＲ処理（文字認識処理）を行う。すなわち、ＯＣＲ処理部２４は、画像に含まれる文字を、計算機による処理が可能な文字コードに変換する。そして、ＯＣＲ処理部２４は、ＯＣＲ処理の結果として得られた文字コードと当該文字コードに対応する画像中の文字の座標とを、翻訳処理部２５に与える。

なお、ＯＣＲ処理部２４において、ＯＣＲ処理の対象となる画像は、角度補正部２３における回転が行われた後の画像（第２対象画像）であってもよいし、または、角度補正部２３における回転が行われる前の画像（第１対象画像）であってもよい。

翻訳処理部２５は、ソース言語（例えば、英語）の文字コードを、所定のターゲット言語（例えば、日本語）に翻訳する機能を有する。翻訳処理部２５は、記憶部４０にあらかじめ記録されている辞書データ（ソース言語の各語の語義が、ターゲット言語により示された２言語辞書のデータ）を参照することによって、上述の翻訳を行う。

翻訳処理部２５は、ＯＣＲ処理部２４から与えられた文字コードに対して翻訳を行い、翻訳結果を生成する。そして、翻訳処理部２５は、翻訳が行われた文字コードに対応する画像中の文字の座標を参照し、画像内の翻訳対象の文字に翻訳結果を重畳させた表示用画像を生成し、当該表示用画像を表示部１１に表示させる。翻訳結果を重畳させる対象となる画像は、上述の第１対象画像または第２対象画像のいずれでもよい（後述の図３の（ｂ）および（ｄ）を参照）。

（スマートフォン１における翻訳の処理の流れ）
図２は、スマートフォン１における翻訳の処理の流れを例示するフローチャートである。ユーザは、スマートフォン１に入力操作を行うことにより、撮影部３０を起動させ、撮影部３０による被写体の撮影を開始する（Ｓ１）。画像取得部２１は、撮影部３０が被写体を撮影することによって生成した画像を取得し（Ｓ２）、当該画像を表示部１１に表示させる。

ＯＣＲ処理部２４は、表示部１１に表示されている画像に対して、ＯＣＲ処理を行い（Ｓ３）、画像に含まれる文字を、計算機による処理が可能な文字コードに変換する。翻訳処理部２５は、文字コードに対して翻訳を行い、翻訳結果を生成する（Ｓ４）。

そして、翻訳処理部２５は、画像内の翻訳対象の文字に翻訳結果を重畳させて、表示部１１に表示させる。すなわち、翻訳処理部２５は、生成した表示用画像を表示部１１に表示させる（Ｓ５）。角度補正部２３は、ユーザが表示部１１に表示されている回転ボタン（「左回転」または「右回転」のボタン）をタップしたか否かを確認する（処理Ｓ６）。

ユーザが表示部１１に表示されている回転ボタンをタップした場合（Ｓ６においてＹＥＳ）、角度補正部２３は、ユーザがタップした回転ボタン（「左回転」または「右回転」のボタン）の方向に応じて、ユーザが回転ボタンを１回タップするごとに、所定の方向（反時計方向または時計方向）に、所定の角度（例えば１°）だけ画像を回転させる（Ｓ７）。そして、処理Ｓ３に戻り、処理Ｓ３〜Ｓ６が反復される。

他方、ユーザが表示部１１に表示されている回転ボタンをタップしない場合（Ｓ６においてＮＯ）には、画像の回転が行われず、表示部１１には、処理Ｓ５において表示された翻訳結果が、継続して表示されている。

（スマートフォン１の効果）
スマートフォン１の効果について、図３を用いて説明する。図３の（ａ）〜（ｄ）は、スマートフォン１において、被写体が撮影された画像に含まれる英語の文字「Chapter 1 This is a pen. How are you?」に対して、ＯＣＲ処理および翻訳が行われた場合を例示する図である。図３の（ａ）は、撮影部３０が現在撮影している被写体の画像を、カメラアプリケーションのプレビュー画像として、表示部１１に表示されている時点を例示する図である。

図３の（ｂ）は、撮影部３０が被写体を撮影することによって生成された画像に、ＯＣＲ処理および翻訳が行われた場合を例示する図である。図６の（ｂ）では、ＯＣＲ処理を行う対象となる画像が傾いているために、ＯＣＲ処理部２４におけるＯＣＲ処理の精度が低下し、画像に含まれている文字の全ては、正しく認識されていない。

図６の（ｂ）の場合、ＯＣＲ処理部２４は、英語の文字の一部である「is」のＯＣＲ処理にのみ成功している。このため、翻訳処理部２５は、ＯＣＲ処理部２４におけるＯＣＲ処理が成功した英語の文字「is」に対してのみ翻訳処理を行い、日本語の文字「です」を翻訳結果として生成する。そして、翻訳処理部２５による翻訳結果としての日本語の文字「です」が、英語の文字「is」に重畳され、表示部１１に表示されている。

図３の（ｃ）は、ユーザが表示部１１に表示されている「右回転」のボタンをタップすることによって、画像の回転角度を調整している時点を例示する図である。ユーザが、「右回転」のボタンを１回タップするごとに、画像が時計方向に１°回転する。ユーザが画像を適当な回数だけ回転させる操作を行うことにより、ユーザは、画像が概ね正立するように、画像の回転角度を手動で調整することができる。

図３の（ｄ）は、回転角度が調整された画像に、ＯＣＲ処理および翻訳が行われた場合を例示する図である。図３の（ｄ）では、ＯＣＲ処理を行う対象となる画像が概ね正立しているために、ＯＣＲ処理の精度が低下せず、画像に含まれている文字の全てが、正しく認識されている。このため、上述の英語の文字の全てがＯＣＲ処理され、日本語の文字「１章 これはペンです ごきげんいかが？」が、翻訳結果として上述の英語の文字に重畳され、表示部１１に表示されている。

従って、ユーザは、正立した画像を撮影することができなかった場合でも、表示部１１に表示された翻訳結果を確認しながら、適切な翻訳結果が得られるまで、回転ボタンをタップし所定の角度（例えば１°）ずつ画像の回転角度を調整することができる。それゆえ、スマートフォン１によれば、画像の回転角度を調整するためのユーザによる操作の利便性が向上する。

〔実施形態２〕
本発明の他の実施形態について、図４〜図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（スマートフォン２の構成）
図４は、本実施形態のスマートフォン２（情報機器）の構成を概略的に示す機能ブロック図である。スマートフォン２は、実施形態１のスマートフォン１が備える主制御部２０を、主制御部２６によって置き換えたものである。本実施形態の主制御部２６は、実施形態１の主制御部２０において、（ｉ）回転中心設定部２７（回転中心算出手段）をさらに付加し、かつ、（ｉｉ）角度補正部２３を、角度補正部２８（画像回転手段）によって置き換えたものである。

回転中心設定部２７は、後述の角度補正部２８における画像の回転処理に先立ち、回転の中心位置を設定する機能を有している。回転中心設定部２７は、入力位置検出部２２から２つの入力位置を取得し、ユーザが、入力部１２上に２本の指を置いていることを検知する。

回転中心設定部２７は、ユーザが入力部１２上に２本の指を置いた時点における、２本の指の位置にそれぞれ対応する２つの入力位置の中点を、画像の回転の中心位置（回転中心位置）として設定してもよい。また。回転中心設定部２７は、表示部１１の中心位置等の所定の位置（すなわち、実施形態１の角度補正部２３と同様の画像の回転の中心位置）を、画像の回転の中心位置として設定してもよい。

回転中心設定部２７は、画像の回転の中心位置を示す座標を、角度補正部２８に与える。なお、回転中心設定部２７において、２つの入力位置の中点、または表示部１１の中心位置のいずれを、画像の回転の中心位置として設定するかについては、回転中心設定部２７の処理に先立ち、ユーザが任意に設定することができる。

本実施形態の角度補正部２８は、実施形態１の角度補正部２３と同様に、表示部１１に表示されている画像を回転させ、画像の回転角度を調整する機能を有している。但し、本実施形態の角度補正部２８は、ユーザの入力操作を受け付けるためのインターフェースが、実施形態１の角度補正部２３とは異なる。本実施形態では、ユーザが、入力部１２上に２本の指を置いた後に、入力部１２上において２本の指を回転させることによって、角度補正部２８における処理が行われる。

角度補正部２８は、入力位置検出部２２から取得した２つの入力位置の時間的な変化を参照し、２つの入力位置が回転していることを検出することにより、ユーザが２本の指を反時計方向または時計方向に回転させる操作を行っていることを認識する。

ユーザが２本の指を反時計方向に回転させた場合、角度補正部２８は、画像を反時計方向に回転させる。また、ユーザが２本の指を時計方向に回転させた場合、角度補正部２８は、画像を時計方向に回転させる（後述の図７の（ａ）を参照）。

ここで、画像の回転の中心位置は、回転中心設定部２７において設定された位置である。なお、角度補正部２８における画像の回転角度は、ユーザが２本の指を回転させた角度（すなわち、２つの入力位置の回転角度）に比例した量として決定される。例えば、ユーザが２本の指を６０°回転させた場合には、角度補正部２８は、画像を３０°回転させる。なお、ユーザの２本の指の回転角度と、角度補正部２８における画像の回転角度との間の比例定数は、スマートフォン２の仕様に応じて、適宜設定されてよい。

そして、角度補正部２８は、実施形態１の角度補正部２３と同様に、回転後の画像を、表示部１１に表示させ、また、ＯＣＲ処理部２４に与える。なお、「左回転」または「右回転」の回転ボタンを表示部１１に表示させ、本実施形態の角度補正部２８に、実施形態１の角度補正部２３と同様の機能をさらに備えさせてもよい。

また、表示部１１の中心位置等の所定の位置を、画像の回転の中心位置として設定するようにスマートフォン２を構成する場合には、回転中心設定部２７を除外し、角度補正部２８に画像の回転の中心位置の座標をあらかじめ与えればよい。

（スマートフォン２における翻訳の処理の流れ：その１）
図５は、スマートフォン２における翻訳の処理の流れを例示するフローチャートである。図５の処理Ｓ１１〜Ｓ１８は、表示部１１の中心位置を、画像の回転の中心位置とする場合の処理の流れを例示している。なお、図５の処理Ｓ１１〜Ｓ１５は、上述の図４の処理Ｓ１〜Ｓ５と同様である。従って、図５の処理Ｓ１６〜Ｓ１８ならびにその前後の処理についてのみ説明する。

処理Ｓ１５の後に、回転中心設定部２７は、入力位置検出部２２から入力位置を取得し、２つの入力位置が入力部１２上にあるか否かを判定する（処理Ｓ１６）。そして、回転中心設定部２７が、２つの入力位置が入力部１２上にあると判定した場合（Ｓ１６においてＹＥＳ）、回転中心設定部２７は、さらに、２つの入力位置の時間的な変化を参照し、２つの入力位置が回転しているか否かを判定する（処理Ｓ１７）。

回転中心設定部２７は、２つの入力位置が回転していると判定した場合（Ｓ１７においてＹＥＳ）、表示部１１の中心位置を、画像の回転の中心位置として設定する。そして、角度補正部２８は、表示部１１の中心位置を画像の回転の中心位置として、２つの入力位置の回転方向に応じて、２つの入力位置の回転角度に比例する角度だけ画像を回転させる（処理Ｓ１８）。そして、処理Ｓ１３に戻り、処理Ｓ１３〜Ｓ１６が反復される。

他方、回転中心設定部２７が、２つの入力位置が入力部１２上にないと判定した場合（Ｓ１６においてＮＯ）、および、回転中心設定部２７が、２つの入力位置が回転していないと判定した場合（Ｓ１７においてＮＯ）には、画像の回転が行われず、表示部１１には、処理Ｓ１５において表示された翻訳結果が、継続して表示されている。

（スマートフォン２における翻訳の処理の流れ：その２）
図６は、スマートフォン２における翻訳の処理の流れを例示するフローチャートである。図６の処理Ｓ２１〜Ｓ２８は、２つの入力位置の中点を、画像の回転の中心位置とする場合の処理の流れを例示している。なお、図６の処理Ｓ２１〜Ｓ２７は、上述の図５の処理Ｓ１１〜Ｓ１７と同様である。従って、図６の処理Ｓ２８ならびにその前後の処理についてのみ説明する。

回転中心設定部２７は、２つの入力位置が回転していると判定した場合（Ｓ２７においてＹＥＳ）、２つの入力位置の中点を、画像の回転の中心位置として設定する。そして、角度補正部２８は、２つの入力位置の中点を画像の回転の中心位置として、２つの入力位置の回転方向に応じて、２つの入力位置の回転角度に比例する角度だけ画像を回転させる（処理Ｓ２８）。そして、処理Ｓ２３に戻り、処理Ｓ２３〜Ｓ２６が反復される。

（スマートフォン２の効果）
スマートフォン２の効果について、図７を用いて説明する。図７の（ａ）および（ｂ）は、スマートフォン２において、上述の図３と同様に、被写体が撮影された画像に含まれる英語の文字に対して、ＯＣＲ処理および翻訳が行われた場合を例示する図である。

図７の（ａ）は、図３の（ｃ）に相当する図であり、ユーザは入力部１２上において、２本の指を時計方向に回転させる操作を行うことによって、画像の回転角度を調整している時点を例示する図である。ユーザが時計方向に２本の指を回転した角度に比例して、画像の時計方向の回転角度が決定される。ユーザが２本の指を適当な方向に、かつ適当な角度だけ回転させる操作を行うことにより、ユーザは画像が概ね正立するように、画像の回転角度を手動で調整することができる。

図７の（ｂ）は、図３の（ｄ）と同様の図であり、回転角度が調整された画像に、ＯＣＲ処理および翻訳が行われた場合を例示する図である。なお、図７の（ｂ）は、実施形態１と同様に、表示部１１の中心位置が、画像の回転の中心位置として設定されている場合を例示している。図７の（ｂ）においても、図３の（ｄ）と同様に、画像に含まれている英語の文字の全てがＯＣＲ処理され、かつ、翻訳結果が当該英語の文字に重畳され、表示部１１に表示されている。

従って、ユーザは、正立した画像を撮影することができなかった場合でも、表示部１１に表示された翻訳結果を確認しながら、画像の回転角度を手動で調整することによって、適切な翻訳結果を得ることができる。スマートフォン２では、１回の操作当たりの画像の回転角度をユーザが容易に調整できるので、ユーザの操作の利便性が向上する。

また、画像の回転の中心位置として、表示部１１の中心位置が設定される場合には、ユーザが入力部１２のどの位置において２本の指を回転させても、表示部１１の中央付近の位置に翻訳結果を表示させることができるので、翻訳結果の視認性が向上する。

また、画像の回転の中心位置として、２つの入力位置の中点が設定される場合には、ユーザが表示部１１の所望の位置に、翻訳結果を表示させることができるので、表示部１１の画面レイアウトの自由度が向上する。

なお、上述の実施形態１および２では、情報機器の一例として、タッチパネル１０を内蔵したスマートフォン１および２を例示しているが、本発明は、タッチパネル１０を入力装置として動作する他の情報機器（例えばＰＣ）についても適用可能である。従って、タッチパネル１０は情報機器に外付けされた外部の入力装置であってもよい。撮影部３０もまた、情報機器に内蔵されている必要はなく、情報機器に外付けされていてもよい。

〔実施形態３〕
スマートフォン１および２の制御ブロック（特に主制御部２０および２６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、スマートフォン１および２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備える。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る情報機器（スマートフォン１）は、翻訳対象となる文字を含む第１対象画像を取得し、上記第１対象画像に含まれる文字を翻訳する情報機器であって、ユーザの入力操作に応じて上記第１対象画像を回転させた第２対象画像を生成する画像回転手段（角度補正部２３）と、上記第２対象画像を文字認識処理の対象として、上記第２対象画像に含まれる文字を認識する文字認識手段（ＯＣＲ処理部２４）と、上記文字認識手段において認識に成功した文字を翻訳対象として翻訳結果を生成し、上記第２対象画像に上記翻訳結果を上記翻訳対象に重畳させた表示用画像を生成する翻訳処理手段（翻訳処理部２５）と、を備えている。

上記の構成によれば、ユーザは、被写体の撮影条件が限られている等の理由により、高精度な文字認識処理が行われない画像（すなわち、正立しておらず傾いている画像）が第１対象画像として得られた場合でも、自身の入力操作によって対象画像の回転角度を手動で調整することにより、文字認識処理、および後続の翻訳処理が適切に行われる第２対象画像（すなわち、概ね正立している画像）を得ることができる。

従って、ユーザは、翻訳処理手段において生成された表示用画像を表示装置（例えばスマートフォンのタッチパネル）によって確認しながら上述の調整操作を行うことができ、文字認識処理、および後続の翻訳処理に好適な第２対象画像を得ることができる。

また、本発明の態様２に係る情報機器は、上記態様１において、ユーザの入力操作を受け付けるタッチパネル（１０）と、ユーザが上記第１対象画像を回転させるための入力操作を行う対象である回転ボタンを、上記タッチパネルに表示させる回転ボタン表示手段（角度補正部２３）をさらに備え、上記画像回転手段は、ユーザが上記回転ボタンを１回タップするごとに、上記タッチパネルの所定の位置を回転中心位置として、所定の角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成してもよい。

上記の構成によれば、ユーザは、タッチパネルに表示された回転ボタンをタップし、所定の角度（例えば１°）ずつ第１対象画像を回転させながら第２対象画像を得ることができるので、画像の回転角度を調整するためのユーザによる操作の利便性を向上させることができる。

また、本発明の態様３に係る情報機器は、上記態様２において、上記画像回転手段は、ユーザが上記タッチパネル上において、２本の指を所定の方向に回転させたとき、上記タッチパネルの所定の位置を回転中心位置として、上記２本の指の回転角度に比例した角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成してもよい。

上記の構成によれば、ユーザが１回の操作当たりの画像の回転角度を容易に調整できるので、ユーザによる操作の利便性を向上させることができる。また、ユーザがタッチパネル上のどの位置において２本の指を回転させても、タッチパネルの所定の位置（例えば、中央付近の位置）に翻訳結果が含まれた表示用画像を表示させることができるので、翻訳結果の視認性を向上させることができる。

また、本発明の態様４に係る情報機器は、上記態様２において、ユーザが上記タッチパネル上に２本の指を置いた時点における、上記２本の指の位置にそれぞれ対応する２つの入力位置の中点を算出する回転中心算出手段（回転中心設定部２７）をさらに備え、上記画像回転手段は、ユーザが上記タッチパネル上において、上記２本の指を所定の方向に回転させたとき、上記中点を回転中心位置として、上記２本の指の回転角度に比例した角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成してもよい。

上記の構成によれば、上述の態様３と同様に、ユーザが１回の操作当たりの画像の回転角度を容易に調整できるので、ユーザによる操作の利便性を向上させることができる。また、２つの入力位置の中点を画像の回転の中心位置とすることにより、ユーザが表示部１１の所望の位置に、翻訳結果が含まれた表示用画像を表示させることができるので、タッチパネルの画面レイアウトの自由度を向上させることができる。

また、本発明の各態様に係る情報機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報機器が備える各手段として動作させることにより上記情報機器をコンピュータにて実現させる情報機器の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

本発明は、情報機器に利用することができる。

１，２ スマートフォン（情報機器）、１０ タッチパネル
２３ 角度補正部（画像回転手段、回転ボタン表示手段）
２４ ＯＣＲ処理部（文字認識手段）
２５ 翻訳処理部（翻訳処理手段）、２７ 回転中心設定部（回転中心算出手段）
２８ 角度補正部（画像回転手段）

Claims (5)

1. 翻訳対象となる文字を含む第１対象画像を取得し、上記第１対象画像に含まれる文字を翻訳する情報機器であって、
   ユーザの入力操作に応じて上記第１対象画像を回転させた第２対象画像を生成する画像回転手段と、
   上記第２対象画像を文字認識処理の対象として、上記第２対象画像に含まれる文字を認識する文字認識手段と、
   上記文字認識手段において認識に成功した文字を翻訳対象として翻訳結果を生成し、上記第２対象画像に上記翻訳結果を上記翻訳対象に重畳させた表示用画像を生成する翻訳処理手段と、を備えていることを特徴とする情報機器。
2. ユーザの入力操作を受け付けるタッチパネルと、
   ユーザが上記第１対象画像を回転させるための入力操作を行う対象である回転ボタンを、上記タッチパネルに表示させる回転ボタン表示手段をさらに備え、
   上記画像回転手段は、ユーザが上記回転ボタンを１回タップするごとに、上記タッチパネルの所定の位置を回転中心位置として、所定の角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成することを特徴とする請求項１に記載の情報機器。
3. 上記画像回転手段は、ユーザが上記タッチパネル上において、２本の指を所定の方向に回転させたとき、上記タッチパネルの所定の位置を回転中心位置として、上記２本の指の回転角度に比例した角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成することを特徴とする請求項２に記載の情報機器。
4. ユーザが上記タッチパネル上に２本の指を置いた時点における、上記２本の指の位置にそれぞれ対応する２つの入力位置の中点を算出する回転中心算出手段をさらに備え、
   上記画像回転手段は、ユーザが上記タッチパネル上において、上記２本の指を所定の方向に回転させたとき、上記中点を回転中心位置として、上記２本の指の回転角度に比例した角度だけ、上記第１対象画像を所定の方向に回転させて上記第２対象画像を生成することを特徴とする請求項２に記載の情報機器。
5. 請求項１から４のいずれか１項に記載の情報機器としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。

Images