JP2005055968A - 携帯情報端末 - Google Patents

Abstract

【課題】従来の携帯情報端末では、画面が非常に小さいため、認識対象選択中に、認識対象となる文字の確認をすることが困難であった。また、手ぶれによる画像のズレの発生を確認することが困難であった。
【解決手段】上記目的を達成するため、画像を入力する画像入力部と、入力した画像データを表示する表示部と、利用者がボタンなどの入力操作する操作部と、画像データの特定領域の抽出及び画像の縮小を行う画像処理部と、画像内の文字を認識する文字認識処部と、全体の制御を行う制御部を備えた携帯情報端末あるいは携帯電話において、認識対象選択中に画像入力部から取得した画像データより、認識対象領域付近、又は認識対象文字行、又は認識対象文字列を全体画像に比べて拡大して表示部に別ウインドウとして表示する携帯情報端末、又は方法を提供する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯電話やＰＤＡなどの携帯情報端末であって、特に電子カメラなどを有して画像データを取得できるものにおける文字認識技術の向上に関する。
【０００２】
【従来の技術】
上記の技術分野においては、携帯端末によって画像を採取し文字認識する場合に、採取した低解像度の画像から文字行位置の抽出処理を行った後、その文字行位置の部分画像に対し拡大表示を行うことにより、文字行部分画像を高解像度化して認識精度の向上を図る技術思想が提案されている（特許文献１）。
【０００３】
【特許文献１】
特開２００３−７８６４０号公報
【０００４】
【発明が解決しようとする課題】
携帯情報端末の画面は比較的小さいので、その画面に撮影対象の文字列を全て表示すると、画面上における文字が小さくなってしまい、操作者が文字認識前に画面上で視認できない。
【０００５】
特許文献１に記載された技術思想では、抽出された文字行の拡大は、文字認識の精度向上のために行われるので、文字認識の指示がなされた後に文字行を拡大するものであるため、文字認識の対象が間違っていた場合、文字認識をやり直さねばならず手間であるという課題がある。また、携帯情報端末は利用者が手でもって扱うため、手ぶれが生じるところ、画面に撮影対象の文字が小さく表示されるため画面を見ても手ぶれの程度が分かりにくく、文字認識の精度を落とす程の手ぶれであるか否かの判断がつかない。手ぶれの程度が大きく、文字認識の精度が悪かった場合、文字認識をやり直さなけれならず手間であるという課題がある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために例えば、以下の手段を採用する。
【０００７】
撮影対象の画像を取得する画像取得部と、操作入力を受ける操作部と、画像取得部で取得した画像に含まれる文字を識別する文字識別部と、画像取得部が取得した画像及び文字認識部による文字認識結果を表示する表示部とを有する携帯情報端末であって、画像取得部で取得した画像から文字列を抽出する文字列抽出部と、画像取得部で取得した画像を処理して、文字列抽出部で抽出した文字列を含んで且つ縮小率の異なる複数の画像を作成する画像処理部と、画像処理部で作成した複数の画像を表示部の同じ画面に表示し、且つ、操作部への操作入力を受けて文字識別部の識別結果を表示する表示制御部とを有する。
【０００８】
【発明の実施の形態】
以下、本発明に好適な実施形態の例を実施例１と２として、図１から図５を用い説明する。
【０００９】
図１は、画像入力部を持つ携帯情報端末あるいは携帯電話１００（又は単に携帯端末、携帯装置とも言う）の概略を示す構成図である。
【００１０】
名刺や雑誌、あるいは看板などの撮影対象の画像が、電子カメラ等の画像入力部（取得部）１１０から入力され、画像処理部１６０によって後述する画像処理がされ、文字認識部１５０において文字認識処理を行い、画像処理部１６０で処理された画像や文字認識部１５０の文字認識結果を表示部１２０に表示する。
【００１１】
第１表示ウインドウ１２３と第２表示ウインドウ１２２は、画像入力部１１０で入力した画像を表示しており、見易いようそれぞれに表示する画像の縮小率が異なる（第２表示ウインドウ１２２のほうが縮小率は小さい。すなわち、撮影対象の文字を大きく表示している）。カーソル１２１は、文字認識する単語や文字列の位置を示すもので、利用者は携帯電話１００自体又は操作部１３０の矢印キーを操作して所望の単語等にカーソル１２１を合わせる。なお、第２表示ウインドウに認識後の文字列を表示してもよいが、文字認識に時間がかかると携帯電話１００やカーソル１２１の移動に処理が追いつかない可能性があるため文字認識前の画像を表示している。
【００１２】
操作部１３０は、利用者が一般的に電話をかけるときなどに使用されるものであるが、他に利用者が表示部１２０に表示された画像の認識を開始する時に押下する認識開始ボタン１３１を有する。認識対象の画像及び文字認識結果は内部メモリや外部記憶装置（メモリカード他）等の記憶部に記憶される。
【００１３】
画像入力部１１０、表示部１２０、操作部１３０、文字認識部１５０、画像処理部１６０の各部の制御は、ＣＰＵ等から構成される制御部１４０によってされる。
【００１４】
上述及び以下に説明する各部は、手段、機構、ユニットとも表現でき、また、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの結合によって処理、制御される機能である。
【００１５】
実施例１：
図２は、図１の携帯端末を使用した第１の実施形態の処理手順を説明する図である。以下に示す処理、制御は制御部１４０によって主に行われるが説明を省略する。
【００１６】
携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力部１１０で、撮影対象（名刺、雑誌、看板など）の画像をディジタルデータとして入力する（ステップ２０１）。なお、利用者は、認識したい画面上の文字列の上にカーソル１２１が位置されるよう携帯電話１００自体又は操作部１３０を操作する。
【００１７】
入力した画像を画像処理部１６０のカーソル位置画像抽出部１６１にてカーソル位置から上下左右に決められた領域内の画像を抽出する（ステップ２０２）。カーソル位置付近の抽出した画像に対して、文字行抽出部１５１にて文字行を抽出し（ステップ２０３）、抽出した文字行に対して単語抽出部１５２にて単語の外接矩形の座標を取得する（ステップ２０４）。画像縮小部１６２にて、単語の外接矩形の座標より単語領域（挟領域とも言う）の画像を第２表示ウインドウ１２２に表示するための画像サイズの縮小率（低い場合には文字が大きく表示され、と、縮小率が０や負（すなわち拡大）の場合もあり得る。縮小率の変更には、画素数の変更によるサイズ変更も含む）と、画像の広領域（第２表示ウインドウに表示する領域と比較して広いという意味であり、画像として取得された撮影対象物の領域全体又は利用者が画像入力部１１０の撮影エリアを認識できる程度の広さの領域である。）第１表示ウインドウ１２３に表示するための縮小率を算出し、画像の縮小を行い（ステップ２０５）、表示制御部によって画面を編集して表示部１２０に出力する（ステップ２０６）。
【００１８】
カーソルが移動（携帯電話１００自体の移動を含む）した場合（ステップ２０７）には、ステップ２０１からステップ２０６を再度行う。
【００１９】
利用者による第２表示ウインドウ１２２に認識対象文字列を確認後、認識開始ボタン１３１が押下（ステップ２０６）されると、抽出された単語に対して文字識別部１５４にて文字識別を行い（ステップ２０９）、認識結果を表示制御部で画面に編集して表示部１２０に出力する（ステップ２１０）。
【００２０】
図３は、ステップ２０５における画像縮小処理の詳細を説明する図である。携帯情報端末の表示画面は一般的には小さく（実際の画像サイズは表示サイズより大きく）、画像入力部１１０から取得した画像データ３００は第１表示ウインドウ３１１には縮小して表示している場合が多い。
【００２１】
第１表示ウインドウ３１１には、画像入力部１１０から取得した画像データ３００が全て収まるように画像の縮小を行う。第２表示ウインドウ３１２には、単語抽出部１５２にて取得した単語の外接矩形座標３０１，３０２より単語矩形３０３のサイズを算出して、表示部１２０のサイズと比較して単語が第２表示ウインドウ３１２に収まるように画像の縮小を行う。画像入力部１１０から取得した画像データをそのまま使用又は拡大して使用しても良いが、単語の長さや矩形の大きさに合わせて表示することで操作者に見易い画面を提供できる。本例では、第２表示ウインドウ３１２自体のサイズは固定であるが、画像の縮小と併せて第２表示ウインドウのサイズを単語矩形３０３のサイズにより決定するとさらに見易さ（使い勝手）が向上する。
【００２２】
以上説明した第１実施形態の特徴は、利用者が認識対象単語を選択中に、携帯電話１００は画像入力部１１０から取得された画像に含まれる認識対象単語を検出して、認識対象単語の表示をすることで、利用者が認識対象単語の確認を容易に行うことができる。
【００２３】
なお、単語の代わりに文字行を表示しても良いが、単語まで抽出して表示することで、比較的小さい携帯電話１００の表示部１２０であっても見易くなる。単語と文字行を総称して文字列ともいう。
【００２４】
また、第２表示ウインドウに表示する挟領域（第１表示ウインドウに表示する撮影対象の領域との比較において狭いという意味）として、カーソル１２１周辺の文字列を抽出する代わりに、カーソル１２１周辺の予定された面積内の領域を表示しても良いが、撮影対象の文字列の大きさや長さが考慮されないため、文字列が欠けてしまったり、小さな表示になってしまったりという弊害があり得る。
【００２５】
実施例２：
図４は、本発明に係る第２の実施形態の処理手順を説明する図である。図４の中の符号が図２と同一のステップは、同一機能を有するものとするためここでの説明は省略する。
【００２６】
画像取得（ステップ２０１）後にカーソル領域画像抽出により抽出した画像データとステップ４０３で１つ前に退避した記憶部に記憶しているカーソル領域画像データのマッチングを画像処理部１４０で行い（ステップ４０１）、手ぶれ等による画像の合致度又はズレの大きさを検出して判断する。
【００２７】
ステップ４０２ではカーソル領域画像マッチング（ステップ４０１）で画像のズレが小さい（合致度が高い）と判定されていれば第２表示ウインドウ１２２内を赤色で表示する（メッセージボックスを表示する、又は音を出す等でも良い）ことで利用者に手ぶれが小さい状態であることを通知する。
【００２８】
図５は、ステップ４０１におけるカーソル領域画像マッチング処理の一例を説明する図である。カーソル領域画像のマッチング処理ではステップ４０１でカーソル領域画像抽出により抽出した画像データ５００とステップ４０３で退避した１つ前のカーソル領域画像データ５０１を重ね合わせて５２０、画像データ５００の黒画素に重なりあっている画像データ５０１の黒画素の割合（合致度）がある閾値以上であれば、手ぶれによる画像のズレは小さいと判断する。
【００２９】
以上説明した第２実施形態の特徴は、利用者が認識対象文字を選択中に、携帯電話１００から時系列に画像入力部１１０から取得される現在のカーソル領域画像フレームと、１つ前のカーソル領域画像フレームをマッチングし、画像ズレを通知することで、利用者の手ぶれによる認識対象撮影後の画像ぶれを未然に防止することができる。
【００３０】
なお、カーソル領域画像ではなく元の画像３００を時系列で比較しても良いが、比較領域が広くなって処理が遅くなる懸念があること、又は、認識対象であるカーソル領域画像のズレが認識精度に影響することから、カーソル領域画像の比較が望ましい。
【００３１】
【発明の効果】
以上に説明したように、認識対象領域の表示を別ウインドウにて表示することで、利用者が認識対象画像選択中に認識対象を容易に撮影することができる。
【００３２】
また、利用者が認識対象領域選択中に上記表示ウインドウにて手ぶれによる画像のズレを確認することで、認識領域選択後の画像のズレを未然に防ぐことができる。
【図面の簡単な説明】
【図１】携帯端末の詳細構成図を示す。
【図２】第１の実施形態に係る文字認識方法のフロー図である。
【図３】画像縮小処理の詳細を説明する図である。
【図４】第２の実施形態に係る文字認識方法のフロー図である。
【図５】第２の実施形態に係るカーソル領域画像マッチング処理の詳細を説明する図である。
【符号の説明】
１００…携帯情報端末（携帯端末）、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…制御部、１５０…文字認識部、１６０画像処理部。

Claims (4)

1. 撮影対象の画像を取得する画像取得部と、操作入力を受ける操作部と、前記画像取得部で取得した画像に含まれる文字を識別する文字識別部と、前記画像取得部が取得した画像及び前記文字識別部による文字識別結果を表示する表示部とを有する携帯情報端末であって、
   前記画像取得部で取得した画像から文字列を抽出する文字列抽出部と、
   前記文字列抽出部で抽出した文字列を含んで且つ縮小率の異なる複数の画像を前記画像取得部で取得した画像を処理して作成する画像処理部と、
   前記画像処理部で作成した複数の画像を前記表示部に共に表示し、且つ、前記操作部への操作入力を受けて前記文字列抽出部で抽出した文字列についての前記文字識別部の識別結果を表示する表示制御部とを有することを特徴とする携帯情報端末。
2. 請求項１に記載の携帯情報端末であって、
   前記表示部の画面は、前記画像取得部で取得した画像の広域を表示する第１ウインドウと前記第１ウインドウに表示された広域よりも狭い領域を示し且つ縮小率が低い画像を表示する第２ウインドウを含み、
   前記表示制御部は、前記第２ウインドウのサイズを前記画像処理部が作成する画像の大きさに応じて決定することを特徴とする携帯情報端末。
3. 請求項１又は２に記載の携帯情報端末であって、
   前記画像処理部は、前記文字列抽出部が抽出した文字列の幅と前記表示部の幅とに基づいて画像の縮小率を決定することを特徴とする携帯情報端末。
4. 請求項１から３のいずれかに記載の携帯情報端末であって、
   前記画像処理部が作成した画像を順次記憶する記憶部を有し、
   前記画像処理部は、作成した画像と前記記憶部に記憶している画像とを比較してそれぞれの画像における前記文字列抽出部が抽出した文字列の合致度又はズレを判断し、
   前記画像処理部で合致度又はズレの大きさが所定以上であると判断したとき、前記表示制御部は、前記表示部に通知を表示することを特徴とする携帯情報端末。

Images