JP2020086847A - 画像処理装置、制御方法及び制御プログラム - Google Patents

Abstract

【課題】入力画像から文字をより高精度に検出することを可能とする画像処理装置、制御方法及び制御プログラムを提供する。【解決手段】画像処理装置２００は、所定フォーマットに従った画像における所定領域の位置を記憶する記憶部２１０と、文字認識対象領域を含む入力画像を取得する画像取得部２２１と、入力画像又は入力画像から生成された画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成する補正画像生成部２２３と、補正画像から文字を検出する文字検出部２２４と、検出された文字に関する情報を出力する出力部２０３と、を有する。【選択図】図５

Description

本発明は、画像処理装置、制御方法及び制御プログラムに関し、特に、入力画像から文字を検出する画像処理装置、制御方法及び制御プログラムに関する。

近年、外国からの旅行者に関する情報を管理するために、スキャナを使用してパスポートを読み取った入力画像から、ＯＣＲ（Optical Character Recognition）技術を利用して、必要な情報を抽出する技術が利用されている。一般に、スキャナ又はスキャナと接続されるパーソナルコンピュータ等の画像処理装置は、パスポートを読み取った入力画像のＭＲＺ（Machine Readable Zone、機械読み取り範囲）に含まれる文字を認識する。しかしながら、パスポートの種類又はスキャナの読取方法等によっては、パスポートを読み取った入力画像内でＭＲＺに含まれる文字が正しく認識されない場合がある。

ドロップアウトカラーで印刷された文字枠を有する帳票の文字枠内に記載された文字を認識する文字認識装置が開示されている（特許文献１を参照）。この文字認識装置は、非ドロップアウトカラーの画像から文字枠を認識し、認識された文字枠を基にして文字切り出し基準位置を決定し、文字切り出し基準位置を基にしてドロップアウト画像から文字画像を切り出して文字を認識する。

また、スキャナ機器から入力した画像からテキストデータを取得する画像入力装置が開示されている（特許文献２を参照）。この画像入力装置は、予め登録されたＯＣＲ領域設定にしたがって切り出した部分領域画像に対して１回目のＯＣＲ処理を実行し、部分領域を拡張して２回目のＯＣＲ処理を実行し、２回のＯＣＲ結果に基づいてテキストデータを取得する。

また、文字列の方向への画像データの水平射影と、垂直方向への画像データの垂直射影を計算することにより、文字の区切り位置を検出する文字列認識装置が開示されている（特許文献３を参照）。

特開２００９−６９９５１号公報 特開２００８−４０５９８号公報 特開２００８−２５０７５４号公報

画像処理装置では、入力画像から文字をより高精度に検出することが望まれている。

画像処理装置、制御方法及び制御プログラムの目的は、入力画像から文字をより高精度に検出することを可能とすることにある。

実施形態の一側面に係る画像処理装置は、所定フォーマットに従った画像における所定領域の位置を記憶する記憶部と、文字認識対象領域を含む入力画像を取得する画像取得部と、入力画像又は入力画像から生成された画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成する補正画像生成部と、補正画像から文字を検出する文字検出部と、検出された文字に関する情報を出力する出力部と、を有する。

また、実施形態の一側面に係る制御方法は、記憶部及び出力部を有する画像処理装置の制御方法であって、所定フォーマットに従った画像における所定領域の位置を記憶部に記憶し、文字認識対象領域を含む入力画像を取得し、入力画像又は入力画像から生成された画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成し、補正画像から文字を検出し、検出された文字に関する情報を出力部に出力することを含む。

また、実施形態の一側面に係る制御プログラムは、記憶部及び出力部を有する画像処理装置の制御プログラムであって、所定フォーマットに従った画像における所定領域の位置を記憶部に記憶し、文字認識対象領域を含む入力画像を取得し、入力画像又は入力画像から生成された画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成し、補正画像から文字を検出し、検出された文字に関する情報を出力部に出力することを画像処理装置に実行させる。

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、入力画像から文字をより高精度に検出することが可能となる。

実施形態に従った画像処理システム１の概略構成を示す図である。 第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。 パスポートのページの一例を示す模式図である。 画像読取処理の動作を示すフローチャートである。 検出処理の動作を示すフローチャートである。 読取画像６００の一例を示す模式図である。 入力画像７００の一例を示す模式図である。 二値画像８００の一例を示す模式図である。 二値画像９００の一例を示す模式図である。 回転二値画像１０００の一例を示す模式図である。 補正画像１１００の一例を示す模式図である。 処理装置２３０の概略構成を示すブロック図である。

以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１００と、情報処理装置２００とを有する。

画像読取装置１００は、例えばスキャナ装置等である。画像読取装置１００は、フラットベッドタイプのスキャナ装置である。なお、画像読取装置１００は、原稿を搬送させて撮像するＡＤＦ（Auto Document Feeder）タイプのスキャナ装置でもよい。画像読取装置１００は、情報処理装置２００に接続されている。情報処理装置２００は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。画像処理システム１は、スキャナ装置とパーソナルコンピュータとが一体として組み込まれたキオスク端末等でもよい。

画像読取装置１００は、第１インタフェース装置１０１と、撮像装置１０２と、第１記憶装置１１０と、第１ＣＰＵ（Control Processing Unit）１２０とを有する。

第１インタフェース装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２００と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース装置１０１の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。

撮像装置１０２は、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置１０２は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置１０２において、撮像センサは、原稿の表面を撮像してアナログの画像信号を生成して出力し、Ａ／Ｄ変換器は、このアナログの画像信号をＡ／Ｄ変換してデジタルの読取画像を生成して出力する。読取画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲ（赤色）値、Ｇ（緑色）値、Ｂ（青色）値からなるカラー多値画像である。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。撮像装置１０２は、原稿として、例えばパスポート等を撮像する。

第１記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１１０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１１０は、撮像装置１０２により生成された読取画像等を記憶する。

第１ＣＰＵ１２０は、予め第１記憶装置１１０に記憶されているプログラムに基づいて動作する。なお、第１ＣＰＵ１２０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、第１ＣＰＵ１２０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。

第１ＣＰＵ１２０は、第１インタフェース装置１０１、撮像装置１０２及び第１記憶装置１１０等と接続され、これらの各部を制御する。第１ＣＰＵ１２０は、撮像装置１０２の原稿読取制御、第１インタフェース装置１０１を介した情報処理装置２００とのデータ送受信制御等を行う。

情報処理装置２００は、第２インタフェース装置２０１と、入力装置２０２と、表示装置２０３と、第２記憶装置２１０と、第２ＣＰＵ２２０と、処理装置２３０とを有する。以下、情報処理装置２００の各部について詳細に説明する。

第２インタフェース装置２０１は、画像読取装置１００の第１インタフェース装置１０１と同様のインタフェース回路を有し、情報処理装置２００と画像読取装置１００とを接続する。また、第２インタフェース装置２０１の代わりに、無線信号を送受信するアンテナと、無線ＬＡＮ等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。

入力装置２０２は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２２０に出力する。

表示装置２０３は、出力部の一例である。表示装置２０３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第２記憶装置２１０と接続されて第２記憶装置２１０に保存されている画像データをディスプレイに表示する。

第２記憶装置２１０は、画像読取装置１００の第１記憶装置１１０と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２１０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２１０にインストールされてもよい。また、第２記憶装置２１０は、画像読取装置１００から受信した読取画像、及び、処理装置２３０により読取画像に対して画像処理がなされた各種の処理画像等を記憶する。また、第２記憶装置２１０は、所定フォーマットに従った画像における一又は複数の所定領域の位置を記憶する。所定領域の詳細については後述する。

第２ＣＰＵ２２０は、予め第２記憶装置２１０に記憶されているプログラムに基づいて動作する。なお、第２ＣＰＵ２２０に代えて、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

第２ＣＰＵ２２０は、第２インタフェース装置２０１、入力装置２０２、表示装置２０３、第２記憶装置２１０及び処理装置２３０等と接続され、これらの各部を制御する。第２ＣＰＵ２２０は、第２インタフェース装置２０１を介した画像読取装置１００とのデータ送受信制御、入力装置２０２の入力制御、表示装置２０３の表示制御、処理装置２３０による画像処理の制御等を行う。また、第２ＣＰＵ２２０は、読取画像から補正画像を生成し、補正画像から文字を検出する。

処理装置２３０は、読取画像に対して所定の画像処理を実行する。処理装置２３０は、ＣＰＵ、ＤＳＰ、ＬＳＩ、ＡＳＩＣ又はＦＰＧＡ等で構成される。

図２は、第２記憶装置２１０及び第２ＣＰＵ２２０の概略構成を示す図である。

図２に示すように第２記憶装置２１０には、画像取得プログラム２１１、領域検出プログラム２１２、補正画像生成プログラム２１３、文字検出プログラム２１４及び出力制御プログラム２１５等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第２ＣＰＵ２２０は、第２記憶装置２１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第２ＣＰＵ２２０は、画像取得部２２１、領域検出部２２２、補正画像生成部２２３、文字検出部２２４及び出力制御部２２５として機能する。

図３は、撮像装置１０２が原稿として撮像するパスポートのページの一例を示す模式図である。

図３に示すように、撮像装置１０２により撮像されるパスポートのページ３００には、型、発行国、旅券番号、姓名、国籍、生年月日、性別、本籍、発行年月日、有効期間満了日、写真等の各情報が含まれる。また、このページ３００には、ＭＲＺ３０１及び３０２等が含まれる。ＭＲＺ３０１及び３０２は機械読み取り範囲であり、ＭＲＺ３０１及び３０２には上記の各情報を集約した情報が示される。

パスポートのフォーマット、特にＭＲＺの位置及びＭＲＺに示される情報は、ＩＣＡＯ（International Civil Aviation Organization、国際民間航空機関）により規定されている。ＭＲＺは、パスポートの下端に隣接し、且つ、パスポートの綴じ目部と平行な方向（図３の水平方向Ｈ）に延伸する領域Ｒに位置する。領域Ｒは、パスポートの下端から２３．２ｍｍ±１．０ｍｍの範囲に規定されている。領域Ｒには、ＭＲＺ３０１に対応する上側領域と、ＭＲＺ３０２に対応する下側領域とが含まれる。各領域の水平方向Ｈの最大長さは１１４．０ｍｍに規定され、垂直方向Ｖの最大長さは４．３ｍｍに規定されている。水平方向Ｈにおける各領域の左端からパスポートの左端までの距離、及び、各領域の右端からパスポートの右端までの距離は６．０ｍｍ±１．０ｍｍに規定されている。垂直方向Ｖにおける下側領域の中央位置からパスポートの下端までの距離は９．４０ｍｍに規定され、上側領域の中央位置から下側領域の中央位置までの距離は６．３５ｍｍに規定されている。

第２記憶装置２１０は、パスポートを撮像した画像におけるＭＲＺの位置を、所定フォーマットに従った画像における所定領域の位置として記憶する。パスポートのフォーマットは所定フォーマットの一例であり、ＭＲＺは所定領域の一例である。なお、各国のパスポートは、原則として、ＩＣＡＯにより規定されたフォーマットに従っているが、パスポートのサイズ、及び、ＭＲＺを含む各情報のパスポート内の位置（レイアウト）等は、国毎にわずかに異なる場合がある。

図４は、画像読取装置１００による画像読取処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１ＣＰＵ１２０により画像読取装置１００の各要素と協働して実行される。

最初に、撮像装置１０２は、パスポート等の文字を検出する対象である原稿を撮像した読取画像を生成し、第１記憶装置１１０に保存する（ステップＳ１０１）。

次に、第１ＣＰＵ１２０は、第１記憶装置１１０に保存された読取画像を第１インタフェース装置１０１を介して情報処理装置２００に送信し（ステップＳ１０２）、一連のステップを終了する。

図５は、情報処理装置２００による検出処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、検出処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２１０に記憶されているプログラムに基づき主に処理装置２３０により情報処理装置２００の各要素と協同して実行される。

最初に、画像取得部２２１は、読取画像を第２インタフェース装置２０１を介して画像読取装置１００から取得し、取得した読取画像から入力画像を生成し、第２記憶装置２１０に保存する（ステップＳ２０１）。読取画像には、それぞれ検出対象である文字が示される一又は複数の文字認識対象領域が含まれる。

図６は、読取画像６００の一例を示す模式図である。

図６に示すように、読取画像６００には、ＭＲＺ６０２及びＭＲＺ６０３が記載されたページ６０４が開かれたパスポート６０１が写っている。この例では、ＭＲＺ６０２及びＭＲＺ６０３内の文字が、それぞれ情報処理装置２００による検出対象であり、ＭＲＺ６０２及びＭＲＺ６０３が、それぞれ文字認識対象領域である。読取画像６００では、パスポート６０１においてページ６０４がずれてしまい、背表紙６０５に対して傾いた状態で撮像されている。そのため、ＭＲＺ６０２及びＭＲＺ６０３は、読取画像６００内の水平方向Ｈに対して傾いている。また、読取画像６００では、画像読取装置１００におけるパスポート６０１の搬送速度のムラにより、ＭＲＺ６０２とＭＲＺ６０３の間の距離Ｄが短くなっている。このような読取画像６００に対して、ＯＣＲ処理を実行し、ＭＲＺ６０２及びＭＲＺ６０３から文字を検出しようとすると、正しく文字が検出されない可能性がある。

画像取得部２２１は、読取画像から水平方向（主走査方向）、垂直方向（副走査方向）のそれぞれについてエッジ画素を抽出し、水平方向、垂直方向のそれぞれについてエッジ画素からなるエッジ画像を生成する。画像取得部２２１は、読取画像内の画素の水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）を算出し、隣接差分値が閾値Th1を越える場合、その読取画像上の画素を垂直エッジ画素として抽出する。この閾値Th1は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば20）に設定することができる。画像取得部２２１は、垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。

なお、画像取得部２２１は、読取画像内の画素の水平又は垂直方向の所定距離だけ離れた画素の輝度値の差の絶対値を隣接差分値として算出してもよい。また、画像取得部２２１は、各画素の輝度値に代えて、各画素の色値（Ｒ値、Ｇ値又はＢ値）を用いて隣接差分値を算出してもよい。また、画像取得部２２１は、読取画像の輝度値又は色値を閾値と比較することによりエッジ画素を抽出してもよい。例えば、画像取得部２２１は、特定の画素の輝度値又は色値が閾値未満であり、その特定の画素に隣接する画素又はその特定の画素から所定距離だけ離れた画素の輝度値又は色値が閾値以上である場合、その特定の画素をエッジ画素とする。

次に、画像取得部２２１は、水平方向、垂直方向の各エッジ画像から複数の直線を抽出する。画像取得部２２１は、ハフ変換を用いて直線を検出する。なお、画像取得部２２１は、最小二乗法を用いて直線を検出してもよい。また、画像取得部２２１は、各エッジ画像内で相互に隣接するエッジ画素をラベリングにより一つのグループとしてまとめ、各グループの水平方向又は垂直方向における両端に位置する二つのエッジ画素を結んだ近似直線を直線として検出してもよい。

次に、画像取得部２２１は、検出した複数の直線から矩形を検出する。画像取得部２２１は、検出した複数の直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。画像取得部２２１は、まず水平方向の直線（以下、第１の水平線と称する）を一つ選択し、選択した直線と略平行（例えば±3°以内）かつ閾値Th2以上離れた水平方向の直線（以下、第２の水平線と称する）を抽出する。次に、画像取得部２２１は、第１の水平線と略直交する（例えば90°に対して±3°以内）垂直方向の直線（以下、第１の垂直線と称する）を抽出する。次に、画像取得部２２１は、第１の水平線と略直交し、かつ第１の垂直線と閾値Th3以上離れた垂直方向の直線（以下、第２の垂直線と称する）を抽出する。なお、閾値Th2及び閾値Th3は、画像読取装置１００の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。

画像取得部２２１は、抽出した全ての直線について、上記の条件を満たす第１の水平線、第２の水平線、第１の垂直線及び第２の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。画像取得部２２１は、抽出した矩形候補の中で最も面積が大きい矩形候補を矩形として検出し、読取画像から検出した矩形を切出して切出し画像を生成する。

次に、画像取得部２２１は、切出し画像内の各画素毎に、以下の式に従って輝度値を算出し、算出した輝度値を各画素に対応する画素の階調値とする白黒多値画像を生成し、入力画像として取得する。このようにして生成された入力画像にも、読取画像に含まれていた文字認識対象領域が含まれる。なお、撮像装置１０２は、読取画像として白黒多値画像を生成してもよい。その場合、画像取得部２２１は、切出し画像を入力画像として取得する。
輝度値＝０．２９９×（Ｒ値）＋０．５８７×（Ｇ値）＋０．１１４×（Ｂ値）

図７は、入力画像７００の一例を示す模式図である。

図７に示す入力画像７００は、図６に示す読取画像６００から生成された入力画像である。入力画像７００には、図６に示すパスポート６０１の上辺、左辺及び下辺にそれぞれ対応する直線７０２、７０３及び７０４と、右上端と右下端を結んだ近似直線７０５とからなる矩形７０１が含まれている。

次に、領域検出部２２２は、入力画像を二値化した二値画像を生成する（ステップＳ２０２）。領域検出部２２２は、入力画像内で階調値が二値化閾値以上である画素を白色画素とし、階調値が二値化閾値未満である画素を黒色画素とした画像を二値画像として生成する。二値化閾値は、事前の実験により、一般的な背景を形成する画素の階調値と文字を形成する画素の階調値の間の値に設定される。これにより、二値画像では、入力画像内の文字に対応する画素が黒色画素となり、背景に対応する画素が白色画素となる。

図８は、二値画像８００の一例を示す模式図である。

図８に示す二値画像８００は、図７に示す入力画像７００から生成された二値画像である。図８に示すように、二値画像８００では、図７に示す入力画像７００内の文字に対応する画素が黒色画素に変換され、背景に対応する画素が白色画素に変換されている。但し、二値画像８００では、写真８０１、下線８０２、パスポートの外枠８０３、８０４等に対応する画素も黒色画素に変換されている。

次に、領域検出部２２２は、二値画像において、ノイズ成分と、写真、下線又は外枠等の非文字成分とを除去する（ステップＳ２０３）。

領域検出部２２２は、二値画像内で相互に隣接する黒色画素をラベリングにより一つのグループとしてまとめ、二値画像内で黒色画素が連結する連結領域を特定する。領域検出部２２２は、特定した各連結領域の内、水平方向の長さ及び垂直方向の長さが文字下限値未満である連結領域をノイズ成分として抽出する。また、領域検出部２２２は、特定した各連結領域の内、水平方向の長さ又は垂直方向の長さが文字上限値以上である連結領域を非文字成分として抽出する。文字下限値は、読取対象とする原稿で使用される文字の水平及び垂直方向の最小の長さに相当する画像上の長さに設定され、文字上限値は、読取対象とする原稿で使用される文字の水平及び垂直方向の最大の長さに相当する画像上の長さに設定される。領域検出部２２２は、二値画像において、ノイズ成分として抽出した領域、及び、非文字成分として抽出した領域（黒色画素）を白色画素に変換する。

図９は、ノイズ成分及び非文字成分が除去された二値画像９００の一例を示す模式図である。

図９に示す二値画像９００は、図８に示す二値画像８００においてノイズ成分及び非文字成分が除去された画像である。図９に示すように、二値画像９００では、図８に示す写真８０１、下線８０２、パスポートの外枠８０３、８０４等に対応する画素が白色画素に変換されている。

領域検出部２２２は、二値画像からノイズ成分及び非文字成分を除去することにより、後述する処理において、二値画像内の文字の分布をより正確に検出することができる。

次に、領域検出部２２２は、入力画像に含まれる原稿の傾きを検出する（ステップＳ２０４）。

領域検出部２２２は、ノイズ成分及び非文字成分が除去された二値画像において、除去されずに残った各連結領域の外接矩形を文字領域として抽出する。領域検出部２２２は、所定方向（例えば水平方向）において相互に所定距離内に位置し且つ所定方向と直交する方向（例えば垂直方向）において相互に離間している文字領域同士を文字列に対応するグループとしてまとめる。領域検出部２２２は、二値画像を所定角度（例えば＋１°及び−１°）ずつ回転させたときの各グループの外接矩形の面積の総和を算出し、算出した総和が最小となる角度を正負反転した角度を、入力画像に含まれる原稿の傾きとして検出する。

図９に示す二値画像９００では、二値画像９００を＋α°だけ回転させたときに、各文字列が水平方向に沿って並ぶため、各グループの外接矩形の面積の総和が最小となる。そのため、＋α°を正負反転した−α°が入力画像に含まれる原稿の傾きとして検出される。

なお、領域検出部２２２は、二値画像を所定角度ずつ回転させたときの各グループの外接矩形の幅（短手方向の長さ）の総和を算出し、算出した総和が最小となる角度を正負反転した角度を、入力画像に含まれる原稿の傾きとして検出してもよい。または、領域検出部２２２は、二値画像を所定角度ずつ回転させたときの各グループの外接矩形から、公知のＯＣＲ（Optical Character Recognition）技術を利用して文字を検出し、検出した各文字の確信度を算出する。確信度は、検出した文字について、予め設定された画像パターンと、二値画像内の画像パターンの一致度合いであり、例えば正規化相互相関等である。領域検出部２２２は、検出した各文字の確信度の総和を算出し、算出した総和が最大となる角度を正負反転した角度を、入力画像に含まれる原稿の傾きとして検出してもよい。

次に、領域検出部２２２は、検出した傾きに基づいて入力画像を回転させた回転画像を生成する（ステップＳ２０５）。領域検出部２２２は、原稿の傾きが０になるように、入力画像を回転させることにより、回転画像を生成する。なお、領域検出部２２２は、生成した回転画像に対して所定のアンチエイリアス処理を実行してもよい。これにより、回転画像内のジャギー（ピクセルのギザギザ）が軽減する。

図９に示す例では、領域検出部２２２は、二値画像を回転させたときに各グループの外接矩形の面積又は幅の総和が最小となる角度（＋α°）だけ入力画像を回転させる（入力画像内の各画素の位置を変換する）ことにより、回転画像を生成する。

次に、領域検出部２２２は、回転画像を二値化した回転二値画像を生成する（ステップＳ２０６）。領域検出部２２２は、回転画像内で階調値が二値化閾値以上である画素を白色画素とし、階調値が二値化閾値未満である画素を黒色画素とした画像を二値画像として生成する。また、領域検出部２２２は、ステップＳ２０３の処理と同様にして、回転二値画像からノイズ成分及び非文字成分を除去する。

なお、領域検出部２２２は、ステップＳ２０５及びＳ２０６の処理の代わりに、ステップＳ２０４で検出した傾きに基づいて、二値画像を回転させることにより回転二値画像を生成してもよい。領域検出部２２２は、入力画像を回転させた回転画像に基づいて回転二値画像を生成することにより、ジャギーを軽減させた回転二値画像を生成することができる。一方、領域検出部２２２は、二値画像を回転させて回転二値画像を生成することにより、回転二値画像の生成処理の処理時間を短縮でき、検出処理における処理負荷を軽減することができる。

図１０は、回転二値画像１０００の一例を示す模式図である。

図１０に示す回転二値画像１０００は、図７に示す入力画像７００から生成された回転二値画像である。図１０に示すように、回転二値画像１０００では、ＭＲＺ１００１及びＭＲＺ１００２が水平方向Ｈに延伸するように、入力画像７００（又は図９に示す二値画像９００）に対して原稿が回転している。

次に、領域検出部２２２は、回転二値画像内で、所定方向に延伸する複数のライン毎に、各ラインにおける黒色画素数を算出する。ラインとは、画像内で特定の方向に並ぶ画素群のことを意味する。領域検出部２２２は、各ライン（所定方向と直交する方向における各ラインの座標）を階級とし、各ラインの黒色画素数を度数とする水平ヒストグラムを生成する（ステップＳ２０７）。所定方向は、回転二値画像における水平方向、即ちステップＳ２０６で入力画像において検出した原稿が傾いている方向である。

図１０のグラフ１０１０は、回転二値画像１０００に示される原稿の水平ヒストグラムを示す。図１０に示すように、回転二値画像１０００では、各文字列は水平方向Ｈに沿って並んでいる。そのため、文字が存在するライン上には多数の文字が存在し、黒色画素数が多くなり、他のライン上には文字が全く存在せず、黒色画素数が少なくなっている。

次に、領域検出部２２２は、所定方向に延伸する複数のライン毎に算出した黒色画素数に基づいて、入力画像内の文字認識対象領域候補を検出する（ステップＳ２０８）。領域検出部２２２は、水平ヒストグラムを参照して、入力画像内で、第２記憶装置２１０に記憶された所定領域の位置に対応する領域を抽出し、文字認識対象領域候補として検出する。領域検出部２２２は、文字認識対象領域候補が検出されなかった場合、入力画像内に文字認識対象領域が存在しないと判定する。

例えば、所定領域がＭＲＺである場合、領域検出部２２２は、水平方向に延伸する水平ラインが垂直方向に連続するグループを抽出する。領域検出部２２２は、回転二値画像の下端側から順に水平ヒストグラムを走査し、各水平ライン内の全画素数に対する黒色画素数の割合が所定割合以上である水平ラインが第１所定数以上連続するグループを抽出する。所定割合は、事前の実験により、ＭＲＺを含む各水平ライン内の全画素数に対する黒色画素数の割合の最小値に設定される。第１所定数は、事前の実験により、ＭＲＺの上側領域及び下側領域の垂直方向の最小の長さ（例えば２ｍｍ）に相当する画素数に設定される。

領域検出部２２２は、回転二値画像の下端側から一番目及び二番目に抽出した各グループの垂直方向の中央位置から所定距離内の領域に対応する入力画像内の領域を、それぞれ文字認識対象領域候補として検出する。所定距離は、ＭＲＺの上側領域及び下側領域の垂直方向の最大長さの１／２に所定のマージンを加算した値に相当する画素数に設定される。一方、領域検出部２２２は、二つのグループが抽出されなかった場合、入力画像内に文字認識対象領域（ＭＲＺ）が存在しないと判定する。

なお、文字認識対象領域候補の検出範囲は、第２記憶装置２１０に記憶された所定領域の位置に基づいて設定されてもよい。例えば、検出範囲の下端は、垂直方向におけるＭＲＺの下側領域の中央位置に相当する位置から、パスポートの下端側に向かって、下側領域の垂直方向の最大長さの１／２に相当する画素数に所定のマージンを加算した画素数だけ離れた位置に設定される。また、検出範囲の上端は、ＭＲＺが配置される領域Ｒの上端に相当する位置から、パスポートの上端側に向かって、所定のマージンだけ離れた位置に設定される。領域検出部２２２は、文字認識対象領域候補の検出範囲を限定することにより、図１０に示す文様１００３及び１００４のようなＭＲＺ以外の要素の影響によって、文字認識対象領域候補を誤って検出することを防止できる。

次に、領域検出部２２２は、回転二値画像内で、所定方向と直交する方向に延伸する複数のライン毎に、各ラインにおける黒色画素数を算出する。領域検出部２２２は、各ライン（所定方向における各ラインの座標）を階級とし、各ラインの黒色画素数を度数とする垂直ヒストグラムを生成する（ステップＳ２０９）。所定方向は、回転二値画像における垂直方向、即ちステップＳ２０４で入力画像において検出した原稿が傾いている方向と直交する方向である。

なお、領域検出部２２２は、各ラインの黒色画素数として、各ラインにおける黒色画素の内、回転二値画像内で文字認識対象領域候補として検出した領域内の黒色画素の数を算出してもよい。また、所定領域がＭＲＺである場合、領域検出部２２２は、各ラインの黒色画素数として、回転二値画像において文字認識対象領域候補として検出した二つの領域及びその二つの領域に挟まれた領域を含む領域内の黒色画素の数を算出してもよい。

図１０のグラフ１０２０は、回転二値画像１０００に示される原稿の垂直ヒストグラムを示す。図１０の例では、ＭＲＺ１００１に対応する領域と、ＭＲＺ１００２に対応する領域と、ＭＲＺ１００１に対応する領域及びＭＲＺ１００２に対応する領域に挟まれた領域１００５とを含む領域１００６内の黒色画素数が算出される。図１０に示すように、ＭＲＺが存在する垂直ライン上には多数の文字が存在し、黒色画素数が多くなり、他の垂直ライン上には文字が存在せず、黒色画素数が少なくなっている。

次に、領域検出部２２２は、所定方向と直交する方向に延伸する複数のライン毎に算出した黒色画素数に基づいて、入力画像内の文字認識対象領域を検出する（ステップＳ２１０）。領域検出部２２２は、垂直ヒストグラムを参照して、入力画像内で、第２記憶装置２１０に記憶された所定領域の位置に対応する領域を抽出し、文字認識対象領域として検出する。

例えば、所定領域がＭＲＺである場合、領域検出部２２２は、回転二値画像の左端側から順に垂直ヒストグラムを走査し、黒色画素数が所定画素数以上である垂直ラインが第２所定数以上連続する第１グループを抽出する。所定画素数は、例えば１に設定される。第２所定数は、事前の実験により、ＭＲＺ内の一文字の水平方向の長さ（例えば０．５ｍｍ）に相当する画素数に設定される。なお、所定領域がパスポートのＭＲＺである場合、上側領域の左端に位置する文字（Ｐ）は定まっているので、第２所定数は、ＭＲＺ内の文字Ｐの水平方向の長さ（例えば１．０ｍｍ）に相当する画素数に設定されてもよい。

次に、領域検出部２２２は、回転二値画像の右端側から順に垂直ヒストグラムを走査し、黒色画素数が所定画素数以上である垂直ラインが第３所定数以上連続する第２グループを抽出する。第３所定数は、事前の実験により、ＭＲＺ内の一文字の水平方向の長さ（例えば０．５ｍｍ）に相当する画素数に設定される。このように、領域検出部２２２は、黒色画素数が所定画素数以上である垂直ラインが第２又は第３所定数以上連続するグループを抽出することにより、孤立点等のノイズを含まないように各グループを抽出することができる。

領域検出部２２２は、第１グループの左端から第２グループの右端までの距離が下限値以上且つ上限値以下である場合、第１グループの左端と第２グループの右端の間の中央位置から所定距離内の領域に対応する入力画像内の領域を文字認識対象領域として検出する。下限値は、ＭＲＺの上側領域及び下側領域の水平方向の最大長さに相当する画素数から所定のマージンを減算した画素数に設定され、上限値は、その最大長さに相当する画素数に所定のマージンを加算した画素数に設定される。所定距離は、ＭＲＺの上側領域及び下側領域の水平方向の最大長さの１／２に相当する画素数に所定のマージンを加算した画素数に設定される。

一方、領域検出部２２２は、第１グループの左端から第２グループの右端までの距離が下限値未満である場合、入力画像内に文字認識対象領域（ＭＲＺ）が存在しないと判定する。また、領域検出部２２２は、第１グループの左端から第２グループの右端までの距離が上限値より大きい場合、第１グループの左端から第２グループの右端までの距離が下限値以上且つ上限値以下になるまで、第１グループ又は第２グループを再抽出する。領域検出部２２２は、第１グループの左端から右方向に垂直ヒストグラムを再走査し、黒色画素数が０である垂直ラインを挟んで、黒色画素数が所定画素数以上である垂直ラインが第２所定数以上連続するグループを新たな第１グループとして抽出する。または、領域検出部２２２は、第２グループの右端から左方向に垂直ヒストグラムを再走査し、黒色画素数が０である垂直ラインを挟んで、黒色画素数が所定画素数以上である垂直ラインが第３所定数以上連続するグループを新たな第２グループとして抽出する。

なお、第１グループ及び第２グループの抽出範囲は、第２記憶装置２１０に記憶された所定領域の位置に基づいて設定されてもよい。例えば、抽出範囲の左端は、水平方向におけるＭＲＺの左端に相当する位置から、画像の左端側に、所定のマージンだけ離れた位置に設定される。また、検出範囲の右端は、水平方向におけるＭＲＺの右端に相当する位置から、画像の右端側に、所定のマージンだけ離れた位置に設定される。領域検出部２２２は、第１グループ及び第２グループの抽出範囲を限定することにより、図１０に示す文様１００３及び１００４のようなＭＲＺ以外の要素の影響によって、文字認識対象領域を誤って検出することを防止できる。

このように、領域検出部２２２は、入力画像に含まれる原稿の傾きに基づいて入力画像を回転させた回転画像に基づいて、文字認識対象領域を検出する。これにより、領域検出部２２２は、入力画像内で文字認識対象領域が傾いていても、文字認識対象領域を良好に検出することができる。

上記したように、各国のパスポートは、原則として、ＩＣＡＯにより規定されたフォーマットに従っているが、パスポートのサイズ、及び、ＭＲＺを含む各情報のパスポート内の位置等は、国毎にわずかに異なる場合がある。領域検出部２２２は、回転二値画像内の黒色画素数の分散状態に基づいて文字認識対象領域を検出することにより、様々な国のパスポートに対して、文字認識対象領域を正しく検出することができる。

特に、パスポートによっては、ＭＲＺが記載されたページよりパスポートの背表紙の方が大きく、ＭＲＺが記載されたページの周辺に写る背表紙が入力画像に含まれる場合がある。また、ＩＣＡＯにより規定された規格に準拠していない国のパスポートでは、そもそも規定された位置にＭＲＺが記載されていない可能性がある。また、クロッピング処理が何らかの理由で失敗して、原稿の背景色と異なる色を有する裏当てが入力画像に含まれる場合がある。これらの場合、入力画像内の期待される位置に文字認識対象領域が存在しない可能性がある。領域検出部２２２は、回転二値画像内の黒色画素数の分散状態に基づいて文字認識対象領域を検出することにより、入力画像内の期待した位置に文字認識対象領域が存在しない場合でも、文字認識対象領域を良好に検出することができる。

また、領域検出部２２２は、第２記憶装置に記憶された位置に対して所定のマージンをもって、文字認識対象領域候補及び文字認識対象領域を検出する。これにより、領域検出部２２２は、二値化処理又はノイズ除去処理等によって文字の一部が除去されてしまった場合でも、文字認識対象領域全体を良好に検出することができる。

入力画像内で文字認識対象領域が検出された場合、補正画像生成部２２３は、回転二値画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成する（ステップＳ２１１）。回転二値画像は、入力画像から生成された画像の一例である。補正画像生成部２２３は、回転二値画像において、入力画像内の文字認識対象領域に対応する領域を特定し、特定した領域を、第２記憶装置２１０に記憶された、所定フォーマットに従った画像における所定領域の位置に配置することにより、補正画像を生成する。

なお、補正画像生成部２２３は、文字認識対象領域の大きさと、所定領域の大きさとが異なる場合、文字認識対象領域が補正画像内の所定領域の位置に配置されるように、文字認識対象領域を拡大又は縮小する。補正画像生成部２２３は、文字認識対象領域を拡大する場合、線形補間等の公知の補間処理を用いて、文字認識対象領域を引き伸ばすことにより拡大する。なお、補正画像生成部２２３は、ニアレストネイバー法、バイリニア法等の他の補間処理を用いて、文字認識対象領域を引き伸ばすことにより拡大してもよい。また、補正画像生成部２２３は、文字認識対象領域を縮小する場合、文字認識対象領域を間引くことにより縮小する。補正画像生成部２２３は、文字認識対象領域を拡大又は縮小することにより、補正画像内に適切な態様で文字認識対象領域を配置することができる。

図１１は、補正画像１１００の一例を示す模式図である。

図１１に示す補正画像１１００は、図１０に示す回転二値画像１０００から生成された補正画像である。図１１に示すように、補正画像１１００では、ＭＲＺに対応する文字認識対象領域１１０１及び１１０２が、ＭＲＺに対して規定された位置（領域）に配置され、他のコンテンツは全く配置されていない。

次に、文字検出部２２４は、補正画像から文字を検出する（ステップＳ２１２）。文字検出部２２４は、公知のＯＣＲ技術を利用して、補正画像から文字を検出する。なお、入力画像内で文字認識対象領域が検出されなかった場合、文字検出部２２４は、回転二値画像から文字を検出する。または、その場合、文字検出部２２４は、二値画像から文字を検出してもよい。

上記したように、補正画像において、ＭＲＺに対応する文字認識対象領域は、ＭＲＺに対して規定された適切な位置に配置されている。そのため、ＭＲＺ内の文字同士が近接し過ぎて、文字が誤って検出されることが防止される。また、補正画像において、ＭＲＺに対応する文字認識対象領域以外のコンテンツは、全く配置されていない。そのため、ＭＲＺ以外のコンテンツの影響を受けて、ＭＲＺ内の文字が誤って検出されることが防止される。

次に、出力制御部２２５は、検出された文字を表示装置２０３に表示し（ステップＳ２１３）、一連のステップを終了する。なお、出力制御部２２５は、検出された文字に関する情報として、検出された文字に代えて又は加えて、補正画像を表示装置２０３に表示してもよい。また、出力制御部２２５は、検出された文字又は補正画像を不図示の通信装置を介して不図示のサーバ等に送信してもよい。このように、出力制御部２２５は、検出された文字に関する情報を出力する。

なお、ステップＳ２１１において、補正画像生成部２２３は、入力画像から文字認識対象領域を切り出して、所定領域の位置に配置した補正画像を生成してもよい。その場合、補正画像生成部２２３は、ステップＳ２０４で検出された傾きに基づいて文字認識対象領域を回転させて所定領域の位置に配置する。また、ステップＳ２１２において、文字検出部２２４は、多値画像である補正画像から文字を検出する。なお、補正画像生成部２２３は、入力画像から切り出された文字認識対象領域が配置された補正画像を二値化し、文字検出部２２４は、二値画像である補正画像から文字を検出してもよい。

また、ステップＳ２０３を省略し、領域検出部２２２は、二値画像においてノイズ成分及び非文字成分を除去せずに文字認識対象領域を検出してもよい。また、ステップＳ２０４〜Ｓ２０６を省略し、領域検出部２２２は、二値画像から文字認識対象領域を検出してもよい。

また、ステップＳ２０４において、領域検出部２２２は、二値画像でなく、エッジ画像から原稿の傾きを検出してもよい。その場合、領域検出部２２２は、入力画像からエッジ画素を抽出し、エッジ画素からなるエッジ画像を生成する。領域検出部２２２は、エッジ画像内で相互に隣接するエッジ画素をラベリングにより一つのグループとしてまとめ、エッジ画像内でエッジ画素が連結する領域を連結領域として特定する。そして、領域検出部２２２は、二値画像内の連結領域から原稿の傾きを検出する場合と同様にして、エッジ画像内の連結領域から原稿の傾きを検出する。

同様に、ステップＳ２０７〜Ｓ２１０において、領域検出部２２２は、二値画像でなく、エッジ画像から文字認識領域を検出してもよい。その場合、領域検出部２２２は、エッジ画像内で、所定方向に延伸する複数のライン毎に、各ラインにおけるエッジ画素数を算出し、各ラインを階級とし、各ラインの黒色画素数を度数とする水平ヒストグラムを生成する。また、領域検出部２２２は、エッジ画像内で、所定方向と直交する方向に延伸する複数のライン毎に、各ラインにおけるエッジ画素数を算出し、各ラインを階級とし、各ラインの黒色画素数を度数とする垂直ヒストグラムを生成する。

また、ステップＳ２０７〜Ｓ２１０において、領域検出部２２２は、各ラインの黒色画素数に基づいて文字認識領域を検出するのでなく、他の方法により文字認識領域を検出してもよい。例えば、領域検出部２２２は、回転二値画像内で相互に隣接する黒色画素をラベリングにより一つのグループとしてまとめ、回転二値画像内で黒色画素が連結する連結領域の外接矩形を文字領域として抽出する。領域検出部２２２は、所定方向（例えば水平方向）において相互に所定距離内に位置し且つ所定方向と直交する方向（例えば垂直方向）において相互に離間している文字領域同士を文字列に対応するグループとしてまとめる。領域検出部２２２は、各グループの外接矩形を文字認識対象領域候補として検出する。そして、領域検出部２２２は、最も下側に位置する文字認識対象領域候補と、次に下側に位置する文字認識対象領域候補とを文字認識対象領域として検出する。

また、ステップＳ２０７〜Ｓ２１０において、領域検出部２２２は、第２記憶装置２１０に記憶された領域の位置に基づいて文字認識対象領域を検出するのでなく、画像内の特徴に基づいて文字認識対象領域を検出してもよい。その場合、第２記憶装置２１０には、画像内の特徴として、文字認識対象領域の幅もしくは高さ、又は、文字認識対象領域内の行数もしくは各行の間の距離（行間距離）等の情報が設定される。領域検出部２２２は、二値画像において相互に隣接する黒色画素をラベリングにより一つのグループとしてまとめ、相互に所定距離内に位置するグループを結合して、文字認識対象領域候補として検出する。

領域検出部２２２は、検出した文字認識対象領域候補毎に、幅、高さ、行数及び／又は行間距離を特定し、特定した各情報と第２記憶装置２１０に設定された各情報との一致度合いに基づいて、文字認識対象領域を検出する。領域検出部２２２は、特定した各情報と第２記憶装置２１０に設定された各情報との差が小さい程、高くなるように一致度合いを算出し、一致度合いが高い順に所定数の文字認識対象領域候補を文字認識対象領域として検出する。なお、領域検出部２２２は、情報毎に重みを異ならせて一致度合いを算出してもよい。また、領域検出部２２２は、特定の情報（例えば行数）について、特定した情報と第２記憶装置２１０に設定された情報とが一致しない場合、文字認識対象領域として検出しないようにしてもよい。

また、ステップＳ２１１において、補正画像生成部２２３は、補正画像において、文字認識対象領域に対応する領域を、パスポートを撮像した画像におけるＭＲＺの位置に配置する代わりに、他の領域の位置に配置してもよい。例えば、補正画像生成部２２３は、補正画像において、文字認識対象領域に対応する領域を、健康保険被保険者証を撮像した画像における被保険者番号、氏名等の位置に配置してもよい。また、補正画像生成部２２３は、補正画像において、文字認識対象領域に対応する領域を、運転免許証を撮像した画像における番号、氏名等の位置に配置してもよい。また、補正画像生成部２２３は、補正画像において、文字認識対象領域に対応する領域を、通帳を撮像した画像における口座番号、店番号、氏名等の位置に配置してもよい。

また、補正画像生成部２２３は、補正画像において、文字認識対象領域に対応する領域を、所定の機関により規定された画像内の領域の位置でなく、利用者により規定された画像内の領域に配置してもよい。その場合、第２記憶装置２１０には、所定フォーマットに従った画像における所定領域の位置として、一般的なＯＣＲソフトウェアにより文字が良好に検出される位置が設定される。例えば、所定領域は、画像内の水平方向又は垂直方向に延伸するように設定される。また、所定領域が複数設定される場合、各所定領域は、各所定領域の間に十分な余白が含まれるように設定される。

それらの場合、第２記憶装置２１０には、所定フォーマットに従った画像における所定領域の位置として、補正画像生成部２２３に配置すべき各領域の位置が設定される。ステップＳ２０７〜Ｓ２１０において、領域検出部２２２は、入力画像から、第２記憶装置２１０に設定された領域に対応する領域を、文字認識対象領域として検出する。

以上詳述したように、図５に示したフローチャートに従って動作することによって、情報処理装置２００は、入力画像内の文字認識対象領域を所定フォーマットに従った画像における所定領域の位置に配置した補正画像を生成し、補正画像から文字を検出する。補正画像において、文字認識対象領域は所定フォーマットに従った適切な位置に配置され、且つ、文字認識対象領域以外のコンテンツは配置されない。したがって、情報処理装置２００は、入力画像から文字をより高精度に検出することが可能となった。

また、情報処理装置２００は、文字認識対象領域を、一般的なＯＣＲ処理に適した位置に配置した補正画像を生成する。したがって、情報処理装置２００は、所定フォーマットに従った画像から文字を検出することに特化したＯＣＲソフトウェアを使用することなく、汎用的なＯＣＲソフトウェアを用いて文字を良好に検出することができる。

特に、原稿がパスポートである場合、国毎に、パスポートの詳細な仕様が異なる。例えば、フランスのパスポートでは、ＭＲＺの上側領域と下側領域の間の距離が短く、入力画像において上側領域と下側領域が隣接し、ＭＲＺの文字が良好に検出されない可能性がある。また、ドイツ等のパスポートでは、ＭＲＺが独立したページに記載され、入力画像内の期待される位置に文字認識対象領域が存在せず、ＭＲＺの文字が良好に検出されない可能性がある。情報処理装置２００は、画像内の文字認識対象領域を適切な位置に配置した補正画像から文字を検出することにより、様々な仕様のパスポートからＭＲＺ内の文字を良好に検出することができる。

図１２は、他の実施形態に係る情報処理装置における処理装置２３０の概略構成を示すブロック図である。

処理装置２３０は、ＣＰＵ２２０の代わりに、検出処理を実行する。処理装置２３０は、画像取得回路２３１、領域検出回路２３２、補正画像生成回路２３３、文字検出回路２３４及び出力制御回路２３５等を有する。

画像取得回路２３１は、画像取得部の一例であり、画像取得部２２１と同様の機能を有する。画像取得回路２３１は、読取画像を第２インタフェース装置２０１を介して画像読取装置１００から取得し、読取画像から入力画像を生成し、第２記憶装置２１０に保存する。

領域検出回路２３２は、領域検出部の一例であり、領域検出部２２２と同様の機能を有する。領域検出回路２３２は、第２記憶装置２１０から入力画像を読み出し、入力画像から文字認識対象領域を検出し、検出結果を第２記憶装置２１０に保存する。

補正画像生成回路２３３は、補正画像生成部の一例であり、補正画像生成部２２３と同様の機能を有する。補正画像生成回路２３３は、第２記憶装置２１０から入力画像又は入力画像から生成された画像と、文字認識対象領域の検出結果と、所定フォーマットに従った画像における所定領域の位置とを読み出し、補正画像を生成し、第２記憶装置２１０に保存する。

文字検出回路２３４は、文字検出部の一例であり、文字検出部２２４と同様の機能を有する。文字検出回路２３４は、第２記憶装置２１０から補正画像を読み出し、補正画像から文字を検出し、検出結果を第２記憶装置２１０に保存する。

出力制御回路２３５は、出力制御部の一例であり、出力制御部２２５と同様の機能を有する。出力制御回路２３５は、第２記憶装置２１０から文字の検出結果を読み出し、表示装置２０３に出力する。

以上詳述したように、情報処理装置は、処理装置２３０を用いる場合も、入力画像から文字をより高精度に検出することが可能となった。

以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置１００と情報処理装置２００の機能分担は、図１に示す画像処理システム１の例に限られず、画像読取装置１００及び情報処理装置２００の各部を画像読取装置１００と情報処理装置２００の何れに配置するかは適宜変更可能である。または、画像読取装置１００と情報処理装置２００を一つの装置で構成してもよい。

例えば、画像読取装置１００の第１記憶装置１１０が、情報処理装置２００の第２記憶装置２１０に記憶された各プログラムを記憶し、画像読取装置１００の第１ＣＰＵ１２０が、情報処理装置２００の第２ＣＰＵ１２０により実現される各部として動作してもよい。また、画像読取装置１００が、情報処理装置２００の処理装置２３０と同様の処理装置を有してもよい。

その場合、画像読取装置１００は表示装置２０３と同様の表示装置を有する。検出処理は画像読取装置１００で実行されるため、ステップＳ１０２、Ｓ２０１の読取画像の送受信処理は省略される。ステップＳ２０２〜Ｓ２１３の各処理は、画像読取装置１００の第１ＣＰＵ１２０又は処理装置によって実行される。これらの処理の動作は、情報処理装置２００の第２ＣＰＵ２２０又は処理装置２３０によって実行される場合と同様である。

また、画像処理システム１において、第１インタフェース装置１０１と第２インタフェース装置２０１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インタフェース装置１０１及び第２インタフェース装置２０１に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、検出処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置が読み取った読取画像について、効率よく検出処理を実行できる。

１ 画像処理システム
２００ 情報処理装置
２０３ 表示装置
２１０ 第２記憶装置
２２１ 画像取得部
２２２ 領域検出部
２２３ 補正画像生成部
２２４ 文字検出部
２２５ 出力制御部

Claims (7)

1. 所定フォーマットに従った画像における所定領域の位置を記憶する記憶部と、
   文字認識対象領域を含む入力画像を取得する画像取得部と、
   前記入力画像又は前記入力画像から生成された画像から前記文字認識対象領域に対応する領域を切り出して、前記所定フォーマットに従った画像の前記所定領域の位置に配置した補正画像を生成する補正画像生成部と、
   前記補正画像から文字を検出する文字検出部と、
   前記検出された文字に関する情報を出力する出力部と、
   を有することを特徴とする画像処理装置。
2. 前記入力画像に含まれる原稿の傾きを検出し、前記検出した傾きに基づいて前記入力画像を回転させた回転画像を生成し、前記回転画像に基づいて前記文字認識対象領域を検出する領域検出部をさらに有する、請求項１に記載の画像処理装置。
3. 前記領域検出部は、
   前記回転画像を二値化した回転二値画像を生成し、
   前記回転二値画像内で、所定方向に延伸する複数のライン毎に、各ラインにおける黒色画素数を算出し、
   前記複数のライン毎に算出した黒色画素数に基づいて、前記文字認識対象領域を検出する、請求項２に記載の画像処理装置。
4. 前記領域検出部は、
   前記回転二値画像内で、前記所定方向と直交する方向に延伸する複数のライン毎に、各ラインにおける黒色画素数を算出し、
   前記所定方向と直交する方向に延伸する複数のライン毎に算出した黒色画素数に基づいて、前記文字認識対象領域を検出する、請求項３に記載の画像処理装置。
5. 前記補正画像生成部は、前記文字認識対象領域が前記補正画像内の前記所定領域の位置に配置されるように、前記文字認識対象領域を拡大又は縮小する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 記憶部及び出力部を有する画像処理装置の制御方法であって、
   所定フォーマットに従った画像における所定領域の位置を前記記憶部に記憶し、
   文字認識対象領域を含む入力画像を取得し、
   前記入力画像又は前記入力画像から生成された画像から前記文字認識対象領域に対応する領域を切り出して、前記所定フォーマットに従った画像の前記所定領域の位置に配置した補正画像を生成し、
   前記補正画像から文字を検出し、
   前記検出された文字に関する情報を前記出力部に出力する、
   ことを含むことを特徴とする制御方法。
7. 記憶部及び出力部を有する画像処理装置の制御プログラムであって、
   所定フォーマットに従った画像における所定領域の位置を前記記憶部に記憶し、
   文字認識対象領域を含む入力画像を取得し、
   前記入力画像又は前記入力画像から生成された画像から前記文字認識対象領域に対応する領域を切り出して、前記所定フォーマットに従った画像の前記所定領域の位置に配置した補正画像を生成し、
   前記補正画像から文字を検出し、
   前記検出された文字に関する情報を前記出力部に出力する、
   ことを前記画像処理装置に実行させることを特徴とする制御プログラム。