JP6581288B2 - モバイル端末、画像処理方法、および、プログラム - Google Patents

Description

本発明は、モバイル端末、画像処理方法、および、プログラムに関する。

従来から、画像照合を実行する技術が開示されている。

ここで、入力帳票の複数の特徴点を登録帳票の複数の特徴点とマッチングを行い、回転補正を行う技術が開示されている（特許文献１を参照）。

また、登録イメージとサイズが合わされた書類イメージから書類の特徴を抽出し、抽出した書類の特徴を、書類イメージとサイズが合わされた登録イメージの特徴と順次マッチングさせる技術が開示されている（特許文献２を参照）。

また、運転免許証画像を処理可能な運転免許証画像であるか否かを判定し、処理不可能な運転免許証画像の場合、運転免許証画像が処理不可能である旨を出力する技術が開示されている（特許文献３を参照）。

また、デジタル画像について、複数の公知の文書種類の１つ以上の公知の寸法と比較することにより、どの種類の文書のデジタル画像かを判別する技術が開示されている（特許文献４を参照）。

特開２０１２−９８９８４号公報 特開２００１−３２５５６３号公報 特開平７−６５１１８号公報 特表２０１５−５０３８１３号公報

しかしながら、従来の撮影装置（特許文献１等）においては、マッチングに時間がかかり、高精度な帳票種別判定を高速に実施できないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、判定対象の画像に対して、１つの部分的な特徴点のマッチングを行い、判定対象の画像の画質が悪い場合、自動的に再撮影を行い、マッチングをリトライすることで、高精度な帳票種別判定を高速に実施できるモバイル端末、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係るモバイル端末は、撮影部の撮影によるフレームを取得するフレーム取得手段と、前記フレームから原稿の原稿画像データを取得する原稿取得手段と、登録された帳票の１つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定手段と、前記部分特徴判定手段により前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、登録された帳票の１つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定ステップと、前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、撮影部の撮影によるフレームを取得するフレーム取得ステップと、前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、登録された帳票の１つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定ステップと、前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する再取得ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、撮影した画像から自動的に目的の帳票を判断し、ＯＣＲ認識等が可能な画質であった場合にのみ画像取得を行うため、撮影開始してからはユーザの手間なく目的の原稿を撮影できる。

図１は、本実施形態に係るモバイル端末の構成の一例を示すブロック図である。 図２は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図３は、本実施形態における画面表示の一例を示す図である。 図４は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。 図５は、本実施形態における部分特徴判定の一例を示す図である。 図６は、本実施形態における全体特徴判定の一例を示す図である。 図７は、本実施形態のモバイル端末における処理の一例を示すフローチャートである。

以下に、本発明に係るモバイル端末、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係るモバイル端末１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係るモバイル端末１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するためのモバイル端末１００を例示するものであって、本発明をこのモバイル端末１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態のモバイル端末１００にも等しく適用し得るものである。

また、本実施形態で例示するモバイル端末１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

ここで、モバイル端末１００は、例えば、タブレット端末、携帯電話、スマートフォン、ＰＨＳ、ＰＤＡ、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置であってもよい。

まず、図１に示すように、モバイル端末１００は、概略的に、制御部１０２と記憶部１０６と撮影部１１０と入出力部１１２とセンサ部１１４と通信部１１６とを備えて構成される。

ここで、図１では省略しているが、本実施形態において、更に、入出力部１１２と制御部１０２とを接続する入出力インターフェース部（図示せず）を備えていてもよい。これらモバイル端末１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、通信部１１６は、有線通信および／または無線通信（ＷｉＦｉ等）によりＩＰデータを送受信するためのネットワークインターフェース（ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。

ここで、モバイル端末１００は、通信部１１６を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。

また、センサ部１１４は、物理量を検出して別媒体の信号（デジタル信号）に変換する。ここで、センサ部１１４は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および／または、温度センサ等を含んでいてもよい。

また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等であってもよい。

また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、または、タッチパネル等）であってもよい。

また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。また、入出力部（タッチパネル）１１２は、物理的接触を検出し、信号（デジタル信号）に変換するセンサ部１１４を含んでいてもよい。

また、撮影部１１０は、被写体（例えば、原稿等）を連続画像撮影（動画撮影）することで、連続（動画）の画像データ（フレーム）を取得する。例えば、撮影部１１０は、映像データを取得してもよい。また、撮影部１１０は、アンシラリデータを取得してもよい。

ここで、撮影部１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、および／または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えたカメラ等であってもよい。

また、撮影部１１０は、被写体を静止画撮影することで、静止画の画像データを取得してもよい。ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。

ここで、高解像度とは、フルハイビジョン、４Ｋ解像度、または、スーパーハイビジョン（８Ｋ解像度）等であってもよい。また、撮影部１１０は、２４ｆｐｓまたは３０ｆｐｓ等で動画撮影してもよい。また、撮影部１１０は、カメラであってもよい。

記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、および／または、光ディスク等を用いることができる。

また、記憶部１０６は、各種のデータベース、テーブル、バッファ、および／または、ファイル（特徴データファイル１０６ａ、および、画像データファイル１０６ｂ等）を格納する。ここで、記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。

これら記憶部１０６の各構成要素のうち、特徴データファイル１０６ａは、複数の帳票の特徴に関する特徴データを記憶（登録）する。ここで、特徴は、帳票の部分特徴、および／または、全体特徴等であってもよい。

ここで、部分特徴は、帳票の罫線、文字、および／または、特徴的画像等から構成されてもよい。ここで、特徴的画像は、絵柄画像、文字画像、顔画像、または、背景画像等であってもよい。また、全体特徴は、複数の部分特徴を示してもよい。

また、画像データファイル１０６ｂは、画像データ（フレーム等）を記憶する。ここで、画像データファイル１０６ｂは、原稿画像データ、原稿の一部領域の領域画像データ、および／または、原稿の分割領域の分割領域画像データを記憶していてもよい。

また、画像データファイル１０６ｂは、原稿、および／または、分割領域等の位置データを記憶していてもよい。また、画像データファイル１０６ｂは、画像データに対応する文字データを記憶していてもよい。

例えば、画像データファイル１０６ｂは、画像データから識別した帳票種、および／または、帳票に記載された文字に関する文字データを記憶していてもよい。また、画像データファイル１０６ｂは、映像データを記憶していてもよい。また、画像データファイル１０６ｂは、アンシラリデータを記憶していてもよい。

また、制御部１０２は、モバイル端末１００を統括的に制御するＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍｉｎｇ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラから構成されてもよい。

また、制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、機能概念的に、フレーム取得部１０２ａ、原稿取得部１０２ｂ、部分特徴判定部１０２ｃ、全体特徴判定部１０２ｄ、再取得部１０２ｅ、画像表示部１０２ｆ、および、ＯＣＲ部１０２ｇを備える。

フレーム取得部１０２ａは、画像データ（フレーム）を取得する。ここで、フレーム取得部１０２ａは、撮影部１１０の撮影による画像データを取得してもよい。また、フレーム取得部１０２ａは、非圧縮且つ高解像度の画像データを取得してもよい。

また、フレーム取得部１０２ａは、撮影部１１０による連続画像撮影または動画撮影を制御して、１コマに相当する画像データ（フレーム）を取得してもよい。また、フレーム取得部１０２ａは、撮影部１１０による静止画撮影を制御して、画像データを取得してもよい。また、フレーム取得部１０２ａは、アンシラリデータを取得してもよい。

原稿取得部１０２ｂは、原稿の原稿画像データを取得する。ここで、原稿取得部１０２ｂは、フレームから原稿の原稿画像データを取得してもよい。また、原稿取得部１０２ｂは、フレームから原稿の一部領域の領域画像データを取得してもよい。ここで、原稿は、矩形原稿であってもよい。

また、原稿取得部１０２ｂは、フレームから原稿の分割領域の分割領域画像データを取得してもよい。ここで、原稿取得部１０２ｂは、フレームから原稿の位置データを検出してもよい。ここで、原稿取得部１０２ｂは、フレームから原稿のコーナー座標（４点）を検出してもよい。

また、原稿取得部１０２ｂは、フレームから原稿のレイアウトを検出してもよい。また、原稿取得部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、フレームから原稿の位置データを検出し、原稿の位置データに基づいて、原稿画像データを取得してもよい。

部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定する。

ここで、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定してもよい。

また、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致するか否かを判定してもよい。

また、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の部分特徴を構成する罫線、文字および／または特徴的画像の、位置（座標）、色の階調値、数および／またはサイズに基づいて、当該部分特徴と当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴との一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致するか否かを判定してもよい。

ここで、サイズは、長さ、大きさ、角度、および／または、幅等であってもよく、これらの組み合わせで表された概念（例えば、形状等）であってもよい。

また、部分特徴が罫線の場合、部分特徴判定部１０２ｃは、罫線の交点座標の位置、罫線の色の階調値、罫線の本数、ならびに／または、罫線の長さおよび／もしくは幅等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。

また、部分特徴が文字の場合、部分特徴判定部１０２ｃは、文字の位置、文字の色の階調値、文字の個数、ならびに／または、文字の領域の大きさ、長さおよび／もしくは幅等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。

また、部分特徴が特徴的画像（例えば、絵柄画像等）の場合、特徴的画像の位置、特徴的画像の色の階調値、特徴的画像の個数、ならびに／または、特徴的画像の大きさ、長さ、幅および／もしくは形状等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。

全体特徴判定部１０２ｄは、特徴データファイル１０６ａに登録された帳票の全体特徴と、原稿の原稿全体特徴と、が一致するか否かを判定する。

ここで、全体特徴判定部１０２ｄは、部分特徴判定部１０２ｃにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴データファイル１０６ａに登録された帳票の全体特徴と、原稿の原稿全体特徴と、が一致するか否かを判定してもよい。

ここで、全体特徴判定部１０２ｄは、部分特徴判定部１０２ｃにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴データファイル１０６ａに登録された帳票の複数の部分特徴と、当該帳票中の当該各部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定してもよい。

再取得部１０２ｅは、特徴判定に用いたフレームを取得する、または、撮影部１１０の再度の撮影による画像データ（フレーム）を取得する。ここで、再取得部１０２ｅは、更に、疑似シャッター動作情報を出力させてもよい。

ここで、再取得部１０２ｅは、部分特徴判定部１０２ｃにより部分特徴と原稿部分特徴とが一致しないと判定された場合、撮影部１１０の再度の撮影によるフレームを取得してもよい。

また、再取得部１０２ｅは、全体特徴判定部１０２ｄにより全体特徴と原稿全体特徴とが一致しないと判定された場合、撮影部１１０の再度の撮影によるフレームを取得してもよい。

また、再取得部１０２ｅは、全体特徴判定部１０２ｄにより複数の部分特徴と原稿部分特徴とが一致しないと判定された場合、撮影部１１０の再度の撮影によるフレームを取得してもよい。

また、再取得部１０２ｅは、部分特徴判定部１０２ｃにより、特徴データファイル１０６ａに登録された全ての帳票の１つの部分特徴と当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴とが一致しないと判定された場合、撮影部１１０の再度の撮影によるフレームを取得してもよい。

また、再取得部１０２ｅは、部分特徴判定部１０２ｃにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴判定に用いたフレームを取得、または、撮影部１１０の再度の撮影によるフレームを取得し、その際、疑似シャッター動作情報を出力させてもよい。

ここで、再取得部１０２ｅは、特徴判定により識別された帳票が、例えば、免許証または名刺等の小型の帳票の場合、特徴判定に用いたフレームをそのまま取得してもよい。

一方、再取得部１０２ｅは、特徴判定により識別された帳票が、例えば、Ａ４等の高解像度が必要な帳票の場合、撮影部１１０の再度の撮影による高解像度且つ非圧縮の新たなフレームを取得してもよい。

また、再取得部１０２ｅは、撮影部１１０による撮影（連続画像撮影、動画撮影、または、静止画撮影等）を制御して、新たなフレームを取得してもよい。また、再取得部１０２ｅは、更に、取得したフレームを画像データファイル１０６ｂに格納してもよい。

画像表示部１０２ｆは、画像データを表示させる。ここで、画像表示部１０２ｆは、フレーム、および／または、原稿画像データを表示させてもよい。

また、画像表示部１０２ｆは、画像データを入出力部１１２に表示させてもよい。また、画像表示部１０２ｆは、文字データを表示させてもよい。

ＯＣＲ部１０２ｇは、画像データに対してＯＣＲ処理を行い、文字データを取得する。ここで、ＯＣＲ部１０２ｇは、原稿画像データ、または、フレームに対してＯＣＲ処理を行い、文字データを取得してもよい。また、ＯＣＲ部１０２ｇは、更に、取得した文字データを画像データファイル１０６ｂに格納してもよい。

［本実施形態の処理］
上述した構成のモバイル端末１００で実行される処理の一例について、図２から図７を参照して、本実施形態における帳票特徴判定処理の一例について説明する。

［帳票特徴判定処理（その１）］
まず、図２および図３を参照して、本実施形態における登録帳票が１種類の場合の帳票特徴判定処理の一例について説明する。図２は、本実施形態のモバイル端末１００における処理の一例を示すフローチャートである。

図２に示すように、まず、フレーム取得部１０２ａは、撮影部（カメラ）１１０を起動させ、撮影部１１０による連続画像撮影または動画撮影を制御する（ステップＳＡ−１）。

そして、フレーム取得部１０２ａは、カメラ１１０により撮影された画像のフレームを入力（取得）する（ステップＳＡ−２）。

そして、原稿取得部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、フレーム取得部１０２ａにより取得されたフレームから矩形原稿の原稿画像データを切り出す（ステップＳＡ−３）。

そして、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴の位置に対応する位置にある原稿中の原稿部分特徴を検出する（ステップＳＡ−４）。

ここで、特徴データファイル１０６ａには、帳票毎に位置情報と特徴情報（罫線、文字画像、テキスト、絵柄画像、および、顔画像等）とが予め登録されていてもよい。ここで、色とは、ＲＧＢ、ＨＳＶ、Ｌａｂ、または、ＹＵＶ等の階調値であってもよい。

すなわち、本実施形態においては、他にはない固有の特徴および領域情報を事前に帳票データとして登録していてもよい。

そして、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴と、検出した原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致する（矩形原稿が対象の帳票）か否かを判定する（ステップＳＡ−５）。

このように、本実施形態においては、切り出した画像データを特徴検出し、予め特徴データファイル１０６ａに登録してある帳票の特徴との整合性を判定している。

ここで、本実施形態において、整合性の判定には、交点座標の位置、色の階調値、罫線の本数、長さもしくは幅、または、文字の数等が閾値を満たすか否かを判定してもよく、画像が一致するか否かを判定してもよい。

すなわち、本実施形態においては、部分特徴の位置（座標等）、色、数、および／または、サイズ（長さ、大きさおよび／または幅等）で部分特徴判定をしてもよい。

そして、部分特徴判定部１０２ｃは、矩形原稿が対象の帳票ではないと判定した場合（ステップＳＡ−５：Ｎｏ）、画像再取得依頼を行い、処理をステップＳＡ−１に移行させる。

一方、部分特徴判定部１０２ｃは、矩形原稿が対象の帳票であると判定した場合（ステップＳＡ−５：Ｙｅｓ）、処理をステップＳＡ−６に移行させる。

すなわち、本実施形態において、登録済み帳票との整合が取れれば、整合した帳票種別情報を設定し、後段の画像処理（ＯＣＲ解析等）へ処理を遷移させてもよい。

そして、再取得部１０２ｅは、特徴判定に用いたフレームを取得する、または、カメラ１１０による撮影を制御して、高解像度且つ非圧縮の新たなフレームを取得し、画像データファイル１０６ｂに格納し、その際、疑似シャッター動作情報を入出力部１１２に出力させる（ステップＳＡ−６）。

すなわち、本実施形態においては、目的の帳票と判断できたら、自動的に擬似シャッターを切り、画像データを取得してもよい。

そして、ＯＣＲ部１０２ｇは、再取得部１０２ｅにより取得されたフレームに含まれる原稿画像データ、または、フレームに対して画像処理（ＯＣＲ処理）による文字認識を行い、文字データを取得する（ステップＳＡ−７）。

そして、画像表示部１０２ｆは、特徴判定により識別された帳票の帳票名、ＯＣＲ部１０２ｇにより取得された文字データ、再取得部１０２ｅにより取得されたフレームに含まれる原稿画像データを入出力部１１２に出力（表示）させ（ステップＳＡ−８）、処理を終了する。

ここで、図３を参照して、本実施形態における画面表示の一例について説明する。図３は、本実施形態における画面表示の一例を示す図である。

図３に示すように、本実施形態においては、特徴判定により識別された帳票の帳票名（運転免許証）および当該帳票のアイコンと、帳票に記載されている文字の情報（氏名、生年月日、住所、有効期限、および／または、免許証番号等）と、原稿画像データと、を入出力部（ディスプレイ）１１２に表示させてもよい。

そして、本実施形態において、表示後の画面へのユーザ操作などによって、帳票に応じたサービス（システム）等に、読み取った情報を受け渡す（データ送信する）ことで、ユーザの所望のデータ処理を実現できる。

このように、本実施形態においては、部分的な特徴判定を実施することで、高速なリトライ処理を実現している。

［帳票特徴判定処理（その２）］
次に、図４から図６を参照して、本実施形態における登録帳票が複数種類の場合の帳票特徴判定処理の一例について説明する。図４は、本実施形態のモバイル端末１００における処理の一例を示すフローチャートである。

図４に示すように、まず、フレーム取得部１０２ａは、撮影部（カメラ）１１０を起動させ、撮影部１１０による連続画像撮影または動画撮影を制御する（ステップＳＢ−１）。

そして、フレーム取得部１０２ａは、カメラ１１０により撮影された画像のフレームを入力（取得）する（ステップＳＢ−２）。

そして、原稿取得部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、フレーム取得部１０２ａにより取得されたフレームから矩形原稿の原稿画像データを切り出す（ステップＳＢ−３）。

そして、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴の位置に対応する位置にある原稿中の原稿部分特徴を検出する（ステップＳＢ−４）。

そして、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録された帳票の１つの部分特徴と、検出した原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致する（矩形原稿が対象の帳票）か否かを判定する（ステップＳＢ−５）。

このように、本実施形態においては、帳票の特徴量を検出および判定しているため、同じサイズの帳票であっても高精度に識別可能である。

そして、部分特徴判定部１０２ｃは、矩形原稿が対象の帳票ではないと判定した場合（ステップＳＢ−５：Ｎｏ）、処理をステップＳＢ−６に移行させる。

そして、部分特徴判定部１０２ｃは、特徴データファイル１０６ａに登録済みの全ての帳票の１つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了したか否かを判定する（ステップＳＢ−６）。

そして、部分特徴判定部１０２ｃは、登録済みの全ての帳票の１つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了したと判定した場合（ステップＳＢ−６：Ｙｅｓ）、画像再取得依頼を行い、処理をステップＳＢ−１に移行させる。

一方、部分特徴判定部１０２ｃは、登録済みの全ての帳票の１つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了していないと判定した場合（ステップＳＢ−６：Ｎｏ）、比較対象とする特徴データファイル１０６ａに登録された帳票の種類を変更して、処理をステップＳＢ−４に移行させる。

ここで、図５を参照して、本実施形態における部分特徴判定の一例について説明する。図５は、本実施形態における部分特徴判定の一例を示す図である。

図５に示すように、本実施形態においては、切り出した原稿画像データを、予め特徴データファイル１０６ａに登録してある帳票の部分特徴との整合性を判定してもよい。

このように、本実施形態において、整合性の判定は、部分的な特徴判定のため、登録済みの帳票が複数あっても高速に判定を実施でき、エラー時のリトライ処理も高速に行うことができる。

図４に戻り、部分特徴判定部１０２ｃは、矩形原稿が対象の帳票であると判定した場合（ステップＳＢ−５：Ｙｅｓ）、処理をステップＳＢ−７に移行させる。すなわち、本実施形態においては、登録済み帳票との整合が取れれば、全体特徴検出へ処理を遷移させる。

そして、全体特徴判定部１０２ｄは、原稿中の原稿全体特徴（例えば、特徴データファイル１０６ａに登録された帳票の複数の部分特徴の位置に対応する位置にある原稿中の原稿部分特徴）を検出する（ステップＳＢ−７）。

そして、全体特徴判定部１０２ｄは、特徴データファイル１０６ａに登録された、部分特徴判定部１０２ｃにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する（矩形原稿が対象の帳票）か否かを判定する（ステップＳＢ−８）。

ここで、図６を参照して、本実施形態における全体特徴判定の一例について説明する。図６は、本実施形態における全体特徴判定の一例を示す図である。

本実施形態においては、全体特徴判定において、画像全体の全体特徴と登録済み帳票の全体特徴との比較を行ってもよい。ここで、部分特徴判定と同様に、特徴データファイル１０６ａに登録済みの特徴データを元に、比較を行ってもよい。

図６に示すように、例えば、本実施形態においては、運転免許証の場合、氏名、生年月日、住所、有効期限、および、免許証番号等のレイアウト判定を実施してもよい。

図４に戻り、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票ではないと判定した場合（ステップＳＢ−８：Ｎｏ）、画像再取得依頼を行い、処理をステップＳＢ−１に移行させる。

すなわち、本実施形態においては、部分特徴判定で特定帳票の一部の部分特徴と整合性が取れたが、全体特徴判定で整合性が取れなかった場合、最初のシーケンスの画像データの取得（再撮影）からやり直しをさせる。

一方、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票であると判定した場合（ステップＳＢ−８：Ｙｅｓ）、処理をステップＳＢ−９に移行させる。

すなわち、本実施形態においては、全体特徴判定で整合性が取れた場合、整合した帳票種別情報を設定し、画像処理（ＯＣＲ解析等）へ処理を遷移させる。ここで、全体特徴判定部１０２ｄは、各種帳票ごとに画像処理に必要な情報を取得してもよい。

そして、再取得部１０２ｅは、特徴判定に用いたフレームを取得する、または、カメラ１１０による撮影を制御して、高解像度且つ非圧縮の新たなフレームを取得し、画像データファイル１０６ｂに格納し、その際、疑似シャッター動作情報を入出力部１１２に出力させる（ステップＳＢ−９）。

そして、ＯＣＲ部１０２ｇは、再取得部１０２ｅにより取得されたフレームに含まれる原稿画像データ、または、フレームに対して画像処理（ＯＣＲ処理）による文字認識を行い、文字データを取得する（ステップＳＢ−１０）。

そして、画像表示部１０２ｆは、特徴判定により識別された帳票名、ＯＣＲ部１０２ｇにより取得された文字データ、再取得部１０２ｅにより取得されたフレームに含まれる原稿画像データを入出力部１１２に出力（表示）させ（ステップＳＢ−１１）、処理を終了する。

このように、本実施形態においては、特徴判定を２段階で実施することで、精度よく高速に帳票識別を実施することが可能である。

［帳票特徴判定処理（その３）］
そして、図７を参照して、本実施形態における登録帳票が複数種類の場合の帳票特徴判定処理の一例について説明する。図７は、本実施形態のモバイル端末１００における処理の一例を示すフローチャートである。

まず、図７に示すステップＳＣ−１からステップＳＣ−７の処理は、図４に示すステップＳＢ−１からステップＳＢ−７の処理と同一であるため、説明を省略する。

そして、全体特徴判定部１０２ｄは、特徴データファイル１０６ａに登録された、部分特徴判定部１０２ｃにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する（矩形原稿が対象の帳票）か否かを判定する（ステップＳＣ−８）。

そして、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票であると判定した場合（ステップＳＣ−８：Ｙｅｓ）、処理をステップＳＣ−９に移行させる。

ここで、図７に示すステップＳＣ−９からステップＳＣ−１１の処理は、図４に示すステップＳＢ−９からステップＳＢ−１１の処理と同一であるため、説明を省略する。

一方、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票ではないと判定した場合（ステップＳＣ−８：Ｎｏ）、画像再取得依頼を行い、処理をステップＳＣ−１２に移行させる。

そして、再取得部１０２ｅは、撮影部（カメラ）１１０を起動させ、撮影部１１０による連続画像撮影または動画撮影を制御する（ステップＳＣ−１２）。

そして、再取得部１０２ｅは、カメラ１１０により撮影された画像のフレームを入力（取得）する（ステップＳＣ−１３）。

そして、原稿取得部１０２ｂは、エッジ検出法、および／または、特徴点マッチング法を用いて、フレーム取得部１０２ａにより取得されたフレームから矩形原稿の原稿画像データを切り出す（ステップＳＣ−１４）。

そして、全体特徴判定部１０２ｄは、原稿中の原稿全体特徴を検出する（ステップＳＣ−１５）。

そして、全体特徴判定部１０２ｄは、特徴データファイル１０６ａに登録された、部分特徴判定部１０２ｃにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する（矩形原稿が対象の帳票）か否かを判定する（ステップＳＣ−１６）。

そして、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票ではないと判定した場合（ステップＳＣ−１６：Ｎｏ）、画像再取得依頼を行い、処理をステップＳＣ−１２に移行させる。

一方、全体特徴判定部１０２ｄは、矩形原稿が対象の帳票であると判定した場合（ステップＳＣ−１６：Ｙｅｓ）、処理をステップＳＣ−９に移行させる。

このように、本実施形態においては、一度、部分特徴判定で撮影対象の媒体が明確となっている場合、２回目以降の処理では、部分特徴判定の処理をパスすることも可能である。

これにより、本実施形態においては、２回目から部分特徴判定の処理にかかる時間を短縮でき、より高速なリトライ処理が可能となる。

このように、本実施形態においては、カメラの動画像データより１フレームだけ抜き出した高解像度の画像データから原稿領域の矩形切り出しを実施し、切り出した原稿領域に対し特徴検出を実施し、帳票種別を判定し、一致するものがなければ、再度画像データの取得からやり直してもよい。

ここで、本実施形態においては、高速かつ高精度に判定を行うために、二段階の特徴判定を実施してもよい。なお、第一段目では、帳票毎に設定した特定の領域の特徴との比較を実施してもよい。

ここで、帳票毎に設定した特定の領域および特徴は、帳票種別ごとに固有のものであってもよい。また、第二段目では、帳票全体の特徴比較を実施してもよい。それにより、本実施形態においては、高速な処理と高精度な帳票識別とを行うことができる。

近年、スマートフォンまたはタブレット等のモバイル端末の普及に伴い、モバイル端末が有するカメラでの文書スキャンの需要が増えている。これは、モバイル端末の利用が、手軽であること、および、従来のスキャナと異なり、専用端末が不要であるというメリットがあるからである。

従来から、モバイル端末を使って原稿を自動撮影する仕組みがあり、モバイル端末のカメラを使って個人認証をする場合、個人認証の目的の原稿のみを撮影する必要があった。

しかしながら、従来は、不要な原稿を撮影する、または、ＯＣＲ認識できない画像を撮影するといった課題が存在していた。

そこで、本実施形態においては、カメラで撮影している対象原稿が、目的の原稿かどうかを判断し、且つ、ＯＣＲ認識できる原稿であると判断した場合に自動的に撮影する手法を提案している。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、モバイル端末１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（モバイル端末１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、モバイル端末１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、モバイル端末１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてモバイル端末１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、モバイル端末１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、モバイル端末１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、モバイル端末１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、モバイル端末、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ モバイル端末
１０２ 制御部
１０２ａ フレーム取得部
１０２ｂ 原稿取得部
１０２ｃ 部分特徴判定部
１０２ｄ 全体特徴判定部
１０２ｅ 再取得部
１０２ｆ 画像表示部
１０２ｇ ＯＣＲ部
１０６ 記憶部
１０６ａ 特徴データファイル
１０６ｂ 画像データファイル
１１０ 撮影部
１１２ 入出力部
１１４ センサ部
１１６ 通信部

Claims (9)

1. 撮影部の撮影によるフレームを取得するフレーム取得手段と、
   前記フレームから原稿の原稿画像データを取得する原稿取得手段と、
   登録された帳票の部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定手段と、
   前記部分特徴判定手段により前記部分特徴と前記原稿部分特徴とが一致すると判定された場合、前記帳票の全体特徴と、前記原稿の原稿全体特徴と、が一致するか否かを判定する全体特徴判定手段と、
   前記部分特徴判定手段により前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、または、前記全体特徴判定手段により前記全体特徴と前記原稿全体特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する一方で、前記部分特徴判定手段により前記部分特徴と前記原稿部分特徴とが一致すると判定され、かつ、前記全体特徴判定手段により前記全体特徴と前記原稿全体特徴とが一致すると判定された場合、前記撮影部による再度の撮影を行わない再取得手段と、
   を備えたことを特徴とする、モバイル端末。
2. 前記部分特徴は、前記帳票の複数の項目のうちの一部の項目の特徴であり、前記全体特徴は、前記複数の項目のレイアウトの特徴である、
   請求項１に記載のモバイル端末。
3. 前記部分特徴は、罫線、文字、および／または、特徴的画像から構成される、
   請求項１に記載のモバイル端末。
4. 前記部分特徴判定手段は、登録された前記帳票の前記部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の前記原稿部分特徴と、の一致度合を閾値と比較することにより、前記部分特徴と前記原稿部分特徴とが一致するか否かを判定する、
   請求項１に記載のモバイル端末。
5. 前記部分特徴判定手段は、登録された前記帳票の前記部分特徴を構成する罫線、文字および／または特徴的画像の、位置、色の階調値、数および／またはサイズに基づいて、前記一致度合を前記閾値と比較することにより、前記部分特徴と前記原稿部分特徴とが一致するか否かを判定する、
   請求項４に記載のモバイル端末。
6. 前記再取得手段は、前記撮影部の再度の撮影によるフレームを取得したときに疑似シャッター動作情報を出力させる、
   請求項１に記載のモバイル端末。
7. 前記原稿画像データに対してＯＣＲ処理を行い、文字データを取得するＯＣＲ手段、を更に備えた、
   請求項１に記載のモバイル端末。
8. 撮影部の撮影によるフレームを取得するフレーム取得ステップと、
   前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、
   登録された帳票の部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定ステップと、
   前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致すると判定された場合、前記帳票の全体特徴と、前記原稿の原稿全体特徴と、が一致するか否かを判定する全体特徴判定ステップと、
   前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、または、前記全体特徴判定ステップにて前記全体特徴と前記原稿全体特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する一方で、前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致すると判定され、かつ、前記全体特徴判定ステップにて前記全体特徴と前記原稿全体特徴とが一致すると判定された場合、前記撮影部による再度の撮影を行わない再取得ステップと、
   を含むことを特徴とする、画像処理方法。
9. 撮影部の撮影によるフレームを取得するフレーム取得ステップと、
   前記フレームから原稿の原稿画像データを取得する原稿取得ステップと、
   登録された帳票の部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある前記原稿中の原稿部分特徴と、が一致するか否かを判定する部分特徴判定ステップと、
   前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致すると判定された場合、前記帳票の全体特徴と、前記原稿の原稿全体特徴と、が一致するか否かを判定する全体特徴判定ステップと、
   前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致しないと判定された場合、または、前記全体特徴判定ステップにて前記全体特徴と前記原稿全体特徴とが一致しないと判定された場合、前記撮影部の再度の撮影によるフレームを取得する一方で、前記部分特徴判定ステップにて前記部分特徴と前記原稿部分特徴とが一致すると判定され、かつ、前記全体特徴判定ステップにて前記全体特徴と前記原稿全体特徴とが一致すると判定された場合、前記撮影部による再度の撮影を行わない再取得ステップと、
   をコンピュータに実行させるためのプログラム。

Images