以下に、本開示の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
[本実施形態の構成]
以下、本発明の実施形態に係るモバイル端末100の構成の一例について図1を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図1は、本実施形態に係るモバイル端末100の構成の一例を示すブロック図である。
但し、以下に示す実施形態は、本発明の技術思想を具体化するためのモバイル端末100を例示するものであって、本発明をこのモバイル端末100に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態のモバイル端末100にも等しく適用し得るものである。
また、本実施形態で例示するモバイル端末100における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
ここで、モバイル端末100は、例えば、タブレット端末、携帯電話、スマートフォン、PHS、PDA、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置であってもよい。
まず、図1に示すように、モバイル端末100は、概略的に、制御部102と記憶部106と撮影部110と入出力部112とセンサ部114と通信部116とを備えて構成される。
ここで、図1では省略しているが、本実施形態において、更に、入出力部112と制御部102とを接続する入出力インターフェース部(図示せず)を備えていてもよい。これらモバイル端末100の各部は任意の通信路を介して通信可能に接続されている。
ここで、通信部116は、有線通信および/または無線通信(WiFi等)によりIPデータを送受信するためのネットワークインターフェース(NIC(Network Interface Controller)等)、Bluetooth(登録商標)、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。
ここで、モバイル端末100は、通信部116を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。
また、センサ部114は、物理量を検出して別媒体の信号(デジタル信号)に変換する。ここで、センサ部114は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および/または、温度センサ等を含んでいてもよい。
また、入出力部112は、データの入出力(I/O)を行う。ここで、入出力部112は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および/または、マイク等であってもよい。
また、入出力部112は、アプリケーション等の表示画面を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、または、タッチパネル等)であってもよい。
また、入出力部112は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。また、入出力部(タッチパネル)112は、物理的接触を検出し、信号(デジタル信号)に変換するセンサ部114を含んでいてもよい。
また、撮影部110は、被写体(例えば、原稿等)を連続画像撮影(動画撮影)することで、連続(動画)の画像データ(フレーム)を取得する。例えば、撮影部110は、映像データを取得してもよい。また、撮影部110は、アンシラリデータを取得してもよい。
ここで、撮影部110は、CCD(Charge Coupled Device)、および/または、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えたカメラ等であってもよい。
また、撮影部110は、被写体を静止画撮影することで、静止画の画像データを取得してもよい。ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。
ここで、高解像度とは、フルハイビジョン、4K解像度、または、スーパーハイビジョン(8K解像度)等であってもよい。また、撮影部110は、24fpsまたは30fps等で動画撮影してもよい。また、撮影部110は、カメラであってもよい。
記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ、ハードディスクのような固定ディスク装置、SSD(Solid State Drive)、および/または、光ディスク等を用いることができる。
また、記憶部106は、各種のデータベース、テーブル、バッファ、および/または、ファイル(特徴データファイル106a、および、画像データファイル106b等)を格納する。ここで、記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。
これら記憶部106の各構成要素のうち、特徴データファイル106aは、複数の帳票の特徴に関する特徴データを記憶(登録)する。ここで、特徴は、帳票の部分特徴、および/または、全体特徴等であってもよい。
ここで、部分特徴は、帳票の罫線、文字、および/または、特徴的画像等から構成されてもよい。ここで、特徴的画像は、絵柄画像、文字画像、顔画像、または、背景画像等であってもよい。また、全体特徴は、複数の部分特徴を示してもよい。
また、画像データファイル106bは、画像データ(フレーム等)を記憶する。ここで、画像データファイル106bは、原稿画像データ、原稿の一部領域の領域画像データ、および/または、原稿の分割領域の分割領域画像データを記憶していてもよい。
また、画像データファイル106bは、原稿、および/または、分割領域等の位置データを記憶していてもよい。また、画像データファイル106bは、画像データに対応する文字データを記憶していてもよい。
例えば、画像データファイル106bは、画像データから識別した帳票種、および/または、帳票に記載された文字に関する文字データを記憶していてもよい。また、画像データファイル106bは、映像データを記憶していてもよい。また、画像データファイル106bは、アンシラリデータを記憶していてもよい。
また、制御部102は、モバイル端末100を統括的に制御するCPU、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、および/または、FPGA(Field−Programming Gate Array)等を含む有形のコントローラから構成されてもよい。
また、制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
ここで、制御部102は、機能概念的に、フレーム取得部102a、原稿取得部102b、部分特徴判定部102c、全体特徴判定部102d、再取得部102e、画像表示部102f、および、OCR部102gを備える。
フレーム取得部102aは、画像データ(フレーム)を取得する。ここで、フレーム取得部102aは、撮影部110の撮影による画像データを取得してもよい。また、フレーム取得部102aは、非圧縮且つ高解像度の画像データを取得してもよい。
また、フレーム取得部102aは、撮影部110による連続画像撮影または動画撮影を制御して、1コマに相当する画像データ(フレーム)を取得してもよい。また、フレーム取得部102aは、撮影部110による静止画撮影を制御して、画像データを取得してもよい。また、フレーム取得部102aは、アンシラリデータを取得してもよい。
原稿取得部102bは、原稿の原稿画像データを取得する。ここで、原稿取得部102bは、フレームから原稿の原稿画像データを取得してもよい。また、原稿取得部102bは、フレームから原稿の一部領域の領域画像データを取得してもよい。ここで、原稿は、矩形原稿であってもよい。
また、原稿取得部102bは、フレームから原稿の分割領域の分割領域画像データを取得してもよい。ここで、原稿取得部102bは、フレームから原稿の位置データを検出してもよい。ここで、原稿取得部102bは、フレームから原稿のコーナー座標(4点)を検出してもよい。
また、原稿取得部102bは、フレームから原稿のレイアウトを検出してもよい。また、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレームから原稿の位置データを検出し、原稿の位置データに基づいて、原稿画像データを取得してもよい。
部分特徴判定部102cは、特徴データファイル106aに登録された帳票の部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定する。
ここで、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定してもよい。
また、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴と、当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致するか否かを判定してもよい。
また、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の部分特徴を構成する罫線、文字および/または特徴的画像の、位置(座標)、色の階調値、数および/またはサイズに基づいて、当該部分特徴と当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴との一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致するか否かを判定してもよい。
ここで、サイズは、長さ、大きさ、角度、および/または、幅等であってもよく、これらの組み合わせで表された概念(例えば、形状等)であってもよい。
また、部分特徴が罫線の場合、部分特徴判定部102cは、罫線の交点座標の位置、罫線の色の階調値、罫線の本数、ならびに/または、罫線の長さおよび/もしくは幅等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。
また、部分特徴が文字の場合、部分特徴判定部102cは、文字の位置、文字の色の階調値、文字の個数、ならびに/または、文字の領域の大きさ、長さおよび/もしくは幅等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。
また、部分特徴が特徴的画像(例えば、絵柄画像等)の場合、特徴的画像の位置、特徴的画像の色の階調値、特徴的画像の個数、ならびに/または、特徴的画像の大きさ、長さ、幅および/もしくは形状等に基づいて、部分特徴と原稿部分特徴との一致度合を閾値と比較してもよい。
全体特徴判定部102dは、特徴データファイル106aに登録された帳票の全体特徴と、原稿の原稿全体特徴と、が一致するか否かを判定する。
ここで、全体特徴判定部102dは、部分特徴判定部102cにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴データファイル106aに登録された帳票の全体特徴と、原稿の原稿全体特徴と、が一致するか否かを判定してもよい。
ここで、全体特徴判定部102dは、部分特徴判定部102cにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴データファイル106aに登録された帳票の複数の部分特徴と、当該帳票中の当該各部分特徴の位置に対応する位置にある原稿中の原稿部分特徴と、が一致するか否かを判定してもよい。
再取得部102eは、特徴判定に用いたフレームを取得する、または、撮影部110の再度の撮影による画像データ(フレーム)を取得する。ここで、再取得部102eは、更に、疑似シャッター動作情報を出力させてもよい。
ここで、再取得部102eは、部分特徴判定部102cにより部分特徴と原稿部分特徴とが一致しないと判定された場合、撮影部110の再度の撮影によるフレームを取得してもよい。
また、再取得部102eは、全体特徴判定部102dにより全体特徴と原稿全体特徴とが一致しないと判定された場合、撮影部110の再度の撮影によるフレームを取得してもよい。
また、再取得部102eは、全体特徴判定部102dにより複数の部分特徴と原稿部分特徴とが一致しないと判定された場合、撮影部110の再度の撮影によるフレームを取得してもよい。
また、再取得部102eは、部分特徴判定部102cにより、特徴データファイル106aに登録された全ての帳票の1つの部分特徴と当該帳票中の当該部分特徴の位置に対応する位置にある原稿中の原稿部分特徴とが一致しないと判定された場合、撮影部110の再度の撮影によるフレームを取得してもよい。
また、再取得部102eは、部分特徴判定部102cにより部分特徴と原稿部分特徴とが一致すると判定された場合、特徴判定に用いたフレームを取得、または、撮影部110の再度の撮影によるフレームを取得し、その際、疑似シャッター動作情報を出力させてもよい。
ここで、再取得部102eは、特徴判定により識別された帳票が、例えば、免許証または名刺等の小型の帳票の場合、特徴判定に用いたフレームをそのまま取得してもよい。
一方、再取得部102eは、特徴判定により識別された帳票が、例えば、A4等の高解像度が必要な帳票の場合、撮影部110の再度の撮影による高解像度且つ非圧縮の新たなフレームを取得してもよい。
また、再取得部102eは、撮影部110による撮影(連続画像撮影、動画撮影、または、静止画撮影等)を制御して、新たなフレームを取得してもよい。また、再取得部102eは、更に、取得したフレームを画像データファイル106bに格納してもよい。
画像表示部102fは、画像データを表示させる。ここで、画像表示部102fは、フレーム、および/または、原稿画像データを表示させてもよい。
また、画像表示部102fは、画像データを入出力部112に表示させてもよい。また、画像表示部102fは、文字データを表示させてもよい。
OCR部102gは、画像データに対してOCR処理を行い、文字データを取得する。ここで、OCR部102gは、原稿画像データ、または、フレームに対してOCR処理を行い、文字データを取得してもよい。また、OCR部102gは、更に、取得した文字データを画像データファイル106bに格納してもよい。
[本実施形態の処理]
上述した構成のモバイル端末100で実行される処理の一例について、図2から図7を参照して、本実施形態における帳票特徴判定処理の一例について説明する。
[帳票特徴判定処理(その1)]
まず、図2および図3を参照して、本実施形態における登録帳票が1種類の場合の帳票特徴判定処理の一例について説明する。図2は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
図2に示すように、まず、フレーム取得部102aは、撮影部(カメラ)110を起動させ、撮影部110による連続画像撮影または動画撮影を制御する(ステップSA−1)。
そして、フレーム取得部102aは、カメラ110により撮影された画像のフレームを入力(取得)する(ステップSA−2)。
そして、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレーム取得部102aにより取得されたフレームから矩形原稿の原稿画像データを切り出す(ステップSA−3)。
そして、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴の位置に対応する位置にある原稿中の原稿部分特徴を検出する(ステップSA−4)。
ここで、特徴データファイル106aには、帳票毎に位置情報と特徴情報(罫線、文字画像、テキスト、絵柄画像、および、顔画像等)とが予め登録されていてもよい。ここで、色とは、RGB、HSV、Lab、または、YUV等の階調値であってもよい。
すなわち、本実施形態においては、他にはない固有の特徴および領域情報を事前に帳票データとして登録していてもよい。
そして、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴と、検出した原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致する(矩形原稿が対象の帳票)か否かを判定する(ステップSA−5)。
このように、本実施形態においては、切り出した画像データを特徴検出し、予め特徴データファイル106aに登録してある帳票の特徴との整合性を判定している。
ここで、本実施形態において、整合性の判定には、交点座標の位置、色の階調値、罫線の本数、長さもしくは幅、または、文字の数等が閾値を満たすか否かを判定してもよく、画像が一致するか否かを判定してもよい。
すなわち、本実施形態においては、部分特徴の位置(座標等)、色、数、および/または、サイズ(長さ、大きさおよび/または幅等)で部分特徴判定をしてもよい。
そして、部分特徴判定部102cは、矩形原稿が対象の帳票ではないと判定した場合(ステップSA−5:No)、画像再取得依頼を行い、処理をステップSA−1に移行させる。
一方、部分特徴判定部102cは、矩形原稿が対象の帳票であると判定した場合(ステップSA−5:Yes)、処理をステップSA−6に移行させる。
すなわち、本実施形態において、登録済み帳票との整合が取れれば、整合した帳票種別情報を設定し、後段の画像処理(OCR解析等)へ処理を遷移させてもよい。
そして、再取得部102eは、特徴判定に用いたフレームを取得する、または、カメラ110による撮影を制御して、高解像度且つ非圧縮の新たなフレームを取得し、画像データファイル106bに格納し、その際、疑似シャッター動作情報を入出力部112に出力させる(ステップSA−6)。
すなわち、本実施形態においては、目的の帳票と判断できたら、自動的に擬似シャッターを切り、画像データを取得してもよい。
そして、OCR部102gは、再取得部102eにより取得されたフレームに含まれる原稿画像データ、または、フレームに対して画像処理(OCR処理)による文字認識を行い、文字データを取得する(ステップSA−7)。
そして、画像表示部102fは、特徴判定により識別された帳票の帳票名、OCR部102gにより取得された文字データ、再取得部102eにより取得されたフレームに含まれる原稿画像データを入出力部112に出力(表示)させ(ステップSA−8)、処理を終了する。
ここで、図3を参照して、本実施形態における画面表示の一例について説明する。図3は、本実施形態における画面表示の一例を示す図である。
図3に示すように、本実施形態においては、特徴判定により識別された帳票の帳票名(運転免許証)および当該帳票のアイコンと、帳票に記載されている文字の情報(氏名、生年月日、住所、有効期限、および/または、免許証番号等)と、原稿画像データと、を入出力部(ディスプレイ)112に表示させてもよい。
そして、本実施形態において、表示後の画面へのユーザ操作などによって、帳票に応じたサービス(システム)等に、読み取った情報を受け渡す(データ送信する)ことで、ユーザの所望のデータ処理を実現できる。
このように、本実施形態においては、部分的な特徴判定を実施することで、高速なリトライ処理を実現している。
[帳票特徴判定処理(その2)]
次に、図4から図6を参照して、本実施形態における登録帳票が複数種類の場合の帳票特徴判定処理の一例について説明する。図4は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
図4に示すように、まず、フレーム取得部102aは、撮影部(カメラ)110を起動させ、撮影部110による連続画像撮影または動画撮影を制御する(ステップSB−1)。
そして、フレーム取得部102aは、カメラ110により撮影された画像のフレームを入力(取得)する(ステップSB−2)。
そして、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレーム取得部102aにより取得されたフレームから矩形原稿の原稿画像データを切り出す(ステップSB−3)。
そして、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴の位置に対応する位置にある原稿中の原稿部分特徴を検出する(ステップSB−4)。
そして、部分特徴判定部102cは、特徴データファイル106aに登録された帳票の1つの部分特徴と、検出した原稿部分特徴と、の一致度合を閾値と比較することにより、部分特徴と原稿部分特徴とが一致する(矩形原稿が対象の帳票)か否かを判定する(ステップSB−5)。
このように、本実施形態においては、帳票の特徴量を検出および判定しているため、同じサイズの帳票であっても高精度に識別可能である。
そして、部分特徴判定部102cは、矩形原稿が対象の帳票ではないと判定した場合(ステップSB−5:No)、処理をステップSB−6に移行させる。
そして、部分特徴判定部102cは、特徴データファイル106aに登録済みの全ての帳票の1つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了したか否かを判定する(ステップSB−6)。
そして、部分特徴判定部102cは、登録済みの全ての帳票の1つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了したと判定した場合(ステップSB−6:Yes)、画像再取得依頼を行い、処理をステップSB−1に移行させる。
一方、部分特徴判定部102cは、登録済みの全ての帳票の1つの部分特徴と、検出した原稿部分特徴と、が一致するか否かの判定が完了していないと判定した場合(ステップSB−6:No)、比較対象とする特徴データファイル106aに登録された帳票の種類を変更して、処理をステップSB−4に移行させる。
ここで、図5を参照して、本実施形態における部分特徴判定の一例について説明する。図5は、本実施形態における部分特徴判定の一例を示す図である。
図5に示すように、本実施形態においては、切り出した原稿画像データを、予め特徴データファイル106aに登録してある帳票の部分特徴との整合性を判定してもよい。
このように、本実施形態において、整合性の判定は、部分的な特徴判定のため、登録済みの帳票が複数あっても高速に判定を実施でき、エラー時のリトライ処理も高速に行うことができる。
図4に戻り、部分特徴判定部102cは、矩形原稿が対象の帳票であると判定した場合(ステップSB−5:Yes)、処理をステップSB−7に移行させる。すなわち、本実施形態においては、登録済み帳票との整合が取れれば、全体特徴検出へ処理を遷移させる。
そして、全体特徴判定部102dは、原稿中の原稿全体特徴(例えば、特徴データファイル106aに登録された帳票の複数の部分特徴の位置に対応する位置にある原稿中の原稿部分特徴)を検出する(ステップSB−7)。
そして、全体特徴判定部102dは、特徴データファイル106aに登録された、部分特徴判定部102cにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する(矩形原稿が対象の帳票)か否かを判定する(ステップSB−8)。
ここで、図6を参照して、本実施形態における全体特徴判定の一例について説明する。図6は、本実施形態における全体特徴判定の一例を示す図である。
本実施形態においては、全体特徴判定において、画像全体の全体特徴と登録済み帳票の全体特徴との比較を行ってもよい。ここで、部分特徴判定と同様に、特徴データファイル106aに登録済みの特徴データを元に、比較を行ってもよい。
図6に示すように、例えば、本実施形態においては、運転免許証の場合、氏名、生年月日、住所、有効期限、および、免許証番号等のレイアウト判定を実施してもよい。
図4に戻り、全体特徴判定部102dは、矩形原稿が対象の帳票ではないと判定した場合(ステップSB−8:No)、画像再取得依頼を行い、処理をステップSB−1に移行させる。
すなわち、本実施形態においては、部分特徴判定で特定帳票の一部の部分特徴と整合性が取れたが、全体特徴判定で整合性が取れなかった場合、最初のシーケンスの画像データの取得(再撮影)からやり直しをさせる。
一方、全体特徴判定部102dは、矩形原稿が対象の帳票であると判定した場合(ステップSB−8:Yes)、処理をステップSB−9に移行させる。
すなわち、本実施形態においては、全体特徴判定で整合性が取れた場合、整合した帳票種別情報を設定し、画像処理(OCR解析等)へ処理を遷移させる。ここで、全体特徴判定部102dは、各種帳票ごとに画像処理に必要な情報を取得してもよい。
そして、再取得部102eは、特徴判定に用いたフレームを取得する、または、カメラ110による撮影を制御して、高解像度且つ非圧縮の新たなフレームを取得し、画像データファイル106bに格納し、その際、疑似シャッター動作情報を入出力部112に出力させる(ステップSB−9)。
そして、OCR部102gは、再取得部102eにより取得されたフレームに含まれる原稿画像データ、または、フレームに対して画像処理(OCR処理)による文字認識を行い、文字データを取得する(ステップSB−10)。
そして、画像表示部102fは、特徴判定により識別された帳票名、OCR部102gにより取得された文字データ、再取得部102eにより取得されたフレームに含まれる原稿画像データを入出力部112に出力(表示)させ(ステップSB−11)、処理を終了する。
このように、本実施形態においては、特徴判定を2段階で実施することで、精度よく高速に帳票識別を実施することが可能である。
[帳票特徴判定処理(その3)]
そして、図7を参照して、本実施形態における登録帳票が複数種類の場合の帳票特徴判定処理の一例について説明する。図7は、本実施形態のモバイル端末100における処理の一例を示すフローチャートである。
まず、図7に示すステップSC−1からステップSC−7の処理は、図4に示すステップSB−1からステップSB−7の処理と同一であるため、説明を省略する。
そして、全体特徴判定部102dは、特徴データファイル106aに登録された、部分特徴判定部102cにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する(矩形原稿が対象の帳票)か否かを判定する(ステップSC−8)。
そして、全体特徴判定部102dは、矩形原稿が対象の帳票であると判定した場合(ステップSC−8:Yes)、処理をステップSC−9に移行させる。
ここで、図7に示すステップSC−9からステップSC−11の処理は、図4に示すステップSB−9からステップSB−11の処理と同一であるため、説明を省略する。
一方、全体特徴判定部102dは、矩形原稿が対象の帳票ではないと判定した場合(ステップSC−8:No)、画像再取得依頼を行い、処理をステップSC−12に移行させる。
そして、再取得部102eは、撮影部(カメラ)110を起動させ、撮影部110による連続画像撮影または動画撮影を制御する(ステップSC−12)。
そして、再取得部102eは、カメラ110により撮影された画像のフレームを入力(取得)する(ステップSC−13)。
そして、原稿取得部102bは、エッジ検出法、および/または、特徴点マッチング法を用いて、フレーム取得部102aにより取得されたフレームから矩形原稿の原稿画像データを切り出す(ステップSC−14)。
そして、全体特徴判定部102dは、原稿中の原稿全体特徴を検出する(ステップSC−15)。
そして、全体特徴判定部102dは、特徴データファイル106aに登録された、部分特徴判定部102cにより対象の帳票であると判定された帳票の全体特徴と、原稿の原稿全体特徴と、が一致する(矩形原稿が対象の帳票)か否かを判定する(ステップSC−16)。
そして、全体特徴判定部102dは、矩形原稿が対象の帳票ではないと判定した場合(ステップSC−16:No)、画像再取得依頼を行い、処理をステップSC−12に移行させる。
一方、全体特徴判定部102dは、矩形原稿が対象の帳票であると判定した場合(ステップSC−16:Yes)、処理をステップSC−9に移行させる。
このように、本実施形態においては、一度、部分特徴判定で撮影対象の媒体が明確となっている場合、2回目以降の処理では、部分特徴判定の処理をパスすることも可能である。
これにより、本実施形態においては、2回目から部分特徴判定の処理にかかる時間を短縮でき、より高速なリトライ処理が可能となる。
このように、本実施形態においては、カメラの動画像データより1フレームだけ抜き出した高解像度の画像データから原稿領域の矩形切り出しを実施し、切り出した原稿領域に対し特徴検出を実施し、帳票種別を判定し、一致するものがなければ、再度画像データの取得からやり直してもよい。
ここで、本実施形態においては、高速かつ高精度に判定を行うために、二段階の特徴判定を実施してもよい。なお、第一段目では、帳票毎に設定した特定の領域の特徴との比較を実施してもよい。
ここで、帳票毎に設定した特定の領域および特徴は、帳票種別ごとに固有のものであってもよい。また、第二段目では、帳票全体の特徴比較を実施してもよい。それにより、本実施形態においては、高速な処理と高精度な帳票識別とを行うことができる。
近年、スマートフォンまたはタブレット等のモバイル端末の普及に伴い、モバイル端末が有するカメラでの文書スキャンの需要が増えている。これは、モバイル端末の利用が、手軽であること、および、従来のスキャナと異なり、専用端末が不要であるというメリットがあるからである。
従来から、モバイル端末を使って原稿を自動撮影する仕組みがあり、モバイル端末のカメラを使って個人認証をする場合、個人認証の目的の原稿のみを撮影する必要があった。
しかしながら、従来は、不要な原稿を撮影する、または、OCR認識できない画像を撮影するといった課題が存在していた。
そこで、本実施形態においては、カメラで撮影している対象原稿が、目的の原稿かどうかを判断し、且つ、OCR認識できる原稿であると判断した場合に自動的に撮影する手法を提案している。
[他の実施形態]
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
例えば、モバイル端末100は、スタンドアローンの形態で処理を行ってもよく、クライアント端末(モバイル端末100とは別筐体である)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
また、モバイル端末100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
例えば、モバイル端末100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPUおよび当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてモバイル端末100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
また、このコンピュータプログラムは、モバイル端末100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標)Disc等の任意の「可搬用の物理媒体」を含むものとする。
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部106に格納される各種のデータベース等は、RAMもしくはROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および/または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および/または、ウェブページ用ファイル等を格納してもよい。
また、モバイル端末100は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、モバイル端末100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。