JP6600090B2 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および、プログラムに関する。

従来から、撮影画像中の背景を識別する技術が開示されている。

ここで、二つの領域の色を確認することで、指定範囲内に撮影対象物が収まっているかを判定する技術が開示されている（特許文献１を参照）。

また、背景の色と原稿の色との類似度を確認し、その結果に応じた抽出パラメータを用いることで原稿を精度良く検出する技術が開示されている（特許文献２を参照）。

また、デジタル画像の背景の輝度値、色チャネル値、コントラスト値、テクスチャ値、色合い値、鮮明度値等の背景統計を計算する技術が開示されている（特許文献３を参照）。

特開２０１２−２０５０８９号公報 特開２０１４−１７６７３号公報 特表２０１５−５０３８１３号公報

しかしながら、従来の情報処理装置（特許文献１等）においては、背景領域の色またはノイズ量によっては、効率的な背景識別ができないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、原稿領域を含む撮影画像の背景領域において検出される色成分から背景色を識別し、背景領域において検出されるエッジの成分から背景模様の複雑さを識別することで、原稿領域の輪郭を的確に検出可能な背景領域かどうかを識別できる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係る画像処理装置は、原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得手段と、前記撮影画像の所定領域における色成分値を検出する色成分検出手段と、前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出手段と、前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、前記撮影画像の所定領域における色成分値を検出する色成分検出ステップと、前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出ステップと、前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、前記撮影画像の所定領域における色成分値を検出する色成分検出ステップと、前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出ステップと、前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、原稿領域検出処理の前提となる背景識別を効率よく行うことができる。

図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図３は、本実施形態における外縁領域の一例を示す図である。 図４は、本実施形態におけるエッジ画像の一例を示す図である。 図５は、本実施形態におけるエッジ画像の一例を示す図である。 図６は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。 図７は、本実施形態における撮影画像の一例を示す図である。 図８は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。 図９は、本実施形態における撮影画像の一例を示す図である。 図１０は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。 図１１は、本実施形態における撮影画像の一例を示す図である。 図１２は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。 図１３は、本実施形態における模式的な撮影画像の一例を示す図である。 図１４は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。 図１５は、本実施形態における模式的な撮影画像の一例を示す図である。 図１６は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図１７は、本実施形態における選定候補直線の一例を示す図である。

以下に、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置１００を例示するものであって、本発明をこの画像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置１００にも等しく適用し得るものである。

また、本実施形態で例示する画像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

ここで、画像処理装置１００は、例えば、タブレット端末、携帯電話、スマートフォン、ＰＨＳ、ＰＤＡ、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置（モバイル端末）であってもよい。

まず、図１に示すように、画像処理装置１００は、概略的に、制御部１０２と記憶部１０６と撮影部１１０と入出力部１１２とセンサ部１１４と通信部１１６とを備えて構成される。

なお、図１において、画像処理装置１００は、筐体内に撮影部１１０を備えたモバイル端末として示しているが、筐体内に撮影部１１０を備えておらず、外部の撮影装置から撮影画像データを受信する構成（例えば、デスクトップ型のパーソナルコンピュータ等）であってもよい。

ここで、図１では省略しているが、本実施形態において、更に、入出力部１１２と制御部１０２とを接続する入出力インターフェース部（図示せず）を備えていてもよい。これら画像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、通信部１１６は、有線通信および／または無線通信（ＷｉＦｉ等）によりＩＰデータを送受信するためのネットワークインターフェース（ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。

ここで、画像処理装置１００は、通信部１１６を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。

また、センサ部１１４は、物理量を検出して別媒体の信号（デジタル信号）に変換する。ここで、センサ部１１４は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および／または、温度センサ等を含んでいてもよい。

また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等であってもよい。

また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、または、タッチパネル等）であってもよい。

また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。また、入出力部（タッチパネル）１１２は、物理的接触を検出し、信号（デジタル信号）に変換するセンサ部１１４を含んでいてもよい。

また、撮影部１１０は、被写体（例えば、帳票等）を静止画撮影することで、静止画の画像データを取得する。例えば、撮影部１１０は、撮影画像データを取得してもよい。

また、撮影部１１０は、被写体を連続画像撮影（動画撮影）することで、連続（動画）の画像データ（フレーム）を取得してもよい。例えば、撮影部１１０は、映像データを取得してもよい。また、撮影部１１０は、アンシラリデータを取得してもよい。

ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。ここで、高解像度とは、フルハイビジョン、４Ｋ解像度、または、スーパーハイビジョン（８Ｋ解像度）等であってもよい。

また、撮影部１１０は、２４ｆｐｓまたは３０ｆｐｓ等で動画撮影してもよい。ここで、撮影部１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、および／または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えたカメラ等であってもよい。

記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、および／または、光ディスク等を用いることができる。

また、記憶部１０６は、各種のデータベース、テーブル、バッファ、および／または、ファイル（レイアウトデータファイル１０６ａ、および、画像データファイル１０６ｂ等）を格納する。ここで、記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。

これら記憶部１０６の各構成要素のうち、レイアウトデータファイル１０６ａは、原稿（帳票）のレイアウトのレイアウトデータを記憶する。ここで、レイアウトデータは、原稿（帳票）中の罫線、文字、写真および／または図形等の配置に関する位置データ等であってもよい。

ここで、帳票は、運転免許証を含む各種免許証、各種身分証明書、または、健康保険証等の規定帳票であってもよい。また、レイアウトデータは、原稿の色成分値およびエッジ量を含んでいてもよい。

また、画像データファイル１０６ｂは、画像データ（フレーム等）を記憶する。ここで、画像データファイル１０６ｂは、撮影画像データ、および／または、原稿画像データを記憶していてもよい。

また、制御部１０２は、画像処理装置１００を統括的に制御するＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍｉｎｇ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路から構成されてもよい。

また、制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、機能概念的に、撮影画像取得部１０２ａ、色成分検出部１０２ｂ、エッジ検出部１０２ｃ、背景識別部１０２ｄ、原稿領域検出制御部１０２ｅ、直線取得部１０２ｆ、矩形検出部１０２ｇ、補正量算出部１０２ｈ、基準直線取得部１０２ｉ、原稿特定部１０２ｊ、および、原稿画像取得部１０２ｋを備える。

撮影画像取得部１０２ａは、撮影画像の撮影画像データを取得する。ここで、撮影画像取得部１０２ａは、原稿領域を含む撮影画像の撮影画像データを取得してもよい。ここで、原稿領域は、射影変換前の領域であってもよい。

また、撮影画像取得部１０２ａは、撮影部１１０または外部の撮影装置の撮影による撮影画像データを取得してもよい。また、撮影画像取得部１０２ａは、撮影部１１０による静止画撮影を制御して、撮影画像データを取得してもよい。

また、撮影画像取得部１０２ａは、撮影部１１０による連続画像撮影または動画撮影を制御して、１コマに相当する撮影画像データ（フレーム）を取得してもよい。

色成分検出部１０２ｂは、撮影画像の色成分値を検出する。ここで、色成分検出部１０２ｂは、撮影画像の所定領域における色成分値を検出する。ここで、所定領域は、撮影画像の外縁領域であってもよい。

ここで、外縁領域は、撮影画像の外縁から所定の幅をなす帯状の領域であってもよい。また、所定領域は、撮影画像の中心領域であってもよい。

エッジ検出部１０２ｃは、撮影画像に含まれるエッジを検出する。ここで、エッジ検出部１０２ｃは、撮影画像の所定領域におけるエッジを検出し、エッジの密度、および／または、エッジ強度を示すエッジ量を取得してもよい。

また、エッジ検出部１０２ｃは、キャニー法を用いて撮影画像に含まれるエッジを検出してもよい。

例えば、エッジ検出部１０２ｃは、撮影画像をガウシアンフィルタで平滑化し、エッジ強度と勾配方向（４方向に量子化）とを計算し、細線化処理を行い、ヒステリシス閾処理によるエッジ抽出を行うことで、エッジを検出してもよい。

また、エッジ検出部１０２ｃは、撮影画像のピラミッド構造化を行い、隣接階調差によるエッジ抽出を行い、ノイズ除去（ラベリングおよび／または背景除去等）を行い、エッジ補正（欠けの結合等）を行うことで、エッジを検出してもよい。

背景識別部１０２ｄは、撮影画像の原稿領域と、撮影画像から原稿領域を除く背景領域と、の背景の差異を識別する。ここで、背景識別部１０２ｄは、色成分値、および、エッジ量に基づいて、原稿領域と背景領域との背景の差異を識別してもよい。

また、背景識別部１０２ｄは、所定領域における色成分値が指定範囲内であり、且つ、所定領域におけるエッジ量が閾値を満たす場合、原稿領域と背景領域とが同一背景であると識別してもよい。

ここで、指定範囲は、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび／または所定領域（原稿領域）の色成分値に基づく範囲であってもよい。ここで、所定領域は、撮影画像の中心領域であってもよい。

また、閾値は、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび／または所定領域（原稿領域）のエッジ量に基づく値であってもよい。

原稿領域検出制御部１０２ｅは、背景識別部１０２ｄによる識別結果に基づいて、撮影画像における原稿領域検出処理を切替制御する。

ここで、原稿領域検出制御部１０２ｅは、背景識別部１０２ｄにより原稿領域と背景領域とが同一背景であると識別された場合、同一背景における原稿領域検出処理に移行させてもよい。

直線取得部１０２ｆは、エッジに基づくエッジ直線を取得する。ここで、直線取得部１０２ｆは、エッジ直線により構成される矩形である読取矩形の辺と平行な、エッジ直線を平行直線として取得してもよい。

また、直線取得部１０２ｆは、背景識別部１０２ｄにより原稿領域と背景領域とが同一背景であると識別された場合、エッジに基づくエッジ直線を取得してもよい。

また、直線取得部１０２ｆは、エッジに対するハフ変換により直線候補を算出し、最小二乗法による直線候補の補正によりエッジ直線を取得してもよい。

例えば、直線取得部１０２ｆは、エッジに対するハフ変換による直線候補を算出し、最小二乗法による直線候補の補正を行い、エッジ直線の情報（例えば、始点、終点、および、ハフ変換における投票数）を取得してもよい。

矩形検出部１０２ｇは、エッジ直線により構成される矩形である読取矩形を検出する。

例えば、矩形検出部１０２ｇは、取得されたエッジ直線群（水平方向、および、垂直方向）が構成する矩形候補を算出し、矩形候補を大きさでソートして、読取矩形を検出してもよい。

補正量算出部１０２ｈは、エッジに基づいて、原稿（帳票）のレイアウトを基準とした原稿領域の補正量を算出する。ここで、補正量算出部１０２ｈは、エッジの長さの比率に基づいて、原稿（帳票）のレイアウトを基準とした原稿領域の補正量を算出してもよい。

基準直線取得部１０２ｉは、原稿領域において最も外側にあるエッジ直線を選定直線として選定し、補正量および選定直線に基づいて、原稿領域の輪郭を構成する基準直線を取得する。

ここで、基準直線取得部１０２ｉは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、撮影画像において選定直線の内側に他のエッジ直線である内側直線があり、且つ、選定直線と内側直線との間が補正量に基づく距離となる場合、補正量に従って選定直線の外側にある基準直線を取得してもよい。

また、基準直線取得部１０２ｉは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、撮影画像において選定直線の内側に他のエッジ直線である内側直線が無い場合、または、内側直線があるが、選定直線と内側直線との間が補正量に基づく距離とならない場合、撮影画像において当該選定直線の対辺をなす選定直線の内側に他のエッジ直線である対辺内側直線があり、且つ、対辺をなす選定直線と対辺内側直線との間が補正量に基づく距離となる場合、補正量に従って選定直線の外側にある基準直線を取得してもよい。

原稿特定部１０２ｊは、原稿領域の原稿座標を特定する。ここで、原稿特定部１０２ｊは、基準直線に基づいて、原稿領域の原稿座標を特定する。また、原稿特定部１０２ｊは、基準直線の交点座標を算出することにより、原稿領域の原稿座標を特定してもよい。

また、原稿特定部１０２ｊは、背景識別部１０２ｄにより原稿領域と背景領域とが同一背景であると識別された場合、エッジ検出法、および／または、特徴点マッチング法を用いて、原稿領域の原稿座標を特定してもよい。

原稿画像取得部１０２ｋは、原稿座標に基づいて、撮影画像から原稿領域をクロップ処理することで、原稿画像データを取得する。ここで、原稿画像取得部１０２ｋは、更に、取得した原稿画像データを画像データファイル１０６ｂに格納してもよい。

［本実施形態の処理］
上述した構成の画像処理装置１００（モバイル端末）で実行される処理の一例について、図２から図１７を参照して、本実施形態におけるクロップ処理の一例について説明する。図２は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図２に示すように、まず、撮影画像取得部１０２ａは、撮影部１１０により撮影された原稿領域を含む、一律の余白を持つ撮影画像の撮影画像データを取得する（ステップＳＡ−１）。

そして、色成分検出部１０２ｂは、撮影画像の外縁から所定の幅をなす帯状の領域における色成分値を検出する（ステップＳＡ−２）。ここで、色成分値は、色相、明度、彩度、および／または、輝度の値であってもよい。

ここで、図３を参照して、本実施形態における外縁領域の一例について説明する。図３は、本実施形態における外縁領域の一例を示す図である。

図３に示すように、本実施形態においては、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域であってもよい。

図２に戻り、エッジ検出部１０２ｃは、撮影画像の外縁から所定の幅をなす帯状の領域におけるエッジを検出し、エッジの密度、および／または、エッジ強度を示すエッジ量を取得する（ステップＳＡ−３）。

ここで、図４および図５を参照して、本実施形態におけるエッジ画像の一例について説明する。図４および図５は、本実施形態におけるエッジ画像の一例を示す図である。

図４は、原稿領域が白無地であり、背景領域が木目であるため、原稿領域と背景領域とのエッジ量が異なるエッジ画像となる。

一方、図５は、原稿領域が白無地であり、背景領域が白無地であるため、原稿領域と背景領域とが同一背景のエッジ量に差異が無いエッジ画像となる。

図２に戻り、背景識別部１０２ｄは、撮影画像の外縁から所定の幅をなす帯状の領域における色成分値が指定範囲内であり、且つ、当該帯状の領域におけるエッジ量が閾値を満たすか否かを判定することで（ステップＳＡ−４）、原稿領域と背景領域とが同一背景であるか否かを識別する（ステップＳＡ−５）。

ここで、背景識別部１０２ｄは、色成分値を判定することで、同一色の背景か否かを判別している。また、背景識別部１０２ｄは、エッジ量を判定することで、複雑な背景か否かを判別している。

例えば、背景識別部１０２ｄは、原稿が白無地の運転免許証の場合、輝度（０−２５５の範囲の場合）が１２８以上であり、且つ、エッジの密度が５％以下であれば同一背景と判断してもよい。

また、背景識別部１０２ｄは、原稿が白無地の運転免許証の場合、色成分値について、明度（０−１の範囲の場合）が０．７以上、および／または、彩度（０−１の範囲の場合）が０．１以下であれば同一背景と判断してもよい。

また、背景識別部１０２ｄは、原稿が白無地の運転免許証の場合、エッジ量について、エッジ強度（０−２５５の範囲の場合）が１０以下であれば同一背景と判断してもよい。

ここで、図６から図１５を参照して、本実施形態における様々な背景における色成分値およびエッジ量の一例を説明する。

図６、図８、図１０、図１２および図１４は、本実施形態における色成分値およびエッジ量の一例を示す模式図である。図７、図９および図１１は、本実施形態における撮影画像の一例を示す図である。図１３および図１５は、本実施形態における模式的な撮影画像の一例を示す図である。

図７に示すように、原稿が上質紙であり背景が花崗岩の撮影画像の場合、図６に示すように、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域において、色成分値である平均輝度は、１０２となり、エッジの密度は、９２．８％となる。

また、図９に示すように、原稿が上質紙であり背景が大理石の撮影画像の場合、図８に示すように、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域において、色成分値である平均輝度は、２２６となり、エッジの密度は、５６．７％となる。

また、図１１に示すように、原稿が上質紙であり背景が大理石の撮影画像の場合、図１０に示すように、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域において、色成分値である平均輝度は、２０５となり、エッジの密度は、３０．３％となる。

また、図１３に示すように、原稿が運転免許証であり背景が木目の撮影画像の場合、図１２に示すように、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域において、色成分値である平均輝度は、１６７となり、エッジの密度は、０．９％となる。

また、図１５に示すように、原稿が名刺であり背景が木目の撮影画像の場合、図１４に示すように、撮影画像の外縁から、撮影画像の幅の５％となる帯状の領域において、色成分値である平均輝度は、９９となり、エッジの密度は、５０．９％となる。

図２に戻り、原稿領域検出制御部１０２ｅは、背景識別部１０２ｄにより原稿領域と背景領域とが同一背景ではないと識別された場合（ステップＳＡ−５：Ｎｏ）、処理をステップＳＡ−６に移行させる。

そして、原稿特定部１０２ｊは、エッジ検出部１０２ｃにより検出されたエッジ、および／または、レイアウトデータファイル１０６ａに記憶された原稿（帳票）のレイアウトデータを用いた特徴点マッチング法を用いて、原稿領域の原稿座標を特定し（ステップＳＡ−６）、処理をステップＳＡ−１０に移行させる。

一方、原稿領域検出制御部１０２ｅは、背景識別部１０２ｄにより原稿領域と背景領域とが同一背景であると識別された場合（ステップＳＡ−５：Ｙｅｓ）、処理をステップＳＡ−７に移行させる。

そして、直線取得部１０２ｆは、エッジ検出部１０２ｃにより検出されたエッジに対するハフ変換により直線候補を算出し、最小二乗法による直線候補の補正によりエッジ直線を取得する（ステップＳＡ−７）。

そして、矩形検出部１０２ｇは、直線取得部１０２ｆにより取得されたエッジ直線により構成される矩形である読取矩形を検出する（ステップＳＡ−８）。

そして、制御部１０２は、矩形補正処理を行う（ステップＳＡ−９）。

［矩形補正処理］
ここで、図１６および図１７を参照して、本実施形態における矩形補正処理の一例について説明する。図１６は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図１６に示すように、まず、補正量算出部１０２ｈは、エッジ検出部１０２ｃにより検出されたエッジの長さの比率、および、レイアウトデータファイル１０６ａに記憶されたレイアウトデータに基づいて、原稿（帳票）のレイアウトを基準とした原稿領域の補正量を算出する（ステップＳＢ−１）。

そして、直線取得部１０２ｆは、矩形検出部１０２ｇにより検出された読取矩形の辺と平行な、エッジ直線を平行直線として取得（選定）する（ステップＳＢ−２）。ここで、平行直線は、読取矩形の辺との角度が±１度以内の角度となるエッジ直線を含んでいてもよい。

そして、基準直線取得部１０２ｉは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、補正量に従って選定直線の外側にある、原稿領域の輪郭を構成する基準直線を取得する（ステップＳＢ−３）。

ここで、図１７を参照して、本実施形態におけるレイアウト判定処理の一例について説明する。図１７は、本実施形態における選定候補直線の一例を示す図である。

図１７に示すように、本実施形態においては、まず、読取矩形を構成する四つの平行直線を選定直線の初期値（長辺を構成する選定候補直線Ｌ’（Ｌ’１およびＬ’２）、ならびに、短辺を構成する選定候補直線Ｓ’（Ｓ’１およびＳ’２））として取得する。

そして、本実施形態においては、選定候補直線Ｌ’１および選定候補直線Ｌ’２に対して、閾値（例えば、レイアウトデータに基づく帳票の短辺の１／４の長さ等）以内の外側に平行直線があれば、値を更新（選定候補直線Ｌ’とする平行直線を変更）することで、選定直線Ｌ１および選定直線Ｌ２を選定する。

そして、本実施形態においては、選定直線Ｌ１に対し、内側に他のエッジ直線である内側直線があり、且つ、選定直線Ｌ１と内側直線との間が補正量に基づく距離（例えば、実距離の１／２以上３／２以下の長さ等）となるか否かを判定することで、選定直線の関係性からレイアウトを判定する。

そして、本実施形態においては、選定直線Ｌ１が判定を満たす場合に、後段処理に移行させる。

一方で、本実施形態においては、選定直線Ｌ１が判定を満たさない場合、対辺である選定直線Ｌ２に対し、内側に他のエッジ直線である対辺内側直線があり、且つ、選定直線Ｌ２と対辺内側直線との間が補正量に基づく距離となるか否かを判定する。

そして、本実施形態においては、選定直線Ｌ２が判定を満たす場合、選定直線Ｌ１について判定を満たすものとして、後段処理に移行させてもよい。

そして、本実施形態においては、選定直線Ｓ（Ｓ１およびＳ２）に対し、内側に他のエッジ直線である内側直線があり、且つ、選定直線Ｓと内側直線との間が補正量に基づく距離となるか否かを判定する。

そして、本実施形態においては、選定直線Ｓが判定を満たす場合、補正量に従って選定直線Ｌおよび選定直線Ｓの外側にある基準直線を取得する。このように、本実施形態においては、補正量を基にレイアウトを判定してもよい。

図１６に戻り、原稿特定部１０２ｊは、基準直線取得部１０２ｉにより取得された基準直線の交点座標を算出することにより、原稿領域の原稿座標を特定し（ステップＳＢ−４）、処理を終了する。

図２に戻り、原稿画像取得部１０２ｋは、原稿特定部１０２ｊにより特定された原稿座標に基づいて、撮影画像から原稿領域をクロップ処理することで、原稿画像データを取得し、原稿画像データを画像データファイル１０６ｂに格納し（ステップＳＡ−１０）、処理を終了する。

このように、本実施形態においては、背景領域の特徴を色成分値とエッジ量で捉えることで背景の状態を検出し、色成分値およびエッジ量の背景情報から後段の処理を切り替える制御をすることで、従来検出することができなかった同一色の背景下においても対象物を精度良く切り出すことが可能となる。

例えば、本実施形態においては、窓口業務において、顧客から借用する白無地背景の身分証明証に対して、モバイル端末でその場で撮影することで、顧客へ安心感を与えることができる。その際、身分証明証が置かれるテーブルは多様であり、身分証明証と同一色である場合もある。

そこで、本実施形態においては、色成分値の範囲を輝度１２８以上、エッジ量をエッジ密度５％以下とすることで、同一背景（白背景）か否か、複雑な背景か否かを判別し、その結果から後段の処理を切り替えてもよい。

すなわち、本実施形態においては、後段の処理の切り替えとして、エッジのノイズ取りレベルの変更、および、レイアウトによる切り出しへの変更等をすることで、対象物を精度良く切り出すことができる。

また、本実施形態においては、白無地背景のドキュメントに印刷された内容をモバイル端末でその場で撮影することで、リマインダとして利用することができる。その際、ドキュメントが置かれるテーブルは多様であり、ドキュメントと同一色である場合もある。

そこで、本実施形態においては、色成分値の範囲を輝度１２８以上、エッジ量をエッジ密度５％以下とすることで、同一背景（白背景）か否か、複雑な背景か否かを判別し、その結果から後段の処理を切り替えてもよい。

すなわち、本実施形態においては、後段の処理の切り替えとして、エッジのノイズ取りレベルの変更、および、コンテンツによる切り出しへの変更等をすることで、対象物を精度良く切り出すことができる。

このように、本実施形態においては、レイアウトを用いた切り出し、または、コンテンツを用いた切り出しに繋げることで、多様な条件においても対象物（原稿）を精度良く切り出すことができる。

従来から、背景のエッジ強度を見ることで複雑な背景のノイズを除去し、木目や大理石といった複雑な背景下でも精度良く対象物を切り出す手法はあった。

しかしながら、従来手法では、同一色背景においては対象物と背景との間に階調差が少ないため、対象物を切り出すことができなかった。

また、従来手法としては、レイアウトを用いた切り出し手法とコンテンツを用いた切り出し手法とがあるが、前者は特定の帳票しか切り出すことができず、後者は複雑な背景では切り出すことができなかった為、処理を切り替える必要があった。

そこで、本実施形態においては、画像の指定領域（例えば、周辺領域等）から、指定の色成分値とエッジ量とを算出し、この色成分値からは同一色か否かを判別し、エッジ量からは複雑な背景か否かを判別してもよい。

そして、本実施形態においては、この判別結果から、後段の原稿切出処理を切り替えることで、同一色背景においても精度良く原稿を切り出すことができる。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、画像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（画像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、画像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、画像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、画像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータに読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、画像処理装置１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、画像処理装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ 画像処理装置
１０２ 制御部
１０２ａ 撮影画像取得部
１０２ｂ 色成分検出部
１０２ｃ エッジ検出部
１０２ｄ 背景識別部
１０２ｅ 原稿領域検出制御部
１０２ｆ 直線取得部
１０２ｇ 矩形検出部
１０２ｈ 補正量算出部
１０２ｉ 基準直線取得部
１０２ｊ 原稿特定部
１０２ｋ 原稿画像取得部
１０６ 記憶部
１０６ａ レイアウトデータファイル
１０６ｂ 画像データファイル
１１０ 撮影部
１１２ 入出力部
１１４ センサ部
１１６ 通信部

Claims (15)

1. 原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得手段と、
   前記撮影画像の所定領域における色成分値を検出する色成分検出手段と、
   前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出手段と、
   前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別手段と、
   を備えたことを特徴とする、画像処理装置。
2. 前記背景識別手段は、
   前記色成分値が指定範囲内であり、且つ、前記エッジ量が閾値を満たす場合、前記原稿領域と前記背景領域とが同一背景であると識別する、請求項１に記載の画像処理装置。
3. 前記所定領域は、
   前記撮影画像の外縁領域である、請求項１または２に記載の画像処理装置。
4. 前記外縁領域は、
   前記撮影画像の外縁から所定の幅をなす帯状の領域である、請求項３に記載の画像処理装置。
5. 前記背景識別手段による識別結果に基づいて、前記撮影画像における原稿領域検出処理を切替制御する原稿領域検出制御手段、
   を更に備えた、請求項１から４のいずれか一つに記載の画像処理装置。
6. 原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、
   前記撮影画像の所定領域における色成分値を検出する色成分検出ステップと、
   前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出ステップと、
   前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別ステップと、
   を含むことを特徴とする、画像処理方法。
7. 前記背景識別ステップにて、
   前記色成分値が指定範囲内であり、且つ、前記エッジ量が閾値を満たす場合、前記原稿領域と前記背景領域とが同一背景であると識別する、請求項６に記載の画像処理方法。
8. 前記所定領域は、
   前記撮影画像の外縁領域である、請求項６または７に記載の画像処理方法。
9. 前記外縁領域は、
   前記撮影画像の外縁から所定の幅をなす帯状の領域である、請求項８に記載の画像処理方法。
10. 前記背景識別ステップにおける識別結果に基づいて、前記撮影画像における原稿領域検出処理を切替制御する原稿領域検出制御ステップ、
    を更に含む、請求項６から９のいずれか一つに記載の画像処理方法。
11. 原稿領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、
    前記撮影画像の所定領域における色成分値を検出する色成分検出ステップと、
    前記所定領域におけるエッジを検出し、前記エッジの密度、および／または、エッジ強度を示すエッジ量を取得するエッジ検出ステップと、
    前記色成分値、および、前記エッジ量に基づいて、前記原稿領域と、前記撮影画像から前記原稿領域を除く背景領域と、の背景の差異を識別する背景識別ステップと、
    をコンピュータに実行させるためのプログラム。
12. 前記背景識別ステップにて、
    前記色成分値が指定範囲内であり、且つ、前記エッジ量が閾値を満たす場合、前記原稿領域と前記背景領域とが同一背景であると識別する、請求項１１に記載のプログラム。
13. 前記所定領域は、
    前記撮影画像の外縁領域である、請求項１１または１２に記載のプログラム。
14. 前記外縁領域は、
    前記撮影画像の外縁から所定の幅をなす帯状の領域である、請求項１３に記載のプログラム。
15. 前記背景識別ステップにおける識別結果に基づいて、前記撮影画像における原稿領域検出処理を切替制御する原稿領域検出制御ステップ、
    を更にコンピュータに実行させるための、請求項１１から１４のいずれか一つに記載のプログラム。

Images