JP6971789B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Description

本発明は、文書等の被写体を撮影する際に、適切な撮影画像を得るためのガイドを表示する情報処理装置、プログラム及び情報処理方法に関する。

カメラ付きモバイル端末は一般的なものになってきた。これに伴い、保険会社などの営業担当者が、カメラ付きモバイル端末を携行して客先に出向き、顧客が所持する保険証書等の文書を被写体として、カメラ付きモバイル端末を用いて撮影し、当該撮影した文書画像データを使用する業務が増加している。例えば、この撮影された文書画像データに対して文字認識処理（ＯＣＲ処理）を行って文字データを抽出し、その文字データをデータベースへ登録したり、その文字データを解析してソリューションの提案に用いたりする。そのため、カメラ付きモバイル端末を用いて撮影される文書画像データは、文字認識処理の認識精度が高くなるように、できるだけ高解像度であるのが望ましい。

特許文献１では、適切な文書の撮影データを取得するために、撮影時に理想枠を表示する技術を開示している。特許文献１の技術では、まず、書類の種別（Ａ４，Ｂ５，はがきなどの種類）とその書類の縦横比データとを対応づけたサイズデータを予め記憶しておく。そして、撮影部で書類を撮影することにより取得した画像データから書類のエッジを検出し、当該検出した書類のエッジの比率に最も近いサイズデータを予め記憶しておいたサイズデータの中から特定する。そして、当該取得した画像データを表示するとともに、前記特定されたサイズデータの縦横比データに基づいて、撮影部と書類との位置関係が適切な場合の書類の位置を示す理想枠を表示する。そして、書類のエッジと理想枠との距離の差分が所定値内になったタイミングを検出すると、その時点の画像データを補正して、保存画像データとして記憶部に格納する。

特開２０１２−１０８７２０号公報

しかしながら、特許文献１の技術では、撮影対象の書類の縦横比が、予め記憶しておいたサイズデータのいずれとも大きく異なる場合、最も近いサイズデータを特定することが困難となる。このとき、予め記憶しておいたサイズデータのうちのいずれかを最も近いと判定したとしても、サイズが大きく異なるため、その後、ユーザがカメラの撮影位置を調節したとしても、書類のエッジの４辺と理想枠の４辺とについて、全ての辺の距離の差分が所定値内になることはない。すなわち、書類のエッジの対向する２辺（例えば水平方向の２辺）を当該表示されている理想枠の４辺のうちの２辺（例えば水平方向の２辺）に合うように、ユーザがカメラと書類の撮影距離を変えたとしても、理想枠の縦横比が書類の縦横比と異なるので、その合わせた書類の２辺に隣接する２辺（例えば水平方向の２辺を合わせた場合は垂直方向の２辺）は、理想枠の辺の位置から大きく外れてしまい、操作しているユーザが戸惑う原因になってしまう。また、特許文献１のように書類のエッジと理想枠との距離の差分が所定値内になったタイミングを自動保存条件（自動撮影条件）として用いている場合、全ての辺の距離の差分が所定値内になることはないので、自動的に画像データを保存することができなくなってしまう。

そこで本発明では、特許文献１のように文書のサイズデータを予め記憶しておかなくとも、文書を適切なサイズで撮影するための撮影ガイドを、ユーザに分かりやすく提供できるようにすることを目的とする。

上記課題を解決するために、本発明の情報処理装置は、撮影画像に含まれる被写体像の四辺に関する四辺情報を検出する四辺検出手段と、前記撮影画像の幅および高さと、前記四辺検出手段で検出された前記被写体像の四辺の情報とに基づいて、垂直線の撮影ガイドを表示すべきか水平線の撮影ガイドを表示すべきかを判定する第１の判定手段と、前記第１の判定手段で垂直線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の左端と右端のそれぞれに垂直線を表示するように制御し、前記第１の判定手段で水平線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の上端と下端のそれぞれに水平線を表示するように制御する制御手段と、を有することを特徴とする。

本発明の情報処理装置によれば、ユーザにとって分かりやすい形態で撮影ガイドを表示するので、被写体（文書）を適切なサイズで撮影した画像データを取得することが容易にできる。

モバイル端末の外観の一例を示す図である。 モバイル端末のハードウェア構成の一例を示す図である。 モバイル端末のソフトウェア構成の一例を示す図である。 モバイルアプリのＵＩの一例を示す図である。 垂直方向の２本の直線を撮影ガイドとして表示する場合の一例を示す図である。 水平方向の２本の直線を撮影ガイドとして表示する場合の一例を示す図である。 実施例１における処理フローを示す図である。 回転指示の撮影ガイドＵＩの一例を示す図である。 実施例２における処理フローを示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態は、本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するための手段に必須であるとは限らない。

本実施形態に係る情報処理装置の一例として、カメラ機能を備えたモバイル端末（携帯端末）を例に説明する。モバイル端末は、スマートフォンやタブレット端末などの無線通信機能を有する端末であってもよく、その場合は無線通信機能を介して撮影した画像データを外部サーバ等に送信することも可能である。

図１は、モバイル端末１００の外観の一例を示す図であり、モバイル端末１００の前面１０１からの外観と、背面１０３からの外観とをそれぞれ示している。モバイル端末の前面１０１には、タッチパネルディスプレイ（表示部）１０２が備えられ、撮影中の画像の表示と、ユーザからの操作指示の入力との２つの機能を備えている。モバイル端末の背面１０３には、動画及び静止画を取り込むためのカメラ１０４が備えられている。本実施形態では、モバイル端末１００のユーザは、後述のモバイルアプリ（モバイルアプリケーション）において、カメラ１０４を用いて被写体（帳票等の文書）１０５を撮影することによって処理を開始することができる。被写体１０５は、Ａ４，Ａ３等の定形サイズの紙文書に限るものではなく、非定形サイズの紙文書であってもよいし、さらに、帳票等の紙文書だけに限らず、様々なサイズの名刺、写真、カードなどであってもよい。後述のモバイルアプリは、被写体１０５の画像を、カメラ１０４を使用して取り込み、タッチパネル１０２にその画像を出力することができる。

［ハードウェア構成］
図２は、モバイル端末１００のハードウェアの構成の一例を示す図であり、各種のユニット（２０１〜２０７）を含む。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、各種のプログラムを実行することにより、後述するフローチャートの各処理を実現するための処理部として機能するプロセッサである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶し、また、ＣＰＵ２０１の一時的な作業記憶領域としても利用される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶する記憶部である。ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。なお、本発明を実現するためのプログラムが格納される記憶媒体は、ＲＯＭ２０３に限るものではなく、ＵＳＢメモリ等のフラッシュメモリや、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのコンピュータ読み取り可能な記憶媒体であっても構わない。また、そのプログラムは、モバイル端末１００の記憶媒体に格納されているものに限るものではなく、実行時に無線ネットワークを介してダウンロードするものであってもよいし、Ｗｅｂブラウザ上で実行されるＷｅｂアプリケーションであってもよい。なお、モバイル端末１００の機能及び後述するシーケンスに係る処理の全部又は一部については専用のハードウェアを用いて実現してもよい。

Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、タッチパネル１０２との間で通信を行い、表示データの送信やユーザからの操作指示データの受信等を行う。ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０５は、モバイル端末１００を無線通信等を介してネットワーク（不図示）に接続するためのユニットである。

カメラインターフェース２０６は、カメラ１０４で撮影した被写体１０５の画像データを取り込むインターフェースである。上述した各ユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。

［ソフトウェア構成］
次に、図３を用いて、モバイル端末１００におけるソフトウェア（モバイルアプリケーション）の機能モジュール構成の一例について説明する。図３に示される各処理部を実現するプログラムは、上述したようにＲＯＭ２０３等に記憶されている。

モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）（不図示）は、データ管理部３０１を有する。データ管理部３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理部３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供している。モバイルアプリケーション（モバイルアプリ）３０２は、その制御ＡＰＩを利用することでデータ管理部３０１で管理される画像やアプリケーションデータの取得や保存を行う。

モバイルアプリ３０２は、モバイル端末１００にて実行可能なアプリケーションである。モバイルアプリ３０２は、カメラインターフェース２０６を介して取り込んだ被写体１０５の画像データに対する各種のデータ処理を行う。

メイン制御部３０３は、モバイルアプリ３０２を構成する各モジュール部（３０３〜３１１）の制御を行う。

情報表示部３０４は、メイン制御部３０３からの指示に従い、モバイルアプリ３０２のユーザインタフェース（ＵＩ）をユーザに提供する。図４の画面４０１は、モバイルアプリ３０２により提供されるＵＩ画面の一例を示す図である。モバイル端末の画面４０１は、モバイル端末１００のタッチパネル１０２上に表示されるものであり、カメラ１０４を介して取り込んだ撮影中の画像が表示され、当該表示された画像等に対するユーザによる操作（ユーザ操作）を、表示されたＵＩを介して受け付ける。なお、モバイルアプリ３０２により提供されるＵＩ画面の形態（撮影画像や操作ボタン等の表示位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、モバイルアプリケーション３０２の機能を実現することができる適宜の構成を採用することができる。

操作情報取得部３０５は、情報表示部３０４により表示されたＵＩ画面上で為されたユーザの操作に関する情報を取得し、当該取得した操作情報をメイン制御部３０３に通知する。例えば、ＵＩ画面をユーザが手で触れると、操作情報取得部３０５は、当該触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御部３０３に送信する。

撮影画像取得部３０６は、メイン制御部３０３の指示によりカメラインターフェース２０６およびカメラ１０４を介して撮影された撮影画像を取得し、記憶部３０７に記憶する。なお、撮影画像をすぐに処理する場合は、撮影画像取得部３０６は、メイン制御部３０３や四辺検出部３０８にダイレクトに送信しても構わない。また、撮影画像取得部３０６は、撮影時における画像解像度を取得し、メイン制御部３０３に送信する。

記憶部３０７は、撮影画像取得部３０６により取得された撮影画像を記憶する。またメイン制御部３０３の指示により記憶している撮影画像の削除を行うことができる。

四辺検出部３０８は、撮影画像取得部３０６によって取得され、記憶部３０７に記憶された画像に対して、エッジ検出処理等を実行することにより、画像中の文書の四辺（紙端）情報を取得する。四辺情報は、撮影画像中の文書と背景との境界線により構成される四辺形の４つの頂点についての、撮影画像上における位置座標を含んでいる。四辺情報の検出には、ハフ（Ｈｏｕｇｈ）変換などの直線検出手法や、Ｃａｎｎｙアルゴリズムなどのエッジ検出手法等を組みあわせて検出することが考えられるが、様々な環境下で撮影されることを考慮し、自然光による明暗の変化や、文書の背景によるノイズなどに検出結果が左右されない検出手法が好ましい。

四辺情報解析部３０９は、四辺検出部３０８で検出された四辺情報に基づき、文書の各辺の長さ、文書アスペクト比の推定値、長辺及び短辺など、文書の形状に関する情報を取得する。また、四辺情報解析部３０９は、四辺検出部３０８で検出された四辺情報（４つの頂点の位置座標）をもとに、ガイド表示方向の判定処理を行う。ガイド表示方向の判定処理とは、被写体の撮影中にリアルタイム表示されるライブビュー画像に重畳させて表示させる撮影ガイドを、水平方向の直線とすべきか、垂直方向の直線とすべきかを判定する処理である。ガイド表示方向の判定処理は、撮影画像の縦横比と検出された文書の四辺の縦横比とを比較することにより行われる。すなわち、撮影画像の幅をＷ、高さをＨとし、四辺検出部３０８で検出された四辺情報に基づいて解析される被写体像の幅をｗ、高さをｈとした場合、
条件式（１） （ｈ／ｗ）＞（Ｈ／Ｗ）
を満たすかどうか判定する。なお、被写体像の幅ｗは、四辺検出部３０８で検出した四辺形を構成する辺のうち傾きが水平方向に近い方の２辺の長さに基づいて算出し、被写体像の高さｈは、検出した四辺形を構成する辺のうち傾きが垂直方向に近い方の２辺の長さに基づいて算出すればよい。

そして、上記条件式（１）を満たす（被写体像の縦横比と撮影画像の縦横比とを比較し、被写体像の縦横比の方が大きい）と判定した場合は、撮影ガイドとして、水平方向の直線を、撮影画像表示領域の上端付近と下端付近の２か所に重畳表示すべきと判断する。すなわち、被写体像の方が撮影画像よりも縦長の比率であると判断した場合は、撮影ガイドとして水平方向の直線を画面内の上下端の２か所に重畳表示する。このとき、ユーザは、被写体像の上辺と下辺の２辺が、撮影ガイドとして画面内に重畳表示された水平方向の２辺に合うように、カメラの撮影位置を調整すれば、文書が撮影画像からはみ出ることなく撮影することが可能となる。なお、この撮影ガイドは、撮影画像が表示される領域の左端と右端のそれぞれに接するように表示するようにしてもよいし、撮影画像が表示される領域の端から所定の距離（例えば、５画素などの所定の画素数）内側の位置に重畳表示するようにしてもよい。

一方、上記条件式（１）を満たさないと判定した場合は、撮影ガイドとして、垂直方向の直線を、撮影画像表示領域の左端付近と右端付近の２か所に重畳表示すべきと判断する。すなわち、被写体像の方が撮影画像よりも横長の比率であると判断した場合は、撮影ガイドとして垂直方向の直線を画面内の左右端の２か所に重畳表示する。このとき、ユーザは、被写体像の左辺と右辺の２辺が、撮影ガイドとして画面内に重畳表示された垂直方向の２辺に合うように、カメラの撮影位置を調整すれば、文書が撮影画像からはみ出ることなく撮影することが可能となる。なお、この撮影ガイドは、撮影画像が表示される領域の上端と下端のそれぞれに接するように表示するようにしてもよいし、撮影画像が表示される領域の端から所定の距離（例えば、５画素などの所定の画素数）内側の位置に重畳表示するようにしてもよい。

ガイドＵＩ指示部３１１は、四辺情報解析部３０９のガイド表示方向判定処理での判定結果に基づいて、重畳表示させる撮影ガイドＵＩの描画命令を生成し、メイン制御部３０３を介して、情報表示部３０４にガイドＵＩをライブビュー画像上に重畳表示するよう指示する。なお、撮影ガイドとして表示される線は、ユーザによって識別しやすい色（例えば、赤色）の線で表示するのが望ましく、また、撮影ガイドの直線は、実線であってもよいし破線や点線であっても構わない。撮影ガイドＵＩの表示例について、図５および図６を用いて説明する。

図５は、四辺情報解析部３０９が、四辺検出部３０８で検出された被写体像５０１の四辺情報に基づいて、撮影ガイドとして、垂直方向の２本の直線（５０２，５０３）を表示画面５００の左端付近と右端付近の２か所に重畳表示すべきと判断した場合における表示例である。表示画面５００には撮影画像がライブビュー表示され、さらに、その上に重畳して撮影ガイドＵＩ（５０２〜５０６）が表示される。すなわち、被写体像の方が撮影画像よりも横長の比率を有すると判断した場合は、図５のように表示画面の左端付近と右端付近に垂直方向の破線の直線５０２，５０３で撮影ガイドを表示する。このとき、四辺検出部で検出された四辺のうち、垂直方向に近い２本の辺（被写体像の左辺と右辺）５０４および５０５が実線で強調表示され、さらに、当該強調表示される辺５０４，５０５を、ガイド表示された垂直方向の破線５０２，５０３の位置に合わせるべく、モバイル端末の撮影位置を移動させるようにユーザに対して促すガイドメッセージ５０６を表示する。このとき、四辺形のどの辺をどちらのガイドに合わせるべきかを分かりやすく表示すべく図５のように矢印を同時に表示するのが望ましい。被写体像の方が撮影画像よりも横長の比率であるため、被写体像の左辺と右辺をそれぞれ垂直線の撮影ガイドに合わせれば、被写体像は撮影画像からはみ出ることなく撮影可能になる。なお、撮影ガイドＵＩ５０２〜５０６は、撮影画像内に、被写体像５０１の四辺形を構成する４つの頂点全てが含まれている場合にのみ表示し、全ての頂点が含まれていない場合は、モバイル端末が被写体に近すぎるので、モバイル端末を被写体から離して撮影するようにユーザに促すガイドメッセージを表示するのが望ましい。

図６は、四辺情報解析部３０９が、四辺検出部３０８で検出された被写体像６０１の四辺情報に基づいて、撮影ガイドとして、水平方向の２本の直線（６０２，６０３）を表示画面６００の上端付近と下端付近の２か所に重畳表示すべきと判断した場合における表示例である。表示画面６００には撮影画像がライブビュー表示され、さらに、その上に重畳して撮影ガイドＵＩ（６０２〜６０６）が表示される。このとき、四辺検出部で検出された四辺のうち、水平方向に近い２本の辺（被写体像の上辺と下辺）６０４および６０５が実線で強調表示され、さらに、当該強調表示される辺６０４，６０５を、ガイド表示された水平方向の破線６０２，６０３の位置に合わせるべく、モバイル端末の撮影位置を移動させるようにユーザに対して促すガイドメッセージ６０６を表示する。このとき、四辺形のどの辺をどちらのガイドに合わせるべきかを分かりやすく表示すべく図６のように矢印を同時に表示するのが望ましい。被写体像の方が撮影画像よりも縦長の比率であるため、被写体像の上辺と下辺をそれぞれ水平線の撮影ガイドに合わせれば、被写体像は撮影画像からはみ出ることなく撮影可能になる。なお、撮影ガイドＵＩ６０２〜６０６は、撮影画像内に、被写体像６０１の四辺形を構成する４つの頂点全てが含まれている場合にのみ表示し、全ての頂点が含まれていない場合は、モバイル端末が被写体に近すぎるので、モバイル端末を被写体から離して撮影するようにユーザに促すガイドメッセージを表示するのが望ましい。

自動撮影処理部３１０は、四辺情報に基づいて、所定の自動撮影条件を満たしたか判断し、自動撮影条件を満たしたと判断した時点での撮影画像を記憶部３０７へ自動的に保存する。なお、この記憶部に保存される撮影画像は、カメラで撮影中の動画像から抽出した静止画像であってもよいし、撮影条件を満たしたと判断した時点で電子シャッター（またはメカニカルシャッター）を作動させてカメラ１０４で撮影可能な最大画素数での静止画像を得るようにしてもよい。

自動撮影条件としては、例えば、以下のような条件を設定することが可能である。まず、撮影画像の幅をＷ、高さをＨとし、さらに、被写体像の四辺情報に基づいて求めた水平方向に近い２つの辺の長さがｗ１、ｗ２であり、垂直方向に近い２つの辺の長さがｈ１、ｈ２であったとする。このとき、被写体像の水平方向の２辺の長さと撮影画像の幅との比率を、所定の閾値αと比較し、被写体像の垂直方向の２辺の長さと撮影画像の高さとの比率を、所定の閾値αと比較する。所定の閾値αは、例えば、０．９５に設定する。このとき、四辺形の頂点すべてが撮影画像内にあるという条件を満たし、かつ、下記の条件式（２）（３）の少なくともいずれかを満たせば、自動撮影条件を満たしたと判断する。
条件式（２） （ｗ１／Ｗ）＞α ＆＆ （ｗ２／Ｗ）＞α
条件式（３） （ｈ１／Ｈ）＞α ＆＆ （ｈ２／Ｈ）＞α

なお、この撮影条件に、撮影画像における被写体像の傾きが小さいという条件を加えてもよい。この場合は、被写体像の四辺形の頂点の位置座標を比較して、各辺がほぼ水平方向または垂直方向となっているかどうか判断すればよい。

また、上述したように、上記条件式（２）（３）の両方を常に判断するように構成してもよいが、撮影ガイドの直線を、水平方向とするか垂直方向とするか判断した後であれば、その表示方向に基づいて条件式（２）（３）のどちらかだけを判断するように構成しても構わない。例えば、図５のような垂直方向の破線５０２，５０３を表示した場合は、四辺形の頂点全てが撮影画像内にあるという条件と上記条件式（２）とを満たすか判断し、条件式（３）の判断はスキップしてもよい。図６のような水平方向の破線６０２，６０３を表示した場合は、四辺形の頂点全てが撮影画像内にあるという条件と上記条件式（３）とを満たすか判断し、条件式（２）の判断はスキップしてもよい。

［処理フロー］
図７を用いて、モバイル端末１００のモバイルアプリ３０２が実行する本発明の実施例１の処理フローについて説明する。本フローは、ユーザの操作によりモバイル端末１００におけるモバイルアプリ３０２が起動されることをトリガーに開始する。

ステップＳ７０１で、メイン制御部３０３は、撮影画像取得部３０６で取得された現在の撮影画像のデータ（動画データ）を受信する。

ステップＳ７０２で、メイン制御部３０３は、四辺検出部３０８に対し、撮影画像取得部３０６で当該取得した撮影画像について四辺検出処理を実行して、四辺情報を取得するよう指示する。

ステップＳ７０３で、メイン制御部３０３は、Ｓ７０４での自動撮影条件の判定に用いるための自動撮影条件（条件式や閾値αなど）を呼び出す。

ステップＳ７０４で、メイン制御部３０３は、自動撮影処理部３１０に対し、前述したような自動撮影条件を満たすかどうかの判定処理を実行するように指示する。自動撮影条件を満たす（すなわち、自動撮影を行う）と判定した場合はＳ７０５へ遷移し、自動撮影条件を満たさないと判定した場合はＳ７０６へ遷移する。

ステップＳ７０５で、メイン制御部３０３は、自動撮影処理部３１０に対し自動撮影を行うよう指示し、自動撮影処理部３１０は、その時点での撮影画像データを記憶部に記憶する。なお、モバイルアプリ３０２が、この撮影画像データに対して文字認識処理（ＯＣＲ処理）を実行して文字認識結果を取得する処理も実行する場合は、さらにＯＣＲ処理部（不図示）に対して、当該記憶した撮影画像データに対して更にＯＣＲ処理を実行するように指示する。

ステップＳ７０６で、メイン制御部３０３は、四辺情報解析部３０９に対して、Ｓ７０２で得た四辺情報を解析してガイド表示方向を判定するように指示する。四辺情報解析部３０９でのガイド表示方向判定処理の結果、垂直線のガイドを表示すべきと判断した場合はＳ７０７に遷移し、水平線のガイドを表示すべきと判断した場合はＳ７０８へ遷移する。

ステップＳ７０７で、メイン制御部３０３は、ガイドＵＩ指示部３１１に、垂直線のガイドを表示するための描画命令を生成させ、情報表示部３０４を介して、図５のような垂直線５０２，５０３の表示ガイドをライブビュー画面に重畳表示させ、その後、Ｓ７０１へ遷移する。

ステップＳ７０８で、メイン制御部３０３は、ガイドＵＩ指示部３１１に、水平線のガイドを表示するための描画命令を生成させ、情報表示部３０４を介して、図６のような水平線６０２，６０３の表示ガイドをライブビュー画面に重畳表示させ、その後Ｓ７０１へ遷移する。

なお、上述したフローでは、垂直線および水平線のガイド表示について説明したが、Ｓ７０４で自動撮影条件を判断した際に、被写体文書の四辺形の４つの頂点が撮影画像内にないため、前記自動撮影条件を満たさないと判断した場合は、モバイル端末を被写体から遠ざけるようにメッセージを表示する処理を追加してもよい。

実施例１によれば、高解像度の被写体の画像を撮影するために、ユーザにとって分かりやすいガイドＵＩを表示することができる。

実施例２では、現在撮影中の被写体を９０度回転させることで、より高解像度の被写体画像を撮影できるかどうか判定する処理を加えた例について、説明する。

図９を用いて、モバイル端末１００のモバイルアプリ３０２が実行する本発明の実施例２の処理フローについて説明する。

ステップＳ９０１で、メイン制御部３０３は、撮影画像取得部３０６で取得された現在の撮影画像のデータ（動画データ）を受信する。

ステップＳ９０２で、メイン制御部３０３は、四辺検出部３０８に対し、撮影画像取得部３０６で当該取得した撮影画像について四辺検出処理を実行して、四辺情報を取得するよう指示する。

ステップＳ９０３で、メイン制御部３０３は、四辺情報解析部３０９に対し、撮影画像中の被写体像に基づいて、被写体の現在の向きが適正であるかどうか判断する。適正だと判断された場合はＳ９０４へ、適正でないと判断された場合はＳ９０７へ遷移する。

被写体の適正方向を判定するための被写体方向適正判定処理は、四辺情報解析部３０９によって行われる。撮影画像の幅をＷ、高さをＨ、撮影画像中の被写体像の幅をｗ、高さをｈとした場合、以下の条件式（４）（５）のいずれかを満たした場合、現在の被写体方向のままで適正であると判定する。
条件式（４） （Ｈ／Ｗ）＞１ ＆＆ （ｈ／ｗ）≧１
条件式（５） （Ｈ／Ｗ）＜１ ＆＆ （ｈ／ｗ）≦１

なお、撮影画像の幅Ｗと高さＨが同じ（正方形）である場合は、被写体を回転させたとしても変わらないので、Ｓ９０３の判定処理を行わないようにしてもよい。

また、この判定を行う場合、撮影画像中の被写体像が傾いている場合や、被写体を斜め方向から撮影したために歪みがある場合は、被写体像の外接矩形や内接矩形の幅及び高さを代わりに用いて判断してもよいし、被写体のアスペクト比を推定して歪み補正を行った後の矩形を用いて判断してもよい。

ステップＳ９０４で、メイン制御部３０３は、Ｓ９０５での自動撮影条件の判定に用いるための自動撮影条件（条件式や閾値αなど）を呼び出す。

ステップＳ９０５で、メイン制御部３０３は、自動撮影処理部３１０に対し、実施例１で説明したような自動撮影条件を満たすかどうかの判定処理を実行するように指示する。自動撮影条件を満たす（すなわち、自動撮影を行う）と判定した場合はＳ９０６へ遷移し、自動撮影条件を満たさないと判定した場合はＳ９０８へ遷移する。

ステップＳ９０６で、メイン制御部３０３は、自動撮影処理部３１０に対し自動撮影を行うよう指示し、自動撮影処理部３１０は、その時点での撮影画像データを記憶部に記憶する。なお、モバイルアプリ３０２が、この撮影画像データに対して文字認識処理（ＯＣＲ処理）を実行して文字認識結果を取得する処理も実行する場合は、さらにＯＣＲ処理部（不図示）に対して、当該記憶した撮影画像データに対して更にＯＣＲ処理を実行するように指示する。

ステップＳ９０７で、メイン制御部３０３は、ガイドＵＩ指示部３１１に対して、図８のモバイル端末画面８００のように、回転指示のガイドＵＩを表示するよう指示し、その後Ｓ９０１へ遷移する。

図８のモバイル端末画面８００は、Ｓ９０３で現在の被写体の方向が適正でない（すなわち、被写体を９０度回転させればより高解像度で被写体を撮影できる）と判定した場合に表示されるガイドＵＩの表示例である。モバイル端末画面８００には、撮影ガイドとして、メッセージ８０２がライブビュー画像上に重畳表示される。メッセージ８０２は、撮影画像内に被写体像８０１の四辺形の頂点全てが含まれている場合にのみ表示される。このメッセージ８０２は、被写体（用紙）を９０度回転させて撮影するように、ユーザに促すためのメッセージが表示される。図８の場合は、被写体を回転させ横向きにすることでより高解像度な画像を取得することが可能となるため、その旨がメッセージとして表示されている。なお、ここでは、被写体を回転させるメッセージを表示するものとしたが、モバイル端末を９０度回転させて撮影するように促すメッセージであってもよい。

ステップＳ９０８で、メイン制御部３０３は、四辺情報解析部３０９に対して、Ｓ９０２で得た四辺情報を解析してガイド表示方向を判定するように指示する。四辺情報解析部３０９でのガイド表示方向判定処理の結果、垂直線のガイドを表示すべきと判断した場合はＳ９０９に遷移し、水平線のガイドを表示すべきと判断した場合はＳ９１０へ遷移する。

ステップＳ９０９で、メイン制御部３０３は、ガイドＵＩ指示部３１１に、垂直線のガイドを表示するための描画命令を生成させ、情報表示部３０４を介して、図５のような垂直線５０２，５０３の表示ガイドをライブビュー画面に重畳表示させ、その後Ｓ９０１へ遷移する。

ステップＳ９１０で、メイン制御部３０３は、ガイドＵＩ指示部３１１に、水平線のガイドを表示するための描画命令を生成させ、情報表示部３０４を介して、図６のような水平線６０２，６０３の表示ガイドをライブビュー画面に重畳表示させ、その後Ｓ９０１へ遷移する。

実施例２によれば、高解像度の被写体の画像を撮影するために、ユーザにとって分かりやすいガイドＵＩを表示することができる。

（その他の実施例）
実施例１，２では、垂直線（５０２，５０３）または水平線（６０２，６０３）の撮影ガイドを、撮影画像が表示される領域の左右端付近または上下端付近に重畳させて表示させるものとしたが、これに限るものではない。

例えば、撮影画像が表示される領域が、モバイル端末の画面サイズよりも小さい場合、撮影画像が表示される領域の左右端または上下端のすぐ外側の位置に、撮影ガイドを強調表示するようにしてもよい。

また、撮影ガイドは、撮影画像が表示される領域の左右端または上下端のどちらに、被写体像を合わせるべきかをユーザが識別可能なガイドであればよく、直線に限るものではない。例えば、図５、図６で示した表示ガイドのうち、垂直線（５０２，５０３）や水平線（６０２，６０３）は表示せず、矢印を表示するものであってもよい。

Claims (16)

1. 撮影画像に含まれる被写体像の四辺に関する四辺情報を検出する四辺検出手段と、
   前記撮影画像の幅および高さと、前記四辺検出手段で検出された前記被写体像の四辺の情報とに基づいて、垂直線の撮影ガイドを表示すべきか水平線の撮影ガイドを表示すべきかを判定する第１の判定手段と、
   前記第１の判定手段で垂直線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の左端と右端のそれぞれに垂直線を表示するように制御し、前記第１の判定手段で水平線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の上端と下端のそれぞれに水平線を表示するように制御する制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記第１の判定手段で垂直線の撮影ガイドを表示すべきと判定した場合、前記制御手段は、前記撮影画像が表示される領域の左端と右端のそれぞれに垂直線を表示し、且つ、前記撮影画像に含まれる被写体像の左辺と右辺を強調表示するように制御し、
   前記第１の判定手段で水平線の撮影ガイドを表示すべきと判定した場合、前記制御手段は、前記撮影画像が表示される領域の上端と下端のそれぞれに水平線を表示し、且つ、前記撮影画像に含まれる被写体像の上辺と下辺を強調表示するように制御する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の判定手段で垂直線の撮影ガイドを表示すべきと判定した場合、前記制御手段は、前記撮影画像に含まれる被写体像の左辺と右辺のそれぞれを、前記撮影画像が表示される領域の左端と右端に合わせるようにユーザに促すための矢印をさらに表示するように制御し、
   前記第１の判定手段で水平線の撮影ガイドを表示すべきと判定した場合、前記制御手段は、前記撮影画像に含まれる被写体像の上辺と下辺のそれぞれを、前記撮影画像が表示される領域の上端と下端に合わせるようにユーザに促すための矢印をさらに表示するように制御する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記垂直線は、前記撮影画像が表示される領域の左端と右端から所定の距離内側の位置に重畳表示され、
   前記水平線は、前記撮影画像が表示される領域の上端と下端から所定の距離内側の位置に重畳表示される、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記垂直線は、前記撮影画像が表示される領域の左端と右端の外側の位置に表示され、
   前記水平線は、前記撮影画像が表示される領域の上端と下端の外側の位置に表示される、ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記垂直線および前記水平線は、実線、破線または点線のいずれかで表示される、ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１の判定手段は、前記撮影画像の縦横比と、前記四辺検出手段で検出された前記被写体像の四辺の縦横比とを比較することによって、垂直線の撮影ガイドを表示すべきか水平線の撮影ガイドを表示すべきかを判定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記四辺検出手段で検出された前記被写体像の四辺の情報に基づいて、自動撮影条件を満たすか否か判定する第２の判定手段と、
   前記第２の判定手段で、前記自動撮影条件を満たすと判定した場合に撮影画像を記憶部に記憶させる記憶手段と、
   を、更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記垂直線または水平線の撮影ガイドは、前記第２の判定手段で前記自動撮影条件を満たさないと判定した場合に表示されることを特徴とする請求項８に記載の情報処理装置。
10. 前記撮影画像の幅および高さと、前記四辺検出手段で検出された前記被写体像の四辺の情報と、に基づいて、前記被写体の方向が適正であるか判定する第３の判定手段を、更に有し、
    前記制御手段は、さらに、前記第３の判定手段で前記被写体の方向が適正でないと判定した場合、前記被写体または前記情報処理装置のいずれかを回転させるように促すガイドを表示するように制御する、ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 撮影画像に含まれる被写体像の四辺に関する四辺情報を検出する四辺検出手段と、
    前記撮影画像の幅および高さと、前記四辺検出手段で検出された前記被写体像の四辺の情報とに基づいて、前記撮影画像に含まれる被写体像の左辺と右辺のそれぞれを前記撮影画像の左端と右端に合わせるようユーザに促すための撮影ガイドを表示すべきか、前記撮影画像に含まれる被写体像の上辺と下辺のそれぞれを前記撮影画像の上端と下端に合わせるようユーザに促すための撮影ガイドを表示すべきか、を判定する第１の判定手段と、
    前記第１の判定手段での判定結果に応じて、前記撮影画像に含まれる被写体像の左辺と右辺のそれぞれを前記撮影画像の左端と右端に合わせるようユーザに促すための撮影ガイド、または、前記撮影画像に含まれる被写体像の上辺と下辺のそれぞれを前記撮影画像の上端と下端に合わせるようユーザに促すための撮影ガイドのいずれかを表示するように制御する制御手段と、
    を有することを特徴とする情報処理装置。
12. 前記撮影ガイドは、矢印を用いて表示することを特徴とする請求項１１に記載の情報処理装置。
13. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
15. 情報処理装置の検出手段が、撮影画像に含まれる被写体像の四辺に関する四辺情報を検出する四辺検出ステップと、
    前記情報処理装置の判定手段が、前記撮影画像の幅および高さと、前記検出された前記被写体像の四辺の情報とに基づいて、垂直線の撮影ガイドを表示すべきか水平線の撮影ガイドを表示すべきかを判定する判定ステップと、
    前記情報処理装置の制御手段が、前記判定ステップで垂直線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の左端と右端のそれぞれに垂直線を表示するように制御し、前記判定ステップで水平線の撮影ガイドを表示すべきと判定した場合は、前記撮影画像が表示される領域の上端と下端のそれぞれに水平線を表示するように制御する制御ステップと、
    を有することを特徴とする情報処理方法。
16. 情報処理装置の検出手段が、撮影画像に含まれる被写体像の四辺に関する四辺情報を検出する四辺検出ステップと、
    前記情報処理装置の判定手段が、前記撮影画像の幅および高さと、前記四辺検出手段で検出された前記被写体像の四辺の情報とに基づいて、前記撮影画像に含まれる被写体像の左辺と右辺のそれぞれを前記撮影画像の左端と右端に合わせるようユーザに促すための撮影ガイドを表示すべきか、前記撮影画像に含まれる被写体像の上辺と下辺のそれぞれを前記撮影画像の上端と下端に合わせるようユーザに促すための撮影ガイドを表示すべきか、を判定する判定ステップと、
    前記情報処理装置の制御手段が、前記判定ステップでの判定結果に応じて、前記撮影画像に含まれる被写体像の左辺と右辺のそれぞれを前記撮影画像の左端と右端に合わせるようユーザに促すための撮影ガイド、または、前記撮影画像に含まれる被写体像の上辺と下辺のそれぞれを前記撮影画像の上端と下端に合わせるようユーザに促すための撮影ガイドのいずれかを表示するように制御する制御ステップと、
    を有することを特徴とする情報処理方法。

Images