JP6120989B2 - オーバーヘッド型画像読取装置、画像処理方法、および、プログラム - Google Patents

Description

本発明は、オーバーヘッド型画像読取装置、画像処理方法、および、プログラムに関する。

従来から、オーバヘッドスキャナに関する技術が開示されている。

ここで、エリアセンサとリニアセンサを備え、リニアセンサが速度ベクトルを抽出し、リニアセンサの読み取り開始判定を行うオーバヘッドスキャナ装置が開示されている（特許文献１を参照）。

また、手による文章動作からページ捲り判定し、読み取った画像の中の指の影に隠れたコンテンツを消さずに指と影を消去する画像読み取り装置が開示されている（特許文献２を参照）。

また、一定時間間隔で画像を入力し、入力画像が静止した時に表示される画像から、手の動作特徴に基づいて画像に含まれる手の領域を検出し、文書画像を切り出して取得する文章画像取得装置が開示されている（特許文献３を参照）。

特開２０１１−２５４３６６号公報 特開平１１−１０３３８０号公報 特開２０００−３０８０４５号公報

しかしながら、従来のオーバヘッドスキャナ（特許文献１等）においては、連続して画像読み取りを行う場合、どのフレームが有効なのか判断することができないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、綴じ媒体を連続して読取った場合に、読取画像のどのフレームが有効なのか判断することで、ペラペラめくるだけで綴じ媒体を電子化することができる、オーバーヘッド型画像読取装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係るオーバーヘッド型画像読取装置は、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得手段と、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定手段と、前記検出判定手段により前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得手段と、を備える。

また、本発明に係る画像処理方法は、オーバーヘッド型画像読取装置で実行される、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、を含む。

また、本発明に係るプログラムは、オーバーヘッド型画像読取装置に実行させるための、めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、を含む。

この発明によれば、人がめくる動作により電子化が行われるため、生産性が高い。

図１は、本実施形態の概要を示す図である。 図２は、オーバーヘッド型画像読取装置の概略構成の一例を示すハードウェア構成図である。 図３は、オーバーヘッド型画像読取装置の構成の一例を示すハードウェア構成図である。 図４は、オーバーヘッド型画像読取装置の構成の一例を示すハードウェア構成図である。 図５は、本実施形態のオーバーヘッド型画像読取装置における基本処理の一例を示すフローチャートである。 図６は、本実施形態における画像処理の一例を示す図である。 図７は、本実施形態における画像処理の一例を示す図である。 図８は、本実施形態における画像処理の一例を示す図である。 図９Ａは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図９Ｂは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図９Ｃは、本実施形態のオーバーヘッド型画像読取装置における具体的処理の一例を示すフローチャートである。 図１０Ａは、本実施形態における手検出処理の一例を示す図である。 図１０Ｂは、本実施形態における手検出処理の一例を示す図である。 図１０Ｃは、本実施形態における手検出処理の一例を示す図である。 図１０Ｄは、本実施形態における手検出処理の一例を示す図である。 図１０Ｅは、本実施形態における手検出処理の一例を示す図である。 図１１Ａは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｂは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｃは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｄは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１１Ｅは、本実施形態におけるページ動作認識処理の一例を示す図である。 図１２は、本実施形態におけるリストの一例を示す図である。 図１３は、本実施形態におけるリストの一例を示す図である。 図１４は、本実施形態における抽出フレーム判定処理の一例を示すフローチャートである。 図１５は、本実施形態における手の領域が重ならない画像探索処理の一例を示すフローチャートである。

以下に、本発明に係るオーバーヘッド型画像読取装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象の綴じ媒体を本などとして説明することがあるが、これに限られず、ステープルで綴じられた媒体等を読み取り対象としてもよい。

［１．本発明の実施形態の概要］
以下、本発明の実施形態の概要について図１を参照して説明し、その後、本実施形態の構成および処理等について詳細に説明する。図１は、本実施形態の概要を示す図である。本実施形態は、概略的に、以下の基本的特徴を有する。

すなわち、本実施形態のオーバーヘッド型画像読取装置は、図１に示すように、ユーザによりめくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する。

そして、オーバーヘッド型画像読取装置は、モーション検出（めくり動作検出）により、ページめくり検出を行い、画像に含まれる異物（手指、および、スピン（しおりひも）等）の検出を行うことで、同一のページに対応する各画像から、手指の映り込みのない画像があるか否か判定する（ステップＳ−１）。

そして、オーバーヘッド型画像読取装置は、異物の映り込みのない画像があると判定された場合、１ページ、２ページ、および、４ページのように異物の映り込みのない画像を出力画像として取得し、３ページのように異物の映り込みのない画像がないと判定された場合、画像のクロッピングによる異物除去を行い、同一のページに対応する各画像を組み合わせて出力画像を取得し（ステップＳ−２）、処理を終了する。

［２．本実施形態の構成］
本実施形態に係るオーバーヘッド型画像読取装置１００の構成の一例について図２乃至図４を参照して説明する。図２は、オーバーヘッド型画像読取装置１００の概略構成の一例を示すハードウェア構成図である。図３は、オーバーヘッド型画像読取装置１００の構成の一例を示すハードウェア構成図である。図４は、オーバーヘッド型画像読取装置１００の構成の一例を示すハードウェア構成図である。

図２に示すように、オーバーヘッド型画像読取装置１００は、概略的に、カメラ等の画像読取部１１０と制御装置（ＰＣ）とを備えて構成される。ここで、制御装置（ＰＣ）は、制御部（ＣＰＵ）１０２を少なくとも備えており、本実施形態において、メモリ等を含む記憶部１０６と入出力インターフェース部（Ｉ／Ｏ）１０８とを更に備える。また、これら各部は任意の通信路を介して通信可能に接続されている。

また、図３に示すように、オーバーヘッド型画像読取装置１００は、カメラ等の画像読取部１１０と制御装置（ＰＣ）とを備えて構成される。ここで、制御装置（ＰＣ）は、画像取得部１０２ａ、手検出等を行う異物検出部１０２ｂ、めくり検出等を行う動作検出部１０２ｃ、シーン検出等を行う検出判定部１０２ｅ、画像合成等を行う出力画像取得部１０２ｆ、および、記憶部１０６を少なくとも備えて構成される。また、これら各部は任意の通信路を介して通信可能に接続されている。

また、図４に示すように、オーバーヘッド型画像読取装置１００は、画像読取部１１０と制御部１０２とディスク１０６−２と入出力部（Ｉ／Ｏ部）１１２とを少なくとも備えて構成される。ここで、制御部１０２は、手検出等を行う異物検出部１０２ｂ、ページめくり動作認識およびページめくり検出等を行う動作検出部１０２ｃ、抽出判定等を行う検出判定部１０２ｅ、画像合成等を行う出力画像取得部１０２ｆ、画像出力部１０２ｇ、保管部１０２ｈ、リスト管理部１０６ａ、および、一次記憶部１０６−１を備えて構成される。また、これら各部は任意の通信路を介して通信可能に接続されている。

なお、本実施形態におけるオーバーヘッド型画像読取装置１００は、更に、綴じ媒体の積載台を備えていてもよい。また、画像読取部１１０は、積載台の上部に配置され、積載台を撮像してもよい。また、制御部１０２は、画像読取部１１０を制御してもよい。

ここで、記憶部１０６（一次記憶部１０６−１、および、ディスク１０６−２等）は、各種のデータベース、テーブル、および／または、ファイル（リスト管理部１０６ａ）などを格納する。記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、フレキシブルディスク、および／または、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。ここで、図２は、オーバーヘッド型画像読取装置１００の記憶部１０６の論理構成の一例を示すブロック図である。

これら記憶部１０６の各構成要素のうち、リスト管理部１０６ａは、画像の番号と、異物の映り込みに関する情報と、ページのめくり動作に関する情報と、を対応付けたリストを記憶する。ここで、画像の番号は、画像読取部１１０にて読取られた順番等であってもよい。また、異物は、ユーザの手（指）、スピン（しおりひも）、ペン、定規、および／または、自動ページめくり器のアーム等であってもよいし、影、他のページに対応する画像（部分）、および／または、画像のノイズ等であってもよい。また、異物の映り込みに関する情報は、異物の数、異物の座標、異物の大きさ、および／または、異物の形等に関する情報を含んでいてもよい。また、ページのめくり動作に関する情報は、めくり有無、および／または、ページの動き有無等に関する情報を含んでいてもよい。

また、入出力インターフェース部１０８は、画像読取部１１０を、制御部１０２と接続する。

また、画像読取部１１０は、上向きに設置された綴じ媒体等の原稿を、上方よりスキャンして原稿の画像を読み取る。ここで、画像読取部１１０は、上向きに設置された原稿を、リニアセンサを用いて上方よりスキャンして原稿の画像を読み取ってもよい。ここで、本実施形態において、画像読取部１１０は、コントローラと、モータと、リニアセンサ（ラインセンサ）と、Ａ／Ｄコンバータとを備えてもよい。コントローラは、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、モータ、リニアセンサ、および、Ａ／Ｄコンバータを制御する。リニアセンサは、原稿の主走査方向のラインから届く光を、ライン上の画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータは、リニアセンサから出力されたアナログ電荷量をデジタル信号に変換し、一次元の画像（ライン画像）を出力する。モータが回転駆動すると、リニアセンサの読み取り対象の原稿ラインが副走査方向に移動する。これにより、ラインごとに一次元の画像がＡ／Ｄコンバータから出力され、制御部１０２は、これらを合成することにより二次元の画像を生成する。

また、原稿を上向きに設置して、上方より画像読取部１１０にて原稿を撮像する場合、主走査方向のラインの一次元画像が、リニアセンサにより読み取られてもよい。そして、モータの駆動によりリニアセンサが所定の回転方向に回転すると、それに伴って、リニアセンサの読み取りラインは、所定の副走査方向（例えば、奥行方向の奥側から手前側への方向等）に移動する。これにより、二次元の原稿の画像が、画像読取部１１０によって読み取られることとなる。

また、画像読取部１１０は、上向きに設置された原稿を、エリアセンサを用いて上方よりスキャンして原稿の画像を読み取ってもよい。ここで、本実施形態において、画像読取部１１０は、コントローラと、エリアセンサと、Ａ／Ｄコンバータとを備えていてもよい。コントローラは、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、エリアセンサ、および、Ａ／Ｄコンバータを制御する。エリアセンサは、原稿平面（主走査方向と副走査方向の２次元平面）から届く光を、画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータは、エリアセンサから出力されたアナログ電荷量をデジタル信号に変換し、二次元の画像を出力する。これにより、二次元の画像がＡ／Ｄコンバータから出力される。なお、画像読取部１１０は、カメラ等であってもよい。

また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および、マイク等であってもよい。また、入出力部１１２は、アプリケーション等の表示画面を表示する表示手段（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）であってもよい。また、入出力部１１２は、音声情報を音声として出力する音声出力手段（例えば、スピーカ等）であってもよい。

また、制御部１０２は、オーバーヘッド型画像読取装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリ（例えば、一次記憶部１０６−１）を有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、大別して、画像取得部１０２ａと、異物検出部１０２ｂと、動作検出部１０２ｃと、リスト格納部１０２ｄと、検出判定部１０２ｅと、出力画像取得部１０２ｆと、画像出力部１０２ｇと、保管部１０２ｈとを備える。

画像取得部１０２ａは、めくられる綴じ媒体を連続して画像読取部１１０にて読取らせ、画像を取得する。ここで、画像取得部１０２ａは、画像読取部１１０にて読取られた画像等を記憶部１０６（一次記憶部１０６−１）に格納してもよい。すなわち、画像取得部１０２ａは、画像読取部１１０を制御して、複数の画像を連続して取得してもよい。例えば、画像取得部１０２ａは、画像読取部１１０のコントローラを制御して、モータを回転駆動させ、リニアセンサにより光電変換されＡ／Ｄコンバータによりアナログデジタル変換されたラインごとの一次元画像を合成することにより、二次元の画像を取得して記憶部１０６（一次記憶部１０６−１）に格納する処理を繰り返してもよい。

また、例えば、画像取得部１０２ａは、画像読取部１１０のコントローラを制御して、エリアセンサにより光電変換されＡ／Ｄコンバータによりアナログデジタル変換された画像を取得して記憶部１０６（一次記憶部１０６−１）に格納する処理を繰り返してもよい。すなわち、画像取得部１０２ａは、エリアセンサでモーション撮影を行って連続画像（動画像）を取得する機能を有していてもよい。また、画像取得部１０２ａは、画像読取部１１０にて読取られた画像を、射影変換（例えば、正面方向から撮影したように射影変換）してもよい。

異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、異物の映り込みを検出する。すなわち、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、手の映り込みを検出してもよい。

動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定する。すなわち、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、ページ動作を認識し、ページめくりを検出してもよい。ここで、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像において、異物の移動方向と、予め設定されたページのめくり方向と、が一致した場合、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定してもよい。また、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像において、異物の動きベクトルと、ページの動きベクトルと、が一致した場合、綴じ媒体のページのめくり動作を検出し、各画像に対応するページを特定してもよい。

リスト格納部１０２ｄは、リストをリスト管理部１０６ａに格納する。ここで、リスト格納部１０２ｄは、動作検出部１０２ｃにより各めくり動作の完了が検出された場合、リストをリスト管理部１０６ａに格納する。すなわち、リスト格納部１０２ｄは、リストの管理を行ってもよい。

検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのない画像があるか否か判定する。すなわち、検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのない画像が抽出されたか否か判定してもよい。ここで、検出判定部１０２ｅは、動作検出部１０２ｃによる特定された同一のページに対応する各画像から、異物検出部１０２ｂにより異物の映り込みが検出されなかった画像があるか否か判定してもよい。また、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、異物の映り込みのない画像があるか否か判定してもよい。また、検出判定部１０２ｅは、同一のページに対応する各画像から、異物の映り込みのある画像だけが（複数）抽出されたか否か判定してもよい。

出力画像取得部１０２ｆは、検出判定部１０２ｅにより異物の映り込みのない画像があると判定された場合、異物の映り込みのない画像を出力画像として取得し、検出判定部１０２ｅにより異物の映り込みのない画像がないと判定された場合、同一のページに対応する各画像を組み合わせて出力画像を取得する。ここで、出力画像取得部１０２ｆは、検出判定部１０２ｅにより異物の映り込みのない画像がないと判定された場合、同一のページに対応する各画像を切り出し、合成することにより出力画像を取得してもよい。また、出力画像取得部１０２ｆは、リスト管理部１０６ａに記憶されたリストに基づいて、異物の映り込みのない画像を出力画像として取得してもよい。

画像出力部１０２ｇは、出力画像を入出力部１１２を介して出力する。ここで、画像出力部１０２ｇは、出力画像を入出力部１１２に表示してもよい。また、画像出力部１０２ｇは、画像読取部１１０にて読取られた画像等を入出力部１１２に表示してもよい。

保管部１０２ｈは、出力画像を記憶部１０６に格納する。ここで、保管部１０２ｈは、画像読取部１１０にて読取られた画像等を記憶部１０６に格納してもよい。また、保管部１０２ｈは、画像取得部１０２ａにより取得された画像等を記憶部１０６に格納してもよい。

［３．本実施形態の処理］
上述した構成のオーバーヘッド型画像読取装置１００で実行される処理の一例について、図５乃至図１５を参照して説明する。

［３−１．基本処理］
本実施形態のオーバーヘッド型画像読取装置１００における基本処理の一例について図５乃至図８を参照して説明する。図５は、本実施形態のオーバーヘッド型画像読取装置１００における基本処理の一例を示すフローチャートである。

図５に示すように、まず、画像取得部１０２ａは、ユーザによりめくられる綴じ媒体を連続して画像読取部１１０にて読取らせ、画像を取得し、画像を一次記憶部１０６−１に格納する（ステップＳＡ−１）。このように、画像読取部１１０は、非接触型の画像入力（１個以上）により連続して画像読み取りを行ってもよい。また、画像読取部１１０による画像読み取りは、一定間隔でなくてもよい。

そして、保管部１０２ｈは、画像読取部１１０にて読取られた画像を記憶部１０６に格納する（ステップＳＡ−２）。

そして、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、ユーザの手の映り込みを検出し、手の映り込み検出結果を一次記憶部１０６−１に格納する（ステップＳＡ−３）。このように、異物検出部１０２ｂは、入力された画像から手を検出してもよい。

そして、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像から、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出する（ステップＳＡ−４）。ここで、動作検出部１０２ｃは、一次記憶部１０６−１に記憶された画像、および、手の映り込み検出結果に基づいて、画像取得部１０２ａにより取得された画像において、ユーザの手の移動方向と、予め設定されたページのめくり方向と、が一致した場合、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出してもよい。すなわち、動作検出部１０２ｃは、予めめくる方向を設定することにより、手の動きでページめくりを判定してもよい。例えば、動作検出部１０２ｃは、綴じ媒体を左右に分割して手が片側から、もう一方へ移動した時の手の方向とめくり方向とが一致した時にページめくりありと判断してもよい。ここで、動作検出部１０２ｃは、ページめくり検出で失敗した場合、後でマッチング処理を行い、同一と判断した場合削除してもよい。

また、動作検出部１０２ｃは、一次記憶部１０６−１に記憶された画像、および、手の映り込み検出結果に基づいて、画像取得部１０２ａにより取得された画像において、ユーザの手の動きベクトルと、ページの動きベクトルと、が一致した場合、綴じ媒体のページ動作を認識し、綴じ媒体のページのめくり動作を検出してもよい。このように、動作検出部１０２ｃは、手の動きを検出するだけでなく、手の動きと連動する他の動きを検出してもよい。すなわち、動作検出部１０２ｃは、手とページとの動きでページめくりを判定してもよい。例えば、動作検出部１０２ｃは、手の動きベクトルとページの動きベクトルとが一致した場合、めくり動作ありと判断してもよい。ここで、動作検出部１０２ｃは、動きベクトルの方向が連続的に発生した場合に、めくり動作ありと判断してもよい。また、手の動きベクトルは、現在の手の座標と前回の手の座標とのベクトルから生成されてもよい。また、動作検出部１０２ｃは、記憶部１０６に記憶された全画像についてページ番号判定を行い、ページめくりを判定してもよい。

そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出したか否か判定し（ステップＳＡ−５）、各画像に対応するページを特定する。このように、動作検出部１０２ｃは、ページめくりを判定してもよい。

そして、リスト格納部１０２ｄは、画像取得部１０２ａにより取得された画像の番号と、ユーザの手の映り込みに関する情報と、ページのめくり動作に関する情報と、を対応付けたリストをリスト管理部１０６ａに格納する（ステップＳＡ−６）。

そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出していないと判定した場合（ステップＳＡ−５：Ｎｏ）、処理をステップＳＡ−１１に移行させる。

一方、検出判定部１０２ｅは、動作検出部１０２ｃにより各めくり動作の完了が検出された場合（ステップＳＡ−５：Ｙｅｓ）、同一のページに対応する各画像から、ユーザの手の映り込みのない画像が抽出されたか否か判定する（ステップＳＡ−７）。ここで、画像の番号は、画像読取部１１０にて読取られた順番等であってもよい。また、ユーザの手の映り込みに関する情報は、ユーザの手の数、ユーザの手の座標、ユーザの手の大きさ、および／または、ユーザの手の形等に関する情報を含んでいてもよい。また、ページのめくり動作に関する情報は、めくり有無、および／または、ページの動き有無等に関する情報を含んでいてもよい。また、検出判定部１０２ｅは、同一のページに対応する各画像から、ユーザの手の映り込みのない画像があるか否か判定してもよい。また、検出判定部１０２ｅは、動作検出部１０２ｃによる特定された同一のページに対応する各画像から、異物検出部１０２ｂによりユーザの手の映り込みが検出されなかった画像があるか否か判定してもよい。また、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、ユーザの手の映り込みのない画像があるか否か判定してもよい。

そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、検出判定部１０２ｅにより同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたか否か判定する（ステップＳＡ−８）。

そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合（ステップＳＡ−８：Ｙｅｓ）、抽出された複数の画像を切り出し、合成することにより出力画像を取得する（ステップＳＡ−９）。ここで、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合、抽出された複数の画像を組み合わせて出力画像を取得してもよい。このように、出力画像取得部１０２ｆは、ページがめくられていない画像中の手がない部分を組合せてページを形成してもよい。

そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されていないと判定された場合（ステップＳＡ−８：Ｎｏ）、抽出された画像（例えば、ページの動きがない手の映り込みのない画像等）を出力画像として取得し、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された出力画像を入出力部１１２を介して出力する（ステップＳＡ−１０）。このように、本実施形態においては、出力画像取得部１０２ｆにより取得（形成）されたページを組合せて綴じ媒体を電子化してもよい。

ここで、図６を参照して、本実施形態における異物として検出される手が一つの場合の画像処理の一例について説明する。図６は、本実施形態における画像処理の一例を示す図である。

図６に示すように、ユーザにより片手でめくられる綴じ媒体が連続して画像読取部１１０にて読取られる場合、出力画像取得部１０２ｆは、ユーザの手の映り込みが検出されない各ページに対応する画像を出力画像として取得してもよい（例えば、ステップＳＢ−１の右ページ（２ページ目）、ステップＳＢ−２の左ページ（１ページ目）、ステップＳＢ−４の右ページ（４ページ目）、および、ステップＳＢ−５の左ページ（３ページ目））。また、図６に示すように、異物検出部１０２ｂは、画像取得部１０２ａにより取得された各画像における、ユーザの手の映り込みを検出してもよい（例えば、ステップＳＢ−２乃至ステップＳＢ−５）。そして、動作検出部１０２ｃは、画像取得部１０２ａにより取得された画像、および、異物検出部１０２ｂにより検出された手の映り込み検出結果に基づいて、ページめくり方向を判定してもよい（例えば、ステップＳＢ−２乃至ステップＳＢ−４）。

次に、図７および図８を参照して、本実施形態における異物として検出される手が二つの場合の画像処理の一例について説明する。図７および図８は、本実施形態における画像処理の一例を示す図である。

図７に示すように、ユーザにより両手でめくられる綴じ媒体が連続して画像読取部１１０にて読取られる場合、出力画像取得部１０２ｆは、ユーザの手の映り込みが検出されない各ページに対応する画像を出力画像として取得してもよい（例えば、ステップＳＣ−４の右ページ（４ページ目））。一方、出力画像取得部１０２ｆは、検出判定部１０２ｅにより同一のページに対応する各画像から、異物の映り込みのない画像がないと判定された場合（例えば、１ページ目乃至３ページ目）、同一のページに対応する各画像を組み合わせて出力画像を取得してもよい。

例えば、図８に示すように、図７の綴じ媒体の１ページ目に対応する出力画像を取得する場合、出力画像取得部１０２ｆは、１ページ目に対応する各画像（例えば、ステップＳＣ−２の左ページ、および、ステップＳＣ−３の左ページ）の手の映り込みが検出される部分を左右に分割して切り出し、合成することにより出力画像を取得してもよい。

図５に戻り、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了したか否か判定する（ステップＳＡ−１１）。

そして、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了していないと判定した場合（ステップＳＡ−１１：Ｎｏ）、処理をステップＳＡ−１に移行させる。

一方、制御部１０２は、画像読取部１１０にて綴じ媒体の読み取りが終了したと判定した場合（ステップＳＡ−１１：Ｙｅｓ）、処理を終了する。

このように、本実施形態においては、ペラペラめくる人の自然な動作で電子化を行うことができる。また、本実施形態においては、手がない部分の画像を組み合わせる事で、コンテンツの抜けのない画像を提供することができる。例えば、本実施形態におけるオーバーヘッド型画像読取装置１００においては、連続にエリアセンサで読み取った画像の中から、手と本の動きに基づいてページめくり動作を検出し、読み取りに最適なフレームを選定する。その後、本実施形態におけるオーバーヘッド型画像読取装置１００においては、選定したフレームを画像解析し、手などの異物が写り込まない場合、そのフレームを出力する。一方、本実施形態におけるオーバーヘッド型画像読取装置１００においては、手などの異物が写り込んだ場合に、前後の画像の中から先ほど選んだ画像の異物が写り込んでいないフレームを探索し、２つのフレームを合成することで、手などの異物が写り込まない画像を生成して出力する。そして、本実施形態におけるオーバーヘッド型画像読取装置１００においては、この制御を繰り返すことで、ペラペラめくるだけで電子化を行うことができる。

［３−２．具体的処理］
つづいて、本実施形態のオーバーヘッド型画像読取装置１００における具体的処理の一例について図９乃至図１５を参照して説明する。図９（図９Ａ乃至図９Ｃ）は、本実施形態のオーバーヘッド型画像読取装置１００における具体的処理の一例を示すフローチャートである。

図９に示すように、まず、制御部１０２は、積載台に上向きに設置された本の大きさと位置とを認識する（ステップＳＤ−１）。

そして、画像取得部１０２ａは、ユーザによりめくられる本を連続して画像読取部１１０にて読取らせ、画像を取得する（ステップＳＤ−２）。

そして、画像取得部１０２ａは、取得された画像を見開きとして分割した画像（分割画像）を取得する（ステップＳＤ−３）。

そして、保管部１０２ｈは、画像取得部１０２ａにより取得された画像（分割画像）を記憶部１０６に格納（保管）する（ステップＳＤ−４）。

そして、異物検出部１０２ｂは、記憶部１０６に記憶された画像における、ユーザの手の映り込みを検出し、手の重心を算出する（ステップＳＤ−５）。

ここで、図１０を参照して、本実施形態における手検出処理の一例について説明する。図１０（図１０Ａ乃至図１０Ｅ）は、本実施形態における手検出処理の一例を示す図である。

図１０（図１０Ｂ）に示すように、画像取得部１０２ａは、手の映り込んだＲＧＢ画像を取得する（ステップＳＥ−１）。

そして、図１０Ｃに示すように、異物検出部１０２ｂは、画像取得部１０２ａにより取得されたＲＧＢ画像を構成する画素をＲＧＢ値からＨＳＶ値に変換（ＨＳＶ空間に投射）する（ステップＳＥ−２）。

そして、図１０Ｄに示すように、異物検出部１０２ｂは、変換したＨＳＶ値を用いて、肌色の色相の値（０＜Ｈ＜３０）で二値化処理することで二値画像を取得する（ステップＳＥ−３）。このように、異物検出部１０２ｂは、色相による手検出を行ってもよい。また、リスト格納部１０２ｄは、二値化した手の画像（二値画像）をリストと共にリスト管理部１０６ａに格納してもよい。

そして、図１０Ｅに示すように、異物検出部１０２ｂは、取得した二値画像に基づいて、手の輪郭を抽出することで、ユーザの手の映り込みを検出し（ステップＳＥ−４）、処理を終了する。

図９に戻り、動作検出部１０２ｃは、ステップＳＤ−５にて異物検出部１０２ｂにより手の映り込みが検出された画像（今の画像）の１コマ前の画像（１回前）からの手の動きを算出する（ステップＳＤ−６）。

そして、動作検出部１０２ｃは、今の画像の１回前からの画像の動きを算出する（ステップＳＤ−７）。

そして、動作検出部１０２ｃは、算出した手の動き、および、画像の動きより、本のページのめくり動作を検出する（ステップＳＤ−８）。

ここで、図１１を参照して、本実施形態におけるページ動作認識処理の一例について説明する。図１１（図１１Ａ乃至図１１Ｅ）は、本実施形態におけるページ動作認識処理の一例を示す図である。

図１１に示すように、異物検出部１０２ｂは、画像読取部１１０にて連続して読取られた本の画像（フレーム）を取得する前処理を行う（ステップＳＦ−１）。

そして、図１１Ｂに示すように、異物検出部１０２ｂは、取得した画像（フレーム）に対してＨａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒを用いて、特徴点の抽出を行う（ステップＳＦ−２）。ここで、異物検出部１０２ｂは、画像Ｉの画素を（ｘ，ｙ）、構造テンソルをＭ、特徴点判別式をＲ、および、スライスをＴとして、下記数式１に基づいて構造テンソルＭを算出してもよい。

このＭの固有値を分析する事により、以下の様に分析できる。すなわち、下記数式２であれば、Ｉ（ｘ，ｙ）は特徴点を持たない。また、下記数式３であれば、エッジが存在する。また、λ_１およびλ_２が正の大きな値であれば、コーナーが存在する。

ここで、この固有値を簡略的に表す特徴量Ｒは、Ｒ＝ｄｅｔ（Ｍ）−ｋ（ｔｒ（Ｍ））^２と算出してもよい。このとき、ｄｅｔ（Ｍ）＝λ_１λ_２＝ＡＢ−Ｃ２、および、ｔｒ（Ｍ）＝Ａ＋Ｂと算出してもよい。また、ｋは一般的に０．０４〜０．１５が良いとされている。この、Ｒ＞Ｔが成り立つときに、Ｒの座標をコーナーと判定してもよい。

そして、図１１Ｃに示すように、異物検出部１０２ｂは、抽出された特徴点に対して、Ｌｕｃａｓ−Ｋａｎａｄｅ ｍｅｔｈｏｄを用いて、フレーム間での特徴点移動追跡を行う（ステップＳＦ−３）。

そして、図１１Ｄに示すように、異物検出部１０２ｂは、フレーム間での特徴点移動について、Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｌｔｅｒを用いて、水平方向のみの移動ベクトルの抽出を行う（ステップＳＦ−４）。ここで、画素を（ｘ，ｙ）、時間をｔ、移動ベクトルの角度をθ、ならびに、Ｔ_ＬおよびＴ_Ｕをスライス（ベクトルのスカラ）とする。そして、めくり動作の動きは水平方向と仮定し、現在の座標を（Ｘ_ｔ，Ｙ_ｔ）、次の時間の座標を（Ｘ_ｔ＋１，Ｙ_ｔ＋１）、および、２つの座標の移動角度をωとして、異物検出部１０２ｂは、下記数式４に基づいてｔａｎωを算出してもよい。

ここで、許容する水平方向の角度をθとすると、判定条件の一つは下記数式５となる。

また、Ｔ_ＬおよびＴ_Ｕを、移動量の上限値および下限値とすると、二点間の距離より判定条件の一つは下記数式６となる。

この、数式５および数式６が同時に成立するときに、異物検出部１０２ｂは、水平方向のベクトルと判断して保存してもよい。

そして、図１１Ｅに示すように、異物検出部１０２ｂは、抽出された移動ベクトル全体の方向よりページの動き（移動方向）を判定（動体判定）し、本のページのめくり動作を検出し（ステップＳＦ−５）、処理を終了する。

図９に戻り、リスト格納部１０２ｄは、リスト管理部１０６ａのリストに現在のページ番号、画像の保存先、手の位置、および、サイズを追加する（ステップＳＤ−９）。

ここで、図１２および図１３を参照して、本実施形態におけるリストの一例について説明する。図１２および図１３は、本実施形態におけるリストの一例を示す図である。

図１２には、本の見開きに対応する画像を左右に分割した、右側のリスト（画像リスト）の具体例が示されている。図１２に示すように、画像リストには、各画像の画像番号、ページのめくり有無、ページの動き有無、映り込んだ手の数、ならびに、映り込んだ各手の座標、手の大きさ、および、手の形（画像）に関する情報が含まれていてもよい。例えば、図１２においては、画像番号８乃至１０の画像が、手の映り込みが無く、ページの動きも無い画像であるが、本実施形態において、出力画像取得部１０２ｆは、リストの最上部（時系列的に最も古い）画像番号８の画像を出力画像として取得してもよい。すなわち、画像番号１１の画像においては、手の映り込みが検出されているが、画像処理上、異物検出部１０２ｂによる画像番号９および１０の画像における、手の検出が完全では無い可能性があるため、出力画像取得部１０２ｆは、画像番号８の画像を出力画像として取得してもよい。

また、図１３には、本の見開きに対応する画像を左右に分割した、左側のリスト（画像リスト）の具体例が示されている。例えば、図１３においては、画像番号１および２の画像以外に、手の映り込みが無い画像は無いため、出力画像取得部１０２ｆは、同一のページに対応する各画像を切り出し、合成することにより出力画像を取得してもよい。すなわち、出力画像取得部１０２ｆは、リストに基づいて、各画像から手の映り込みが重ならない部分（画像）を探索することで、各画像を切り出し、合成することにより出力画像を取得してもよい。ここで、リストの左右の番号は、同じ時間での画像であってもよい。

図９に戻り、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出したか否か判定し（ステップＳＤ−１０）、各画像に対応するページを特定する。

そして、動作検出部１０２ｃは、綴じ媒体のページのめくり動作の完了を検出していないと判定した場合（ステップＳＤ−１０：Ｎｏ）、処理をステップＳＤ−２２に移行させる。

一方、リスト格納部１０２ｄは、綴じ媒体のページのめくり動作の完了を検出したと判定した場合（ステップＳＤ−１０：Ｙｅｓ）、リスト管理部１０６ａのリストに管理部めくりフラグを追加する（ステップＳＤ−１１）。

そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、前回のリストの管理部めくりフラグの位置から現在の位置まで（画像を）探索する（ステップＳＤ−１２）。なお、前回のリストの管理部めくりフラグがない場合、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、最初から現在の位置まで（画像を）探索してもよい。

そして、検出判定部１０２ｅは、探索された画像における、本の位置と手の位置とを認識し、本と手とが最も分離される位置を探す（ステップＳＤ−１３）。

そして、検出判定部１０２ｅは、探索された画像が手の映り込み（手の重なり）のある画像であるか否か判定する（ステップＳＤ−１４）。

そして、検出判定部１０２ｅは、画像が手の重なりのある画像ではないと判定した場合（ステップＳＤ−１４：Ｎｏ）、処理をステップＳＤ−１８に移行させる。

一方、検出判定部１０２ｅは、画像が手の重なりのある画像であると判定した場合（ステップＳＤ−１４：Ｙｅｓ）、重なった部分が重ならない画像を探す（ステップＳＤ−１５）。

そして、検出判定部１０２ｅは、手が重なった部分が重ならない画像があるか否か判定する（ステップＳＤ−１６）。

そして、検出判定部１０２ｅは、手が重なった部分が重ならない画像があると判定した場合（ステップＳＤ−１６：Ｙｅｓ）、処理をステップＳＤ−１４に移行させる。

一方、検出判定部１０２ｅは、手が重なった部分が重ならない画像がないと判定した場合（ステップＳＤ−１６：Ｎｏ）、その画像を手の映り込みのある（手残りあり）画像と判定する（ステップＳＤ−１７）。

そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、検出判定部１０２ｅにより同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたか否か判定する（ステップＳＤ−１８）。

そして、出力画像取得部１０２ｆは、同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されていないと判定した場合（ステップＳＤ−１８：Ｎｏ）、抽出された画像を出力画像として取得し、処理をステップＳＤ−２１に移行させる。

そして、出力画像取得部１０２ｆは、制御部１０２により同一のページに対応する各画像から、当該ページに最適な画像が複数抽出されたと判定された場合（ステップＳＤ−１８：Ｙｅｓ）、抽出された複数の画像から手の写り込まない画像を用いて合成することにより出力画像を取得する（ステップＳＤ−１９）。

そして、出力画像取得部１０２ｆは、手残りありの場合、手の削除処理（周りから補完）を行い、出力画像として取得する（ステップＳＤ−２０）。すなわち、出力画像取得部１０２ｆは、同一のページに対応する各画像において、手の移り込みが検出される領域（部分画像）が存在する場合、画像から手の移り込みを削除し、他（例えば、前後など）のページに対応する画像を用いて当該部分を補完してもよい。

そして、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された画像（出力画像）をページとして入出力部１１２を介して出力する（ステップＳＤ−２１）。

そして、制御部１０２は、画像読取部１１０にて本の読み取りが終了したか否か判定する（ステップＳＤ−２２）。

そして、制御部１０２は、画像読取部１１０にて本の読み取りが終了していないと判定した場合（ステップＳＤ−２２：Ｎｏ）、処理をステップＳＤ−２に移行させる。

一方、制御部１０２は、画像読取部１１０にて本の読み取りが終了したと判定した場合（ステップＳＤ−２２：Ｙｅｓ）、処理が１回目であるか否か判定する（ステップＳＤ−２３）。

そして、制御部１０２は、処理が１回目であると判定した場合（ステップＳＤ−２３：Ｙｅｓ）、処理をステップＳＤ−１１に移行させる。

一方、制御部１０２は、処理が１回目でないと判定した場合（ステップＳＤ−２３：Ｎｏ）、処理を終了する。

すなわち、本実施形態においては、連続して画像読み取りを行い、各々の画像に対して手の検出を行う。そして、画像と前後の画像の動きより、手の動作を判定し、画像の動きによりページ動作を判定し、手の動作（と、それに同期したページの動き）によりページめくりを判定する。そして、本実施形態においては、これらの判定結果を元に、候補となるフレーム画像の抽出し、抽出結果が複数の場合、手がない部分の画像を合成して一つのページを生成する。そして、本実施形態においては、これらを繰り返すことで、連続して画像を生成することができる。

ここで、図１４を参照して、本実施形態における抽出フレーム判定処理の一例について説明する。図１４は、本実施形態における抽出フレーム判定処理の一例を示すフローチャートである。

図１４において、検出判定部１０２ｅは、リスト管理部１０６ａに記憶された左右のリストから、最初のめくり場所を探索する（ステップＳＧ−１）。すなわち、左めくりの場合、最初のめくり場所は、右リストにあり、右めくりの場合、最初のめくり場所は、左リストにあることになる。

そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、前回のイベント（開始、終了、または、ページめくり開始）まで探索する（ステップＳＧ−２）。

そして、検出判定部１０２ｅは、リスト管理部１０６ａに記憶されたリストに基づいて、同一のページに対応する各画像から、ページの動きが無い画像があるか否か判定する（ステップＳＧ−３）。

そして、画像出力部１０２ｇは、検出判定部１０２ｅにより同一のページに対応する各画像から、ページの動きが無い画像が無いと判定された場合（ステップＳＧ−３：Ｎｏ）、エラー通知を入出力部１１２を介して出力し（ステップＳＧ−４）、処理を終了する。

一方、検出判定部１０２ｅは、同一のページに対応する各画像から、ページの動きが無い画像があると判定された場合（ステップＳＧ−３：Ｙｅｓ）、リスト管理部１０６ａに記憶されたリストに基づいて、ユーザの手の映り込みのない画像があるか否か判定する（ステップＳＧ−５）。

そして、出力画像取得部１０２ｆは、検出判定部１０２ｅによりユーザの手の映り込みのない画像があると判定された場合（ステップＳＧ−５：Ｙｅｓ）、当該手の映り込みのない画像を出力画像として取得し、処理をステップＳＧ−９に移行させる。ここで、出力画像取得部１０２ｆは、前のページめくりまでの時間軸の中から最適なフレーム画像を選択（１枚、または、複数）し、候補が複数ある場合、ページの動きが少ない方を選択してもよい。すなわち、出力画像取得部１０２ｆは、画像番号が大きい方、または、番号両隣の画像に動きがより少ない方の画像を出力画像として取得してもよい。

一方、制御部１０２は、検出判定部１０２ｅによりユーザの手の映り込みのない画像が無いと判定された場合（ステップＳＧ−５：Ｎｏ）、リスト管理部１０６ａに記憶されたリストに基づいて、手の領域が重ならない画像を探索する（ステップＳＧ−６）。

ここで、図１５を参照して、本実施形態における手の領域が重ならない画像探索の一例について説明する。図１５は、本実施形態における手の領域が重ならない画像探索処理の一例を示すフローチャートである。

図１５に示すように、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、基準となるフレーム（画像番号）を基準データ（Ａ）として選定する（ステップＳＨ−１）。

そして、制御部１０２は、基準データ（Ａ）の手の形に関する情報を抽出し、手の形に関する情報に基づいて、基準データ（Ａ）の各画素Ａ（ｘ，ｙ）に二値データ（１＝手、および、０＝背景）を付与する（ステップＳＨ−２）。

そして、制御部１０２は、比較対象を一つ前のフレームとし、対象データ（Ｂ）として設定する（ステップＳＨ−３）。

そして、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベント（例えば、異なるページ等）であるか否か判定する（ステップＳＨ−４）。

そして、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベントであると判定した場合（ステップＳＨ−４：Ｙｅｓ）、比較対象なしと判定し（ステップＳＨ−５）、処理を終了する。

一方、制御部１０２は、対象データ（Ｂ）が、基準データ（Ａ）の前回のイベントではないと判定した場合（ステップＳＨ−４：Ｎｏ）、対象データ（Ｂ）の手の形に関する情報を抽出し、対象データ（Ｂ）の各画素Ｂ（ｘ，ｙ）に二値データ（１＝手、および、０＝背景）を付与し、両データの各画素（例えば、同一座標にある画素等）の積（ΣＡ（ｘ，ｙ）Ｂ（ｘ，ｙ））を算出することにより、対象データの手があるデータ全てが、基準データの背景部分かを探索する（ステップＳＨ−６）。

そして、制御部１０２は、算出した結果、すなわち、積（ΣＡ（ｘ，ｙ）Ｂ（ｘ，ｙ））＝０であるか否か判定する（ステップＳＨ−７）。

そして、制御部１０２は、算出した結果＝０ではないと判定した場合（ステップＳＨ−７：Ｎｏ）、処理をステップＳＨ−３に移行させる。

一方、制御部１０２は、算出した結果＝０であると判定した場合（ステップＳＨ−７：Ｙｅｓ）、対象ありとし、対象データ（Ｂ）のフレームを手の領域が重ならない画像に選定し（ステップＳＨ−８）、処理を終了する。

図１４に戻り、制御部１０２は、手の領域が重ならない画像があるか否か判定する（ステップＳＧ−７）。

そして、制御部１０２は、手の領域が重ならない画像が無いと判定した場合（ステップＳＧ−７：Ｎｏ）、処理をステップＳＧ−４に移行させる。

そして、出力画像取得部１０２ｆは、制御部１０２により手の領域が重ならない画像があると判定された場合（ステップＳＧ−７：Ｙｅｓ）、選定した手の領域が重ならない画像を切り出し、合成することにより出力画像を取得する（ステップＳＧ−８）。

そして、画像出力部１０２ｇは、出力画像取得部１０２ｆにより取得された出力画像を入出力部１１２を介して、めくり方向のページ順番で出力する（ステップＳＧ−９）。なお、ステップＳＧ−２乃至ＳＧ−９の処理は、左右各々実施してもよい。

そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、次のイベントの処理に移行する（ステップＳＧ−１０）。

そして、制御部１０２は、リスト管理部１０６ａに記憶されたリストに基づいて、イベントが終了であるか否か判定する（ステップＳＧ−１１）。

そして、制御部１０２は、イベントが終了ではないと判定した場合（ステップＳＧ−１１：Ｎｏ）、処理をステップＳＧ−２に移行させる。

一方、制御部１０２は、イベントが終了であると判定した場合（ステップＳＧ−１１：Ｙｅｓ）、処理を終了する。

［４．他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、オーバーヘッド型画像読取装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（オーバーヘッド型画像読取装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、オーバーヘッド型画像読取装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、オーバーヘッド型画像読取装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じてオーバーヘッド型画像読取装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、オーバーヘッド型画像読取装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（リスト管理部１０６ａ）は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、オーバーヘッド型画像読取装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、オーバーヘッド型画像読取装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、本発明に係るオーバーヘッド型画像読取装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ オーバーヘッド型画像読取装置
１０２ 制御部
１０２ａ 画像取得部
１０２ｂ 異物検出部
１０２ｃ 動作検出部
１０２ｄ リスト格納部
１０２ｅ 検出判定部
１０２ｆ 出力画像取得部
１０２ｇ 画像出力部
１０２ｈ 保管部
１０６ 記憶部
１０６ａ リスト管理部
１０８ 入出力インターフェース部
１１０ 画像読取部
１１２ 入出力部

Claims (17)

1. めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得手段と、
   同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定手段と、
   前記検出判定手段により前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得手段と、
   を備えたことを特徴とする、オーバーヘッド型画像読取装置。
2. 前記画像取得手段により取得された前記各画像における、前記異物の映り込みを検出する異物検出手段と、
   前記画像取得手段により取得された前記画像から、前記綴じ媒体の前記ページのめくり動作を検出し、前記各画像に対応する前記ページを特定する動作検出手段と、
   を更に備え、
   前記検出判定手段は、
   前記動作検出手段により特定された同一の前記ページに対応する前記各画像から、前記異物検出手段により前記異物の映り込みが検出されなかった前記画像があるか否か判定する、請求項１に記載のオーバーヘッド型画像読取装置。
3. 前記画像の番号と、前記異物の映り込みに関する情報と、前記ページの前記めくり動作に関する情報と、を対応付けたリストを記憶するリスト記憶手段、
   を更に備え、
   前記検出判定手段は、
   前記リスト記憶手段に記憶された前記リストに基づいて、前記同一のページに対応する前記各画像から、前記異物の映り込みのない画像があるか否か判定する、請求項２に記載のオーバーヘッド型画像読取装置。
4. 前記動作検出手段により前記各めくり動作の完了が検出された場合、前記リストを前記リスト記憶手段に格納するリスト格納手段、
   を更に備えた、請求項３に記載のオーバーヘッド型画像読取装置。
5. 前記動作検出手段は、
   前記画像取得手段により取得された前記画像において、前記異物の移動方向と、予め設定された前記ページのめくり方向と、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項２乃至４のいずれか一つに記載のオーバーヘッド型画像読取装置。
6. 前記動作検出手段は、
   前記画像取得手段により取得された前記画像において、前記異物の動きベクトルと、前記ページの動きベクトルと、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項２乃至４のいずれか一つに記載のオーバーヘッド型画像読取装置。
7. 前記出力画像取得手段は、
   前記検出判定手段により前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を切り出し、合成することにより前記出力画像を取得する、請求項１乃至６のいずれか一つに記載のオーバーヘッド型画像読取装置。
8. 前記異物は、
   ユーザの手である、請求項１乃至７のいずれか一つに記載のオーバーヘッド型画像読取装置。
9. オーバーヘッド型画像読取装置で実行される、
   めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、
   同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、
   前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、
   を含むことを特徴とする画像処理方法。
10. 前記画像取得ステップにて取得された前記各画像における、前記異物の映り込みを検出する異物検出ステップと、
    前記画像取得ステップにて取得された前記画像から、前記綴じ媒体の前記ページのめくり動作を検出し、前記各画像に対応する前記ページを特定する動作検出ステップと、
    を更に含み、
    前記検出判定ステップにて、
    前記動作検出ステップにて特定された同一の前記ページに対応する前記各画像から、前記異物検出ステップにて前記異物の映り込みが検出されなかった前記画像があるか否か判定する、請求項９に記載の画像処理方法。
11. 前記検出判定ステップにて、
    前記オーバーヘッド型画像読取装置に記憶された前記画像の番号と、前記異物の映り込みに関する情報と、前記ページの前記めくり動作に関する情報と、を対応付けたリストに基づいて、前記同一のページに対応する前記各画像から、前記異物の映り込みのない画像があるか否か判定する、請求項１０に記載の画像処理方法。
12. 前記動作検出ステップにて前記各めくり動作の完了が検出された場合、前記リストを前記オーバーヘッド型画像読取装置に格納するリスト格納ステップ、
    を更に含む、請求項１１に記載の画像処理方法。
13. 前記動作検出ステップにて、
    前記画像取得ステップにて取得された前記画像において、前記異物の移動方向と、予め設定された前記ページのめくり方向と、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項１０乃至１２のいずれか一つに記載の画像処理方法。
14. 前記動作検出ステップにて、
    前記画像取得ステップにて取得された前記画像において、前記異物の動きベクトルと、前記ページの動きベクトルと、が一致した場合、前記綴じ媒体の前記ページの前記めくり動作を検出し、前記各画像に対応する前記ページを特定する、請求項１０乃至１２のいずれか一つに記載の画像処理方法。
15. 前記出力画像取得ステップにて、
    前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を切り出し、合成することにより前記出力画像を取得する、請求項９乃至１４のいずれか一つに記載の画像処理方法。
16. 前記異物は、
    ユーザの手である、請求項９乃至１５のいずれか一つに記載の画像処理方法。
17. オーバーヘッド型画像読取装置に実行させるための、
    めくられる綴じ媒体を連続して画像読取部にて読取らせ、画像を取得する画像取得ステップと、
    同一のページに対応する前記各画像から、異物の映り込みのない前記画像があるか否か判定する検出判定ステップと、
    前記検出判定ステップにて前記異物の映り込みのない画像があると判定された場合、前記異物の映り込みのない画像を出力画像として取得し、前記検出判定ステップにて前記異物の映り込みのない画像がないと判定された場合、前記同一のページに対応する各画像を組み合わせて前記出力画像を取得する出力画像取得ステップと、
    を含むことを特徴とするプログラム。

Images