JP3508658B2 - 文書画像取得装置、取得方法、取得プログラム記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書画像取得装置及
び文書画像取得方法並びに文書画像取得プログラムを記
録した記録媒体に関し、特にカメラ等の非接触型の画像
入力装置を用いて文書領域を検出する文書画像取得装置
及び文書画像取得方法並びに文書画像取得プログラムを
記録した記録媒体に関する。

【０００２】

【従来の技術】従来の文書画像取得装置の一例が、本願
出願人による特許出願である特願平１１−１１０１２５
号の明細書に記載されている。この従来の文書画像取得
装置の外観構成が図１８に示されている。この従来の文
書画像取得装置は、カメラ等の非接触型でかつ一定時間
間隔で画像を取得するスキャナからなる画像入力部１０
１と文書画像取得部１０２からなる。この文書画像取得
装置は机の上に、オペレータが手３０４で持ってきた文
書３０３を検出して、その文書の画像を取得することを
目的とする。

【０００３】この従来の文書画像取得装置の処理内容が
図１９に示されている。この従来の文書画像取得装置に
おいて、画像入力部１０１は、例えば１秒に１０枚のス
ピードで画像を入力し、文書画像取得部２０２に転送す
る。入力される画像は、図２０に示されているように、
手３０４で持った文書３０３である。この画像の形式の
一例が図２１に示されている。この画像については、一
般的なカラー画像の形式である赤画像、緑画像、青画像
と別に白黒の濃淡画像が保持される。白黒濃淡画像は、
赤画像、緑画像、青画像から生成することができるの
で、必ずしも必要ではない。

【０００４】各画像は、画素の２次元配列として表現さ
れ、横にＭ画素、縦にＮ画素の計Ｍ×Ｎ画素からなると
する。画像での座標は、左上を原点として、右方向に行
くほどＸ座標が大きくなるものとし、下方向に行くほど
Ｙ座標が大きくなるものとする。

【０００５】文書画像取得部２０２は、画像記憶部１０
３、手文書分離部１０４、動作候補生成部１０６、文書
領域候補生成部１０５、文書領域決定部２０８及び文書
画像生成部１１０から構成され、動作して得た結果の文
書画像を端子１１１から出力する。

【０００６】手文書分離部１０４は上記特願平１１−１
１０１２５号明細書中の動き検出部、静止検出部、手領
域検出部及び手領域除去部の動作を行うものとする。つ
まり手文書分離部１０４は、ある時刻と次の時刻で別々
に入力された画像から、画像内に変化があるか否かを判
定し、また変化のある部分を記録した画像を差分画像と
する。また手文書分離部１０４は、動きが一定時間以上
なくなったところで静止と判定する。さらに手文書分離
部１０４は、予め定義された手の色と類似色の領域を検
出し、動きがあると検出された部分と重なっている部分
を本当の手の領域として検出する。そして手文書分離部
１０４は、その検出された手領域と１つ前の時刻で検出
された手領域の２つの手領域を、上記差分画像から除去
して、手に関する部分を削除した画像を生成し、文書領
域とする。

【０００７】また、動作候補生成部１０６は、上記特願
平１１−１１０１２５号明細書中の手動作特徴検出部、
文書動作特徴検出部及びページ捲り文書移動判定部の処
理を実施する。つまり、動作候補生成部１０６は、上記
手領域に基づいて手の動作に関する特徴を抽出し、また
上記文書領域に基づいて文書の動作に関する特徴を抽出
する。さらに動作候補生成部１０６は、これら特徴量に
基づいて、一連の画像で表現されている手の動作がペー
ジを捲っているものなのか、文書をつかんで移動させて
いるものなのかを判定する。

【０００８】同様に、文書領域候補生成部１０５及び文
書領域決定部２０８で、上記特願平１１−１１０１２５
号明細書中の文書領域判定部の処理を実施する。つまり
文書領域候補生成部１０５及び文書領域決定部２０８
は、予めページ捲りの場合の画像と文書移動の場合の画
像を生成しておき、文書の存在する範囲（文書範囲）を
選定する。

【０００９】さらに、文書画像生成部１１０は、上記特
願平１１−１１０１２５号の明細書での文書画像生成部
と同じ処理を実施する。つまり文書画像生成部１１０
は、上記文書範囲に従って、画像記憶部１０３内に記憶
されている画像から文書の部分を切出し、端子１１１か
ら送出する。

【００１０】以上のような構成からなる従来の装置の動
作について詳細に説明する。まず、画像記憶部１０３に
蓄積された画像は、手文書分離部１０４に転送される。
手文書分離部１０４では、入力された画像と前時刻での
画像との差から動作が停止しているかどうかを判定する
と共に、動きがある場合には、動きの部分から手とそれ
以外に分離する。

【００１１】手以外の部分がしきい値以上の面積を持つ
場合に、それを文書領域とする。手領域と文書領域を動
作候補生成部１０６に転送し、文書領域を文書領域候補
生成部１０５にも転送する。動作候補生成部１０６で
は、動きが始まってから停止するまでの、手動作特徴、
例えば動作の平均方向等を抽出する。また、文書領域に
ついても、面積変化や移動方向等の文書動作特徴を抽出
する。さらに動作候補生成部１０６では、手動作特徴と
文書動作特徴からページ捲り動作及び文書移動動作につ
いての認識スコアを計算する。同時に文書領域候補生成
部１０５では、各時刻で検出された文書領域から、ペー
ジ捲りを仮定した場合の文書領域画像と文書移動を仮定
した場合の文書領域画像を生成する。

【００１２】文書領域決定部２０８では、動作候補生成
部１０６から入力された認識スコアに基づいて、入力し
た画像がページ捲りに関するものか文書移動に関するも
のかの判定を行い、ページ捲りと判定した場合には文書
領域候補生成部１０５から入力したページ捲りを仮定し
た場合の文書領域画像から文書領域を決定する。また、
文書移動と判定した場合には、文書領域候補生成部１０
５から入力した文書移動を仮定した場合の文書領域画像
から文書領域を決定する。決定した文書領域を文書画像
生成部１１０に転送する。文書画像生成部１１０では、
文書領域決定部２０８から転送された領域を画像記憶部
１０３に記憶された画像から切取り、端子１１１から結
果の文書画像として出力する。

【００１３】

【発明が解決しようとする課題】しかしながら上述した
従来の文書画像取得装置では次のような問題を起こすこ
とがある。すなわち、動作候補生成部１０６で生成され
た手動作特徴と文書動作からのみ、ページ捲りか文書移
動かの判定をしている。そのため、実際にはありえない
判定をすることがある。例えば、その時点以前に文書を
他の場所から移動して、文書が画像中に写されていなか
ったにもかかわらず、ページ捲りと判定されることは誤
りである。

【００１４】また、１つの文書が移動された後に、別の
文書が移動されて、前の文書の一部を覆い隠すように置
かれた場合に、前の文書がページ捲りされることはな
い。つまり、前の文書がページ捲りされた位置にページ
捲り文書を検出することは誤りであると見なせる。

【００１５】同様に、１つの文書が移動されて、その領
域が判定された後に、ページ捲りがその周辺に判定され
る場合には、ページ捲り後の文書の領域のサイズは、検
出済みの移動文書の領域の２倍か移動文書の１倍のサイ
ズであるはずである。従って、それ以外のサイズのペー
ジ捲り文書を検出した場合には領域判定の誤りが起こっ
たか、ページ捲り文書移動の判定を誤っていると見なせ
る。

【００１６】つまり、以上のような判定誤りが生じる
と、文書動作の判定を正しく行えないという欠点があ
る。

【００１７】本発明は上述した従来技術の欠点を解決す
るためになされたものであり、その目的は過去のページ
捲りや文書移動の履歴を利用して、ページ捲りか文書移
動を判定して、ページ捲りまたは文書移動後の文書の領
域を検出した後に、その領域の文書画像を取得できる文
書画像取得装置及び文書画像取得方法並びに文書画像取
得プログラムを記録した記録媒体を提供することであ
る。

【００１８】

【課題を解決するための手段】本発明による文書画像取
得装置は、非接触型の画像入力装置を用いて一定時間間
隔で画像を入力し、この入力した画像から文書画像を取
得する文書画像取得装置であって、過去に検出し取得し
た文書画像が入力画像中のどこに写っているかを記憶す
る文書領域マップ記憶部と、前記画像入力装置から入力
された画像中から新たな文書を検出する文書領域候補生
成部と、その新たな文書領域を発生せしめるに至った文
書の動きの候補を検出する動作候補生成部と、前記文書
領域候補生成部から出力される文書領域の特徴と、前記
動作候補生成部から出力される動作の種類とその特徴量
と、前記文書領域マップ記憶部に記憶した過去に検出し
た文書画像の特徴とを参照して、検出された文書領域の
妥当性を判定する領域可能性検証部と、前記領域可能性
検証部での判定結果から新たに検出した文書の領域を決
定する文書領域決定部と、前記文書領域決定部の出力か
ら検出した文書画像を生成する文書画像生成部とを含む
ことを特徴とする。

【００１９】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類を保持する文書領域
マップ記憶部と、前記画像入力装置から入力された画像
中から新たな文書を検出する文書領域候補生成部と、そ
の新たな文書領域を発生せしめるに至った文書の動きの
候補を検出する動作候補生成部と、前記文書領域候補生
成部から出力される文書領域の特徴と、前記動作候補生
成部から出力される動作の種類とその特徴量と、前記文
書領域マップ記憶部に記憶した過去に検出した文書画像
の特徴とを参照して、検出された文書領域の妥当性を判
定する領域可能性検証部と、前記領域可能性検証部での
判定結果から新たに検出した文書の領域を決定する文書
領域決定部と、前記文書領域決定部の出力から検出した
文書画像を生成する文書画像生成部とを含むことを特徴
とする。

【００２０】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶部と、前記画像入力装
置から入力された画像中から新たな文書を検出する文書
領域候補生成部と、その新たな文書領域を発生せしめる
に至った文書の動きの候補を検出する動作候補生成部
と、前記文書領域候補生成部から出力される文書領域の
特徴と、前記動作候補生成部から出力される動作の種類
とその特徴量と、前記文書領域マップ記憶部に記憶した
過去に検出した文書画像の特徴とを参照して、検出され
た文書領域の妥当性を判定する領域可能性検証部と、前
記領域可能性検証部での判定結果から新たに検出した文
書の領域を決定する文書領域決定部と、前記文書領域決
定部の出力から検出した文書画像を生成する文書画像生
成部とを含むことを特徴とする。

【００２１】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶する文書領域マ
ップ記憶部と、前記画像入力装置から入力された画像中
から新たな文書を検出する文書領域候補生成部と、その
新たな文書領域を発生せしめるに至った文書の動きの候
補を検出する動作候補生成部と、前記文書領域候補生成
部から出力される文書領域の特徴と、前記動作候補生成
部から出力される動作の種類とその特徴量と、前記文書
領域マップ記憶部に記憶した過去に検出した文書画像の
特徴とを参照して、検出された文書領域の妥当性を判定
する領域可能性検証部と、前記領域可能性検証部での判
定結果から新たに検出した文書の領域を決定する文書領
域決定部と、前記文書領域決定部の出力から検出した文
書画像を生成する文書画像生成部とを含み、前記文書領
域決定部は前記領域可能性検証部において合致するルー
ルがなかった場合に前記文書の領域の再検出を実行する
ことを特徴とする。

【００２２】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶部と、前記画像入力装
置から入力された画像中から新たな文書を検出する文書
領域候補生成部と、その新たな文書領域を発生せしめる
に至った文書の動きの候補を検出する動作候補生成部
と、前記文書領域候補生成部から出力される文書領域の
特徴と、前記動作候補生成部から出力される動作の種類
とその特徴量と、前記文書領域マップ記憶部に記憶した
過去に検出した文書画像の特徴とを参照して、検出され
た文書領域の妥当性を判定する領域可能性検証部と、前
記領域可能性検証部での判定結果から新たに検出した文
書の領域を決定する文書領域決定部と、前記文書領域決
定部の出力から検出した文書画像を生成する文書画像生
成部とを含み、前記文書画像生成部は新たに検出した文
書の領域を出力すると共に、既に検出した文書の領域も
出力することを特徴とする。

【００２３】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶部と、前記画像入力装
置から入力された画像中から新たな文書を検出する文書
領域候補生成部と、その新たな文書領域を発生せしめる
に至った文書の動きの候補を検出する動作候補生成部
と、前記文書領域候補生成部から出力される文書領域の
特徴と、前記動作候補生成部から出力される動作の種類
とその特徴量と、前記文書領域マップ記憶部に記憶した
過去に検出した文書画像の特徴とを参照して、検出され
た文書領域の妥当性を判定する領域可能性検証部と、前
記領域可能性検証部での判定結果から新たに検出した文
書の領域を決定する文書領域決定部と、前記文書領域決
定部の出力から検出した文書画像を生成する文書画像生
成部とを含み、前記文書画像生成部は新たに検出した文
書の領域を出力すると共に、その文書の領域の近辺に存
在する既に検出した文書の領域も出力することを特徴と
する。

【００２４】本発明による他の文書画像取得装置は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得装置であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶部と、前記画像入力装
置から入力された画像中から新たな文書を検出する文書
領域候補生成部と、その新たな文書領域を発生せしめる
に至った文書の動きの候補を検出する動作候補生成部
と、前記文書領域候補生成部から出力される文書領域の
特徴と、前記動作候補生成部から出力される動作の種類
とその特徴量と、前記文書領域マップ記憶部に記憶した
過去に検出した文書画像の特徴とを参照して、検出され
た文書領域の妥当性を判定する領域可能性検証部と、前
記領域可能性検証部での判定結果から新たに検出した文
書の領域を決定する文書領域決定部と、前記文書領域決
定部の出力から検出した文書画像を生成する文書画像生
成部とを含み、前記文書画像生成部は新たに検出した文
書の領域を出力すると共に、その文書の領域が上に重な
った既検出文書の領域も出力することを特徴とする。

【００２５】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶する文書領域マ
ップ記憶ステップと、前記画像入力装置から入力された
画像中から新たな文書を検出する文書領域候補生成ステ
ップと、その新たな文書領域を発生せしめるに至った文
書の動きの候補を検出する動作候補生成ステップと、前
記文書領域候補生成ステップから出力される文書領域の
特徴と、前記動作候補生成ステップから出力される動作
の種類とその特徴量と、前記文書領域マップ記憶ステッ
プに記憶した過去に検出した文書画像の特徴とを参照し
て、検出された文書領域の妥当性を判定する領域可能性
検証ステップと、前記領域可能性検証ステップでの判定
結果から新たに検出した文書の領域を決定する文書領域
決定ステップと、前記文書領域決定ステップの出力から
検出した文書画像を生成する文書画像生成ステップとを
含むことを特徴とする。

【００２６】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類を保持する文書領域
マップ記憶ステップと、前記画像入力装置から入力され
た画像中から新たな文書を検出する文書領域候補生成ス
テップと、その新たな文書領域を発生せしめるに至った
文書の動きの候補を検出する動作候補生成ステップと、
前記文書領域候補生成ステップから出力される文書領域
の特徴と、前記動作候補生成ステップから出力される動
作の種類とその特徴量と、前記文書領域マップ記憶部に
記憶した過去に検出した文書画像の特徴とを参照して、
検出された文書領域の妥当性を判定する領域可能性検証
ステップと、前記領域可能性検証ステップでの判定結果
から新たに検出した文書の領域を決定する文書領域決定
ステップと、前記文書領域決定ステップの出力から検出
した文書画像を生成する文書画像生成ステップとを含む
ことを特徴とする。

【００２７】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶ステップと、前記画像
入力装置から入力された画像中から新たな文書を検出す
る文書領域候補生成ステップと、その新たな文書領域を
発生せしめるに至った文書の動きの候補を検出する動作
候補生成ステップと、前記文書領域候補生成ステップか
ら出力される文書領域の特徴と、前記動作候補生成ステ
ップから出力される動作の種類とその特徴量と、前記文
書領域マップ記憶ステップに記憶した過去に検出した文
書画像の特徴とを参照して、検出された文書領域の妥当
性を判定する領域可能性検証ステップと、前記領域可能
性検証ステップでの判定結果から新たに検出した文書の
領域を決定する文書領域決定ステップと、前記文書領域
決定ステップの出力から検出した文書画像を生成する文
書画像生成ステップとを含むことを特徴とする。

【００２８】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶する文書領域マ
ップ記憶ステップと、前記画像入力装置から入力された
画像中から新たな文書を検出する文書領域候補生成ステ
ップと、その新たな文書領域を発生せしめるに至った文
書の動きの候補を検出する動作候補生成ステップと、前
記文書領域候補生成ステップから出力される文書領域の
特徴と、前記動作候補生成ステップから出力される動作
の種類とその特徴量と、前記文書領域マップ記憶ステッ
プに記憶した過去に検出した文書画像の特徴とを参照し
て、検出された文書領域の妥当性を判定する領域可能性
検証ステップと、前記領域可能性検証ステップでの判定
結果から新たに検出した文書の領域を決定する文書領域
決定ステップと、前記文書領域決定ステップの出力から
検出した文書画像を生成する文書画像生成ステップとを
含み、前記文書領域決定ステップは前記領域可能性検証
ステップにおいて合致するルールがなかった場合に前記
文書の領域の再検出を実行することを特徴とする。

【００２９】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶ステップと、前記画像
入力装置から入力された画像中から新たな文書を検出す
る文書領域候補生成ステップと、その新たな文書領域を
発生せしめるに至った文書の動きの候補を検出する動作
候補生成ステップと、前記文書領域候補生成ステップか
ら出力される文書領域の特徴と、前記動作候補生成ステ
ップから出力される動作の種類とその特徴量と、前記文
書領域マップ記憶ステップに記憶した過去に検出した文
書画像の特徴とを参照して、検出された文書領域の妥当
性を判定する領域可能性検証ステップと、前記領域可能
性検証ステップでの判定結果から新たに検出した文書の
領域を決定する文書領域決定ステップと、前記文書領域
決定ステップの出力から検出した文書画像を生成する文
書画像生成ステップとを含み、前記文書画像生成ステッ
プは新たに検出した文書の領域を出力すると共に、既に
検出した文書の領域も出力することを特徴とする。

【００３０】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶ステップと、前記画像
入力装置から入力された画像中から新たな文書を検出す
る文書領域候補生成ステップと、その新たな文書領域を
発生せしめるに至った文書の動きの候補を検出する動作
候補生成ステップと、前記文書領域候補生成ステップか
ら出力される文書領域の特徴と、前記動作候補生成ステ
ップから出力される動作の種類とその特徴量と、前記文
書領域マップ記憶ステップに記憶した過去に検出した文
書画像の特徴とを参照して、検出された文書領域の妥当
性を判定する領域可能性検証ステップと、前記領域可能
性検証ステップでの判定結果から新たに検出した文書の
領域を決定する文書領域決定ステップと、前記文書領域
決定ステップの出力から検出した文書画像を生成する文
書画像生成ステップとを含み、前記文書画像生成ステッ
プは新たに検出した文書の領域を出力すると共に、その
文書の領域の近辺に存在する既に検出した文書の領域も
出力することを特徴とする。非接触型の画像入力装置を
用いて一定時間間隔で画像を入力し、この入力した画像
から文書画像を取得する文書画像取得方法であって、過
去に検出し取得した文書画像が入力画像中のどこに写っ
ているかを記憶しさらにその文書を出現させるに至った
動作の種類およびその重なり順位を保持する文書領域マ
ップ記憶ステップと、前記画像入力装置から入力された
画像中から新たな文書を検出する文書領域候補生成ステ
ップと、その新たな文書領域を発生せしめるに至った文
書の動きの候補を検出する動作候補生成ステップと、前
記文書領域候補生成ステップから出力される文書領域の
特徴と、前記動作候補生成ステップから出力される動作
の種類とその特徴量と、前記文書領域マップ記憶ステッ
プに記憶した過去に検出した文書画像の特徴とを参照し
て、検出された文書領域の妥当性を判定する領域可能性
検証ステップと、前記領域可能性検証ステップでの判定
結果から新たに検出した文書の領域を決定する文書領域
決定ステップと、前記文書領域決定ステップの出力から
検出した文書画像を生成する文書画像生成ステップとを
含み、前記文書画像生成ステップは新たに検出した文書
の領域を出力すると共に、その文書の領域の近辺に存在
する既に検出した文書の領域も出力することを特徴とす
る。

【００３１】本発明による他の文書画像取得方法は、非
接触型の画像入力装置を用いて一定時間間隔で画像を入
力し、この入力した画像から文書画像を取得する文書画
像取得方法であって、過去に検出し取得した文書画像が
入力画像中のどこに写っているかを記憶しさらにその文
書を出現させるに至った動作の種類およびその重なり順
位を保持する文書領域マップ記憶ステップと、前記画像
入力装置から入力された画像中から新たな文書を検出す
る文書領域候補生成ステップと、その新たな文書領域を
発生せしめるに至った文書の動きの候補を検出する動作
候補生成ステップと、前記文書領域候補生成ステップか
ら出力される文書領域の特徴と、前記動作候補生成ステ
ップから出力される動作の種類とその特徴量と、前記文
書領域マップ記憶ステップに記憶した過去に検出した文
書画像の特徴とを参照して、検出された文書領域の妥当
性を判定する領域可能性検証ステップと、前記領域可能
性検証ステップでの判定結果から新たに検出した文書の
領域を決定する文書領域決定ステップと、前記文書領域
決定ステップの出力から検出した文書画像を生成する文
書画像生成ステップとを含み、前記文書画像生成ステッ
プは新たに検出した文書の領域を出力すると共に、その
文書の領域が上に重なった既検出文書の領域も出力する
ことを特徴とする。

【００３２】本発明による文書画像取得プログラムを記
録した記録媒体は、コンピュータによって非接触型の画
像入力装置を制御して一定時間間隔で画像を入力し、こ
の入力した画像から文書画像を取得する文書画像取得プ
ログラムを記録した記録媒体であって、該プログラムは
過去に検出し取得した文書画像が入力画像中のどこに写
っているかを記憶する文書領域マップ記憶ステップと、
前記画像入力装置から入力された画像中から新たな文書
を検出する文書領域候補生成ステップと、その新たな文
書領域を発生せしめるに至った文書の動きの候補を検出
する動作候補生成ステップと、前記文書領域候補生成ス
テップから出力される文書領域の特徴と、前記動作候補
生成ステップから出力される動作の種類とその特徴量
と、前記文書領域マップ記憶ステップに記憶した過去に
検出した文書画像の特徴とを参照して、検出された文書
領域の妥当性を判定する領域可能性検証ステップと、前
記領域可能性検証ステップでの判定結果から新たに検出
した文書の領域を決定する文書領域決定ステップと、前
記文書領域決定ステップの出力から検出した文書画像を
生成する文書画像生成ステップとを含むことを特徴とす
る。

【００３３】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶しさらにその文書を出現させる
に至った動作の種類を保持する文書領域マップ記憶ステ
ップと、前記画像入力装置から入力された画像中から新
たな文書を検出する文書領域候補生成ステップと、その
新たな文書領域を発生せしめるに至った文書の動きの候
補を検出する動作候補生成ステップと、前記文書領域候
補生成ステップから出力される文書領域の特徴と、前記
動作候補生成ステップから出力される動作の種類とその
特徴量と、前記文書領域マップ記憶部に記憶した過去に
検出した文書画像の特徴とを参照して、検出された文書
領域の妥当性を判定する領域可能性検証ステップと、前
記領域可能性検証ステップでの判定結果から新たに検出
した文書の領域を決定する文書領域決定ステップと、前
記文書領域決定ステップの出力から検出した文書画像を
生成する文書画像生成ステップとを含むことを特徴とす
る。

【００３４】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶しさらにその文書を出現させる
に至った動作の種類およびその重なり順位を保持する文
書領域マップ記憶ステップと、前記画像入力装置から入
力された画像中から新たな文書を検出する文書領域候補
生成ステップと、その新たな文書領域を発生せしめるに
至った文書の動きの候補を検出する動作候補生成ステッ
プと、前記文書領域候補生成ステップから出力される文
書領域の特徴と、前記動作候補生成ステップから出力さ
れる動作の種類とその特徴量と、前記文書領域マップ記
憶ステップに記憶した過去に検出した文書画像の特徴と
を参照して、検出された文書領域の妥当性を判定する領
域可能性検証ステップと、前記領域可能性検証ステップ
での判定結果から新たに検出した文書の領域を決定する
文書領域決定ステップと、前記文書領域決定ステップの
出力から検出した文書画像を生成する文書画像生成ステ
ップとを含むことを特徴とする。

【００３５】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶する文書領域マップ記憶ステッ
プと、前記画像入力装置から入力された画像中から新た
な文書を検出する文書領域候補生成ステップと、その新
たな文書領域を発生せしめるに至った文書の動きの候補
を検出する動作候補生成ステップと、前記文書領域候補
生成ステップから出力される文書領域の特徴と、前記動
作候補生成ステップから出力される動作の種類とその特
徴量と、前記文書領域マップ記憶ステップに記憶した過
去に検出した文書画像の特徴とを参照して、検出された
文書領域の妥当性を判定する領域可能性検証ステップ
と、前記領域可能性検証ステップでの判定結果から新た
に検出した文書の領域を決定する文書領域決定ステップ
と、前記文書領域決定ステップの出力から検出した文書
画像を生成する文書画像生成ステップとを含み、前記文
書領域決定ステップは前記領域可能性検証ステップにお
いて合致するルールがなかった場合に前記文書の領域の
再検出を実行することを特徴とする。

【００３６】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶しさらにその文書を出現させる
に至った動作の種類およびその重なり順位を保持する文
書領域マップ記憶ステップと、前記画像入力装置から入
力された画像中から新たな文書を検出する文書領域候補
生成ステップと、その新たな文書領域を発生せしめるに
至った文書の動きの候補を検出する動作候補生成ステッ
プと、前記文書領域候補生成ステップから出力される文
書領域の特徴と、前記動作候補生成ステップから出力さ
れる動作の種類とその特徴量と、前記文書領域マップ記
憶ステップに記憶した過去に検出した文書画像の特徴と
を参照して、検出された文書領域の妥当性を判定する領
域可能性検証ステップと、前記領域可能性検証ステップ
での判定結果から新たに検出した文書の領域を決定する
文書領域決定ステップと、前記文書領域決定ステップの
出力から検出した文書画像を生成する文書画像生成ステ
ップとを含み、前記文書画像生成ステップは新たに検出
した文書の領域を出力すると共に、既に検出した文書の
領域も出力することを特徴とする。

【００３７】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶しさらにその文書を出現させる
に至った動作の種類およびその重なり順位を保持する文
書領域マップ記憶ステップと、前記画像入力装置から入
力された画像中から新たな文書を検出する文書領域候補
生成ステップと、その新たな文書領域を発生せしめるに
至った文書の動きの候補を検出する動作候補生成ステッ
プと、前記文書領域候補生成ステップから出力される文
書領域の特徴と、前記動作候補生成ステップから出力さ
れる動作の種類とその特徴量と、前記文書領域マップ記
憶ステップに記憶した過去に検出した文書画像の特徴と
を参照して、検出された文書領域の妥当性を判定する領
域可能性検証ステップと、前記領域可能性検証ステップ
での判定結果から新たに検出した文書の領域を決定する
文書領域決定ステップと、前記文書領域決定ステップの
出力から検出した文書画像を生成する文書画像生成ステ
ップとを含み、前記文書画像生成ステップは新たに検出
した文書の領域を出力すると共に、その文書の領域の近
辺に存在する既に検出した文書の領域も出力することを
特徴とする。

【００３８】本発明による他の文書画像取得プログラム
を記録した記録媒体は、コンピュータによって非接触型
の画像入力装置を制御して一定時間間隔で画像を入力
し、この入力した画像から文書画像を取得する文書画像
取得プログラムを記録した記録媒体であって、該プログ
ラムは過去に検出し取得した文書画像が入力画像中のど
こに写っているかを記憶しさらにその文書を出現させる
に至った動作の種類およびその重なり順位を保持する文
書領域マップ記憶ステップと、前記画像入力装置から入
力された画像中から新たな文書を検出する文書領域候補
生成ステップと、その新たな文書領域を発生せしめるに
至った文書の動きの候補を検出する動作候補生成ステッ
プと、前記文書領域候補生成ステップから出力される文
書領域の特徴と、前記動作候補生成ステップから出力さ
れる動作の種類とその特徴量と、前記文書領域マップ記
憶ステップに記憶した過去に検出した文書画像の特徴と
を参照して、検出された文書領域の妥当性を判定する領
域可能性検証ステップと、前記領域可能性検証ステップ
での判定結果から新たに検出した文書の領域を決定する
文書領域決定ステップと、前記文書領域決定ステップの
出力から検出した文書画像を生成する文書画像生成ステ
ップとを含み、前記文書画像生成ステップは新たに検出
した文書の領域を出力すると共に、その文書の領域が上
に重なった既検出文書の領域も出力することを特徴とす
る。

【００３９】要するに、本発明では、手と文書とを分離
し、手領域と文書領域の動きから動作候補を生成し、動
いている文書領域の画像から文書領域の候補を生成する
文書画像取得装置において、過去に検出した文書領域を
記憶しておき、その時点での生成された文書領域の妥当
性を検証し、その検証の結果に従って文書領域を判定
し、決定された領域に基づいて文書画像を生成している
のである。このように、その時点以前の文書移動やペー
ジ捲りの履歴をページ捲りか文書移動かの判定に利用す
ることで、過去に検出された文書領域と照らし合わせて
矛盾のある動作の判定を排除し、正しい文書の領域を検
出することができるのである。

【００４０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。なお、以下の説明に
おいて参照する各図においては、他の図と同等部分には
同一符号が付されている。

【００４１】図１は、本発明による文書画像取得装置の
実施の一形態を示すブロック図である。同図において、
文書画像取得装置は、画像を撮影する画像入力部１０１
と、撮影した画像から文書画像を取得する文書画像取得
部１０２とから構成されている。

【００４２】なお、文書画像取得装置の外観は上述した
図１８に示されている従来の文書画像取得装置の外観と
同様で、カメラ等の非接触型でかつ一定時間間隔で画像
を取得するスキャナからなる画像入力部１０１と、文書
画像を取得する文書画像取得部１０２とから構成されて
いる。

【００４３】文書画像取得部１０２は、画像を記憶する
画像記憶部１０３と、ある時刻と次の時刻で別々に入力
された画像から、画像内に変化があるかを判定し、動き
があると検出された部分から手領域を検出する手文書分
離部１０４と、前時刻での手領域とその時刻での手領域
から、手領域の動きに関する特徴を抽出して、さらに前
時刻での文書領域とその時刻での文書領域から、文書領
域の動きに関する特徴を抽出する動作候補生成部１０６
と、動作候補生成部１０６から転送された手領域の位置
と、手文書分離部１０４から転送された文書領域画像か
ら、文書動作の種類の毎に、文書領域画像を生成する文
書領域候補生成部１０５と、文書領域マップを記憶する
文書領域マップ記憶部１０７と、文書領域候補生成部１
０５から入力された、文書動作の種類毎の文書領域画像
から、各文書動作毎の文書領域を選択する文書領域決定
部１０８と、各文書動作の種類について、文書領域マッ
プと検証ルールを用いて、各文書動作の妥当性を検証す
る領域可能性検証部１０９と、文書領域決定部１０８か
ら転送された文書領域の範囲に従って、画像記憶部１０
３内に記憶されている画像から文書の部分を切出す文書
画像生成部１１０とを含んで構成されている。

【００４４】ここで、図１において、画像入力部１０１
は、その前方にある情景を一定時間間隔、例えば１秒間
に３０枚で撮影し、画像として順次、文書画像取得部１
０２に転送する。画像入力部１０１から取得された画像
は、画像記憶部１０３に転送され記憶される。記憶され
る画像は、例えば、上述した図２０に示されているよう
に、手３０４で持った文書３０３である。この画像の形
式については、上述した図２１にされているように、一
般的なカラー画像の形式である赤画像、緑画像、青画像
と別に白黒の濃淡画像が保持される。白黒濃淡画像は、
赤画像、緑画像、青画像から生成することができるの
で、必ずしも必要ではない。

【００４５】各画像は、画素の２次元配列として表現さ
れ、横にＭ画素、縦にＮ画素の計Ｍ×Ｎ画素からなると
する。画像での座標は、左上を原点として、右方向に行
くほどＸ座標が大きくなるものとし、下方向に行くほど
Ｙ座標が大きくなるものとする。

【００４６】画像記憶部１０３に記憶された画像は、手
文書分離部１０４と文書画像生成部１１０に転送され
る。

【００４７】手文書分離部１０４では、ある時刻と次の
時刻で別々に入力された画像から、画像内に変化がある
かを判定し、動きがあると検出された部分から手領域を
検出して、動作候補生成部１０６に転送する。さらに、
手文書分離部１０４は、動きのある部分から、手領域を
除去して、残った部分を文書領域画像として、文書領域
候補生成部１０５と動作候補生成部１０６に転送する。

【００４８】動作候補生成部１０６では、前時刻での手
領域とその時刻での手領域から、手領域の動きに関する
特徴を抽出して、さらに前時刻での文書領域とその時刻
での文書領域から、文書領域の動きに関する特徴を抽出
する。手領域の特徴と文書領域の特徴とから、予め定め
られた複数の文書動作の動作スコアを求めて、文書領域
決定部１０８に転送する。同時に、動作スコアを求める
元となった動作特徴も文書領域決定部１０８に転送す
る。

【００４９】なお本実施例では、予め定められた複数の
文書動作を、右手によるページ捲り、左手によるページ
捲り、右手による文書移動、左手による文書移動とそれ
以外の動作としたが、これ以外のものを加えても、本質
的に変わりはない。文書動作をそれぞれ、右手ページ捲
り、左手ページ捲り、右手文書移動、左手文書移動と呼
ぶ。また、動作候補生成部１０６では、現時刻での手領
域の位置を求めて、文書領域候補生成部１０５に転送す
る。

【００５０】文書領域候補生成部１０５では、動作候補
生成部１０６から転送された手領域の位置と、手文書分
離部１０４から転送された文書領域画像から、文書動作
の種類の毎に、文書領域画像を生成して、文書領域決定
部１０８に転送する。

【００５１】文書領域決定部１０８では、文書領域候補
生成部１０５から入力された、文書動作の種類毎の文書
領域画像から、各文書動作毎の文書領域を選択する。選
択した文書領域と、動作候補生成部１０６から入力され
た文書動作の種類毎の動作スコアとその動作特徴を領域
可能性検証部１０９に転送する。

【００５２】領域可能性検証部１０９では、各文書動作
の種類について、文書領域マップと検証ルールを用い
て、各文書動作の妥当性を検証する。もし、妥当なルー
ルを検出できなかった場合には、その文書動作の種類に
関する動作スコアと文書領域を修正する。これを全ての
文書動作の種類について実行する。ここで、文書領域マ
ップは文書領域マップ記憶部１０７から読込んで利用す
る。また、検証ルールは、領域可能性検証部１０９に記
憶されているものとする。全ての処理が終了した後に、
動作スコアと文書領域を文書領域決定部１０８に転送す
る。

【００５３】本実施例では、図２及び図３に示されてい
るような２種類の文書領域マップを用いた。図２は、カ
メラが入力する領域全体の中で検出された文書の番号を
検出された領域に書き込んだマップである。図２に示さ
れている例では１番、２番、３番の３枚の文書が既に検
出されて、３番の文書領域の上に、少し重なるように１
番の文書領域が検出され、さらにその上に重なるように
２番の文書領域が検出されたことを示している。この状
況を、表形式で表したものが図３に示されている例であ
る。表には領域番号、左上座標、右下座標、重なりの順
位、直前の文書動作の種類を記憶する。これ以外にも、
文書領域決定に利用された文書動作の特徴量や文書領域
画像を記憶しても良い。

【００５４】また、検証ルールの一例が図４に示されて
いる。検証ルールの項目としては、ルール番号、文書動
作の種類、手の動き方向、その文書動作の関わる元の文
書の直前動作、その文書が検出された領域の位置サイズ
と元の文書の位置サイズの関係、元の文書に重なる文書
の位置が記載されている。本実施例での検証ルールは、
許容される状態が記載されており、表内に記載されたど
の検証ルールにも合致しない状態が検出された場合に
は、その状態を矛盾した状態と見なす。図４中に記載さ
れている＊は、特定の条件がないことを示している。こ
こで、文書動作の元文書とは、文書動作が起こされた文
書の元の位置の文書をさす。

【００５５】例えば、ページ捲り動作では、基本的に場
所は変わらないので、ページ捲り後と同じ位置にあった
文書である。文書移動動作では、移動された文書が元あ
った位置の文書をさす。

【００５６】また、ここで（ｘ１，ｙ１）はその検出文
書領域の左上座標、（ｘ２，ｙ２）はその検出文書領域
の右下座標、（ｘｐ１，ｙｐ１），（ｘｐ２，ｙｐ２）
はその検出文書の動作前の領域の左上座標と右下座標と
する。その一例が図５に示されている。また、（ｘｑ
１，ｙｑ１），（ｘｑ２，ｙｑ２）は、その検出文書領
域の動作前の文書領域に重なる文書の左上座標と右下座
標とする。その一例が図６に示されている。

【００５７】文書領域決定部１０８では、領域可能性検
証部１０９から入力された動作スコアの中で最大値を選
択し、それに対応する動作の種類を現時点まででの連続
する動きを表す動作の種類と決定すると共に、その動作
に対応する文書領域を選択し、文書画像生成部１１０に
転送する。

【００５８】文書画像生成部１１０では、文書領域決定
部１０８から転送された文書領域の範囲に従って、画像
記憶部１０３内に記憶されている画像から文書の部分を
切出し、端子１１１から送出する。さらに、文書動作が
文書移動であったと判定された場合には、移動した文書
が元あった位置の文書領域を、画像記憶部１０３から切
出し、端子１１１から別の検出文書画像として送出して
も良い。また、検出した文書領域の出力と共に、文書領
域マップは文書マップの内の幾つかの文書領域を併せて
出力しても良い。

【００５９】本発明の文書画像取得装置の構成は以上の
通りであるが、その動作について図１及び図７のフロー
チャートを参照して説明する。

【００６０】まず、ステップｓ１−１で装置を起動した
直後に、ステップｓ１−２で全体初期化を実施すると共
に、文書領域マップ記憶部１０７をクリアする。

【００６１】次に、端子１１２からの制御信号を受ける
と、図７中でのステップｓ１−３に進み、手文書分離部
１０４、動作候補生成部１０６、文書領域候補生成部１
０５を初期化する。

【００６２】次にステップｓ１−４では画像入力を開始
し、画像入力部１０１で入力した画像を画像記憶部１０
３に転送して蓄積する。さらに、図７中のステップｓ１
−５で手文書分離部１０４を作動させる。手文書分離部
１０４では、画像記憶部１０３から画像を取り込んで、
差分画像を生成し、差分要素が存在する場合には、画像
に動きがあったとみなし、数時刻に亙って動きが検出で
きなかった場合には、動作停止と判定する。動きが検出
されている間は、図７中のステップｓ１−４からステッ
プｓ１−７までを繰返し実行する。さらに手文書分離部
１０４は、差分要素の中から手領域を検出して、動作候
補生成部１０６に転送する。また、差分画像から手領域
を除去した文書領域画像を生成して、文書領域候補生成
部１０５と動作候補生成部１０６に転送する。

【００６３】上記の繰返し実行の中で図７中のステップ
ｓ１−５に続いて、ステップｓ１−６では、動作候補生
成部１０６と文書領域候補生成部１０５を起動する。

【００６４】動作候補生成部１０６を起動すると、手文
書分離部１０４から入力した手領域と文書領域画像のデ
ータを用いて、手領域の動きに関する特徴と文書領域の
動きに関する特徴を抽出する。さらに、動作候補生成部
１０６では、手領域の特徴と文書領域の特徴とから、各
文書動作の動作スコアを求めて、文書領域決定部１０８
に転送する。同時に、累積手移動方向も文書領域決定部
１０８に転送する。ここで累積手移動方向とは、手が動
き始めてから止まるまでの方向に相当する。また、動作
候補生成部１０６では、現時刻での手領域の位置を求め
て、文書領域候補生成部１０５に転送する。

【００６５】さらに、ステップｓ１−６では、文書領域
候補生成部１０５を起動する。動作候補生成部１０６か
ら転送された手領域の位置と、手文書分離部１０４から
転送された文書領域画像から、文書動作の種類の毎に、
動作開始から停止まで累積した文書領域画像を生成し
て、文書領域決定部１０８に転送する。

【００６６】次に、ステップｓ１−７では、手文書分離
部１０４において動作停止が検出されたかを判定し、動
作停止が検出されていない場合には、ステップｓ１−４
に戻って、ステップｓ１−４からステップｓ１−７まで
を繰返す。動作停止が判定された場合には、図７のステ
ップｓ１−８に進む。

【００６７】図７のステップｓ１−８では、文書領域決
定部１０８と領域可能性検証部１０９を起動する。文書
領域決定部１０８では、文書領域候補生成部１０５から
入力された、文書動作の種類毎の文書領域画像から、各
文書動作毎の文書領域を選択する。選択した文書領域
と、動作候補生成部１０６から入力された文書動作の種
類毎の動作スコアとその動作特徴を領域可能性検証部１
０９に転送する。

【００６８】領域可能性検証部１０９では、各文書動作
の種類について、文書領域マップと検証ルールを用い
て、各文書動作の妥当性を検証する。もし、妥当なルー
ルを検出できなかった場合には、その文書動作の種類に
関する動作スコアと文書領域を修正する。これを全ての
文書動作の種類について実行する。結果の、動作スコア
と文書領域を文書領域決定部１０８に転送する。

【００６９】文書領域決定部１０８では、領域可能性検
証部１０９から入力された動作スコアの中で最大値を選
択し、それに対応する動作の種類を現時点まででの連続
する動きを表す動作の種類と決定すると共に、その動作
に対応する文書領域を選択し、文書画像生成部１１０に
転送する。

【００７０】文書画像生成部１１０では、文書領域決定
部１０８から転送された文書領域の範囲に従って、画像
記憶部１０３内に記憶されている画像から文書の部分を
切出し、端子１１１から送出する。この際に、文書領域
マップ記憶部１０７から文書領域マップを読出して、検
出した文書画像と共に出力することも可能である。ま
た、検出した文書画像の位置に近い文書領域を文書領域
マップ記憶部１０７から読出して、検出した文書画像と
共に出力することも可能である。同様に、検出した文書
画像に重なりのある文書領域を文書領域マップ記憶部１
０７から読出して、検出した文書画像と共に出力するこ
とも可能である。

【００７１】続いて、ステップｓ１−９に進み、文書領
域決定部１０８での領域マップ修正処理を実施する。ス
テップｓ１−８で決定された文書領域と文書動作に従っ
て、領域マップを修正する。

【００７２】図７のステップｓ１−１０では、図１中の
端子１１２から割込み信号があるかどうかを判定して、
割込み信号があれば、全体の処理を終了して、その文書
画像取得装置を停止する。もし、割込み信号がなけれ
ば、図７のステップｓ１−３に戻って、ステップｓ１−
３からステップｓ１−９までの処理を実施して、次の文
書動作の検出と文書画像の取得を実施する。

【００７３】続いて、各部の構成の詳細と、その動作を
説明する。

【００７４】図８を参照すると、同図には、図１に示さ
れている手文書分離部１０４の一実施例の詳細が示され
ている。また、図９には、図８に示されている手文書分
離部１０４の動作のフローチャートが示されている。

【００７５】図８において、手文書分離部１０４は、動
き検出部４０１と手領域検出部４０２と文書領域検出部
４０３と制御部４０４とからなる。動き検出部４０１の
動作は、例えば、上記特願平１１−１１０１２５号の明
細書中の動き検出部、静止検出部、手領域検出部及び手
領域除去部の動作に相当する。これらについては先述し
た通りであり、当業者が容易に実施できる。

【００７６】図７のステップｓ１−３の手文書分離の初
期化処理では、図９のステップｓ４−２を実行して、動
作カウンタｋを０とする。動作カウンタｋは、動きが検
出されなかった連続する画像フレームの数をカウントす
るために利用される。

【００７７】図７のステップｓ１−５では、手文書分離
部１０４でのステップｓ４−３からｓ４−１５までを実
施する。ステップｓ４−３で、画像記憶部１０１から現
時刻での濃淡画像Ｉとカラー画像Ｃを読込む。画像Ｉ
は、各座標（ｘ、ｙ）での値の配列として表現されてい
るものとする。

【００７８】ステップｓ４−４では、現時刻での画像Ｉ
と前時刻での画像Ｉ’とから差分画像Ｆを生成する。差
分画像Ｆの座標（ｘ、ｙ）での値は次の式（１）と式
（２）とで求める。 Ｆ（ｘ，ｙ）＝ １ もし ｜Ｉ（ｘ，ｙ）−Ｉ’（ｘ，ｙ）｜≧しきい値１の 場合 …（１） Ｆ（ｘ，ｙ）＝ ０ もし ｜Ｉ（ｘ，ｙ）−Ｉ’（ｘ，ｙ）｜＜しきい値１の 場合 …（２）

【００７９】ただし、本実施例では、しきい値１を１０
としたが、その値はどのようなものでもよい。また、｜
Ｚ｜はＺの絶対値を表す。以上の式（１）と式（２）と
を全ての座標（ｘ、ｙ）について実施してＦを計算した
後に、全ての（ｘ、ｙ）でのＦ（ｘ、ｙ）の値の総和を
求めて差分量ｄとする。

【００８０】続いて、ステップｓ４−５に進んで、差分
量ｄが予め定めた差分量のしきい値ｄＡと比較して、も
ししきい値ｄＡより大きければステップｓ４−６に進
む。さもなければ、動きが検出されなかったものとして
ステップｓ４−１２に進む。本実施例では、ｄＡを１０
０としたが、どのような値でも良い。

【００８１】ステップｓ４−６では、動作停止カウンタ
ｋを０に設定して、動作を検出していることを記憶す
る。続いて、ステップｓ４−７では、図８中の手領域検
出部４０２を起動して、手領域を検出する。手領域検出
部４０２では、読込まれたカラー画像Ｃの画素の中か
ら、手領域の色として予め定められた色ｃに近い画素を
全て選択する。色が近いとは、次の式（３）の条件を満
たしたものをさす。 Ｈ（ｘ，ｙ）＝１ もし ｜Ｃ（ｘ，ｙ）−ｃ｜＜しきい値２の時 Ｈ（ｘ，ｙ）＝０ 上記以外の時 …（３）

【００８２】本実施例では、しきい値２を５０とした
が、この値はどのようなものでも良い。また、手の色ｃ
は、予め手の色を測定して記録してある。さらに、手領
域検出部４０２では、全ての座標（ｘ、ｙ）について次
の式（４）を実行して、手領域Ｈを生成する。 Ｈ（ｘ，ｙ）＝Ｈ（ｘ，ｙ）×Ｆ（ｘ，ｙ） …（４）

【００８３】続いて、ステップｓ４−８に進み、図８中
の文書領域検出部４０３を起動する。文書領域検出部４
０３は、手領域検出部４０２で求められた手領域Ｈと、
動き検出部４０１で求められた差分画像Ｆから次の式
（５）を全ての座標（ｘ、ｙ）で実行することにより、
文書領域画像Ｂを生成する。 Ｂ（ｘ，ｙ）＝Ｆ（ｘ，ｙ）−Ｈ（ｘ，ｙ） …（５） これは、差分画像Ｆから手領域Ｈを除去したことに相当
する。

【００８４】次にステップｓ４−９に進んで、求めた手
領域Ｈと文書領域画像Ｂを端子４０５を通して、動作候
補生成部１０６に転送する。次のステップｓ４−１０で
は、文書領域画像Ｂを上記端子４０５を通して、文書領
域候補生成部１０５に転送する。さらに、ステップｓ４
−１１では、現時刻画像Ｉを前時刻画像Ｉ’に変更す
る。つまり、全ての画素（ｘ、ｙ）において、次の式
（６）を行う。 Ｉ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ） …（６） その後、ステップｓ４−３に戻って同様の処理を画像が
入力されるたびに繰返して実行する。

【００８５】ステップｓ４−５において、動き検出部４
０１での差分量ｄがしきい値ｄＡ以下であった場合に
は、ステップｓ４−１２に進む。ステップｓ４−１２で
は、動作停止カウンタを１つ増やして、ステップｓ４−
１３に進む。ステップｓ４−１３では、動作停止カウン
タｋがしきい値ｋＡより大きいかどうかを調べる。も
し、ｋがしきい値ｋＡ以下の場合には、ステップｓ４−
３に戻り、前述の処理を繰返す。もし、ｋがしきい値ｋ
Ａよりも大きくなった場合には、所定時間以上動作が停
止したものとして、動作停止判定として、動き検出部４
０１は停止信号を制御部４０４に転送して、ステップｓ
４−１４に進む。本実施例ではｋＡを１０としたが、こ
の値はどのようなものでも良い。

【００８６】ステップｓ４−１４では、制御部４０４は
動作停止検出と判定して、静止信号を動作候補生成部１
０６と文書領域候補生成部１０５に送信すると共に、文
書領域決定部１０８を起動する。その後、ステップｓ４
−１５に進んで、手文書分離部１０４を停止する。

【００８７】次に、図１０を参照すると、同図には、図
１中の動作候補生成部１０６の一実施例の詳細な構成が
示されている。また、図１１には、図１０に示されてい
る動作候補生成部１０６の動作のフローチャートが示さ
れている。

【００８８】動作候補生成部１０６は、文書動作特徴検
出部６０１と手動作特徴検出部６０２と文書動き判定部
６０３とからなる。動作候補生成部１０６の動作は、例
えば、上記特願平１１−１１０１２５号明細書中の文書
動作特徴検出部、手動作特徴検出部及びページ捲り文書
移動判定部の動作に相当する。これらについては先述し
た通りであり、当業者が容易に実施できる。

【００８９】図７のステップｓ１−３の動作候補生成部
の初期化においては、図１１のステップｓ６−１から処
理が開始され、まずステップｓ６−２を実行する。本実
施例では、文書動作として、右手ページ捲り、左手ペー
ジ捲り、右手文書移動、左手文書移動、それ以外の５種
類としているが、これ以外のものがあっても本質的に変
わりはない。この文書動作のスコアをここで初期化し
て、全て０の値にする。また、動作スコアを計算する上
で必要となる右手移動量（ｈｖｘ１、ｈｖｙ１）、左手
移動量（ｈｖｘ２、ｈｖｙ２）と文書移動量（ｂｖｘ、
ｂｖｙ）、文書面積ＢＡ、文書面積変化量ＢＡ’を初期
化して、全て０にする。また、右手及び左手の累積手移
動量（ａｘ１，ａｙ１），（ａｘ２，ａｙ２）を０にす
る。

【００９０】次に、図７のステップｓ１−６において動
作候補生成部１０６を起動した後に、図１１のステップ
ｓ６−３からステップｓ６−１５までを実施する。ま
ず、ステップｓ６−３において、手文書分離部１０４か
ら端子４０５を通して、手領域画像Ｈを読込み、手動作
特徴検出部６０２に転送する。続いて、ステップｓ６−
４に進み、手動作特徴検出部６０２において、手領域を
右手部と左手部に分離する。本実施例では、手領域の横
幅がしきい値３より大きい場合に、両手をまとめて手領
域として検出したものと見なして、横方向に半分に分離
する。その後、左半分及び右半分で別々に外接矩形を求
めて、それらの領域サイズの再計算を実施して、右側の
領域を右手領域、左側の領域を左手領域とする。

【００９１】もし、初期の手領域の横方向のサイズがし
きい値３より小さい場合には、１つの領域を右手領域と
左手領域の両方とみなして以降の処理を実施する。本実
施例では、手領域判定のしきい値３を１００画素とした
が、この値は本質的なものではない。また、手領域を右
手領域と左手領域に分離する方法に関しては、上記の方
法に限るものではない。

【００９２】続いて、ステップｓ６−５に進んで、右手
領域の位置と左手領域の位置を求める。各手の領域の位
置とは、各領域内において最もｙ座標が小さくなる画
素、つまり最も上の画素の位置を手の位置とする。右手
位置を（ｈｘ１、ｈｙ１）として、左手位置を（ｈｘ
２、ｈｙ２）とする。

【００９３】ステップｓ６−６では、両手の移動量を計
算する。前時刻での右手及び左手の位置をそれぞれ（ｐ
ｈｘ１、ｐｈｙ１）、（ｐｈｘ２、ｐｈｙ２）として、
各手の移動量（ｈｖｘ１、ｈｖｙ１）、（ｈｖｘ２、ｈ
ｖｙ２）を次の式（７）に従って計算で求める。 ｈｖｘ１＝ｈｘ１−ｐｈｘ１ ｈｖｙ１＝ｈｘ１−ｐｈｙ１ ｈｖｘ２＝ｈｘ２−ｐｈｘ２ ｈｖｙ２＝ｈｙ２−ｐｈｙ２ …（７）

【００９４】さらに、手動作特徴検出部６０２は求めた
移動量（ｈｖｘ１、ｈｖｙ１）、（ｈｖｘ２、ｈｖｙ
２）を文書動き判定部６０３に転送する。この計算後、
（ｈｘ１、ｈｙ１）を（ｐｈｘ１、ｐｈｙ１）に代入し
て記憶する。同様に、（ｈｘ２、ｈｙ２）を（ｐｈｘ
２、ｐｈｙ２）に代入して記憶する。さらに、ステップ
ｓ６−６’では、累積手移動量を求める。つまり、右手
の累積手移動量（ａｘ１，ａｙ１）に右手移動量（ｈｖ
ｘ１、ｈｖｙ１）を加算する。また、左手の累積手移動
量（ａｘ２，ａｙ２）に左手移動量（ｈｖｘ２、ｈｖｙ
２）を加算する。

【００９５】次に、ステップｓ６−７に進み、文書動作
特徴検出部６０１を起動する。まず、ステップｓ６−７
では、端子４０５を通して手文書分離部１０４から、文
書領域画像Ｂを読込む。次のステップｓ６−８では、文
書領域画像Ｂでの画素値１を持つ領域の最小外接矩形を
求める。

【００９６】ステップｓ６−９で、文書動作特徴検出部
６０１は外接矩形の中心位置（Ｂｘ，Ｂｙ）を求める。
次に、ステップｓ６−１０で、文書動作特徴検出部６０
１は外接矩形の面積を求めて、ＢＡとする。また、前時
刻での文書領域の外接矩形の面積をｐＢＡとして、その
差を面積変化量ＢＡ’をＢＡ−ｐＢＡなる計算に従って
求めて定める。さらに、文書動作特徴検出部６０１は、
前時刻での文書領域の位置（ｐＢｘ，ｐＢｙ）と現時刻
での位置（Ｂｘ，Ｂｙ）を用いて式（８）に従って、文
書移動量を求める。 ｂｖｘ＝Ｂｘ−ｐＢｘ ｂｖｙ＝Ｂｙ−ｐＢｙ …（８） この計算後、（Ｂｘ，Ｂｙ）を（ｐＢｘ，ｐＢｙ）に代
入して記憶する。

【００９７】ステップｓ６−１１において、文書動作特
徴検出部６０１は現時刻で求めた特徴（ｂｖｘ、ｂｖ
ｙ）、ＢＡ，ＢＡ’を文書動き判定部６０３に転送す
る。また、手動作特徴検出部６０２は、両手の移動量
（ｈｖｘ１、ｈｖｙ１）、（ｈｖｘ２、ｈｖｙ２）を文
書動き判定部６０３に転送する。文書動き判定部６０３
では、手動作特徴検出部６０２から入力された各手の動
作特徴と文書動作特徴検出部６０１から入力された文書
の動きに関する特徴から文書動作のスコアを求める。

【００９８】まず、右手移動量（ｈｖｘ１、ｈｖｙ１）
と文書移動量（ｂｖｘ、ｂｖｙ）とから方向余弦ｔ１を
求める。また、左手移動量（ｈｖｘ２、ｈｖｙ２）と文
書移動量（ｂｖｘ、ｂｖｙ）とから方向余弦ｔ２を求め
る。

【００９９】次に文書移動量（ｂｖｘ、ｂｖｙ）の各要
素の絶対値を比較して、｜ｂｖｘ｜が｜ｂｖｙ｜より大
きく、かつ面積変化量の絶対値｜ＢＡ’｜がしきい値４
より大きい場合に、ページ捲り動作と仮判定する。この
際に、上記ｔ１がｔ２より大きい場合に、右手ページ捲
りスコアに１加える。上記ｔ１がｔ２以下の場合には、
左手ページ捲りスコアに１加える。また、文書移動量
（ｂｖｘ、ｂｖｙ）の各要素の絶対値を比較して、｜ｂ
ｖｘ｜が｜ｂｖｙ｜以下であるか、または面積変化量の
絶対値｜ＢＡ’｜がしきい値４以下である場合に、文書
移動動作と仮判定する。この場合に、上記ｔ１が上記ｔ
２よりも大きい場合に、右手文書移動スコアに１加え
る。また、上記ｔ１が上記ｔ２以下の場合に、左手文書
移動スコアに１加える。

【０１００】なお、本実施例では、しきい値４を１０と
したがどのような値でも良い。さらに、本発明において
は、文書動作スコアの求め方は本質的な問題ではなく、
どのようなものでも良い。

【０１０１】次にステップｓ６−１２に進んで、文書の
中心位置（Ｂｘ，Ｂｙ）、右手位置、左手位置を文書領
域候補生成部１０５に転送する。

【０１０２】続いて、ステップｓ６−１３に進んで、手
文書分離部１０４から静止信号の入力があるかを調べ、
静止信号があった場合にはステップｓ６−１４に進む。
静止信号がない場合には、ステップｓ６−３に戻って、
ステップｓ６−３からステップｓ６−１３までを画像が
入力されるたびに、静止信号の入力があるまで繰返す。
静止信号を検出した場合には、ステップｓ６−１４に進
んで、全ての動作スコアと累積手移動量を文書領域決定
部１０８に転送して、動作候補生成部１０６を停止す
る。

【０１０３】図１２を参照すると、同図には、図１中に
示されている文書領域候補生成部１０５の一実施例の詳
細な構成が示されている。また、図１３には、図１２に
示されている文書領域候補生成部１０５の動作のフロー
チャートが示されている。

【０１０４】文書領域候補生成部１０５は、文書領域記
憶部５０１と動作文書領域判定部５０２と初期動作文書
領域記憶部５０３と初期動作文書領域判定部５０４から
なる。文書領域候補生成部１０５における文書領域記憶
部５０１、動作文書領域判定部５０２及び初期動作文書
領域判定部５０４の動作は、例えば、上記特願平１１−
１１０１２５号明細書中の文書領域判定部の一部の動作
に相当する。これらについては先述した通りであり、当
業者が容易に実施できる。

【０１０５】図７のステップｓ１−３での初期化処理で
は、図１３のステップｓ５−１から処理が開始され、ま
ずステップｓ５−２での文書領域記憶部５０１内のペー
ジ捲り領域画像Ｍと右手文書移動領域画像Ｒと左手文書
移動領域画像Ｌをクリアする。図７のステップｓ１−６
での文書領域候補生成部起動では、図１３のステップｓ
５−３からステップｓ５−１３までを実行する。

【０１０６】まずステップｓ５−３では、端子４０５を
通して、手文書分離部１０４から文書領域画像Ｂを読込
み、文書領域記憶部５０１に記憶する。この際に文書領
域画像の面積BAが始めてしきい値６を超えた時の文書領
域画像B を初期動作文書領域Ｂｏとして初期動作文書領
域記憶部５０３に記憶する。本実施例ではしきい値６の
値を５０としたが、この値は本質的なものではなく、ど
のような値でも良い。

【０１０７】次にステップｓ５−４では、動作候補生成
部１０６から右手位置（ｈｘ１、ｈｙ１）と左手位置
（ｈｘ２、ｈｙ２）を読込み、右手位置（ｈｘ１、ｈｙ
１）をＰｒとして文書領域記憶部５０１に記憶する。ま
た、左手位置（ｈｘ２、ｈｙ２）をＰｌとして文書領域
記憶部５０１に記憶する。

【０１０８】ステップｓ５−５では、文書領域画像Ｂを
ページ捲り領域画像Ｍに加算して文書領域記憶部５０１
に記憶する。ここで画像同士の加算とは、同じ座標同士
の値を加算することになり、Ｍ（ｘ，ｙ）＝Ｍ（ｘ，
ｙ）＋Ｂ（ｘ，ｙ）を全ての（ｘ、ｙ）で実行すること
とする。

【０１０９】ステップｓ５−６では、前時刻での右手位
置Ｐｒ’が現時刻での右手位置Ｐｒになるように右手文
書移動領域画像Ｒを平行移動する。Ｐｒ’を（ｈｘ
１’、ｈｙ１’）とすると、次の式（９）で平行移動後
の右手文書移動領域画像Ｒを求める。 Ｒ（ｘ，ｙ）＝Ｒ（ｘ＋ｈｘ１−ｈｘ１’、ｙ＋ｈｙ１−ｈｙ１’）…（９）

【０１１０】以上の計算を全ての（ｘ、ｙ）について実
施する。ステップｓ５−６の最後に、現時刻での右手位
置Ｐｒを前時刻右手位置Ｐｒ’に代入する。その後ステ
ップｓ５−７に進み、文書領域画像Ｂを右手文書移動領
域画像Ｒに加算して文書領域記憶部５０１に記憶する。
この加算の方法はステップｓ５−５と同じである。

【０１１１】ステップｓ５−８では、前時刻での左手位
置Ｐｌ’が現時刻での左手位置Ｐｌになるように左手文
書移動領域画像Ｌを平行移動する。Ｐｌ’を（ｈｘ
２’、ｈｙ２’）とすると、次の式（１０）で平行移動
後の左手文書移動領域画像Ｌを求める。 Ｌ（ｘ，ｙ）＝Ｌ（ｘ＋ｈｘ２−ｈｘ２’、ｙ＋ｈｙ２−ｈｙ２’）…（１０）

【０１１２】以上の計算を全ての（ｘ、ｙ）について実
施する。ステップｓ５−８の最後に、現時刻での左手位
置Ｐｌを前時刻での左手位置Ｐｌ’に代入する。その後
ステップｓ５−９に進み、文書領域画像Ｂを左手文書移
動領域画像Ｌに加算して文書領域記憶部５０１に記憶す
る。この加算の方法はステップｓ５−５と同じである。

【０１１３】次にステップｓ５−１０に進んで、手文書
分離部１０４から静止信号が入力されているかをチェッ
クする。静止信号がない場合には、ステップｓ５−３に
戻って、ｓ５−３からｓ５−９までを繰返し実行する。
もし、静止信号があった場合には、ステップｓ５−１１
に進んで、ページ捲り領域画像Ｍ、右手文書移動領域画
像Ｒ，左手文書移動領域画像Ｌを文書領域決定部１０８
に転送する。

【０１１４】また、ステップｓ５−１２で、ページ捲り
領域画像Ｍを動作文書領域判定部５０２に転送し、Ｍか
ら文書領域位置を判定して、それを文書領域決定部１０
８に転送する。Ｍから文書領域を判定するには、Ｍの画
素のうち、しきい値５を超える値を持つ画素の外接矩形
により定める。ただし、本実施例ではしきい値５を５と
したが、この値はどのような値でも良い。この手順によ
りページ捲り領域画像Ｍからページ捲り領域位置を求め
る。

【０１１５】また、右手文書移動領域画像Ｒを動作文書
領域判定部５０２に転送して、Ｒから文書領域位置を上
記Ｍの場合と同様にして判定して、それを文書領域決定
部１０８に転送する。さらに、左手文書移動領域画像Ｌ
を動作文書領域判定部５０２に転送して、Ｌから文書領
域位置を上記Ｍの場合と同様にして判定して、それを文
書領域決定部１０８に転送する。

【０１１６】次に、ステップｓ５−１３において、初期
動作文書領域記憶部５０３から初期動作文書領域画像Ｂ
ｏを読出し、初期動作文書領域判定部５０４に転送し、
そこで外接矩形を求めて、初期動作文書領域として、文
書領域決定部１０８に転送する。その後ステップｓ５−
１４に進んで文書領域候補生成部を停止する。

【０１１７】図１４を参照すると、同図には、図１に示
されている文書領域決定部１０８と領域可能性検証部１
０９の一実施例の詳細な構成が示されている。また、図
１５には、図１４に示されている文書領域決定部１０８
及び領域可能性検証部１０９の動作を示すフローチャー
トが示されている。文書領域決定部１０８は、図７のフ
ローチャートでは、ステップｓ１−８で起動される。

【０１１８】図１５のステップｓ８−１でこれが起動さ
れた後に、ステップｓ８−２で、動作候補生成部１０６
で生成された右手ページ捲りスコアと右手の累積手移動
量を入力し、文書動作情報バッファ８０１に記憶する。
また、左手ページ捲りスコアと左手の累積手移動量を入
力し、文書動作情報バッファ８０１に記憶する。また、
右手文書移動スコアと右手の累積手移動量を入力し、文
書動作情報バッファ８０１に記憶する。また、左手文書
移動スコアと左手の累積手移動量を読込み、文書動作情
報バッファ８０１に記憶する。

【０１１９】次に、ステップｓ８−３に進んで、文書領
域候補生成部１０５からページ捲り領域位置を入力し
て、文書動作情報バッファ８０１に記憶する。また、文
書領域候補生成部１０５から右手文書移動領域位置を入
力して、文書動作情報バッファ８０１に記憶する。さら
に、文書領域候補生成部１０５から左手文書移動領域位
置を入力して、文書動作情報バッファ８０１に記憶す
る。また、初期動作文書領域判定部５０８から初期動作
文書領域の位置を入力して、決定制御部８０２に記憶す
る。

【０１２０】次に、ステップｓ８−４に進んで、文書領
域候補生成部１０５からページ捲り文書領域画像、右手
移動文書領域画像及び左手移動文書領域画像を取得す
る。次に、ステップｓ８−５からステップｓ８−１１ま
でを、右手ページ捲り動作、左手ページ捲り動作、右手
文書移動動作、左手文書移動動作の４種類の文書動作に
ついて繰返し実行する。

【０１２１】まず、右手ページ捲り動作について実行す
る。決定制御部８０２は、ステップｓ８−６で文書動作
情報バッファ８０１から、ページ捲り領域画像とページ
捲り領域の位置、右手の累積手移動量を読出し、領域可
能性検証部１０９に転送する。また、決定制御部８０２
内に記憶している初期動作文書領域の位置を領域可能性
検証部１０９に転送する。その後、領域可能性検証部１
０９を起動して、検証対象とした文書動作が全ての検証
ルールと不一致であったか、合致するルールがあったか
の結果を決定制御部８０２に転送する。

【０１２２】ステップｓ８−９で、領域可能性検証部１
０９の出力が合致するルールがあったことを示すもので
ある場合には、ステップｓ８−１１に進む。もし、領域
可能性検証部１０９の出力が、全ての検証ルールと不一
致であったことを示すものである場合には、ステップｓ
８−１０に進み、決定制御部８０２は当該文書動作、こ
の場合には右手によるページ捲り動作に関する文書動作
スコアからしきい値７だけ減じて、再度文書動作情報バ
ッファ８０１に記憶する。本実施例では、しきい値７を
３０としたがこの値はどのようなものでも良い。その
後、ステップｓ８−１１に進む。

【０１２３】ステップｓ８−１１では、全ての文書動作
について検証したかを調べる。以上の例では、右手によ
るページ捲り動作を調べただけなので、次にはステップ
ｓ８−５に戻って、左手によるページ捲り動作について
検証を実施するために、ステップｓ８−５からステップ
ｓ８−１０までを実行して、結果の文書動作スコアを文
書動作情報バッファ８０１に記憶する。同様に、右手文
書移動と左手文書移動についてもステップｓ８−５から
ステップｓ８−１０までを実行する。

【０１２４】全ての文書動作についての検証が終了した
後に、ステップｓ８−１２に進み、決定制御部８０２
は、文書動作情報バッファ８０１から、それぞれの動作
スコアを読出し、最大値を選択する。最大値を与えた文
書動作を、動作開始から動作停止までの一連の動作に関
する文書動作の種類と決定する。ステップｓ８−１３で
は、決定した文書動作に関する文書領域を文書動作情報
バッファ８０１から読出し、文書画像生成部１０９に転
送する。

【０１２５】次にステップｓ８−１４に進んで、決定し
た文書動作、それに関する文書領域を文書領域マップ１
０７に書込む。この際に、既に文書領域マップ１０７に
登録されている文書領域の順位には１を加えて、新しい
順位とし、新たに登録する文書領域の順位を１とする。

【０１２６】この終了後、ステップｓ８−１５に進んで
文書領域決定部１０８と領域可能性検証部１０９の動作
を停止する。

【０１２７】次に、領域可能性検証部１０９の動作につ
いて、図１６を用いて説明する。

【０１２８】図１５のステップｓ８−６で領域可能性検
証部１０９が起動されると、図１６のステップｓ９−１
からステップｓ９−２に進み、検証を行う文書動作の種
類を特定する。本説明では、文書動作の種類を文書動作
Ｄとする。本実施例では、文書動作Ｄは、右手ページ捲
り、左手ページ捲り、右手文書移動、左手文書移動のう
ちのいずれかであるが、これ以外でも本質的に何も変わ
りはない。

【０１２９】ステップｓ９−３で、文書領域決定部１０
８の決定制御部８０２から、領域可能性検証部１０９
は、文書動作Ｄに関する文書領域画像、文書領域の位
置、累積手移動量を、初期動作文書領域Ｂｏの位置を読
込んで記憶する。

【０１３０】ステップｓ９−４では、累積手移動量から
手の動き方向を計算する。本実施例では、累積手移動量
は２次元のベクトル値として表現されているので、三角
関数を用いることで、方向角度に変換する。また、単純
に上方向、右方向、下方向、左方向と予め定めた方向の
種類に分類しても変わりはない。

【０１３１】次にステップｓ９−５に進み、文書動作Ｄ
がページ捲りに関するものの場合にはステップｓ９−６
に進む。もし、文書動作Ｄが文書移動に関するものの場
合には、ステップｓ９−７に進む。ステップｓ９−６で
は、当該文書動作の対象となった文書が、当該文書動作
が起こる前にあった領域を文書領域マップから求める。
ページ捲りでは文書はほとんど移動しないので、検出さ
れた文書動作Ｄ後の領域に近似または包含する領域を文
書領域マップ記憶部１０７から複数検出する。ここで便
宜的にそれらの集合をＧとする。

【０１３２】また、「文書領域Ａと文書領域Ｂが近似す
る」とは、文書領域Ａの左上座標と文書領域Ｂの左上座
標の距離がしきい値８以下であり、かつ、文書領域Ａの
右下座標と文書領域Ｂの右下座標の距離がしきい値８以
下であることとする。本実施例ではしきい値８を２０と
したが、この値はどのようなものでも良い。

【０１３３】また、「文書領域Ａが文書領域Ｂを包含す
る」とは、文書領域Ａの左上座標（ｘＡ１，ｘＡ１）と
文書領域Ｂの左上座標（ｘＢ１，ｙＢ１）と文書領域Ａ
の右下座標（ｘＡ２，ｙＡ２）と文書領域Ｂの右下座標
（ｘＢ２，ｙＢ２）に次の式（１１）の関係がある場合
とする。 ｘＡ１−しきい値９＜ｘＢ１ ｙＡ１−しきい値９＜ｙＢ１ ｘＡ２＋しきい値９＞ｘＢ２ ｙＡ２＋しきい値９＞ｙＢ２ …（１１） なお、本実施例ではしきい値９を１０としたが、どのよ
うな値でも良い。

【０１３４】次に上記集合Ｇ中の文書領域から初期動作
領域Ｂｏを包含する文書領域を選択して集合Ｚとする。
ここでも「包含する」とは上記式（１１）の定義を用い
る。集合Ｚを動作の元文書領域の集合として、ステップ
ｓ９−８に進む。

【０１３５】ステップｓ９−７では、文書動作Ｄを文書
移動とした場合の当該文書動作が起こる前に当該文書あ
った領域を文書領域マップから求める。この場合は、文
書領域マップ記憶部１０７から、初期動作文書領域Ｂｏ
を包含する文書領域を検出して、その集合をＺとする。
この場合も、「包含する」とは式（１１）の定義を用い
た。集合Ｚを求めたら、それを動作の元文書領域の集合
として、ステップｓ９−８に進む。

【０１３６】ステップｓ９−８では、動作の元文書領域
の集合Ｚに含まれる個々の文書領域について、文書領域
マップ記憶部１０７から、当該文書領域の上に重なって
いる文書領域の集合を求める。当該文書領域をＢｉとし
た時に、それに重なる文書領域の集合をＷ（Ｂｉ）とす
る。

【０１３７】ステップｓ９−９では、動作の元文書領域
の集合Ｚに含まれる個々の文書領域について、文書領域
マップ記憶部１０７から、当該文書領域に関する動作の
種類を求める。当該文書領域をＢｉとした時に、それに
関する動作の種類をＶ（Ｂｉ）とする。

【０１３８】ステップｓ９−１１では、文書動作Ｄとス
テップｓ９−４で求めた手の動き方向と領域の位置と
で、図４に示されている検証ルールの中で合致するかど
うかを調べるルールを選択する。さらに、上記動作の元
文書領域の集合Ｚから１つの要素Ｂｉを取り出し、動作
の元文書領域Ｂｉに対する全ての重なり領域Ｗ（Ｂｉ）
と動作の元文書領域Ｂｉの動作の種類とから、上記選択
した検証ルールの内で合致するルールがあるかを調べ
る。もし、合致する検証ルールがあった場合にはステッ
プｓ９−１２を介してステップｓ９−１３に進む。そし
て、検証ルールに合致したとして、その際の動作の元文
書領域Ｂｉを決定制御部８０５に転送して、領域可能性
検証部１０９を停止する。

【０１３９】もし、ステップｓ９−１１を実行して合致
する検証ルールがなかった場合には、別の動作の元文書
領域を集合Ｚから選択してステップｓ９−１１とステッ
プｓ９−１２を実行する。もし、集合Ｚ中の全ての動作
の元文書領域を検証しても合致する検証ルールを検出で
きなかった場合には、ステップｓ９−１５に進んで、全
検証ルールに不一致という判定結果を決定制御部８０５
に転送して、領域可能性検証部１０９を停止する。

【０１４０】ステップｓ９−１４では、全ての動作元領
域をチェックしたかを調べる。全ての動作元領域をチェ
ックするまでステップｓ９−１０からステップｓ９−１
４までを実行する。

【０１４１】この説明では、検証を行う集合Ｚ中の要素
は適当に選択しているが、集合Ｚ中の要素である文書領
域は、文書領域マップにおいて順位がつけられており、
順位の番号が小さい文書領域から順に選択して、検証を
実施しても良い。

【０１４２】以上に、領域可能性検証部１０９の１つの
文書動作に関する動作を説明したが、図１５のステップ
ｓ８−５からステップｓ８−１１に述べたように、領域
可能性検証部１０９は全ての文書動作について、上述の
手順を実行する。

【０１４３】次に、本願発明における文書領域決定部１
０８の別の実施例を図１４及び図１７を用いて説明す
る。文書領域決定部１０８の構成は、前述の実施例と同
じであり、動作の手順が異なる。

【０１４４】図１７に示されているステップｓ８−１か
らステップｓ８−１５までは、図１５に示されている文
書領域決定処理の手順と同じである。図１５に示されて
いる文書領域決定処理の手順と異なるのはステップｓ８
−１１の次に、ステップｓ８−１６が入り、ステップｓ
８−１１で全動作に関して検証ルールをチェックしたこ
とを確認した後に、ステップｓ８−１６において合致し
た検証ルールがあったかを調べる。もし、合致した検証
ルールがあった場合には、図１５に示されている文書領
域決定処理の手順と同様に、ステップｓ８−１２に進ん
で、文書動作を決定する。

【０１４５】一方、ステップｓ８−１６において合致す
る検証ルールがなかった場合にはステップｓ８−１７に
進み、文書領域候補生成部１０５において生成した文書
領域の位置が不適切であったと見なして、ステップｓ８
−４で取得済みである各文書動作に関する文書領域画像
から再度文書領域の位置を判定して、ステップｓ８−５
に戻って再びステップｓ８−５からステップｓ８−１１
までを全ての文書動作の種類について実施する。その後
ステップｓ８−１６を実施して、合致する検証ルールが
あったか、既に一定回数文書領域の位置の判定を行って
いるかを調べて、条件に合った場合にはステップｓ８−
１２に進む。もし、条件に合わなかった場合は、ステッ
プｓ８−１６の条件を満たすまでステップｓ８−５から
ステップｓ８−１１及びステップｓ８−１７を繰返す。

【０１４６】ここで、ステップｓ８−１７における文書
領域の再計算の一実施例として、図１３のステップｓ５
−１１からステップｓ５−１３までの手順と同じものを
利用することができる。ただし、そこで利用する判定し
きい値であるしきい値５の値を変更する。一実施例とし
て、ステップｓ８−１７を繰返すたびに、しきい値５の
値に２ずつ加えて変更するものが考えられる。この場
合、しきい値５の変更方法はどのようなものでも良い。
また、ステップｓ８−１７を繰返すたびに、領域の判定
手段自体を変更する実施例も考えられる。

【０１４７】例えば、図１３のステップｓ５−１１から
ステップｓ５−１３までの手順では、入力する文書領域
画像の各画素をしきい値５と比較して、しきい値５より
大きな値を持っている画素の集合の外接矩形を求める文
書領域の位置と定めた。このとき、しきい値５より大き
な値を持っている画素の集合から、連結領域を求め、そ
の最大面積を持つ連結領域の外接矩形を文書領域の位置
と定めることもできる。このように領域の位置の判定手
段を複数準備しておき、ステップｓ８−１７を実行する
たびに、それらから１つを選択して実行する実施例も考
えられる。

【０１４８】なお、先述した図７の処理を実現するため
のプログラムを記録した記録媒体を用意し、これを用い
て図１の各部を制御すれば、上述と同様の文書画像取得
動作を行うことができることは明白である。この記録媒
体には、図１中に示されていない半導体メモリ、磁気デ
ィスク装置の他、種々の記録媒体を用いることができ
る。

【０１４９】また、同記録媒体に記録されているプログ
ラムによってコンピュータを制御すれば、上述と同様に
文書画像取得動作を行うことができることは明白であ
る。この記録媒体には、半導体メモリ、磁気ディスク装
置の他、種々の記録媒体を用いることができる。

【０１５０】

【発明の効果】以上説明したように本発明は、過去に検
出された文書領域と照らし合わせて矛盾のある動作の判
定を排除することにより、ページ捲りか文書移動かの判
定を間違えた場合にも、既に検出してある文書領域を加
味して、正しく文書動作の判定を実施できるという効果
がある。

【０１５１】また、過去に検出された文書領域と照らし
合わせて矛盾のある動作の判定を排除することにより、
ありえない文書領域の判定結果を検出して、文書領域の
再検出を行い、文書領域マップ記憶手段と領域可能性検
証部で受理できる、それらしい領域を選定できるため、
文書の領域を間違えて検出した場合にも、文書領域を再
検出して、ありえそうな領域を検出できるという効果が
ある。

【図面の簡単な説明】

【図１】本発明の実施の一形態による文書画像取得装置
の構成を示すブロック図である。

【図２】文書領域マップの一例を示す図である。

【図３】文書領域マップの一例を示す図である。

【図４】検証ルールの例を示す図である。

【図５】文書動作と検出した文書領域と当該動作の元文
書領域の説明図である。

【図６】動作の元文書領域とその上に重なる文書領域の
説明図である。

【図７】本願発明の文書画像取得装置の動作を示すフロ
ーチャートである。

【図８】手文書分離部の構成を示す図である。

【図９】手文書分離部の動作を示すフローチャートであ
る。

【図１０】動作候補生成部の構成を示す図である。

【図１１】動作候補生成部の動作を示すフローチャート
である。

【図１２】文書領域候補生成部の構成を示す図である。

【図１３】文書領域候補生成部の動作を示すフローチャ
ートである。

【図１４】文書領域決定部の構成を示す図である。

【図１５】文書領域決定部の動作を示すフローチャート
である。

【図１６】領域可能性検証部の動作を示すフローチャー
トである。

【図１７】文書領域決定部の別の動作を示すフローチャ
ートである。

【図１８】文書画像取得装置の外観を示す図である。

【図１９】従来の文書画像取得装置の構成を示すブロッ
ク図である。

【図２０】画像入力部によって入力される１枚の画像の
例を示す図である。

【図２１】画像入力部によって入力される画像の構成を
示す図である。

【符号の説明】

１０１ 画像入力部 １０２、２０２ 文書画像取得部 １０３ 画像記憶部 １０４ 手文書分離部 １０５ 文書領域候補生成部 １０６ 動作候補生成部 １０７ 文書領域マップ記憶部 １０８、２０８ 文書領域決定部 １０９ 領域可能性検証部部 １１０ 文書画像生成部 １１１、１１２、４０５ 端子 ３０３ 文書 ３０４ 手 ４０１ 動き検出部 ４０２ 手領域検出部 ４０３ 文書領域検出部 ４０４ 制御部 ５０１ 文書領域記憶部 ５０２ 動作文書領域判定部 ５０３ 初期動作文書領域記憶部 ５０４ 初期動作文書領域判定部 ６０１ 文書動作特徴検出部 ６０２ 手動作特徴検出部 ６０３ 文書動き判定部 ８０１ 文書動作情報バッファ ８０２ 決定制御部

フロントページの続き (56)参考文献 特開 平10−162134（ＪＰ，Ａ) 特開 平10−285334（ＪＰ，Ａ) 特開 平10−304145（ＪＰ，Ａ) 中川忠勝外２名，デスク映像のシーン 解析による文書管理，電子情報通信学会 技術研究報告ＰＲＭＵ98−150〜175, 1998年12月18日，Ｖｏｌ． 98， Ｎ ｏ． 490，ｐｐ． 25−32 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06K 9/00 - 9/82 H04N 1/40 H04N 5/222 - 5/257

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶する文書領域マップ記憶部と、前記画像入力装置から
   入力された画像中から新たな文書を検出する文書領域候
   補生成部と、その新たな文書領域を発生せしめるに至っ
   た文書の動きの候補を検出する動作候補生成部と、前記
   文書領域候補生成部から出力される文書領域の特徴と、
   前記動作候補生成部から出力される動作の種類とその特
   徴量と、前記文書領域マップ記憶部に記憶した過去に検
   出した文書画像の特徴とを参照して、検出された文書領
   域の妥当性を判定する領域可能性検証部と、前記領域可
   能性検証部での判定結果から新たに検出した文書の領域
   を決定する文書領域決定部と、前記文書領域決定部の出
   力から検出した文書画像を生成する文書画像生成部とを
   含むことを特徴とする文書画像取得装置。
2. 【請求項２】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類を
   保持する文書領域マップ記憶部と、前記画像入力装置か
   ら入力された画像中から新たな文書を検出する文書領域
   候補生成部と、その新たな文書領域を発生せしめるに至
   った文書の動きの候補を検出する動作候補生成部と、前
   記文書領域候補生成部から出力される文書領域の特徴
   と、前記動作候補生成部から出力される動作の種類とそ
   の特徴量と、前記文書領域マップ記憶部に記憶した過去
   に検出した文書画像の特徴とを参照して、検出された文
   書領域の妥当性を判定する領域可能性検証部と、前記領
   域可能性検証部での判定結果から新たに検出した文書の
   領域を決定する文書領域決定部と、前記文書領域決定部
   の出力から検出した文書画像を生成する文書画像生成部
   とを含むことを特徴とする文書画像取得装置。
3. 【請求項３】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類お
   よびその重なり順位を保持する文書領域マップ記憶部
   と、前記画像入力装置から入力された画像中から新たな
   文書を検出する文書領域候補生成部と、その新たな文書
   領域を発生せしめるに至った文書の動きの候補を検出す
   る動作候補生成部と、前記文書領域候補生成部から出力
   される文書領域の特徴と、前記動作候補生成部から出力
   される動作の種類とその特徴量と、前記文書領域マップ
   記憶部に記憶した過去に検出した文書画像の特徴とを参
   照して、検出された文書領域の妥当性を判定する領域可
   能性検証部と、前記領域可能性検証部での判定結果から
   新たに検出した文書の領域を決定する文書領域決定部
   と、前記文書領域決定部の出力から検出した文書画像を
   生成する文書画像生成部とを含むことを特徴とする文書
   画像取得装置。
4. 【請求項４】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶する文書領域マップ記憶部と、前記画像入力装置から
   入力された画像中から新たな文書を検出する文書領域候
   補生成部と、その新たな文書領域を発生せしめるに至っ
   た文書の動きの候補を検出する動作候補生成部と、前記
   文書領域候補生成部から出力される文書領域の特徴と、
   前記動作候補生成部から出力される動作の種類とその特
   徴量と、前記文書領域マップ記憶部に記憶した過去に検
   出した文書画像の特徴とを参照して、検出された文書領
   域の妥当性を判定する領域可能性検証部と、前記領域可
   能性検証部での判定結果から新たに検出した文書の領域
   を決定する文書領域決定部と、前記文書領域決定部の出
   力から検出した文書画像を生成する文書画像生成部とを
   含み、前記文書領域決定部は前記領域可能性検証部にお
   いて合致するルールがなかった場合に前記文書の領域の
   再検出を実行することを特徴とする文書画像取得装置。
5. 【請求項５】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した 文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類お
   よびその重なり順位を保持する文書領域マップ記憶部
   と、前記画像入力装置から入力された画像中から新たな
   文書を検出する文書領域候補生成部と、その新たな文書
   領域を発生せしめるに至った文書の動きの候補を検出す
   る動作候補生成部と、前記文書領域候補生成部から出力
   される文書領域の特徴と、前記動作候補生成部から出力
   される動作の種類とその特徴量と、前記文書領域マップ
   記憶部に記憶した過去に検出した文書画像の特徴とを参
   照して、検出された文書領域の妥当性を判定する領域可
   能性検証部と、前記領域可能性検証部での判定結果から
   新たに検出した文書の領域を決定する文書領域決定部
   と、前記文書領域決定部の出力から検出した文書画像を
   生成する文書画像生成部とを含み、前記文書画像生成部
   は新たに検出した文書の領域を出力すると共に、既に検
   出した文書の領域も出力することを特徴とする文書画像
   取得装置。
6. 【請求項６】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類お
   よびその重なり順位を保持する文書領域マップ記憶部
   と、前記画像入力装置から入力された画像中から新たな
   文書を検出する文書領域候補生成部と、その新たな文書
   領域を発生せしめるに至った文書の動きの候補を検出す
   る動作候補生成部と、前記文書領域候補生成部から出力
   される文書領域の特徴と、前記動作候補生成部から出力
   される動作の種類とその特徴量と、前記文書領域マップ
   記憶部に記憶した過去に検出した文書画像の特徴とを参
   照して、検出された文書領域の妥当性を判定する領域可
   能性検証部と、前記領域可能性検証部での判定結果から
   新たに検出した文書の領域を決定する文書領域決定部
   と、前記文書領域決定部の出力から検出した文書画像を
   生成する文書画像生成部とを含み、前記文書画像生成部
   は新たに検出した文書の領域を出力すると共に、その文
   書の領域の近辺に存在する既に検出した文書の領域も出
   力することを特徴とする文書画像取得装置。
7. 【請求項７】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得装置であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類お
   よびその重なり順位を保持する文書領域マップ記憶部
   と、前記画像入力装置から入力された画像中から新たな
   文書を検出する文書領域候補生成部と、その新たな文書
   領域を発生せしめるに至った文書の動きの候補を検出す
   る動作候補生成部と、前記文書領域候補生成部から出力
   される文書領域の特徴と、前記動作候補生成部から出力
   される動作の種類とその特徴量と、前記文書領域マップ
   記憶部に記憶した過去に検出した文書画像の特徴とを参
   照して、検出された文書領域の妥当性を判定する領域可
   能性検証部と、前記領域可能性検証部での判定結果から
   新たに検出した文書の領域を決定する文書領域決定部
   と、前記文書領域決定部の出力から検出した文書画像を
   生成する文書画像生成部とを含み、前記文書画像生成部
   は新たに検出した文書の領域を出力すると共に、その文
   書の領域が上に重なった既検出文書の領域も出力するこ
   とを特徴とする文書画像取得装置。
8. 【請求項８】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得方法であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶する文書領域マップ記憶ステップと、前記画像入力装
   置から入力された画像中から新たな文書を検出する文書
   領域候補生成ステップと、その新たな文書領域を発生せ
   しめるに至った文書の動きの候補を検出する動作候補生
   成ステップと、前記文書領域候補生成ステップから出力
   される文書領域の特徴と、前記動作候補生成ステップか
   ら出力される動作の種類とその特徴量と、前記文書領域
   マップ記憶ステップに記憶した過去に検出した文書画像
   の特徴とを参照して、検出された文書領域の妥当性を判
   定する領域可能性検証ステップと、前記領域可能性検証
   ステップでの判定結果から新たに検出した文書の領域を
   決定する文書領域決定ステップと、前記文書領域決定ス
   テップの出力から検出した文書画像を生成する文書画像
   生成ステップとを含むことを特徴とする文書画像取得方
   法。
9. 【請求項９】 非接触型の画像入力装置を用いて一定時
   間間隔で画像を入力し、この入力した画像から文書画像
   を取得する文書画像取得方法であって、過去に検出し取
   得した文書画像が入力画像中のどこに写っているかを記
   憶しさらにその文書を出現させるに至った動作の種類を
   保持する文書領域マップ記憶ステップと、前記画像入力
   装置から入力された画像中から新たな文書を検出する文
   書領域候補生成ステップと、その新たな文書領域を発生
   せしめるに至った文書の動きの候補を検出する動作候補
   生成ステップと、前記文書領域候補生成ステップから出
   力される文書領域の特徴と、前記動作候補生成ステップ
   から出力される動作の種類とその特徴量と、前記文書領
   域マップ記憶部に記憶した過去に検出した文書画像の特
   徴とを参照して、検出された文書領域の妥当性を判定す
   る領域可能性検証ステップと、前記領域可能性検証ステ
   ップでの判定結果から新たに検出した文書の領域を決定
   する文書領域決定ステップと、前記文書領域決定ステッ
   プの出力から検出した文書画像を生成する文書画像生成
   ステップとを含むことを特徴とする文書画像取得方法。
10. 【請求項１０】 非接触型の画像入力装置を用いて一定
    時間間隔で画像を入力し、この入力した画像から文書画
    像を取得する文書画像取得方法であって、過去に検出し
    取得した文書画像が入力画像中のどこに写っているかを
    記憶しさらにその文書を出現させるに至った動作の種類
    およびその重なり順位を保持する文書領域マップ記憶ス
    テップと、前記画像入力装置から入力された画像中から
    新たな文書を検出する文書領域候補生成ステップと、そ
    の新たな文書領域を発生せしめるに至った文書の動きの
    候補を検出する動作候補生成ステップと、前記文書領域
    候補生成ステップから出力される文書領域の特徴と、前
    記動作候補生成ステップから出力される動作の種類とそ
    の特徴量と、前記文書領域マップ記憶ステップに記憶し
    た過去に検出した文書画像の特徴とを参照して、検出さ
    れた文書領域の妥当性を判定する領域可能性検証ステッ
    プと、前記領域可能性検証ステップでの判定結果から新
    たに検出した文書の領域を決定する文書領域決定ステッ
    プと、前記文書領域決定ステップの出力から検出した文
    書画像を生成する文書画像生成ステップとを含むことを
    特徴とする文書画像取得方法。
11. 【請求項１１】 非接触型の画像入力装置を用いて一定
    時間間隔で画像を入力し、この入力した画像から文書画
    像を取得する文書画像取得方法であって、過去に検出し
    取得した文書画像が入力画像中のどこに写っているかを
    記憶する文書領域マップ記憶ステップと、前記画像入力
    装置から入力された画像中から新たな文書を検出する文
    書領域候補生成ステップと、その新たな文書領域を発生
    せしめるに至った文書の動きの候補を検出する動作候補
    生成ステップと、前記文書領域候補生成ステップから出
    力される文書領域の特徴と、前記動作候補生成ステップ
    から出力される動作の種類とその特徴量と、前記文書領
    域マップ記憶ステップに記憶した過去に検出した文書画
    像の特徴とを参照して、検出された文書領域の妥当性を
    判定する領域可能性検証ステップと、前記領域可能性検
    証ステップでの判定結果から新たに検出した文書の領域
    を決定する文書領域決定ステップと、前記文書領域決定
    ステップの出力から検出した文書画像を生成する文書画
    像生成ステップとを含み、前記文書領域決定ステップは
    前記領域可能性検証ステップにおいて合致するルールが
    なかった場合に前記文書の領域の再検出を実行すること
    を特徴とする文書画像取得方法。
12. 【請求項１２】 非接触型の画像入力装置を用いて一定
    時間間隔で画像を入力し、この入力した画像から文書画
    像を取得する文書画像取得方法であって、過去に検出し
    取得した文書画像が入力画像中のどこに写っているかを
    記憶しさらにその文書を出現させるに至った動作の種類
    およびその重なり順位を保持する文書領域マップ記憶ス
    テップと、前記画像入力装置から入力された画像中から
    新たな文書を検出する文書領域候補生成ステップと、そ
    の新たな文書領域を発生せしめるに至った文書の動きの
    候補を検出する動作候補生成ステップと、前記文書領域
    候補生成ステップから出力される文書領域の特徴と、前
    記動作候補生成ステップから出力される動作の種類とそ
    の特徴量と、前記文書領域マップ記憶ステップに記憶し
    た過去に検出した文書画像の特徴とを参照して、検出さ
    れた文書領域の妥当性を判定する領域可能性検証ステッ
    プと、前記領域可能性検証ステップでの判定結果から新
    たに検出した文書の領域を決定する文書領域決定ステッ
    プと、前記文書領域決定ステップの出力から検出した文
    書画像を生成する文書画像生成ステップとを含み、前記
    文書画像生成ステップは新たに検出した文書の領域を出
    力すると共に、既に検出した文書の領域 も出力すること
    を特徴とする文書画像取得方法。
13. 【請求項１３】 非接触型の画像入力装置を用いて一定
    時間間隔で画像を入力し、この入力した画像から文書画
    像を取得する文書画像取得方法であって、過去に検出し
    取得した文書画像が入力画像中のどこに写っているかを
    記憶しさらにその文書を出現させるに至った動作の種類
    およびその重なり順位を保持する文書領域マップ記憶ス
    テップと、前記画像入力装置から入力された画像中から
    新たな文書を検出する文書領域候補生成ステップと、そ
    の新たな文書領域を発生せしめるに至った文書の動きの
    候補を検出する動作候補生成ステップと、前記文書領域
    候補生成ステップから出力される文書領域の特徴と、前
    記動作候補生成ステップから出力される動作の種類とそ
    の特徴量と、前記文書領域マップ記憶ステップに記憶し
    た過去に検出した文書画像の特徴とを参照して、検出さ
    れた文書領域の妥当性を判定する領域可能性検証ステッ
    プと、前記領域可能性検証ステップでの判定結果から新
    たに検出した文書の領域を決定する文書領域決定ステッ
    プと、前記文書領域決定ステップの出力から検出した文
    書画像を生成する文書画像生成ステップとを含み、前記
    文書画像生成ステップは新たに検出した文書の領域を出
    力すると共に、その文書の領域の近辺に存在する既に検
    出した文書の領域も出力することを特徴とする文書画像
    取得方法。
14. 【請求項１４】 非接触型の画像入力装置を用いて一定
    時間間隔で画像を入力し、この入力した画像から文書画
    像を取得する文書画像取得方法であって、過去に検出し
    取得した文書画像が入力画像中のどこに写っているかを
    記憶しさらにその文書を出現させるに至った動作の種類
    およびその重なり順位を保持する文書領域マップ記憶ス
    テップと、前記画像入力装置から入力された画像中から
    新たな文書を検出する文書領域候補生成ステップと、そ
    の新たな文書領域を発生せしめるに至った文書の動きの
    候補を検出する動作候補生成ステップと、前記文書領域
    候補生成ステップから出力される文書領域の特徴と、前
    記動作候補生成ステップから出力される動作の種類とそ
    の特徴量と、前記文書領域マップ記憶ステップに記憶し
    た過去に検出した文書画像の特徴とを参照して、検出さ
    れた文書領域の妥当性を判定する領域可能性検証ステッ
    プと、前記領域可能性検証ステップでの判定結果から新
    たに検出した文書の領域を決定する文書領域決定ステッ
    プと、前記文書領域決定ステップの出力から検出した文
    書画像を生成する文書画像生成ステップとを含み、前記
    文書画像生成ステップは新たに検出した文書の領域を出
    力すると共に、その文書の領域が上に重なった既検出文
    書の領域も出力することを特徴とする文書画像取得方
    法。
15. 【請求項１５】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶する文書領域マップ記憶ステップと、前
    記画像入力装置から入力された画像中から新たな文書を
    検出する文書領域候補生成ステップと、その新たな文書
    領域を発生せしめるに至った文書の動きの候補を検出す
    る動作候補生成ステップと、前記文書領域候補生成ステ
    ップから出力される文書領域の特徴と、前記動作候補生
    成ステップから出力される動作の種類とその特徴量と、
    前記文書領域マップ記憶ステップに記憶した過去に検出
    した文書画像の特徴とを参照して、検出された文書領域
    の妥当性を判定する領域可能性検証ステップと、前記領
    域可能性検証ステップでの判定結果から新たに検出した
    文書の領域を決定する文書領域決定ステップと、前記文
    書領域決定ステップの出力から検出した文書画像を生成
    する文書画像生成ステップとを含むことを特徴とする記
    録媒体。
16. 【請求項１６】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶しさらにその文書を出現させるに至った
    動作の種類を保持する文書領域マップ記憶ステップと、
    前記画像入力装置から入力された画像中から新たな文書
    を検出する文書領域候補生成ステップと、その新たな文
    書領域を発生せしめるに至った文書の動きの候補を検出
    する動作候補生成ステップと、前記文書領域候補生成ス
    テップから出力される文書領域の特徴と、前記動作候補
    生成ステップから出力される動作の種類 とその特徴量
    と、前記文書領域マップ記憶部に記憶した過去に検出し
    た文書画像の特徴とを参照して、検出された文書領域の
    妥当性を判定する領域可能性検証ステップと、前記領域
    可能性検証ステップでの判定結果から新たに検出した文
    書の領域を決定する文書領域決定ステップと、前記文書
    領域決定ステップの出力から検出した文書画像を生成す
    る文書画像生成ステップとを含むことを特徴とする記録
    媒体。
17. 【請求項１７】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶しさらにその文書を出現させるに至った
    動作の種類およびその重なり順位を保持する文書領域マ
    ップ記憶ステップと、前記画像入力装置から入力された
    画像中から新たな文書を検出する文書領域候補生成ステ
    ップと、その新たな文書領域を発生せしめるに至った文
    書の動きの候補を検出する動作候補生成ステップと、前
    記文書領域候補生成ステップから出力される文書領域の
    特徴と、前記動作候補生成ステップから出力される動作
    の種類とその特徴量と、前記文書領域マップ記憶ステッ
    プに記憶した過去に検出した文書画像の特徴とを参照し
    て、検出された文書領域の妥当性を判定する領域可能性
    検証ステップと、前記領域可能性検証ステップでの判定
    結果から新たに検出した文書の領域を決定する文書領域
    決定ステップと、前記文書領域決定ステップの出力から
    検出した文書画像を生成する文書画像生成ステップとを
    含むことを特徴とする記録媒体。
18. 【請求項１８】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶する文書領域マップ記憶ステップと、前
    記画像入力装置から入力された画像中から新たな文書を
    検出する文書領域候補生成ステップと、その新たな文書
    領域を発生せしめるに至った文書の動きの候補を検出す
    る動作候補生成ステップと、前記文書領域候補生成ステ
    ップから出力される文書領域の特徴と、前記動作候補生
    成ステップから出力される動作の種類とその特徴量と、
    前記文書領域マップ記憶ステップに記憶した過去に検出
    した文書画像の特徴とを参照して、検出された文書領域
    の妥当性を判定する領域可能性検証ステップと、前記領
    域可能性検証ステップでの判定結果から新たに検出した
    文書の領域を決定する文書領域決定ステップと、前記文
    書領域決定ステップの出力から検出した文書画像を生成
    する文書画像生成ステップとを含み、前記文書領域決定
    ステップは前記領域可能性検証ステップにおいて合致す
    るルールがなかった場合に前記文書の領域の再検出を実
    行することを特徴とする記録媒体。
19. 【請求項１９】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶しさらにその文書を出現させるに至った
    動作の種類およびその重なり順位を保持する文書領域マ
    ップ記憶ステップと、前記画像入力装置から入力された
    画像中から新たな文書を検出する文書領域候補生成ステ
    ップと、その新たな文書領域を発生せしめるに至った文
    書の動きの候補を検出する動作候補生成ステップと、前
    記文書領域候補生成ステップから出力される文書領域の
    特徴と、前記動作候補生成ステップから出力される動作
    の種類とその特徴量と、前記文書領域マップ記憶ステッ
    プに記憶した過去に検出した文書画像の特徴とを参照し
    て、検出された文書領域の妥当性を判定する領域可能性
    検証ステップと、前記領域可能性検証ステップでの判定
    結果から新たに検出した文書の領域を決定する文書領域
    決定ステップと、前記文書領域決定ステップの出力から
    検出した文書画像を生成する文書画像生成ステップとを
    含み、前記文書画像生成ステップは新たに検出した文書
    の領域を出力すると共に、既に検出した文書の領域も出
    力することを特徴とする記録媒体。
20. 【請求項２０】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像 中のどこに写っ
    ているかを記憶しさらにその文書を出現させるに至った
    動作の種類およびその重なり順位を保持する文書領域マ
    ップ記憶ステップと、前記画像入力装置から入力された
    画像中から新たな文書を検出する文書領域候補生成ステ
    ップと、その新たな文書領域を発生せしめるに至った文
    書の動きの候補を検出する動作候補生成ステップと、前
    記文書領域候補生成ステップから出力される文書領域の
    特徴と、前記動作候補生成ステップから出力される動作
    の種類とその特徴量と、前記文書領域マップ記憶ステッ
    プに記憶した過去に検出した文書画像の特徴とを参照し
    て、検出された文書領域の妥当性を判定する領域可能性
    検証ステップと、前記領域可能性検証ステップでの判定
    結果から新たに検出した文書の領域を決定する文書領域
    決定ステップと、前記文書領域決定ステップの出力から
    検出した文書画像を生成する文書画像生成ステップとを
    含み、前記文書画像生成ステップは新たに検出した文書
    の領域を出力すると共に、その文書の領域の近辺に存在
    する既に検出した文書の領域も出力することを特徴とす
    る記録媒体。
21. 【請求項２１】 コンピュータによって非接触型の画像
    入力装置を制御して一定時間間隔で画像を入力し、この
    入力した画像から文書画像を取得する文書画像取得プロ
    グラムを記録した記録媒体であって、該プログラムは過
    去に検出し取得した文書画像が入力画像中のどこに写っ
    ているかを記憶しさらにその文書を出現させるに至った
    動作の種類およびその重なり順位を保持する文書領域マ
    ップ記憶ステップと、前記画像入力装置から入力された
    画像中から新たな文書を検出する文書領域候補生成ステ
    ップと、その新たな文書領域を発生せしめるに至った文
    書の動きの候補を検出する動作候補生成ステップと、前
    記文書領域候補生成ステップから出力される文書領域の
    特徴と、前記動作候補生成ステップから出力される動作
    の種類とその特徴量と、前記文書領域マップ記憶ステッ
    プに記憶した過去に検出した文書画像の特徴とを参照し
    て、検出された文書領域の妥当性を判定する領域可能性
    検証ステップと、前記領域可能性検証ステップでの判定
    結果から新たに検出した文書の領域を決定する文書領域
    決定ステップと、前記文書領域決定ステップの出力から
    検出した文書画像を生成する文書画像生成ステップとを
    含み、前記文書画像生成ステップは新たに検出した文書
    の領域を出力すると共に、その文書の領域が上に重なっ
    た既検出文書の領域も出力することを特徴とする記録媒
    体。