JP4989590B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に画像をデジタル処理する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、撮像装置により生成された被写体の画像（デジタル画像データ）を画像処理装置で編集を行う画像処理システムが用いられている。撮像装置としては、例えば、デジタルカメラやイメージスキャナが知られている。また、画像処理装置で編集された画像は、表示装置の画面に出力されてオペレータの閲覧を可能とする。

このような画像処理システムは、コンピュータにおける帳票等の紙媒体の画像記録や紙面の情報の閲覧・入力を行う業務に用いられている。例えば、デジタルカメラを用いて紙媒体の情報を表示装置の画面に出力すると、オペレータは画面で紙面の閲覧を行いながら、その情報を必要に応じてコンピュータに入力することが可能となり、業務効率の向上を図ることができる。

また、画像処理システムでは、画像閲覧時の情報の視認性を向上するために被写体の画像を高画質、すなわち大きな画素数で生成することが行われる。ただし、このためには撮像装置の同時撮影（撮像）可能な画素数に高い性能が必要となる。また、画素数の増大に伴い、撮像装置のデータの転送能力にも高い性能が必要となる。そこで、撮像装置には、１枚の画像を複数の領域に分割して撮影した分割画像を生成するものがある。そして、画像処理装置で複数の分割画像を結合して画素数の大きな１枚の画像（合成画像）とする。これにより、撮像装置に高い撮影能力等がなくても高画質の画像を得ることができる。

ここで、この方法では、被写体の合成画像を得るために複数の分割画像を取得する必要があり、合成画像の出力までに遅延が発生する可能性がある。このため、合成画像の出力までの遅延を抑止する目的で、オペレータによる画像読み取り開始の指示前から分割画像の取得を開始するようにしている（プレスキャン）。

しかし、プレスキャンではオペレータによる撮影動作によっては、出力される合成画像に手写り領域（画像上で被写体等を覆う手が撮影されてしまった領域）が含まれてしまう可能性がある。

具体的には、オペレータは、紙媒体の画像を取得する際に、（１）まず、紙媒体を撮像装置の所定の撮影位置に設置し、（２）その後、画像処理装置等へのキー入力により合成画像の出力指示を行う。ここで、プレスキャンは、（１）の動作以前から開始されており、（１）の動作中に撮影された分割画像には、オペレータの手が写り込む。このとき、（１）から（２）までの時間間隔が短いと、撮影対象の範囲から手を離しているにも関わらず、プレスキャンによる分割画像に含まれる手写り領域により合成画像にも手写り領域が含まれることになる。

このような手写り等の不要な領域を解消する技術として、手写り等を自動的に検出し、主要な被写体が含まれる領域のみを抽出する方法が知られている（例えば、特許文献１参照）。
特開２００１−２１１３１５号公報

しかし、上記特許文献１に記載の方法では、手写り領域が識別したい情報の上を覆ってしまう場合には適していない。このような場合には、画像（合成画像）の撮影を再度行う必要がある。すなわち、オペレータは、画面出力された合成画像を目視して業務等で必要な情報が取得可能かを判断し、必要に応じて再び撮影動作を行わなければならず、非効率的である。

本発明はこのような点に鑑みてなされたものであり、手写りのない画像を短時間で取得可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記課題を解決するために、画像をデジタル処理する画像処理装置が提供される。この画像処理装置は、撮像手段、分割画像取得手段、合成画像生成手段および判定手段を有する。撮像手段は、被写体の映像を複数の領域に分割した分割領域毎に順次撮像し、分割領域にそれぞれ対応する複数の分割画像を出力する。分割画像取得手段は、撮像手段が順次出力した複数の分割画像それぞれを分割画像記憶手段に格納する。合成画像生成手段は、撮像手段が全ての分割領域を撮像するための所要時間よりも短い時間間隔で、分割画像記憶手段に記憶された複数の分割画像から被写体の映像を１画面分構成する最新の分割画像群を順次取得して、取得した分割画像群を被写体の映像を復元するよう結合した合成画像を継続的に生成し、生成した合成画像を順次出力する。判定手段は、被写体の映像の出力指示を受け付けると、合成画像生成手段が順次出力した合成画像に被写体以外の写り込み画像の領域が存在するか否かの判定を行い、該当の領域が存在する場合、合成画像生成手段が順次出力した次の合成画像の判定を行い、該当の領域が存在しない場合、この合成画像を出力する。

このような画像処理装置によれば、撮像手段により、被写体の映像が複数の領域に分割した分割領域毎に順次撮像され、分割領域にそれぞれ対応する複数の分割画像が出力される。次に、分割画像取得手段により、撮像手段が順次出力した複数の分割画像それぞれが分割画像記憶手段に格納される。そして、合成画像生成手段により、撮像手段が全ての分割領域を撮像するための所要時間よりも短い時間間隔で、分割画像記憶手段に記憶された複数の分割画像から被写体の映像を１画面分構成する最新の分割画像群が順次取得されて、取得された分割画像群が被写体の映像を復元するよう結合された合成画像を継続的に生成し、生成した合成画像が順次出力される。更に、判定手段により、被写体の映像の出力指示が受け付けられると、合成画像生成手段が順次出力した合成画像に被写体以外の写り込み画像の領域が存在するか否かの判定が行われ、該当の領域が存在する場合、合成画像生成手段が順次出力した次の合成画像の判定が行われ、該当の領域が存在しない場合、この合成画像が出力される。

また、上記課題を解決するために、上記画像処理装置と同様の処理を行う画像処理方法が提供される。
また、上記課題を解決するために、上記画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。

上記画像処理装置、画像処理方法および画像処理プログラムによれば、手写りのない画像を短時間で取得可能となる。

以下、本実施の形態を図面を参照して詳細に説明する。
図１は、本実施の形態の概要を示す図である。画像処理装置１は、複数の領域に分割して撮影した画像（分割画像）を合成して１枚の画像（合成画像）を生成する。画像処理装置１は、複数の分割画像をオペレータによる合成画像の出力指示を受け付ける以前から撮影（プレスキャン）し、出力指示を受け付けてから合成画像を出力するまでの応答性能を高めている。画像処理装置１は、撮像手段１ａ、分割画像取得手段１ｂ、分割画像記憶手段１ｃ、合成画像生成手段１ｄおよび判定手段１ｅを有する。

撮像手段１ａは、被写体の映像をｍ個の領域Ｒ１，Ｒ２，・・・，Ｒｍ（ｍは、ｍ≧２の整数）に分割して継続的に撮影する。この結果、全体像を複数の領域に分割した複数の分割画像Ｄ（１，０），Ｄ（１，１），・・・，Ｄ（１，ｍ）を順次生成し、生成した複数の分割画像それぞれを分割画像取得手段１ｂに順次出力する。なお、撮像手段１ａは、領域Ｒｍの撮影後は、再び領域Ｒ１，Ｒ２，・・・と撮影を行い、以降これを繰り返す。すなわち、撮像手段１ａの出力は、分割画像Ｄ（１，ｍ）以降、分割画像Ｄ（２，１），Ｄ（２，２），・・・，Ｄ（ｎ，ｍ），・・・（ｎは、ｎ≧２の整数）と継続されることになる。ここで、ｎは、各領域の分割画像の撮影回数を示す。

分割画像取得手段１ｂは、撮像手段１ａから順次取得する分割画像の系列Ｄ＝｛Ｄ（１，１），Ｄ（１，２），・・・，Ｄ（ｎ，ｍ），・・・｝を分割画像記憶手段１ｃに順次格納する。

分割画像記憶手段１ｃは、分割画像の系列Ｄを記憶する。
合成画像生成手段１ｄは、分割画像記憶手段１ｃに記憶された分割画像の系列Ｄのうち、時系列に連続するｍ個を抽出し、抽出したｍ個の分割画像（分割画像群）を合成して合成画像を生成する。合成画像生成手段１ｄは、例えば、最新のｍ個の分割画像を抽出して継続的に合成画像を生成する。ここで、生成される合成画像の系列をＰで表す。合成画像Ｐ１，Ｐ２，Ｐ３は、合成画像の系列Ｐの時系列に並んだ要素である。合成画像生成手段１ｄは、合成画像の系列Ｐの各要素を生成した順に判定手段１ｅに出力する。

判定手段１ｅは、オペレータ等による被写体の映像の出力指示を受け付けると、合成画像生成手段１ｄから順次取得する合成画像の系列Ｐの各要素につき合成画像中に被写体以外の写り込み画像（例えば、手写り領域）が存在するか否かを判定する。そして、被写体以外の写り込みが存在しない場合には、該当の合成画像を出力する。例えば、判定手段１ｅは、最初に取得した合成画像Ｐ１に手写りが存在すると判定する。その後、判定手段１ｅは、合成画像Ｐ２，Ｐ３と判定を順次行い、合成画像Ｐ３で手写りが存在しないと判定すると、合成画像Ｐ３を出力する。

判定手段１ｅが出力した合成画像Ｐ３は、例えば、図示しない表示装置に出力される。そして、表示装置は、判定手段１ｅから取得する合成画像Ｐ３に基づいて、被写体の映像を画面に出力する。

なお、分割画像記憶手段１ｃには、分割画像の系列Ｄを全て保持するのではなく、最新のｍ個の分割画像のみを保持するようにしてもよい。このようにすると、合成画像生成手段１ｄは、単に分割画像記憶手段１ｃに格納された分割画像群を取得して合成画像を生成すればよいため、最新のｍ個を抽出する処理を省くことができる。

このような画像処理装置１によれば、被写体の映像が複数の領域に分割されて継続的に撮影され、複数の分割画像が順次生成される（プレスキャン）。画像処理装置１に被写体の映像の出力指示が入力されると、生成された最新の複数の分割画像により合成画像が継続的に生成される。更に、時系列に生成される合成画像毎に被写体を覆う領域（例えば、手写り）が存在するか否かが判定され、この領域が存在しない場合に、該当の合成画像が出力される。すなわち、プレスキャンにより撮影されたあるタイミングでの分割画像に手写りが存在したとしても、手写りのない最新の分割画像により生成された合成画像が自動的に出力される。

これにより、オペレータが逐次、画面に出力される被写体の映像を目視して手写りの存在を確認する必要がなくなり、短時間で手写りのない画像を得ることができる。また、オペレータによる撮影動作のやり直しが不要となるため、業務効率の向上を図ることができる。

ところで、図１に示した画像処理装置１は、例えば、金融機関の窓口業務において紙帳票を画像としてコンピュータに取り込む業務に用いる場合に有用である。そこで、このような画像処理装置１を金融機関の窓口業務に関連付けた場合を例に挙げ、実施の形態を図面を参照して詳細に説明する。

図２は、画像処理装置のハードウェア構成を示す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０８を介してＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５，１０６および通信インタフェース１０７が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフト（以下、アプリケーションという）のプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。

ＨＤＤ１０３は、データを記憶するためのディスク装置である。ＨＤＤ１０３には、ＯＳのプログラムやアプリケーションのプログラムが格納される。また、ＨＤＤ１０３には、ＣＰＵ１０１による処理に必要な各種データが格納される。

グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。
入力インタフェース１０５，１０６は、外部装置からのデータの入力を受け付けるインタフェースである。

入力インタフェース１０５には、キーボード１２とマウス１３とが接続されている。入力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号を、バス１０８を介してＣＰＵ１０１に送信する。入力インタフェース１０６には、イメージリーダ１４が接続されている。

ここで、イメージリーダ１４は、帳票の紙面を撮影し、画像として取り込む撮像装置である。イメージリーダ１４は、大きな画素で帳票の画像を取得するために、帳票の画像を複数の領域に分割して撮影する。イメージリーダ１４が各領域を撮影する時間間隔は、例えば、２６０ミリ秒間隔である。イメージリーダ１４の構成は、図４にて後述する。

入力インタフェース１０６は、イメージリーダ１４から送られてくる所定の帳票の画像情報に対応する信号をＣＰＵ１０１にバス１０８を介してＣＰＵ１０１に送信する。また、入力インタフェース１０６は、入力インタフェース１０６の有するＤＭＡ（Direct Memory Access）機能により取得する画像情報をバス１０８を介して直接ＲＡＭ１０２に格納することもできる。

通信インタフェース１０７は、ネットワーク１０に接続されている。通信インタフェース１０７は、ネットワーク１０を介して、他の情報処理装置との間でデータの送受信を行う。

図３は、画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、分割画像記憶部１１０、合成画像記憶部１２０、制御部１３０、分割画像取得部１４０、合成画像生成部１５０、判定部１６０および出力部１７０を有する。これらの機能は、ＣＰＵ１０１により所定のプログラムが実行されることで実現される。なお、これらの機能の少なくとも一部は、専用のハードウェア回路によって実現されてもよい。

分割画像記憶部１１０は、帳票の映像を複数の領域に分割して撮影した画像である複数の分割画像を記憶する。
合成画像記憶部１２０は、複数の分割画像を用いて合成された複数の合成画像を記憶する。

制御部１３０は、分割画像取得部１４０、合成画像生成部１５０および判定部１６０の動作を制御する。
制御部１３０は、分割画像の撮影・取得の開始および停止を分割画像取得部１４０に指示する。分割画像の撮影・取得開始の指示は、例えば、オペレータが帳票の内容を読み取る所定の業務アプリケーションが起動されたタイミングで行われる。また、分割画像の撮影・取得停止の指示は、例えば、画像処理装置１００にオペレータが業務アプリケーションの停止要求の入力を行ったタイミングで行われる。

また、制御部１３０は、画像出力の開始および停止を合成画像生成部１５０および判定部１６０に指示する。画像出力開始の指示は、画像処理装置１００にオペレータが帳票の映像の出力指示の入力を行ったタイミングで行われる。また、映像出力停止の指示は、制御部１３０が判定部１６０から合成画像に手写りが存在しない旨の通知を受けたタイミングで行われる。

分割画像取得部１４０は、制御部１３０から分割画像の撮影・取得の開始の指示を受け付けると、イメージリーダ１４に帳票の撮影を実行させる。ここで、イメージリーダ１４は、前述のように帳票の画像を複数の領域に分割して順次撮影し、撮影した分割画像を分割画像記憶部１１０に順次格納する。また、分割画像取得部１４０は、制御部１３０から分割画像の撮影・取得の停止指示を受け付けるまで継続的に撮影を継続し、停止指示を受け付けるとイメージリーダ１４に帳票の撮影を停止させる。

合成画像生成部１５０は、制御部１３０から画像出力開始の指示を受け付けると、分割画像記憶部１１０に記憶された複数の分割画像を取得して１枚の合成画像を生成する。合成画像生成部１５０は、制御部１３０から画像出力停止の指示を受け付けるまで継続的に合成画像の生成を実行し、停止指示により合成画像の生成を停止する。合成画像生成部１５０は、生成した合成画像を合成画像記憶部１２０に順次格納する。また、合成画像生成部１５０は、制御部１３０から合成画像の生成停止指示を受け付けると、合成画像記憶部１２０に記憶された合成画像を削除する。

判定部１６０は、制御部１３０から画像出力開始の指示を受け付けると、合成画像記憶部１２０に記憶された最新の合成画像を取得して、取得した合成画像に手写りの領域が含まれているか否かを判定する。そして、判定部１６０は、合成画像に手写りの領域が含まれていないと判定すると、手写り領域が含まれていない合成画像を取得した旨を制御部１３０に通知すると共に該当の合成画像を出力部１７０に出力する。

なお、判定部１６０による手写りの有無の判定は、例えば、合成画像に含まれる所定の領域の各画素の平均階調値（濃度値）が所定の範囲に存在するか否かを検出することによって行うことができる。また、例えば、合成画像に含まれる各画素に所定の範囲の階調値（例えば、肌色階調値）を表す連続した画素が所定の画素数以上で含まれるか否かを検出することでも行うことができる。

出力部１７０は、判定部１６０から取得した合成画像をモニタ１１に出力する。
モニタ１１は、画面に出力部１７０から取得した合成画像を出力する。
オペレータは、モニタ１１の画面を閲覧しながら、例えば、業務アプリケーションが同一の画面に出力するテキストボックス等に帳票に記載された情報を入力して、ネットワーク１０に接続されたサーバコンピュータ等にその情報を送信したり、閲覧中の画面を記録用に保存したりする。

図４は、イメージリーダの構成を示す図である。イメージリーダ１４は、帳票設置台１４ａ、帳票設置ガイド１４ｂおよびカメラ１４ｃを有する。イメージリーダ１４には、オペレータにより帳票２０が設置されて撮影される。

帳票設置台１４ａは、帳票２０を設置し、またカメラ１４ｃを支持する台座である。
帳票設置ガイド１４ｂは、帳票２０の位置決めを行うガイド部材である。
カメラ１４ｃは、帳票設置台１４ａの上面に設置された帳票２０の撮影を行うデジタルカメラである。

なお、撮影面１４ｄは、帳票設置台１４ａの帳票設置ガイド１４ｂが設けられた面であり、帳票２０が設置されカメラ１４ｃにより撮影される面である。帳票設置ガイド１４ｂは、撮影面１４ｄの中央に帳票２０が設置されるように帳票設置台１４ａ上に配置される。カメラ１４ｃを支持する支持部材の高さや傾きは、カメラ１４ｃで撮影した際に、帳票設置台１４ａの周縁部内側が帳票２０の周縁部外側に所定の幅だけ含まれるよう構成される。

次に、このようなイメージリーダ１４による帳票２０の撮影方法について説明する。
図５は、イメージリーダによる帳票の撮影方法を示す図である。カメラ１４ｃは、撮影面１４ｄの画像を高い画素数で取得するために、撮影面１４ｄを複数の領域に分割して順番に撮影する。例えば、撮影面１４ｄの左上を領域Ｒ１、右上を領域Ｒ２、左下を領域Ｒ３、右下を領域Ｒ４とした４つの領域に分割する。カメラ１４ｃは、画像処理装置１００から分割画像の撮影開始の指示を受け付けると、領域Ｒ１，Ｒ２，Ｒ３，Ｒ４の順に撮影面１４ｄを撮影し、各領域に対応する分割画像Ｄ（ｎ，１），Ｄ（ｎ，２），Ｄ（ｎ，３），Ｄ（ｎ，４）をそれぞれ生成する（ただし、ｎはｎ≧１の整数）。なお、ｎは、各領域を撮影した回数を示している。領域Ｒ４の撮影後は、領域Ｒ１，Ｒ２，・・・と撮影を繰り返す。すなわち、分割画像Ｄ（ｎ，４）以降、分割画像Ｄ（ｎ＋１，１），Ｄ（ｎ＋１，２），・・・を生成する。そして、イメージリーダ１４は、生成した各分割画像を撮影順に画像処理装置１００に出力する。

カメラ１４ｃは、画像処理装置１００から分割画像の撮影開始の指示を受け付けると、撮影停止の指示を受け付けるまで撮影面１４ｄの撮影を継続する。イメージリーダ１４は、カメラ１４ｃにより繰り返し各領域が撮影される度に、各分割画像を画像処理装置１００に順次出力する。

なお、撮影面１４ｄの分割方法は、上記のように４つに分割する方法に限らず、他の分割方法および撮影順序を適用することもできる。
図６は、分割画像テーブルのデータ構造例を示す図である。分割画像テーブル１１１は、分割画像記憶部１１０に記憶される。また、分割画像記憶部１１０は、ＲＡＭ１０２やＨＤＤ１０３上の所定の領域に設けられる。分割画像テーブル１１１には、分割画像取得部１４０がイメージリーダ１４から取得する分割画像が格納される。分割画像テーブル１１１には、領域を示す項目および分割画像を示す項目が設けられる。横方向に並べられた情報同士が互いに関連付けられて、１つの分割領域に関する情報を構成する。

領域を示す項目には、撮影面１４ｄの各領域を示す識別情報が設定される。分割画像を示す項目には、撮影面１４ｄの各領域に対応する分割画像が設定される。
分割画像テーブル１１１には、例えば、領域が“領域Ｒ１”、分割画像が“分割画像Ｄ（ｎ，１）”という情報が設定される。これは、“領域Ｒ１”に対応する分割画像として“分割画像Ｄ（ｎ，１）”が取得されていることを示している。

分割画像テーブル１１１は、領域Ｒ４の撮影結果である分割画像Ｄ（ｎ，４）を取得した直後の状態を示している。分割画像テーブル１１１は、イメージリーダ１４が順次出力する分割画像により、その内容が更新される。このため、例えば、分割画像Ｄ（ｎ＋１，１）を取得した直後には、分割画像テーブル１１１において、“領域Ｒ１”に対応する分割画像として、“分割画像Ｄ（ｎ＋１，１）”が設定された状態となる。以降、同様にして各領域に対応する分割画像が順次更新される。

このようにすると、分割画像記憶部１１０に記憶される各分割画像は、各領域の最新の撮影結果となり、合成画像生成部１５０が分割画像記憶部１１０から最新の分割画像を抽出する処理を省くことができる。また、合成画像を生成するための最小限の情報を記憶しておけばよいため、記憶領域の圧迫を防止できる。

図７は、合成画像テーブルのデータ構造例を示す図である。合成画像テーブル１２１は、合成画像記憶部１２０に記憶される。また、合成画像記憶部１２０は、ＲＡＭ１０２やＨＤＤ１０３上の所定の領域に設けられる。合成画像テーブル１２１には、合成画像生成部１５０が生成した合成画像ＣＰ１，ＣＰ２，ＣＰ３，・・・が時系列に格納される。合成画像ＣＰ１は、分割画像Ｄ（１，１），Ｄ（１，２），Ｄ（１，３），Ｄ（１，４）を結合して得られた合成画像である。合成画像ＣＰ２は、分割画像Ｄ（１，２），Ｄ（１，３），Ｄ（１，４），Ｄ（２，１）を結合して得られた合成画像である。このように、合成画像生成部１５０は、例えば、分割画像が１つ更新される度に合成画像を生成する。なお、合成処理に要する時間に応じて、例えば、分割画像が２つ以上更新されたタイミングで合成画像を生成するようにしてもよい。

次に、以上のような構成を備える画像処理装置１００において実行される処理の詳細を説明する。
図８は、業務処理の手順を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。なお、説明を分かり易くするため、ステップＳ１３，Ｓ１４，Ｓ１６，Ｓ１７ではオペレータによる操作を示している。

［ステップＳ１１］画像処理装置１００は、オペレータによる業務アプリケーションの開始指示に基づき業務アプリケーションを起動する。
［ステップＳ１２］制御部１３０は、業務アプリケーションが起動されると分割画像取得部１４０に分割画像の撮影・取得の開始を指示する。分割画像取得部１４０は、制御部１３０の指示を受け、イメージリーダ１４の撮影を開始させ、また、イメージリーダ１４から順次取得する分割画像を分割画像記憶部１１０に格納する。以降、分割画像取得部１４０による分割画像の取得は、ステップＳ１９まで継続される。なお、上述の通り、分割画像記憶部１１０に記憶される４つの分割画像は、分割画像取得部１４０が取得する最新の分割画像により、順次更新される。

［ステップＳ１３］オペレータは、イメージリーダ１４の撮影面１４ｄに帳票２０を設置する。
［ステップＳ１４］オペレータは、業務アプリケーション上で帳票２０の画像のモニタ１１への出力指示を行う。この出力指示は、業務アプリケーションで用意される所定のユーザインターフェースに対する操作により実現される。

［ステップＳ１５］制御部１３０は、上記ステップＳ１４の出力指示を受け付けると、帳票２０の画像出力開始を合成画像生成部１５０および判定部１６０に指示する。この指示により、合成画像生成部１５０は合成画像の生成を開始し、判定部１６０は生成された合成画像の判定結果（合成画像や読み取りエラー等）を、出力部１７０を介してモニタ１１に出力する。

［ステップＳ１６］オペレータは、モニタ１１に出力された映像に基づいて、業務アプリケーションを用いた所定の業務動作を行う。業務動作とは、例えば、帳票２０に記入された情報を画像処理装置に入力してサーバコンピュータに送信する、モニタ１１に出力された映像を画像として保存する等である。なお、モニタ１１に出力される映像は、帳票２０の読取結果によっては、エラーを通知するものとなる場合もある。

［ステップＳ１７］オペレータは、帳票２０の再読み取りや他の帳票の読み取りが必要か否かを判断する。読み取りが必要である場合、処理がステップＳ１３に移される。読み取りが必要でない場合、処理がステップＳ１８に移される。

［ステップＳ１８］制御部１３０は、オペレータによる業務アプリケーション上の所定の操作により業務アプリケーションの終了指示を受け付けたことを検知する。
［ステップＳ１９］制御部１３０は、分割画像取得部１４０に分割画像の撮影・取得の停止を指示する。分割画像取得部１４０は、制御部１３０の指示を受け、イメージリーダ１４の撮影を停止させる。

［ステップＳ２０］画像処理装置１００は、オペレータによる業務アプリケーションの終了指示に基づき業務アプリケーションを終了する。
このようにして、画像処理装置１００は、業務処理と連携して繰り返し帳票の読み取り処理を実行する。その際、帳票２０の映像の出力までの応答性能を高めるため、上記ステップＳ１２に示すようにプレスキャンを行う。ここで、上記ステップＳ１３，Ｓ１４の時間間隔が短い場合、プレスキャンにより取得された分割画像を合成して帳票２０の合成画像を得ると、この画像には手写りが存在する可能性がある。

しかし、画像処理装置１００では、このような手写りが含まれる分割画像を除いて生成された合成画像を自動的に出力するようにしている。
以下では、このような処理を行う上記ステップＳ１５の帳票読取処理を更に詳細に説明する。

図９は、帳票読取処理の手順を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。なお、以下の処理は、図８におけるステップＳ１５の処理を詳細に示した処理である。

［ステップＳ３１］制御部１３０は、帳票２０の映像をモニタ１１に出力する旨の指示を受け付ける。制御部１３０は、合成画像生成部１５０および判定部１６０に合成画像の生成開始指示を行う。

［ステップＳ３２］合成画像生成部１５０は、制御部１３０から合成画像の生成開始の指示を受け付けると、分割画像記憶部１１０の分割画像テーブル１１１に記憶された４つの分割画像を合成して合成画像を生成する。合成画像生成部１５０は、生成した合成画像を合成画像記憶部１２０に順次格納する。合成画像生成部１５０は、以降ステップＳ４０まで合成画像の生成・格納を継続する。なお、合成実行は、上述した通り、分割画像テーブル１１１に格納された分割画像が１つ以上更新されたタイミングで行われる。

［ステップＳ３３］判定部１６０は、制御部１３０から上記ステップＳ３１の指示を受け付けると、カウンタｉ＝０をセットする。カウンタｉは、例えば、判定部１６０が使用可能なＲＡＭ１０２の所定の領域に格納される。

［ステップＳ３４］判定部１６０は、合成画像記憶部１２０に記憶された最新の合成画像を取得する。
［ステップＳ３５］判定部１６０は、取得した合成画像に手写りが存在するか否かを判定する。手写りが存在する場合、処理がステップＳ３６に移される。手写りが存在しない場合、処理がステップＳ３８に移される。

［ステップＳ３６］判定部１６０は、カウンタｉ＜Ｘ（Ｘは、整数）であるか否かを判定する。ｉ＜Ｘである場合、処理がステップＳ３７に移される。ｉ≧Ｘである場合、処理がステップＳ３９に移される。ここで、Ｘは、判定部１６０による判定処理を実行する上限回数を示している。すなわち、判定部１６０は、Ｘ回判定処理を行うと帳票２０の読み取りが不可であると判定する。

［ステップＳ３７］判定部１６０は、カウンタｉをインクリメントする。そして、処理がステップＳ３４に移される。
［ステップＳ３８］判定部１６０は、手写りが存在しないと判定した合成画像を出力部１７０に出力する。

［ステップＳ３９］判定部１６０は、帳票２０の読み取りが不可である旨を示すエラー通知を出力部１７０に出力する。
［ステップＳ４０］判定部１６０は、手写りのない合成画像を取得した、または、帳票２０の読み取りが不可であった旨の通知を制御部１３０に出力する。制御部１３０は、判定部１６０からこの通知を受け付けると、合成画像生成部１５０に合成画像の生成停止を指示する。

［ステップＳ４１］合成画像生成部１５０は、制御部１３０から合成画像の生成停止の指示を受け付けると、合成画像の生成を停止し、合成画像記憶部１２０に記憶された合成画像を削除する。

［ステップＳ４２］出力部１７０は、判定部１６０から取得した合成画像をモニタ１１に出力する。
このようにして、画像処理装置１００は、順次生成される各合成画像に手写りが存在するか否かの判定を行い、手写りの存在しない合成画像をモニタ１１に出力する。

なお、上記ステップＳ３６に示すように手写り判定の回数に上限値Ｘを設け、判定回数が上限値Ｘを超える場合には、帳票の読み取りを不可としてエラーを出力する。ここで、Ｘの値は、オペレータの利用状況により任意に設定可能とする。このような上限値Ｘを設けることで、例えば、帳票２０が帳票設置台１４ａに正しく設置されていない等が原因で、手写り判定処理を適正に実行できない場合に、不要な判定処理が継続して実行されるのを防止することができる。

以下では、分割画像の合成処理に関して更に具体的に説明する。
図１０は、分割画像の合成処理を示すタイミング図である。以下、図１０に示す処理をステップ番号に沿って説明する。

［ステップＳＴ５１］イメージリーダ１４は、新たに帳票設置台１４ａに設置された帳票２０の撮影を行う。分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（１，１）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（１，１）には、手写りが存在するものとする。

［ステップＳＴ５２］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（１，２）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（１，２）には、手写りが存在するものとする。

［ステップＳＴ５３］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（１，３）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（１，３）には、手写りが存在するものとする。

［ステップＳＴ５４］合成画像生成部１５０および判定部１６０は、制御部１３０から合成画像の生成開始の指示を受け付ける。
［ステップＳＴ５５］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（１，４）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（１，４）には、手写りが存在しないものとする。合成画像生成部１５０は、分割画像記憶部１１０の分割画像テーブル１１１に記憶された４つの分割画像Ｄ（１，１）〜Ｄ（１，４）を合成して合成画像ＣＰ１を生成する。判定部１６０は、合成画像生成部１５０が生成した合成画像ＣＰ１に手写りが存在すると判定する。

［ステップＳＴ５６］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（２，１）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（２，１）には、手写りが存在しないものとする。合成画像生成部１５０は、分割画像記憶部１１０の分割画像テーブル１１１に記憶された４つの分割画像Ｄ（１，２），Ｄ（１，３），Ｄ（１，４），Ｄ（２，１）を合成した合成画像ＣＰ２を生成する。判定部１６０は、合成画像生成部１５０が生成した合成画像ＣＰ２に手写りが存在すると判定する。

［ステップＳＴ５７］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（２，２）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（２，２）には、手写りが存在しないものとする。合成画像生成部１５０は、分割画像記憶部１１０の分割画像テーブル１１１に記憶されたＤ（１，３），Ｄ（１，４），Ｄ（２，１），Ｄ（２，２）を合成した合成画像を生成する（図示を省略）。この合成画像を便宜的に合成画像ＣＰ３とする。判定部１６０は、合成画像生成部１５０が生成した合成画像ＣＰ３に手写りが存在すると判定する。

［ステップＳＴ５８］分割画像取得部１４０は、イメージリーダ１４から取得した分割画像Ｄ（２，３）を分割画像記憶部１１０の分割画像テーブル１１１に格納する。分割画像Ｄ（２，３）には、手写りが存在しないものとする。合成画像生成部１５０は、分割画像記憶部１１０の分割画像テーブル１１１に記憶された４つの分割画像Ｄ（１，４），Ｄ（２，１），Ｄ（２，２），Ｄ（２，３）を合成した合成画像ＣＰ４を生成する。判定部１６０は、合成画像生成部１５０が生成した合成画像ＣＰ４に手写りが存在しないと判定する。そして、判定部１６０は、合成画像ＣＰ４を出力部１７０に出力する。また、制御部１３０により、合成画像生成部１５０による合成画像の生成が停止される。

このように、画像処理装置１００は、最新の分割画像を用いて合成画像ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４を順次生成する。そして、このうち手写りの存在しない合成画像ＣＰ４をモニタ１１に出力し、合成画像の生成を停止する。

これにより、オペレータが逐次、モニタ１１に出力される帳票２０の映像を目視して手写りの存在を確認する必要がなくなり、短時間で手写りのない合成画像を得ることができる。また、オペレータによる撮影動作のやり直しが不要となるため、業務効率の向上を図ることができる。

次に、手写り有無の判定方法の具体例を示す。
図１１は、判定部による手写り有無の判定方法の具体例を示す第１の模式図である。合成画像２００は、帳票２０をイメージリーダ１４に設置して撮影した分割画像を合成して生成される。合成画像２００は、手写りの存在しない例を示している。合成画像２００は、枠２０１および帳票画像２０２を有する。

枠２０１は、イメージリーダ１４の帳票設置台１４ａが帳票２０の周縁部外側に撮影される黒色の枠である。枠２０１の幅（帳票画像２０２の周縁の辺と枠２０１の周縁の辺との間の長さ）は、例えば、５０ドットである。判定領域２０１ａは、枠２０１の一部の領域である。

帳票画像２０２は、帳票２０が撮影された画像である。
判定部１６０は、例えば、判定領域２０１ａの平均の階調値が所定の階調値よりも薄い色を示しているか否かによって、合成画像２００に手写りが存在するか否かを判定することができる。

判定領域２０１ａの大きさは、例えば、帳票画像２０２の周縁の辺から枠２０１の周縁の辺に向かう方向に５０ドット、枠２０１および帳票画像２０２に沿った方向に５ドットである。この場合、判定領域２０１ａは、５０×５＝２５０ドットの領域となり、判定部１６０は、この２５０ドットに含まれる各画素の階調値の平均値に基づいて、手写りの有無を判定することができる。判定部１６０は、判定領域２０１ａを、一箇所の判定を行った後には枠２０１を走査するように、例えば、枠２０１上を左から右へまたは上から下へと移動させて順次手写り判定を行っていく。

図１２は、判定部による手写り有無の判定方法の具体例を示す第２の模式図である。合成画像２１０は、画像内に手写りが存在する例を示している。合成画像２１０は、枠２１１、帳票画像２１２および手写り領域２１３を有する。

枠２１１は、合成画像２００の枠２０１に対応する。判定領域２１１ａは、合成画像２００の判定領域２０１ａに対応する。帳票画像２１２は、合成画像２００の帳票画像２０２に対応する。

手写り領域２１３は、帳票２０をイメージリーダ１４に設置する際のオペレータの手が写り込んだ領域である。
判定部１６０は、判定領域２１１ａを手写り領域２１３の一部を覆う位置に移動させた際に判定領域２１１ａに含まれる各画素の平均の階調値が所定の階調値よりも薄い色を示していることを検出する。そして、判定部１６０は、合成画像２１０に手写り領域２１３が存在すると判定する。

なお、手写りの有無を判定する所定の平均階調値は、帳票読取処理の前に判定部１６０に予め設定される。この平均階調値は、オペレータにより適宜、設定変更可能とする。このようにすると、オペレータの手の色に依存しない手写り判定を行うことができる。

図１３は、判定部による手写り有無の判定方法の具体例を示す第３の模式図である。合成画像２１０の枠２１１は、領域２１５，２１６，２１７，２１８を有する。
領域２１５は、枠２１１の下部分の領域である。領域２１６は、枠２１１の右部分の領域である。領域２１７は、枠２１１の左部分の領域である。領域２１８は、枠２１１の上部分の領域である。なお、図１３では、分かり易いよう領域２１５，２１６，２１７，２１８を、枠２１１の範囲を超えて示しているが、実際はそれぞれ枠２１１内に含まれる領域である。

判定部１６０は、領域２１５，２１６，２１７，２１８について所定の順序で判定領域２１１ａを走査して手写り判定を行う。走査の方向は、例えば、領域２１５，２１８は左から右に向かう方向とし、領域２１６，２１７は上から下に向かう方向とする。また、判定を行う順序は、オペレータにより設定変更可能とする。例えば、イメージリーダ１４をオペレータの右側に設置して業務を行う場合には、手写り領域の含まれる可能性の高い順、すなわち領域２１５，２１７，２１６，２１８の順に手写り判定を行うようにする。また、同様に、イメージリーダ１４をオペレータの左側に設置して業務を行う場合には、領域２１５，２１６，２１７，２１８の順に手写り判定を行うようにする。

このように、イメージリーダ１４の設置場所に応じて手写り判定を行う順序を最適に設定すると手写り領域２１３を速く検出することができるため、手写り判定に要する時間を短縮することができる。

また、領域２１５，２１６，２１７，２１８のうち、判定対象とする領域をオペレータにより限定可能とする。例えば、イメージリーダ１４をオペレータの右側に設置して業務を行う場合、手写り領域の含まれる可能性のある領域２１５，２１７に関しては手写り判定を行うが、領域２１６，２１８に関しては、手写り判定を行わないようにする。また、同様に、イメージリーダ１４をオペレータの左側に設置して業務を行う場合、手写り領域の含まれる可能性のある領域２１５，２１６のみに関して手写り判定を行うようにする。

このように、手写り領域が含まれる可能性が高い領域のみに関して手写り判定を行うようにすることで、更に手写り判定に要する時間を短縮することができる。
図１４は、判定部による手写り有無の判定方法の具体例を示す第４の模式図である。合成画像２２０は、判定部１６０の手写り判定でエラーとなる例を示している。合成画像２２０は、枠２２１、帳票画像２２２および領域２２６を有する。

枠２２１は、合成画像２００の枠２０１に対応する。帳票画像２２２は、合成画像２００の帳票画像２０２に対応する。領域２２６は、合成画像２１０の領域２１６に対応する。

ここで、帳票画像２２２は枠２２１の右側に寄っており、領域２２６内に枠２２１の領域が存在しない。その原因としては、帳票２０が帳票設置台１４ａに正しく設置されていない等が考えられる。この場合、判定部１６０は、時間が経過しても領域２２６の判定時に常に手写り領域有りと判定する。このような場合には、継続して手写り判定を行っても無意味である。このため、図９のステップＳ３６，Ｓ３９に示すように、判定部１６０は所定回数Ｘの判定処理後にエラーを出力し、オペレータに再読み取りを促すようにする。

これにより、判定部１６０による不要な手写り判定処理が実行されるのを防止することができる。また、正しく読み取られた合成画像のみが利用可能となるため、各合成画像の視認性を統一することができる。

図１１〜１４では、判定部１６０の手写り判定の具体例を示したが、このような方法に限らず他の方法を用いることもできる。例えば、合成画像に含まれる手の色（例えば、肌色）を示す所定の階調値範囲を検出することでも行うことができる。

なお、本実施の形態では金融機関の窓口業務を例に挙げて説明したが、画像処理装置１００はこのような業務に限らず適用することができる。
また、図１や図３に示した処理機能の少なくとも一部は、コンピュータによって実現することができる。その場合には、これらの処理機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、そのプログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

以上、本発明の画像処理装置、画像処理方法および画像処理プログラムを図示の実施の形態に基づいて説明したが、これらに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。また、他の任意の構成物や工程が付加されてもよい。また、本発明は前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

本実施の形態の概要を示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示すブロック図である。 イメージリーダの構成を示す図である。 イメージリーダによる帳票の撮影方法を示す図である。 分割画像テーブルのデータ構造例を示す図である。 合成画像テーブルのデータ構造例を示す図である。 業務処理の手順を示すフローチャートである。 帳票読取処理の手順を示すフローチャートである。 分割画像の合成処理を示すタイミング図である。 判定部による手写り有無の判定方法の具体例を示す第１の模式図である。 判定部による手写り有無の判定方法の具体例を示す第２の模式図である。 判定部による手写り有無の判定方法の具体例を示す第３の模式図である。 判定部による手写り有無の判定方法の具体例を示す第４の模式図である。

符号の説明

１ 画像処理装置
１ａ 撮像手段
１ｂ 分割画像取得手段
１ｃ 分割画像記憶手段
１ｄ 合成画像生成手段
１ｅ 判定手段
Ｐ１，Ｐ２，Ｐ３ 合成画像

Claims (7)

1. 被写体の映像を複数の領域に分割した分割領域毎に順次撮像し、前記分割領域にそれぞれ対応する複数の分割画像を出力する撮像手段と、
   前記撮像手段が順次出力した前記複数の分割画像それぞれを分割画像記憶手段に格納する分割画像取得手段と、
   前記撮像手段が全ての分割領域を撮像するための所要時間よりも短い時間間隔で、前記分割画像記憶手段に記憶された前記複数の分割画像から前記被写体の映像を１画面分構成する最新の分割画像群を順次取得して、取得した分割画像群を前記被写体の映像を復元するよう結合した合成画像を継続的に生成し、生成した合成画像を順次出力する合成画像生成手段と、
   前記被写体の映像の出力指示を受け付けると、前記合成画像生成手段が順次出力した合成画像に前記被写体以外の写り込み画像の領域が存在するか否かの判定を行い、当該領域が存在する場合、前記合成画像生成手段が順次出力した次の合成画像の前記判定を行い、当該領域が存在しない場合、当該合成画像を出力する判定手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、前記合成画像に含まれる所定の外枠領域の各画素が有する階調値の平均値が、所定の階調値範囲内であるか否かによって前記被写体以外の写り込み画像が存在するか否かを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記判定手段は、前記合成画像生成手段が前記被写体の映像の出力指示を受け付けた時点から、順次取得する合成画像につき前記判定を行った回数をカウントし、当該カウントが所定の回数を超えた場合、読み取りエラーを出力することを特徴とする請求項１乃至２記載の画像処理装置。
4. 前記分割画像記憶手段には、前記分割領域の数だけ前記分割領域にそれぞれ対応した記憶領域が設けられており、
   前記分割画像取得手段は、前記各記憶領域に対応する前記分割領域を撮像した分割画像のうち、最新の分割画像で前記各記憶領域を更新することを特徴とする請求項１乃至３記載の画像処理装置。
5. 前記合成画像生成手段は、前記被写体の映像の出力指示を受け付けると、合成画像の生成を開始し、
   前記判定手段は、合成画像に前記被写体以外の写り込み画像の領域が存在しないと判定すると、前記合成画像生成部による合成画像の生成を停止させることを特徴とする請求項１乃至４記載の画像処理装置。
6. 画像をデジタル処理する画像処理装置の画像処理方法において、
   分割画像取得手段が、被写体の映像を複数の領域に分割した分割領域毎に順次撮像して複数の分割画像を出力する撮像手段が出力した前記複数の分割画像を受け付け、当該複数の分割画像を分割画像記憶手段に格納し、
   合成画像生成手段が、前記撮像手段が全ての分割領域を撮像するための所要時間よりも短い時間間隔で、前記分割画像記憶手段に記憶された前記複数の分割画像から前記被写体の映像を１画面分構成する最新の分割画像群を順次取得して、取得した分割画像群を前記被写体の映像を復元するよう結合した合成画像を継続的に生成し、生成した合成画像を順次出力し、
   判定手段が、前記被写体の映像の出力指示を受け付けると、前記合成画像生成手段が順次出力した合成画像に前記被写体以外の写り込み画像の領域が存在するか否かの判定を行い、当該領域が存在する場合、前記合成画像生成手段が順次出力した次の合成画像の前記判定を行い、当該領域が存在しない場合、当該合成画像を出力する、
   ことを特徴とする画像処理方法。
7. コンピュータを、
   被写体の映像を複数の領域に分割した分割領域毎に順次撮像して複数の分割画像を出力する撮像手段が出力した前記複数の分割画像を受け付け、当該複数の分割画像を分割画像記憶手段に格納する分割画像取得手段、
   前記撮像手段が全ての分割領域を撮像するための所要時間よりも短い時間間隔で、前記分割画像記憶手段に記憶された前記複数の分割画像から前記被写体の映像を１画面分構成する最新の分割画像群を順次取得して、取得した分割画像群を前記被写体の映像を復元するよう結合した合成画像を継続的に生成し、生成した合成画像を順次出力する合成画像生成手段、
   前記被写体の映像の出力指示を受け付けると、前記合成画像生成手段が順次出力した合成画像に前記被写体以外の写り込み画像の領域が存在するか否かの判定を行い、当該領域が存在する場合、前記合成画像生成手段が順次出力した次の合成画像の前記判定を行い、当該領域が存在しない場合、当該合成画像を出力する判定手段、
   として機能させることを特徴とする画像処理プログラム。

Images