JP6056319B2

JP6056319B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP6056319B2
Application number: JP2012208898A
Authority: JP
Inventors: 厚憲茂木; 松田　高弘; 高弘松田; 村瀬　太一; 太一村瀬; 源太鈴木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-09-21
Filing date: 2012-09-21
Publication date: 2017-01-11
Anticipated expiration: 2032-09-21
Also published as: US20140086488A1; JP2014063397A; US9218537B2

Description

本発明は、例えば、文書に対する情報提示に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、文書を読む手段として紙媒体を用いる方法が用いられている。一方、コンピュータの性能向上やインターネットの発達により、電子媒体の文書を読む機会も増加している。紙媒体を用いる利点として、大きなサイズで読むことができる、安価である、俯瞰することで文章全体が把握できる、等の利点が挙げられる。一方、電子媒体を用いる利点として、インターネットの情報や動画などの動的に変化する情報を表示できる、持ち運びが容易である、等の利点などが挙げられる。そこで、従来の紙媒体の利点を活かしつつ、電子媒体と連携することで、文書の利用価値を向上させるという新たなインターフェースが開発されている。

上述のインターフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの眼前の紙媒体の文書を撮影して文書画像を取得した後、その文書に関連する付加情報を表示する機能が搭載されている。ここで、付加情報の表示を行う技術として、文書画像上または、投影した紙文書上に付加情報を重畳させて表示する拡張現実感（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）による情報提示方法が、近年提案されている。当該情報提示方法により、付加情報と文章画像上での表示位置とを関連付けることが可能となり、紙媒体と電子媒体を連携することが出来る。

従来技術として、例えば、携帯端末を用いて紙媒体の文書を撮像し、撮像した文書画像に対応する電子文書をデータベースから検索し、その電子文書に関連付けられている付加情報をユーザに提示する方法が開示されている。なお、電子文書の検索のクエリーは、携帯端末に搭載されたカメラから取得した文書画像である。また、付加情報は、例えば携帯端末に搭載されているディスプレイに重畳することで表示される。また、付加情報を表示するデバイスとしてプロジェクタを使用し、投影した紙文書上に付加情報を重畳表示する方法も開示されている。

上記の付加情報の重畳表示を実現する際に、ユーザの使用感や操作性等のユーザビリティを損なわせない為、紙媒体の紙媒体とカメラの相対的な位置関係が変化する場合でも、適切な場所に付加情報が重畳表示され続ける機能が必要となる。この機能を実現する為に、カメラと紙媒体の文書間の相対的な位置と姿勢を逐次推定する、文書画像のトラッキング技術が必要となる。

文書画像のトラッキング技術として、文書画像に対して文字の端点や交差点などの特徴的なピクセル点（特徴点）を抽出し、その特徴点の位置を隣接フレーム間で追跡していくことでトラッキングを実現する方法が存在する。例えば、Harrisオペレータと称される画像中の角の部分を抽出した特徴点の抽出と、Lucus-Kanade法に基づくオプティカルフロー計算による特徴点の追跡を行い、特徴点の全体の追跡結果からカメラと紙媒体の文書間の相対的な位置と姿勢を推定する。この推定結果を用いて付加情報の表示位置を毎時間更新する方法が開示されている。

竹田一貴ら、「スマートフォンで動作するリアルタイム文書画像検索」電子情報通信学会、信学技報、ＰＲＭＵ２０１１−１０４、ｐｐ．３１−３６、２０１１鈴木若菜ら、「プロジェクタを用いた情報投影による印刷文書へのインタラクティブ性の付加」電子情報通信学会、信学技報、ＰＲＭＵ２０１１−１１１、ｐｐ．６９−７４、２０１１

本発明者らの新たな検証により、文書画像のトラッキングにおいて以下の新たな課題が見出された。上述の文書画像のトラッキング方法は、トラッキング対象の画像が文書であるが故に、通常の風景や絵画の画像に比べて類似の特徴点が多数発生し、特徴点の誤追跡が発生しやすいという課題が生じる。例えば、文書画像中のＦとＴの文字を追跡する場合を想定する。ＦとＴの文字の右上端の字形や下端の字形は類似している為、Ｆの特徴点とＴの特徴点を誤って対応付けてしまう課題が発生する。この特徴点の誤った対応付けは、カメラと紙媒体の文書間の距離が離れて画像中の文字密度が増大する場合に顕著に生じる。

近年においては、カメラの高解像度化やディスプレイの大型化が進んでいることから、画像中の文字密度が増大する状況が増えている為、文書画像の特徴点の追跡精度の向上はユーザビリティの観点から非常に重要なものとなる。

本発明は、文書画像の特徴点の追跡精度が向上する画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、撮像された第１の画像を取得する取得部と、第１の画像に含まれる複数の画素を２値画素に変換して第２の画像とする変換部を備える。更に、当該画像処理装置は、第２の画像の２値画素のいずれか一方の画素において、各画素に対して膨張処理または膨張処理及び収縮処理を行う画素変換処理の対象となる画素領域の大きさを示すカーネルサイズを設定し、第２の画像の前記カーネルサイズが示す画像領域の各々について画素変換処理を行うことにより、第２の画像の隣接する同じ値の画素同士を連結して第１の画素連結領域を生成し、第１の画素連結領域の生成を、カーネルサイズの設定を変化させながら２値画素のいずれか一方または両方の組み合わせにより定義される画素数の変化率が所定の範囲の値になるまで繰り返し行い、画素数の変化率が所定の範囲の値になったときのカーネルサイズを基に生成された第１の画素連結領域を第２の画素連結領域とする生成部と、第２の画素連結領域の外縁から特徴点を抽出する抽出部を備える。更に、当該画像処理装置は、撮像時間が異なる複数の第１の画像に対応する複数の第２の画像から生成された複数の第２の画素連結領域の特徴点から、特徴点の移動量を算出する算出部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、文書画像の特徴点の追跡精度を向上させることが可能となる。

一つの実施形態による画像処理装置１が含まれる情報提示装置１０の機能ブロック図である。画像処理装置１による初期処理のフローチャートである。文書ＩＤ（特定情報）、付加情報ならびに基準点に対する付加情報の相対位置のデータ構造の一例を示すテーブルである。画像処理装置１による逐次処理のフローチャートである。生成部５による画素連結領域の生成処理のフローチャートである。カーネルサイズと画素変化数を含むデータ構造の一例と示すテーブルであるカーネルサイズと黒画素数の関係図である。抽出部６が抽出する特徴点のデータ構造の一例を示すテーブルである。（ａ）は、取得部３が取得した文書画像である。（ｂ）は、生成部５が生成した画素連結領域と、抽出部６が画素連結領域から抽出した特徴点の概念図である。算出部７が対応付ける特徴点のデータ構造の一例を示すテーブルである。ホモグラフィと各時刻における基準点を含むデータ構造の一例を示すテーブルである。（ａ）は、比較例となる画素連結領域を生成しない場合の特徴点追跡結果である。（ｂ）は、実施例１に開示する画素連結領域を生成した場合の特徴点追跡結果である。変換部４による画素変換処理のフローチャートである。配置領域のデータ構造の一例の示すテーブルである。一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置１が含まれる情報提示装置１０の機能ブロック図である。情報提示装置１０は、画像処理装置１、撮像素子２、表示部８、記憶部９を有する。更に、画像処理装置１は、取得部３、変換部４、生成部５、抽出部６、算出部７を有する。

情報提示装置１０は、例えば、ユーザによって使用されるＰＣや携帯端末等の情報機器である。更に、情報提示装置１０は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことが可能である。

撮像素子２は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子２をＨＭＣ（ＨｅａｄＭｏｕｎｔｅｄＣａｍｅｒａ）として利用することも可能である。撮像素子２は、例えば、紙媒体に印刷された文書や、文章を一意的に特定するマーカーを撮像する。なお、撮像素子２は、必ずしも情報提示装置１０に含まれる必要はない。例えば、情報提示装置１０または、画像処理装置１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、撮像素子２を情報提示装置１０以外の外部装置に設けることも可能である。

取得部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部３は、撮像素子２が撮像する画像を撮像素子２から受け取る。また、取得部３は、当該画像に含まれるマーカーを検出し、後述する記憶部９にアクセスすることで、文書ＩＤを特定する。文書ＩＤを特定することで、取得部３がどの様な文章を取得したかを一意的に判別することが可能となる。なお、文書ＩＤを特定情報と称しても良い。

変換部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、変換部４は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。変換部４は、取得部３から画像を受け取り、当該画像に含まれる複数の画素を２値画素に変換する。変換部４は、取得部３から受け取った画像が２値画素のみからなる画像の場合は、２値画素へ変換する必要はない。なお、変換部４による２値画素変換処理の詳細については後述する。

生成部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、生成部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。生成部５は、変換部４が変換した２値画素のいずれか一方の画素において隣接する画素同士を連結させ、連結された画素を含む画素連結領域を生成する。なお、生成部５による画素連結領域の生成処理の詳細については後述する。

抽出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部６は、生成部５が生成した画素連結領域の外縁から特徴点を抽出する。なお、抽出部６による特徴点抽出処理の詳細については後述する。

算出部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部７は、抽出部６が抽出した特徴点の移動量を、撮像素子２が異なる時間に撮像する複数の画像から算出する。なお、算出部７の特徴点の移動量の算出処理の詳細については後述する。

表示部８は、例えば、ディスプレイ、プロジェクタ、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）などの表示デバイスである。表示部８は、例えば、算出部７が算出した特徴点の移動量と、取得部３が特定した付加情報を表示させる位置情報に基づいて付加情報を表示する。また、表示部８は、必ずしも情報提示装置１０に含まれる必要はない。例えば、情報提示装置１０または、画像処理装置１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、表示部８を情報提示装置１０以外の外部装置に設けることも可能である。

記憶部９は、例えば、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部９は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）であってもよい。記憶部９には、例えば、文章ＩＤや付加情報等の各種データが記憶される。なお、記憶部９は、必ずしも情報提示装置１０に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、情報提示装置１０または、画像処理装置１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、記憶部９を情報提示装置１０以外の外部装置に設けることも可能である。

なお、画像処理装置１は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの集積回路で構成しても良い。

図２は、画像処理装置１による初期処理のフローチャートである。図２に示す初期取得処理は、ユーザによって画像処理装置１の使用が開始される際（例えば、撮像素子２による紙媒体の撮像または、当該紙媒体と異なる紙媒体の撮像時）に実行されれば良い。先ず、取得部３は、撮像素子２が撮像する画像を取得する（ステップＳ２０１）。ここで、画像には、文字や写真情報を含む文書の他に、文書を一意的に特定する特定情報となるマーカーが含まれているものとする。なお、実施例１では、説明の便宜上、文字、写真ならびにマーカーは紙媒体に印刷されているものとするが、必ずしも紙媒体に印刷されている必要はない。例えば、ディスプレイに表示された文書画像を撮像素子２が撮像しても良い。

取得部３は、取得した画像からマーカーを検出する（ステップＳ２０２）。なお、マーカーの検出方法は、例えば、「Hirokazu Kato, Mark Billinghurst: Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System, “Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR ’99)”, pp.85-94, 1999」に開示される方法を使用することが出来る。

実施例１においては、マーカーは例えば正方形であり、マーカーの各辺を紙媒体の各辺に対して平行に配置する。なお、紙媒体上のマーカーの一辺の大きさＬ［ｃｍ］は、既定の値を用いれば良い。既定の値は、例えば２ｃｍである。また、全ての文書において、紙媒体に対するマーカーの左上頂点の座標は同一としても良い。なお、マーカーの左上頂点の座標は、マーカーの横方向と縦方向に座標軸を規定して文書座標とすることで定めることが出来る。

図３は、文書ＩＤ（特定情報）、付加情報ならびに基準点に対する付加情報の相対位置のデータ構造の一例を示すテーブルである。図３のテーブルには、付加情報を付加する対象となる文書ＩＤ（特定情報）、付加情報、ならびに基準点に対する付加情報の相対位置が含まれている。ここで、付加情報は、例えば、文書に含まれる漢字に対する振り仮名や、特定の文字列に対応する動画コンテンツのＵＲＬ等の情報である。また、基準点は、例えば、上述のマーカーの左上頂点の座標を基準点として設定すれば良い。なお、図３のテーブルは、例えば、予め記憶部９に記憶されているものとする。また、図示はしないが、文書ＩＤ（特定情報）に対応付けられるマーカーのパターンも記憶部９に記憶されているものとする。

図２において、取得部３は、マーカーを検出しなかった場合（ステップＳ２０３−Ｎｏ）は、再度、撮像素子２から画像を取得する。この時、取得部３は、表示部８に対して撮像位置を変更させる旨のメッセージをユーザに対して表示させる処理を実施しても良い。

取得部３は、マーカーを検出した場合（ステップＳ２０３−Ｙｅｓ）は、マーカー左上頂点の画像上における位置Ｉ（ｉ，ｊ）［ｐｉｘｅｌ］と、マーカーの一辺の画像上での大きさｌ［ｐｉｘｅｌ］を特定する。続いて、取得部３は、マーカー内部に描かれているパターンと、記憶部９に記憶されているマーカーのパターンとをテンプレートマッチングする。

取得部３は、類似度が所定の閾値以上かつ最も類似するパターンを特定し、取得部３が取得した画像と文書ＩＤ（特定情報）を対応付ける（ステップＳ２０４）。なお、テンプレートマッチングにおいて、類似度が所定の閾値より小さい場合（ステップＳ２０５−Ｎｏ）は、取得部３は、撮像素子２から再度画像を取得する（ステップＳ２０１）。

取得部３は、文書ＩＤ（特定情報）を特定した場合（ステップＳ２０５−Ｙｅｓ）は、付加情報の表示位置を算出する（ステップＳ２０６）。取得部３は、記憶部９に記憶されている図３に示すテーブルから対象とする文書ＩＤに対応付けられている付加情報と、基準点に対する付加情報の相対位置を取得する。付加情報の表示位置（ｘ、ｙ）［ｐｉｘｅｌ］は、基準点に対する付加情報の相対位置を（Ｘ, Ｙ）［ｃｍ］、画像上のマーカーの一辺の大きさｌ［ｐｉｘｅｌ］、紙媒体上のマーカーの一辺の大きさＬ［ｃｍ］とすると、次式の通り表現できる。
（数１）

ステップＳ２０６において、取得部３による付加情報の表示位置の算出処理が完了すると、図２のフローチャートに示す画像処理装置１による初期処理が完了する。

図４は、画像処理装置１による逐次処理のフローチャートである。なお、図４に示す逐次処理は、例えば、図２に示す初期処理が完了した後に実行されれば良い。図４において、取得部３は、撮像素子２から画像を取得する（ステップＳ４０１）。

変換部４は、取得部３から画像を受け取り、画像が白と黒の２値画素以外の場合は、必要に応じてグレイスケール化を施した後、画像に含まる複数の画素を２値画素に変換する（ステップＳ４０２）。なお、２値画素への変換処理（２値化）は、例えば、「N. Otsu: A Threshold Selection Method from Grey-Level Histograms, “IEEE Transactions on Systems, Man, and Cybernetics”, Vol. SMC-9, No.1, pp. 62-66, 1979.」に開示される方法を用いることが出来る。

生成部５は、変換部４が変換した２値画素の何れの２値画素のいずれか一方の画素において隣接する同じ値の画素同士を連結させ、連結された画素を内包または含む画素連結領域を生成する（ステップＳ４０３）。ここで、ステップＳ４０３における生成部５による画素連結領域の生成処理の詳細について説明する。

図５は、生成部５による画素連結領域の生成処理のフローチャートである。先ず、生成部５は、画素連結領域の生成に用いるパラメータとなるカーネルサイズの初期設定する（ステップＳ５０１）。ここで、カーネルサイズとは、特定の画素を後述する膨張処理または収縮処理する処理領域の大きさを示す。ステップＳ５０１において、カーネルサイズの初期値（ｋ）は、例えばｋ＝１に設定されれば良い。また、ステップＳ５０１において、カーネルサイズの形状も規定することも可能である。カーネルサイズの形状は、例えば、円形または四角形であれば良い。

生成部５は、２値画素の何れかの画素に対して、オープニングを施す（ステップＳ５０２）。ここで、オープニングとは、例えば、「Gary Bradski and Adrian Kaehler: “Learning OpenCV”, O’Reilly Media, 2008.」に記載されている画像のモルフォロジー変換のうちの一つである。オープニングは、同じ回数だけ収縮処理した後に、膨張処理すること指す。ここで、収縮処理は、全画素に対して、近傍に白画素がある黒画素を白画素に変換する処理（「白画素の収縮処理」）である。また、膨張処理は、近傍の定義を反転し、近傍に黒画素がある白画素を黒画素に変換する処理（「黒画素の膨張処理」）である。

文字が含まれる画像にオープニングを施すと、収縮処理（「白画素の収縮処理」）によって、文字と文字の間の白画素の領域が、黒画素の領域によって塗りつぶされることによって、文字と文字の間の領域が、黒画素により連結される。なお、文字と余白（例えば文書段落の外枠）の間の部分については、黒画素の領域が膨張することになる。その後、膨張処理（「黒画素の膨張」）を行うと、前の収縮処理により既に連結された画素連結領域はそのまま変化せず、文字と余白の間の膨張されていた部分が元の文字の形状にまで収縮される。結果的に、オープニングによって、文書画像の段落内部の部分は黒画素で塗りつぶされ、段落の外縁の形状は、外縁付近の文字の字形の特徴を含むことになる。

また、同じ回数だけ膨張して収縮する処理はクロージングと称される。クロージングによって、文書画像の段落内部の部分に生ずる小さな白抜きの穴（白画素の凝集領域）を除去することが可能となる。この為、生成部５は、ステップＳ５０２において、オープニングとクロージングを併用しても良い。なお、実施例１においては、説明の便宜上、生成部５はオープニングのみを実施するものとする。

生成部５は、オープニングにより生じた画素数の変化率を計測する（ステップＳ５０３）。変化率を着目する画素は、白画素、黒画素、または白画素と黒画素の組み合わせの何れを用いることが可能であるが、実施例１においては、説明の便宜上、黒画素数の変化率を計測するものとする。なお、画素数の変化率は、例えば、カーネルサイズｋとカーネルサイズｋ−１の時の黒画素数の差分で規定しても良い。また、予め範囲を定めたすべてのカーネルサイズの黒画素数を計測して、当該黒画素数を曲線でフィッティングして、曲線の曲率に基づいて画素数の変化率を計測しても良い。実施例１においては、説明の便宜上、画素数の変化率は、例えば、カーネルサイズｋとカーネルサイズｋ−１の時の黒画素数の差分とする。

生成部５は、画素数の変化率が所定の閾値以下か否かを判定する（ステップＳ５０４）。画素数の変化率が所定の閾値より大きい場合（ステップＳ５０４−Ｎｏ）は、カーネルサイズを１つインクリメントさせて（ステップＳ５０５）、ステップＳ５０２の処理に戻る。画素数の変化率が所定の閾値以下の場合（ステップＳ５０４−Ｙｅｓ）は、生成部５は、カーネルサイズを決定し、当該カーネルサイズを、例えば、生成部５の図示しないキャッシュやメモリに保存する（ステップＳ５０６）ことで、図５のフローチャートに示す生成部５による画素連結領域の生成処理が完了する。

なお、ステップＳ５０４において、所定の閾値は、シミュレーションや実験により任意に定めることが出来る。例えば、所定の閾値は、９０００であれば良い。また、上述の曲率に基づいて画素数の変化率を計測する場合は、曲率が最大かつ画素数が所定数以上のカーネルサイズを用いればよい。また、所定の閾値は、黒画素数の変化の割合量が一定以下となる値を用いても良い。

図５のフローチャートに示す生成部５による画素連結領域の生成処理は、取得部３が撮像された画像を取得する度に実行されるが、ステップＳ５０６でカーネルサイズを保存しておくことで、ステップＳ５０１において、初期カーネルサイズとして、保存したカーネルサイズを用いることが可能である。このことにより、ステップＳ５０３における画素数の変化率の演算処理負荷が軽減される効果が創出される。また、キャリブレーションの観点から、生成部５は、保存したカーネルサイズを１ないし２デクリメントさせたカーネルサイズを、ステップＳ５０１における初期カーネルサイズとして適用しても良い。

図６は、カーネルサイズと画素変化数を含むデータ構造の一例と示すテーブルである。生成部５は、図５のステップＳ５０１ないしステップＳ５０５を繰り返すことによって、図６のテーブルに示すカーネルサイズと画素変化数を含むデータ構造を生成する。なお、図６のテーブルにおいて、図５のステップＳ５０４における閾値判定の追加パラメータとして、画面サイズをデータ構造として格納しても良い。例えば、画面サイズに対して黒画素数の比率が著しく小さい場合は、生成部５は、ステップＳ５０４の判定処理をスキップさせて、ステップＳ５０５に処理を進めても良い。図６のテーブルに示される通り、カーネルサイズが増加すると、黒画素数が増加することが理解出来る。なお、図６のテーブルにおいて、画素変化数は、上述の通り、カーネルサイズｉとカーネルサイズｉ−１の黒画素数の差分で表現されている。

図７は、カーネルサイズと黒画素数の関係図である。なお、図７においては、任意のカーネルサイズでオープニングを施した画像を併せて示す。図７に示される通り、カーネルサイズの増加に伴い、文書画像の文字と文字の間の白画素が黒画素に置換される為、黒画素数が増加する。一方、文書画像の段落内部が塗りつぶされた後は、段落間の間隔が広い為、オープニングによる黒画素への置換が行われず、黒画素数の変化の割合は減少することになる。

本発明者らの鋭意研究の結果、特徴点の追跡精度を向上させる為には、オープニング後の画像が以下の３項の性質を有していることが好ましいことが見出された。
（１）文書画像の段落と段落の間の部分の余白は塗りつぶされず、段落内の文字部分や行間などの余白部分は塗りつぶされている状態で画素連結領域が生成されている。
（２）文書画像の段落の先頭や末尾等の、段落の角の部分が鋭角化されている状態で画素連結領域が生成されている。
（３）文書画像の段落の外縁は、文字の字形の外縁の特徴が含まれている状態で画素連結領域が生成されている。

カーネルサイズが小さすぎる（例えば、図７のカーネルサイズ７参照）場合、上述の（１）項の性質に反し、段落内の文字部分や行間などの余白部分が十分に黒画素で置換されていない為、特徴点を追跡するときに対応付けの混同が発生し、誤追跡が生じる可能性が存在する。一方、カーネルサイズが大きすぎる場合（例えば、図７のカーネルサイズ３５を参照）、上述の（２）項ならびに（３）項の性質に反し、特徴点の抽出量が不十分となる。以上により、特徴点の追跡に適したカーネルサイズが存在することになる。なお、当該特徴点の追跡に適したカーネルサイズは、図５のステップＳ５０４で例示した方法で規定することが可能である。なお、上述の（１）ないし（３）項の性質は必ずしもすべて有する必要はなく、何れかの性質を有するのみでも文章画像の追跡精度は向上する。

図４において、生成部５が画素連結領域を生成した（ステップＳ４０３）後、抽出部６は、画素連結領域の外縁から特徴点を抽出する（ステップＳ４０４）。ステップＳ４０４において、抽出部６は、現時刻ｔにおいて生成部５が生成した画素連結領域から、特徴点を抽出する。特徴点は、例えば、「C. Harris, M. Stephens: A combined corner and edge detector. “Proceedings of the 4th Alvey Vision Conference”, pp.147-151, 1988.」や、「E. Rosten, T. Drummond: Machine learning for high-speed corner detection. “Proceedings of the 2006 European Conference on Computer Vision”, pp.430-443, 2006.」に開示される、画像上の輝度勾配が大きい部分（エッジ）の重なり（コーナー）を検出するHarrisオペレータやFASTを用いることで抽出できる。また、米国特許第６、７１１、２９３号に開示される、画像の拡大縮小や回転に対しても同一の特徴点が抽出できるSIFTを用いることも出来る。

図８は、抽出部６が抽出する特徴点のデータ構造の一例を示すテーブルである。なお、図８に示すテーブルは、上述のHarrisオペレータを用いて特徴点を抽出した場合のデータ構造の一例となる。図８の特徴点ＩＤは、抽出部６が特徴点を抽出した順に任意に付与される。特徴点位置は、例えば、取得部３が取得する画像の左上端を原点とした場合の座標位置である。特徴量は、Harrisオペレータを用いて得られる一次元の特徴量である。

図９（ａ）は、取得部３が取得した文書画像である。図９（ｂ）は、生成部５が生成した画素連結領域と、抽出部６が画素連結領域から抽出した特徴点の概念図である。図９（ａ）の文書画像は、複数の段落から構成されている。図９（ｂ）の画素連結領域は、図６と図７に示すカーネルサイズ２２を用いて生成した画素連結領域と、当該画素連結領域から抽出された特徴点を示している。図９（ｂ）から理解出来る通り、適切なカーネルサイズを用いることによって、上述の（１）項ないし（３）項の条件を満たすことが出来る。特徴点の追跡が誤りやすい文字の特徴点の代わりに、追跡に堅牢な画素連結領域の特徴点を用いることにより文書画像の特徴点の追跡精度を向上させることが可能となる。

図４のステップＳ４０４において、抽出部６が特徴点の抽出処理を実施した後、算出部７は、特徴点の追跡を実施する（ステップＳ４０５）。具体的には、算出部７は、ステップＳ４０５において、現時刻ｔで抽出された特徴点と、前時刻ｔ−１で抽出された特徴点との対応付けを行う。換言すると、前時刻ｔ−１で抽出された特徴点が、現時刻ｔにおいてどこに移動しているのかを計測する。算出部７は、例えば、「B. D. Lucas, T. Kanade: An iterative image registration technique with an application to stereo vision. “Proceedings of the 1981 DARPA Imaging Understanding Workshop”, pp.121-130, 1981.」に開示されるLucas-Kanade法に基づくオプティカルフローを用いることにより、特徴点を対応付けることが出来る。

図１０は、算出部７が対応付ける特徴点のデータ構造の一例を示すテーブルである。特徴点ＩＤと特徴点位置は図８に示す項目と同義である為、詳細な説明は省略する。図１０のテーブルに示される通り、算出部７は、特徴点の対応付け有無の項を参照し、特徴点を対応付けること（追跡すること）が出来なかった特徴点については、それ以降の時刻において特徴点の対応付け（特徴点追跡）を実施しないことで、図４のステップＳ４０５の特徴点追跡における演算負荷を軽減することが出来る。

図４のステップＳ４０５において、算出部７の特徴点追跡処理が完了した後、算出部７は、前時刻ｔ−１と、現時刻ｔで対応付けられた特徴点を用いて、特徴点の移動量に相当するホモグラフィを推定する（ステップＳ４０６）。ここで、ホモグラフィは、二平面間の射影変換行列Ｈを指し、射影変換行列Ｈは以下の通り表現される。
（数２）

ステップＳ４０６において、ホモグラフィの推定には４点以上の対応する特徴点の組が必要となる。前時刻ｔ−１の特徴点の一つをp_b = (i_b, j_b)、現時刻ｔの特徴点の一つをp_p = (i_p, j_p)と表現すると、射影変換行列Ｈは次式の関係性を満たす。
（数３）

ここで、算出部７は、特徴点の対応点が４点の場合は、ホモグラフィが一意に定まるが、４点以上の場合は、再投影誤差（具体的には、計算されたＨでp_bを投影した座標と、p_pの間のずれを指す）を最小化するＨを計算しても良い。また、算出部７は、ノイズの影響を低減するため、例えば、「M. A. Fischler, R. C. Bolles: Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. “Commun. ACM”, no.24, vol.6, pp.381-395, 1981.」に開示されるRANSACのロバスト推定方法を用いても良い。

算出部７は、ステップＳ４０６において算出された、特徴点の移動量となるホモグラフィを用いて、基準点の座標を更新することで、付加情報の表示位置を更新する（ステップＳ４０８）。なお、ホモグラフィは任意の平面から任意の平面への射影変換を示すので、紙媒体と撮像素子２の間の平行移動、回転運動、拡縮運動、傾き運動に対応している。なお、前時刻ｔ−１の基準点の位置(x_src, y_src)から、現時刻ｔの基準点の位置(s_dst, y_dst)を更新する射影変換は、次式の通り表現される。
（数４）

図１１は、ホモグラフィと各時刻における基準点を含むデータ構造の一例を示すテーブルである。図１１のテーブルに示される通り、ホモグラフィを用いることで現時刻ｔにおける基準点が算出される。なお、時刻の経過に伴い基準点が変化している理由の一つとしては、例えば撮像素子２がユーザにより移動されていることが挙げられる。算出部７は、更新された基準点と上述の（数１）を用いることで、付加情報を表示部８に表示させる位置を算出することが可能となる。

図４において、算出部７は、必要に応じてカーネルサイズの初期化判定を行っても良い（ステップＳ４０８）。カーネルサイズの初期化判定は、例えば、撮像素子２と紙媒体間の距離の急激な変化等により、図５のステップＳ５０６で保存したカーネルサイズを初期化する必要が有るか否かを判定する処理である。具体的には、算出部７は、文書ＩＤに依存しない任意の４点の特徴点を、上述のホモグラフィを用いて追跡する。そして、算出部７は、前時刻ｔ−１と現時刻ｔにおいて、４点の特徴点からなる矩形の面積の変化量が、所定の閾値を越えたか否かを判定する。所定の閾値を超えた場合は、カーネルサイズは、例えば１に初期設定される。この処理によって、撮像素子２の急激な位置変化に対応しつつ、図５のフローチャートに示す画素連結領域の生成処理の演算負荷を低減させる効果が創出される。算出部７が必要に応じて、ステップＳ４０８の処理を実施した後、図４のフローチャートに示す画像処理装置１による逐次処理が終了する。

図１２（ａ）は、比較例となる画素連結領域を生成しない場合の特徴点追跡結果である。図１２（ｂ）は、実施例１に開示する画素連結領域を生成した場合の特徴点追跡結果である。図１２（ａ）、（ｂ）において、撮像素子２は、紙媒体に対して平行移動しており、本来の特徴点追跡の軌跡は、左斜め上方向の移動ベクトルとなる。図１２（ａ）に示す比較例においては、本来の軌跡とは異なる軌跡が顕著に表れている。一方、図１２（ｂ）に示す実施例１においては、本来の軌跡とほぼ同等の軌跡となっていることが理解出来る。これは、文書画像の特徴点の追跡精度を向上していることを意味している。

（実施例２）
図１３は、変換部４による画素変換処理のフローチャートである。なお、図１３のフォローチャートに示される処理は、図４のステップＳ４０２に代えて実行することが出来る。
図１３において、変換部４は、取得部３から取得した画像に対してレイアウト解析を実施する（ステップＳ１３０１）。ここで、レイアウト解析とは、文書画像の文書要素（文字、行、段落、図、表、罫線、セル等）の物理的な配置を解析することである。レイアウト解析は、例えば、特許第４４４３４４３号に開示されている方法を用いることができる。

変換部４は、レイアウト解析に基づいて配置領域を規定する（ステップＳ１３０２）。図１４は、配置領域のデータ構造の一例の示すテーブルである。図１４のテーブルにおいて、レイアウト枠ＩＤは、例えば、文書の段落毎によってレイアウト枠が検出された順に付与される。左上頂点座標ならびに右下頂点座標は、例えば、取得部３が取得する画像の左上を原点と定義した場合の位置座標である。なお、図１４のテーブルにおいて、レイアウト枠は矩形で規定されているものとする。また、カーネルサイズの設定の指針として文字サイズを格納することで、図５に示す画素連結領域の生成処理における演算負荷を軽減させることが可能となる。また、文字サイズは後述するステップＳ１３０５で利用しても良い。

変換部４は、取得部３から受け取る画像が白と黒の２値画素以外の場合は、必要に応じてグレイスケール化を施した後（ステップＳ１３０３）、画像に含まれる複数の画素を２値画素に変換する（ステップＳ１３０４）。次に、変換部４は、配置領域内部の塗りつぶしを実施する（ステップＳ１３０５）。実施例２においては、ステップＳ１３０２によって得られる配置領域が矩形である。この為、ステップＳ１３０４において、変換部４は、配置領域の外縁に接しない内部領域の画素をすべて黒画素で置換する処理を実施する。例えば、配置領域が、ステップＳ１３０１のレイアウト解析によって得られる、一文字分の文字領域を囲む矩形の一辺の大きさをｓとすると、例えば、ｓ／３分だけ内側に縮小した領域を黒画素で置換する領域として定義する。

文書画像によっては、オープニング処理において、画素連結領域に白画素が残存することも想定されるが、実施例２においては、白画素の残存を防止すること出来る。これにより、更に文書画像の特徴点の追跡精度が向上する。

（実施例３）
図１５は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図１５に示すように、画像処理装置１は、制御部１１、主記憶部１２、補助記憶部１３、ドライブ装置１４、ネットワークＩ／Ｆ部１７、入力部１８、表示部８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１１は、主記憶部１２や補助記憶部１３に記憶されたプログラムを実行する演算装置であり、入力部１８や記憶装置からデータを受け取り、演算、加工した上で、表示部８や記憶装置などに出力する。

主記憶部１２は、ＲＯＭやＲＡＭなどであり、制御部１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部１３は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１４は、記録媒体１５、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１３にインストールする。

また、記録媒体１５に、所定のプログラムを格納し、この記録媒体１５に格納されたプログラムはドライブ装置１４を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１７は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１８は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１８は、ユーザが制御部１１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部８は、図１に示した同等のハードウェアを用いることが可能である為、詳細な説明は省略する。なお、表示部８は、制御部１１から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することができる。

また、このプログラムを記録媒体１５に記録し、このプログラムが記録された記録媒体１５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像された画像を取得する取得部と、
前記画像に含まれる複数の画素を２値画素に変換する変換部と、
前記２値画素のいずれか一方の画素において、隣接する同じ値の画素同士を連結させ、連結された画素を含む画素連結領域を生成する生成部と、
前記画素連結領域の外縁から特徴点を抽出する抽出部と、
前記画像と撮像時間が異なる前記画像の前記特徴点から前記特徴点の移動量を算出する算出部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記生成部は、前記２値画素のいずれか一方の画素を膨張すること、または前記一方の画素を前記膨張ならびに前記２値画素の他方の画素を収縮することで前記隣接する画素同士を連結させることを特徴とする付記１記載の画像処理装置。
（付記３）
前記生成部は、前記膨張または前記収縮させる処理領域の大きさを変化させて前記膨張または前記収縮を繰り返し行い、前記画素の変化率に基づいて前記画素連結領域を生成することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記画像は少なくとも文字を含んでおり、前記画素連結領域の外縁は、前記文字の字形の外縁の特徴を含むことを特徴とする付記１ないし付記３いずれか一つに記載の画像処理装置。
（付記５）
前記取得部は、前記画像に含まれる基準点を取得し、
前記算出部は、前記特徴点の移動量から前記画像を撮像する撮像素子と前記基準点の相対位置を算出することを特徴とする付記１ないし付記４いずれか一つに記載の画像処理装置。
（付記６）
前記生成部は、前記特徴点の移動量に基づいて前記処理領域の大きさの初期値を規定することを特徴とする付記３記載の画像処理装置。
（付記７）
前記変換部は、前記複数の画素の前記画像に対する配置領域を規定し、前記配置領域の外縁に接しない内部領域の画素を、前記膨張または前記収縮する画素に置換することを特徴とする付記１ないし付記６いずれか一つに記載の画像処理装置。
（付記８）
前記取得部は、前記画像に含まれる前記画像を一意に特定する特定情報を取得し、
前記特定情報に対応付けられる前記画像の付加情報を前記相対位置に基づいて表示する表示部を更に備えることを特徴とする付記５に記載の画像処理装置。
（付記９）
前記特定情報と前記付加情報は、少なくとも前記取得部または前記表示部がアクセス可能な記憶部に記憶されていることを特徴とする付記５記載の画像処理装置。
（付記１０）
撮像された画像を取得し、
前記画像に含まれる複数の画素を２値画素に変換し、
前記２値画素のいずれか一方の画素において、隣接する同じ値の画素同士を連結させ、連結された画素を含む画素連結領域を生成し、
前記画素連結領域の外縁から特徴点を抽出し、
前記画像と撮像時間が異なる前記画像の前記特徴点から前記特徴点の移動量を算出する
ことを含むことを特徴とする画像処理方法。
（付記１１）
前記生成することは、前記２値画素のいずれか一方の画素を、膨張または前記膨張ならびに収縮することで前記隣接する画素同士を連結させることを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記生成することは、前記２値画素のいずれか一方の画素を膨張すること、または前記一方の画素を前記膨張ならびに前記２値画素の他方の画素を収縮することで前記隣接する画素同士を連結させることを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記画像は少なくとも文字を含んでおり、前記画素連結領域の外縁は、前記文字の字形の外縁の特徴を含むことを特徴とする付記１０ないし付記１２いずれか一つに記載の画像処理方法。
（付記１４）
前記取得することは、前記画像に含まれる基準点を取得し、
前記算出することは、前記特徴点の移動量から前記画像を撮像する撮像素子と前記基準点の相対位置を算出することを特徴とする付記１０ないし付記１３いずれか一つに記載の画像処理方法。
（付記１５）
前記生成することは、前記特徴点の移動量に基づいて前記処理領域の大きさの初期値を規定することを特徴とする付記１２記載の画像処理方法。
（付記１６）
前記変換することは、前記複数の画素の前記画像に対する配置領域を規定し、前記配置領域の外縁に接しない内部領域の画素を、前記膨張または前記収縮する画素に置換することを特徴とする付記１０ないし付記１５いずれか一つに記載の画像処理方法。
（付記１７）
前記取得することは、前記画像に含まれる前記画像を一意に特定する特定情報を取得し、
前記特定情報に対応付けられる前記画像の付加情報を前記相対位置に基づいて表示することを更に含むことを特徴とする付記１４に記載の画像処理方法。
（付記１８）
コンピュータに、
撮像された画像を取得し、
前記画像に含まれる複数の画素を２値画素に変換し、
前記２値画素のいずれか一方の画素において、隣接する同じ値の画素同士を連結させ、連結された画素を含む画素連結領域を生成し、
前記画素連結領域の外縁から特徴点を抽出し、
前記画像と撮像時間が異なる前記画像の前記特徴点から前記特徴点の移動量を算出する
ことを実行させることを特徴とする画像処理プログラム。

１画像処理装置
２撮像素子
３取得部
４変換部
５生成部
６抽出部
７算出部
８表示部
９記憶部
１０情報提示装置

Claims

撮像された第１の画像を取得する取得部と、
前記第１の画像に含まれる複数の画素を２値画素に変換して第２の画像とする変換部と、
前記第２の画像の前記２値画素のいずれか一方の画素において、各画素に対して膨張処理または前記膨張処理及び収縮処理を行う画素変換処理の対象となる画素領域の大きさを示すカーネルサイズを設定し、前記第２の画像の前記カーネルサイズが示す画像領域の各々について前記画素変換処理を行うことにより、前記第２の画像の隣接する同じ値の画素同士を連結して第１の画素連結領域を生成し、前記第１の画素連結領域の生成を、前記カーネルサイズの設定を変化させながら前記２値画素のいずれか一方または両方の組み合わせにより定義される画素数の変化率が所定の範囲の値になるまで繰り返し行い、前記画素数の変化率が前記所定の範囲の値になったときの前記カーネルサイズを基に生成された前記第１の画素連結領域を第２の画素連結領域とする生成部と、
前記第２の画素連結領域の外縁から特徴点を抽出する抽出部と、
撮像時間が異なる複数の前記第１の画像に対応する複数の前記第２の画像から生成された複数の前記第２の画素連結領域の前記特徴点から、前記特徴点の移動量を算出する算出部とを備える
ことを特徴とする画像処理装置。
前記第１の画像は少なくとも文字を含んでおり、前記第２の画素連結領域の外縁は、前記文字の字形の外縁の特徴を含む
ことを特徴とする請求項１に記載の画像処理装置。
前記取得部は、前記第１の画像に含まれる基準点を取得し、
前記算出部は、前記特徴点の移動量から前記第１の画像を撮像する撮像素子と前記基準点の相対位置を算出する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記生成部は、前記特徴点の移動量に基づいて前記カーネルサイズの初期値を規定する
ことを特徴とする請求項１記載の画像処理装置。
前記変換部は、前記複数の画素の前記第１の画像に対する配置領域を規定し、前記配置領域の外縁に接しない内部領域の画素を、前記第２の画像に変換する
ことを特徴とする請求項１ないし請求項４いずれか一項に記載の画像処理装置。
前記取得部は、前記第１の画像に含まれる前記第１の画像を一意に特定する特定情報を取得し、
前記特定情報に対応付けられる前記第１の画像の付加情報を前記相対位置に基づいて表示する表示部を更に備える
ことを特徴とする請求項３に記載の画像処理装置。
撮像された第１の画像を取得し、
前記第１の画像に含まれる複数の画素を２値画素に変換して第２の画像とし、
前記第２の画像の前記２値画素のいずれか一方の画素において、各画素に対して膨張処理または前記膨張処理と収縮処理を行う画素変換処理の対象となる画素領域の大きさを示すカーネルサイズを設定して、前記第２の画像の前記カーネルサイズが示す画像領域の各々について前記画素変換処理を行うことにより、前記第２の画像の隣接する同じ値の画素同士を連結して第１の画素連結領域を生成し、
前記第１の画素連結領域の生成を、前記カーネルサイズの設定を変化させながら前記２値画素のいずれか一方または両方の組み合わせにより定義される画素数の変化率が所定の範囲の値になるまで繰り返し行い、前記画素数の変化率が前記所定の範囲の値になったときの前記カーネルサイズを基に生成された前記第１の画素連結領域を第２の画素連結領域とし、
前記第２の画素連結領域の外縁から特徴点を抽出し、
撮像時間が異なる複数の前記第１の画像に対応する複数の前記第２の画像から生成された複数の前記第２の画素連結領域の前記特徴点から、前記特徴点の移動量を算出する
ことを特徴とする画像処理方法。
コンピュータに、
撮像された第１の画像を取得し、
前記第１の画像に含まれる複数の画素を２値画素に変換して第２の画像とし、
前記第２の画像の前記２値画素のいずれか一方の画素において、各画素に対して膨張処理または前記膨張処理と収縮処理を行う画素変換処理の対象となる画素領域の大きさを示すカーネルサイズを設定して、前記第２の画像の前記カーネルサイズが示す画像領域の各々について前記画素変換処理を行うことにより、前記第２の画像の隣接する同じ値の画素同士を連結して第１の画素連結領域を生成し、
前記第１の画素連結領域の生成を、前記カーネルサイズの設定を変化させながら前記２値画素のいずれか一方または両方の組み合わせにより定義される画素数の変化率が所定の範囲の値になるまで繰り返し行い、前記画素数の変化率が前記所定の範囲の値になったときの前記カーネルサイズを基に生成された前記第１の画素連結領域を第２の画素連結領域とし、
前記第２の画素連結領域の外縁から特徴点を抽出し、
撮像時間が異なる複数の前記第１の画像に対応する複数の前記第２の画像から生成された複数の前記第２の画素連結領域の前記特徴点から、前記特徴点の移動量を算出する
ことを実行させる
ことを特徴とする画像処理プログラム。