JP4842374B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、撮像対象物を照明しない非照明時に該撮像対象物を撮像した画像と、撮像対象物を照明する照明時に該撮像対象物を撮像した画像とに基づいて、撮像画像上における該撮像対象物の抽出を行なう画像処理技術に関するものである。

監視や認証の目的で、定点観測で視野に入ってくる被写体を撮影する場合に、被写体の周囲の背景は除き、被写体だけを抜き出した画像が欲しい場合がある。

このために、カメラの視野に入る被写体を照らす照明装置を点滅させ、この照明の点滅タイミングに同期させて撮像をおこない、照明の点灯時に撮影した画像と消灯時に撮影した画像との各画素値の差分を求めることにより、被写体の背景の画像を除去して、被写体だけが写った画像を生成する技術が知られる（以下、照明オン・オフ差分と呼ぶ）。

例えば、照明オン・オフ差分を行なって得た画像を使って外乱光の影響を受けない被写体画像を取得する技術が知られる（例えば、特許文献１参照）。しかし、このような照明オン・オフ差分の画像を生成する際に、照明オン時と照明オフ時との間の僅かな期間に被写体が少しでも動いてしまうと、被写体がブレた状態の差分画像になってしまい、適切に被写体を抽出することができない。

また、予め撮影しておいた正常画像との比較により異常物体を検出する際に、被写体にドットパターン照明を投影し、そのドットパターンを鮮明に撮影するために照明オン・オフ差分を使う技術が知られる（例えば、特許文献２参照）。このように、被写体の存在の有無を調べるために照明オン・オフ差分を使う例は他にもあるが、被写体の存在の有無を調べているだけであるため、これらの公知技術では被写体の移動による画像のブレは考慮していない。

この他、極めて短い時間間隔で連続撮影することによって、撮影した画像間での被写体の移動量を１画素以内に収めることで被写体ブレを防止する方法が知られる。しかし、撮影速度に比べて被写体の移動速度が速い場合や、照明が暗くて高速連続撮影が困難な状況では、この方法では被写体ブレを完全に防ぐことはできない。特に、被写体がカメラに近い場合、この方法では被写体ブレが大きくなってしまう可能性が高い。

また、ＭＰＥＧなど動画エンコーディングの分野では、部分画像のブロックマッチング処理によって動画像中の移動物体の移動方向や移動量を算出する動き検出技術が知られるが、この処理は一般に演算量が多く、高速に処理するには専用のハードウェアや高速演算が可能なＣＰＵ等が必要となり、コスト面での問題がある。
特開平１０−１７７４４９号公報 特開２００１−２５００１号公報

照明の点滅のタイミングに同期して連続的に撮影した２枚の画像の差分画像を生成することによって、被写体の背後に映る背景を除去したり、外乱光の影響を除去して、被写体だけが明瞭に写った画像を生成する場合に、差分を求める画像間で被写体が少しでも移動していると、差分画像を作成しても、被写体がブレたような画像になったり、凹凸が不自然に強調されてしまったりし、鮮明な画像が得られないという問題がある。

本発明は上述した問題点を解決するためになされたものであり、撮像対象物を照明しない非照明時に該撮像対象物を撮像した画像と、撮像対象物を照明する照明時に該撮像対象物を撮像した画像とに基づいて、撮像画像上における該撮像対象物の抽出を行なう画像処理技術において、簡便な装置構成で、且つ少ない処理負荷で高精度な撮像対象物の抽出を実現することのできる技術を提供することを目的とする。

上述した課題を解決するため、本発明に係る画像処理装置は、撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像を取得する第１の画像取得部と、前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像を取得する第２の画像取得部と、前記第１の画像取得部にて取得される第１の画像における各画素の輝度と、前記第２の画像取得部にて取得される第２の画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成部と、前記差分画像生成部にて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出部と、前記高輝度領域抽出部にて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定部とを備えたものである。

また、本発明に係る画像処理方法は、撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像を取得する第１の画像取得ステップと、前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像を取得する第２の画像取得ステップと、前記第１の画像取得ステップにて取得される第１の画像における各画素の輝度と、前記第２の画像取得ステップにて取得される第２の画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成ステップと、前記差分画像生成ステップにて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出ステップと、前記高輝度領域抽出ステップにて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定ステップとを有するものである。

また、本発明に係る画像処理プログラムは、撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像を取得する第１の画像取得ステップと、前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像を取得する第２の画像取得ステップと、前記第１の画像取得ステップにて取得される第１の画像における各画素の輝度と、前記第２の画像取得ステップにて取得される第２の画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成ステップと、前記差分画像生成ステップにて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出ステップと、前記高輝度領域抽出ステップにて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定ステップとをコンピュータに実行させるものである。

本発明の第１の実施の形態による画像処理装置の構成について説明するための機能ブロック図である。 本発明の第１の実施の形態による画像処理装置１における処理（画像処理方法）の流れを示すフローチャートである。 差分画像生成処理の概要および差分画像の一例を示す図である。 マスク画像生成処理の概要およびマスク画像の一例を示す図である。 マスク画像の穴埋め処理について説明するための図である。 マスク画像の穴埋め処理について説明するための図である。 マスク画像の穴埋め処理について説明するための図である。 差分画像生成ステップにて生成された差分画像に対して２値化処理を施した結果の一例を示す図である。 差分画像に２値化処理を施した画像に対して更に「細線化処理」を施した結果の一例を示す図である。 細線化処理の結果に基づいて、２値化した画像における高輝度画像領域の線幅を求める方法を示す図である。 移動判定部１０６における移動量および移動方向の判定方法について説明するための図である。 移動判定部１０６における移動量および移動方向の判定方法について説明するための図である。 移動判定部１０６における移動量および移動方向の判定方法について説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 細線化処理のアルゴリズムについて説明するための図である。 撮像対象物の位置ずれ等が無い場合の、適切な照明オン画像と照明オフ画像との差分画像の一例を示す図である。 マスク画像が、本来の被写体の形状に比べて、被写体の移動方向に移動量分だけ太った状態を示す図である。 マスク画像の形状の調整について説明するための図である。 本発明の第２の実施の形態による画像処理装置１’の構成について説明するための機能ブロック図である。 本発明の第２の実施の形態による画像処理装置における処理（画像処理方法）の流れを示すフローチャートである。 本発明の第３の実施の形態による画像処理装置１”の構成について説明するための機能ブロック図である。 本発明の第３の実施の形態による画像処理装置における処理（画像処理方法）の流れを示すフローチャートである。 マスク画像を利用して余分な線分等を除去する技術について説明するための図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態について説明する。本実施の形態では、連続撮影した２枚の画像間で差分画像を生成する際に、これら画像の撮影間隔の間に撮像対象が移動した場合に、差分画像における撮像対象物の輪郭部分や当該輪郭の内側に輝度の高い画素領域が現れる現象を利用する。

図１は、本発明の第１の実施の形態による画像処理装置の構成について説明するための機能ブロック図である。本実施の形態による画像処理装置１は、撮像装置２にて撮像対象物を撮像して得られる画像データを取得可能となっている。ここでは、撮像装置２にて撮像された画像データはデータベース３に格納され、画像処理装置１はこのデータベース３を参照することにより、画像データを取得する構成となっている。画像処理装置１、撮像装置２およびデータベース３は、互いに電気通信回線を介して通信可能に接続されている。なお、ここでの電気通信回線は、有線であるか無線であるかを問わない。

撮像装置２は、撮像対象物を照明するための照明装置２０１、撮像対象物を撮像するためのＣＣＤカメラ等からなるカメラ２０２、照明装置２０１およびカメラ２０２を制御するための撮像制御部２０３を備えている。照明装置２０１は、撮像制御部２０３からの命令により所望のタイミングでのオンオフが可能となっている。以下、本実施の形態では、照明装置２０１により撮像対象物を照明した状態を「照明時」と呼び、照明装置２０１により撮像対象物を照明していない状態を「非照明時」と呼ぶ。

データベース３は、例えば、データベースサーバ等から構成されており、撮像装置２にて撮像された画像データの格納、画像処理装置１にて利用される種々のデータの管理などを行なう役割を有している。なお、ここでは、画像処理装置１で利用する各種データをデータベース３（画像処理装置１の外部）に格納させる例を示したが、これに限られるものではなく、画像処理装置１内に設けられた所定の記憶領域に格納させるようにしてもよい。

具体的に、本実施の形態による画像処理装置１は、第１の画像取得部１０１、第２の画像取得部１０２、差分画像生成部１０３、対象物領域抽出部１０４、高輝度領域抽出部１０５、移動判定部１０６、補正処理部１０７、ＣＰＵ８０１およびＭＥＭＯＲＹ８０２を備えてなる構成となっている。

第１の画像取得部１０１は、「非照明時」に撮像対象物をカメラ２０２で撮像して得られる「照明オフ画像（第１の画像）」を、データベース３から取得する。

第２の画像取得部１０２は、「照明時」に撮像対象物をカメラ２０２で撮像して得られる「照明オン画像（第２の画像）」を、データベース３から取得する。なお、第１および第２の画像取得部における画像データの取得は、必ずしも画像データを記憶領域に格納させた後に取得する必要はなく、カメラ２０２にて撮像される画像データを直接取り込むようにしてもよい。

差分画像生成部１０３は、第１の画像取得部１０１にて取得される「照明オフ画像」における各画素の輝度と、第２の画像取得部１０２にて取得される「照明オン画像」における各画素の輝度との差分からなる「差分画像」を生成する。差分画像生成部１０３にて生成される差分画像は、データベース３における差分画像記憶領域３０３に格納される。

対象物領域抽出部１０４は、差分画像生成部１０３にて生成される「差分画像」に基づいて、「照明オフ画像」および「照明オン画像」それぞれにおける撮像対象物に対応する画素領域を抽出する。

高輝度領域抽出部１０５は、差分画像生成部１０３にて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する。

移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に基づいて、「照明オフ画像」の撮像タイミングと「照明オン画像」の撮像タイミングとの間での撮像対象物の移動量を判定する。移動判定部１０６における判定結果は、データベース３における対象物移動量・移動方向判定結果記憶領域３０６に格納される。なお、本実施の形態では、照明オン画像を撮像した後に照明オフ画像を撮像する例を挙げているため、移動判定部１０６にて判定される移動量は、照明オン画像の撮像タイミングから照明オフ画像の撮像タイミングまでの間での移動量に相当する。なお、照明オフ画像の撮像タイミングと照明オン画像の撮像タイミングは異なっていればよく、その順序は問わない。

具体的に、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して「細線化処理（詳細は後述）」を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、最も大きいものを移動量と判定する。また、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法が、最も大きい寸法となる位置における該細線と直交する方向を、撮像対象物の移動方向と判定する。

この他、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位３位（所定の順位）までの値を平均したものを移動量と判定することができる。また、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位所定の順位となる複数位置における該細線と直交する方向の平均を、撮像対象物の移動方向と判定することができる。

また、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して細線化処理を施すことにより得られる細線上の複数の所定位置において該細線と直交する方向における該画像領域の各寸法の差が、所定の寸法値を下回る場合、撮像対象物の移動方向は該撮像対象物を撮像する撮像装置による撮像方向であると判定することもできる。

このように、移動判定部１０６にて比較的低負荷な処理で撮像対象物の移動量および移動方向を判定することができる。ブロックマッチング処理の繰り返しなど、他の手段による移動量検出に比べて、軽い処理なので、安価なハードウェアでも容易に実現させることができる。

対象物領域抽出部１０４は、差分画像生成部１０３にて生成される差分画像に基づいて、所定の画素値を超える画素からなる画像領域を、撮像対象物に対応する画素領域として、照明オフ画像および照明オン画像の内いずれか一方から抽出する。これにより、撮像対象物の移動量および移動方向を適切に把握し、当該移動によるズレを補正するための撮像対象物の抽出処理を簡便に実現することができる。

補正処理部１０７は、移動判定部１０６にて判定される移動量に基づいて、対象物領域抽出部１０４にて抽出される画素領域の画像上での位置および寸法が、照明オフ画像および証明オン画像の内いずれか他方における撮像対象物に対応する画素領域と略同じ状態になるように補正する。なお、補正処理部１０７は、画像上における座標値の補正（直線移動）だけでなく、撮像対象物の移動が回転を伴う場合には、画像同士を相対的に回転させる処理も含めた補正処理を行なう。

ＣＰＵ８０１は、画像処理装置における各種処理を行なう役割を有しており、またＭＥＭＯＲＹ８０２に格納されているプログラムを実行することにより種々の機能を実現する役割も有している。ＭＥＭＯＲＹ８０２は、例えばＲＯＭやＲＡＭ等から構成されており、画像処理装置において利用される種々の情報やプログラムを格納する役割を有している。

図２は、本発明の第１の実施の形態による画像処理装置１における処理（画像処理方法）の流れを示すフローチャートである。

撮像制御部２０３は、照明装置２０１によって撮像対象物を照明させた状態（照明時）でカメラ２０２により当該撮像対象物を撮像させる（Ｓ１０１）。

Ｓ１０１にて撮像された画像データは、データベース３に格納される（Ｓ１０２）。第２の画像取得部１０２は、このようにしてデータベース３に格納された当該画像データ（第２の画像）を取得する（第１の画像取得ステップ）。

撮像制御部２０３は、照明装置２０１によって撮像対象物を照明させない状態（非照明時）でカメラ２０２により当該撮像対象物を撮像させる（Ｓ１０３）。

Ｓ１０３にて撮像された画像データは、データベース３に格納される（Ｓ１０４）。第１の画像取得部１０１は、このようにしてデータベース３に格納された当該画像データ（第１の画像）を取得する（第２の画像取得ステップ）。なお、ここでは、照明オフ画像の取得に先立って照明オン画像が取得されている例を示したが、後述の差分画像生成ステップの実行時に両方の画像が取得されていればよく、照明オフ画像および照明オン画像の内いずれを先に取得するかは問わない。

差分画像生成部１０３は、第１の画像取得ステップにて取得される画像における各画素の輝度と、第２の画像取得ステップにて取得される画像における各画素の輝度との差分からなる差分画像を生成する（差分画像生成ステップ）。このようにして生成された差分画像は、データベース３における差分画像記憶領域３０３に格納される（Ｓ１０５）。図３は、差分画像生成処理の概要および差分画像の一例を示す図である。図３に示す例では、撮像対象物の位置ずれ等により、撮像対象物である人の輪郭部分に極端に白い線が現れている。この線の線幅は撮像対象物の位置ずれの量に直結するので、線幅を元に被写体の移動量が推定できる。また、同図に示す例では、撮像対象物の左右方向に太くなっている線が現れているので、撮像対象物が左右方向に位置ずれを起こしていることがわかる。この他、上下方向に太くなっている線が現れる場合は、撮像対象物の上下方向のブレをあらわしている。また、上下左右全方向に均等に高コントラストの線が現れる場合には、撮像対象物が遠近方向に移動したと考えられる。

対象物領域抽出部１０４は、差分画像生成ステップにて生成される差分画像中で画素の輝度値が所定の閾値「Ｔｈ＿ｍａｓｋ」を越える領域を抜き出し、撮像対象物マスク画像として、データベース３における撮像対象物マスク画像記憶領域３０４に格納する（Ｓ１０６）。図４は、マスク画像生成処理の概要およびマスク画像の一例を示す図である。

次に、対象物領域抽出部１０４は、上述のようにして生成したマスク画像における細かな穴を埋める処理を行なう（Ｓ１０７）。図５〜図７は、マスク画像の穴埋め処理について説明するための図である。対象物領域抽出部１０４は、マスク画像の抽出処理時に、例えばノイズ等によりマスク画像の内側に穴が開いたようになった部分ができた場合（図５参照）に、この穴を埋める処理をおこなう。

具体的に、対象物領域抽出部１０４は、生成したマスク画像を外側から走査し、ぶつかった点を基準にマスク画像の境界部分をたどってマスク画像の輪郭線を作成する（図６参照）。

対象物領域抽出部１０４は、上述の処理で出来上がった輪郭線に基づいて、当該輪郭線の内側を塗りつぶすことによって穴埋めを完了する（図７参照）。

高輝度領域抽出部１０５は、差分画像生成ステップにて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する（高輝度領域抽出ステップ）。ここで抽出された画像領域に関する情報は、「線情報」としてデータベース３における線情報記憶領域３０５に格納される（Ｓ１０８）。

Ｓ１０８にて線状の形状を有する画素領域が抽出されていない場合（Ｓ１０９，Ｎｏ）、処理は終了する。

一方、Ｓ１０８にて線状の形状を有する画素領域が抽出されている場合、（Ｓ１０９，Ｙｅｓ）、移動判定部１０６は、高輝度領域抽出ステップにて抽出される画像領域に基づいて、カメラ２０２における「照明オフ画像の撮像タイミング」と「照明オン画像の撮像タイミング」との間での撮像対象物の移動量（どれだけの距離移動したか）および移動方向（どの方向に移動したか）を判定する（移動判定ステップ）（Ｓ１１０）。当該判定処理によって算出される撮像対象物の移動量および移動方向等は、データベース３に格納される。

上述のような処理を経て、移動判定部１０６における撮像対象物の移動量および移動方向の判定（Ｓ１１０）が完了すると、対象物領域抽出部１０４は、差分画像生成ステップにて生成された差分画像およびマスク画像に基づいて、照明オフ画像および照明オン画像の内いずれか一方における、撮像対象物に対応する画素領域を抽出する（対象物領域抽出ステップ）。

補正処理部１０７は、対象物領域抽出部１０４にて照明オフ画像および照明オン画像の内いずれか一方から抽出された撮像対象物に対応する画素領域の画像上における位置および寸法が、照明オフ画像および照明オン画像の内いずれか他方における撮像対象物に対応する画素領域と略同じ状態になるように補正する（補正処理ステップ）（Ｓ１１１）。

差分画像生成部１０３は、補正処理ステップによる補正処理を経た照明オフ画像および照明オン画像間での差分画像を生成し、生成された差分画像をデータベース３に格納する（Ｓ１１２）。

以下、移動判定部１０６による撮像対象物の移動量および移動方向の判定方法（Ｓ１１０）について詳細に説明する。

図８は、差分画像生成ステップにて生成された差分画像に対して２値化処理を施した結果の一例を示す図である。ここで、２値化処理とは、予め決めた閾値よりも小さい画素値を有する画素は「黒」に、閾値よりも大きい画素値を有する画素は「白」にすることであり、白黒２値だけの画像にする処理を意味する。

図９は、差分画像に２値化処理を施した画像に対して更に「細線化処理」を施した結果の一例を示す図である。ここで、細線化処理とは、２画素以上の幅を持つ太い線や面で構成された画像を、幅１画素の線画像にする処理を意味する。この際、細線化した線が元の太い線のなるべく中央を通るように線を求める。

図１０は、細線化処理の結果に基づいて、２値化した画像における高輝度画像領域の線幅を求める方法を示す図である。同図において、細線化前の幅の太い線を「線Ｍ」、細線化した幅１画素の線を「線Ｌ」とする。移動判定部１０６は、線Ｌを構成する任意の画素の位置における線Ｌの幅をチェックする。この際、高速化のために、線Ｌ上の画素を、例えば１０画素毎にチェックするようにしても良い。線Ｌ上の任意の画素Ｖにおいて、線Ｌに対する法線を引き、その法線が線Ｍを横切る際の線Ｍの内側の法線の長さを画素Ｖを基準とした線Ｍの幅とする。

例えば、移動判定部１０６は、高輝度領域抽出ステップにて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、最も大きいものを移動量と判定することができる（図１１参照）。このとき、移動判定部１０６は、高輝度領域抽出ステップにて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法が、最も大きい寸法となる位置における該細線と直交する方向を、撮像対象物の移動方向と判定する。

また、移動判定部１０６は、高輝度領域抽出ステップにて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位所定の順位（例えば、上位１位から５位まで）までの値を平均したものを移動量と判定することもできる（図１２）。ここで、移動判定ステップは、高輝度領域抽出ステップにて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位所定の順位となる複数位置における該細線と直交する方向の平均を、撮像対象物の移動方向と判定することができる。

この他、移動判定部１０６は、高輝度領域抽出部１０５にて抽出される画像領域に対して細線化処理を施すことにより得られる細線上の複数の所定位置において該細線と直交する方向における該画像領域の各寸法の差が、所定の寸法値を下回る場合（すなわち、上記複数の所定位置における各寸法同士が近い数値である場合）（図１３参照）、撮像対象物の移動方向は該撮像対象物を撮像する撮像装置による撮像方向（カメラの対物レンズの光軸方向）であると判定することもできる。

続いて、移動判定部１０６が差分画像に対して行なう細線化処理の一例について説明する。細線化処理のアルゴリズムとしては、種々の技術が知られている。以下に、その一例を挙げる。

（１） まず、移動判定部１０６は、画素値の変更の有無を示す変数「ｃｈａｎｇｅ＿ｆｌａｇ」に「０」を入れる。

（２） 続いて、図１４に示すように、移動判定部１０６は、画像全体を左上から右下に向けて斜め方向に走査する。

移動判定部１０６は、走査中の任意の画素ｐにおいて、その画素ｐの周囲の画素が下記の３種の状態の場合に、その画素ｐの値を「０（黒色）」に変える。この際に画素値に変更を加えたことを示す変数「ｃｈａｎｇｅ＿ｆｌａｇ」に「１」を入れる（図１５参照）（０，１はその画素の値がそれぞれ０，１であること、ｘはその画素の値は何でも良いことを示す）。

（３） 次に、図１６に示すように、移動判定部１０６は、画像全体を右上から左下に向けて斜め方向に走査する。

移動判定部１０６は、走査中の任意の画素ｐにおいて、その画素ｐの周囲の画素が下記の３種の状態の場合に、その画素ｐの値を「０（黒色）」に変える。この際に画素値に変更を加えたことを示す変数「ｃｈａｎｇｅ＿ｆｌａｇ」に「１」を入れる（図１７参照）（０，１はその画素の値がそれぞれ０，１であること、ｘはその画素の値は何でも良いことを示す）。

（４） 次に、図１８に示すように、移動判定部１０６は、画像全体を右下から左上に向けて斜め方向に走査する。

移動判定部１０６は、走査中の任意の画素ｐにおいて、その画素ｐの周囲の画素が下記の３種の状態の場合に、その画素ｐの値を「０（黒色）」に変える。この際に画素値に変更を加えたことを示す変数「ｃｈａｎｇｅ＿ｆｌａｇ」に「１」を入れる（図１９参照）（０，１はその画素の値がそれぞれ０，１であること、ｘはその画素の値は何でも良いことを示す）。

（５） 次に、図２０に示すように、移動判定部１０６は、画像全体を左下から右上に向けて斜め方向に走査する。

移動判定部１０６は、走査中の任意の画素ｐにおいて、その画素ｐの周囲の画素が下記の３種の状態の場合に、その画素ｐの値を「０（黒色）」に変える。この際に画素値に変更を加えたことを示す変数「ｃｈａｎｇｅ＿ｆｌａｇ」に「１」を入れる（図２１参照）（０，１はその画素の値がそれぞれ０，１であること、ｘはその画素の値は何でも良いことを示す）。

（６） 移動判定部１０６は、変数「ｃｈａｎｇｅ＿ｆｌａｇ」が「１」であれば、再び（１）に戻って処理を繰り返す。一方、変数「ｃｈａｎｇｅ＿ｆｌａｇ」が「０」であれば、ここで細線化処理は終了する。

図２２は、撮像対象物の位置ずれ等が無い場合の、適切な照明オン画像と照明オフ画像との差分画像の一例を示す図である。同図に示すように、撮像対象物の位置ずれ等が無い場合、高コントラストの線状画素は現れていない。なお、図３に示した撮像対象物の位置ずれ等がある場合の差分画像に比べると、ぼんやりとした画像に見えるがこれが適切な照明オン・オフ差分画像である。撮像対象物の位置ずれ等がある場合、輪郭部の高コントラストの線だけではなく被写体の内部の模様もコントラストが高まってくっきりと見えるが、それは本来の被写体の模様よりも異常に強調されているため正しい差分画像ではない。

なお、図２に示すフローチャートにて説明したマスク画像については、単に差分画像から抽出するだけでなく、撮像対象物の移動方向や移動量に基づいて、補正を行なってもよい。

マスク画像は、照明オン時・照明オフ時の被写体の画像の論理和となっており、本来の被写体の形状と比べると、被写体の移動方向に移動量分だけ太った形状となっている（図２３参照）。そこで、被写体の移動方向・移動量が推定できた時点で、その移動方向・移動量を元に、マスク画像を削ることによって（図２４参照）、本来の撮像対象物の形状に近づけることが可能である。

また、補正処理部１０７は、移動判定部１０６にて判定される撮像対象物の移動量の差が所定の距離以下である移動方向が複数通りある場合など、移動量と移動方向を一意に決められないとき、該複数通りの移動方向それぞれに基づいて、対象物領域抽出部１０４にて照明オフ画像および照明オン画像それぞれから抽出される２つの画素領域の画像上での位置および寸法が略同じ状態になるように補正する（補正処理ステップ）。

差分画像生成部１０３は、補正処理部１０７による補正処理を経た該２つの画素領域間での差分画像を生成するものであり、移動判定部１０６は、差分画像生成部１０３にて生成される複数の差分画像の内、高輝度領域抽出部１０５にて抽出される画像領域の面積が最も狭い差分画像の生成に用いられた移動方向を撮像対象物の移動方向と判定する。このようにすることで、被写体の動きが僅かである場合などに、被写体の移動量と移動方向を一意に推定できないような微妙な状況で最適な補正結果を得ることができる。

このように、照明オン・オフ差分画像の中から高コントラストの線を抽出し、その線の幅や方向から被写体の移動量・移動方向を推定し、その推定に基づいて、照明オン・オフどちらかの画像中の被写体部分をずらしてから、再び差分画像を作成することによって、被写体ブレの無い明瞭な差分画像を生成することができる。

また、差分画像を使って撮像対象物を大まかに抽出した後、当該撮像対象物の輪郭部分に現れるコントラストの高い線の線幅・位置・方向に基づいて、大まかに抽出した撮像対象物に対応する画素領域を平行移動や拡大縮小等してから、再び差分画像を生成し直すことにより、差分画像を生成することによって背景や外光の影響を排除した被写体画像を得る際に、被写体が多少動いていても適切な被写体画像を得ることができる。このように、被写体ブレの影響を低減させた差分画像を認証などに用いることにより認証精度の向上に寄与することができる。

（第２の実施の形態）
続いて、本発明の第２の実施の形態について説明する。本実施の形態は、上述の第１の実施の形態の変形例である。以下、すでに第１の実施の形態にて説明した部分と同様な機能を有する構成部分については同一符号を付し、説明は割愛する。

図２５は、本発明の第２の実施の形態による画像処理装置１’の構成について説明するための機能ブロック図である。本実施の形態による画像処理装置１’は、第１の実施の形態による画像処理装置１の構成に加え、ブロックマッチング処理部１０８を備えている。

本実施の形態による画像処理装置１’では、補正処理部１０７によって、移動判定部１０６にて判定される移動量に基づいて、前記対象物領域抽出部にて抽出される画素領域の画像上での位置および寸法が、前記第１および第２の画像の内いずれか他方における前記撮像対象物に対応する画素領域と略同じ状態になるように補正を行なう。

そして、ブロックマッチング処理部１０８により、補正処理部１０７による補正処理を経た第１および第２の画像間でブロックマッチング処理が施される。差分画像生成部１０３は、ブロックマッチング処理部１０８にてブロックマッチング処理を施された該２つの画素領域間での差分画像を生成する。これにより、より精度の高い差分画像を得ることができる。

図２６は、本発明の第２の実施の形態による画像処理装置における処理（画像処理方法）の流れを示すフローチャートである。なお、図２６に示すフローチャートにおけるＳ２０１〜Ｓ２１０、Ｓ２１４およびＳ２１５については、図２にて示したフローチャートにおけるＳ１０１〜Ｓ１１０、Ｓ１１１およびＳ１１２と同様な処理であるため、説明は割愛する。

補正処理部１０７は、移動判定ステップ（Ｓ２１０）にて判定される移動量に基づいて、対象物領域抽出ステップ（Ｓ２１１）にて抽出される画素領域の画像上での位置および寸法が、第１および第２の画像の内いずれか他方における撮像対象物に対応する画素領域と略同じ状態になるように補正を行なう（補正処理ステップ）。

ブロックマッチング処理部１０８は、補正処理ステップによる補正処理を経た第１および第２の画像間でブロックマッチング処理を施し、さらに高精度な位置合わせを行なう（ブロックマッチング処理ステップ）（Ｓ２１２）。

ブロックマッチング処理部１０８は、ブロックマッチング処理の結果、最良のマッチングスコアとなった移動量および移動方向をあらためてデータベース３に登録し（Ｓ２１３）、差分画像生成ステップによる差分画像の生成処理へと進む。

本実施の形態によらず、いきなりブロックマッチング処理を行なう構成も採り得るが、非常に多くの候補とのマッチングが必要となり処理時間がかかってしまう。これに対し、本実施の形態の構成のように、ブロックマッチング処理を最終的な補正処理に採用すれば、僅かな処理負荷で高精度な差分画像を得ることができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、上述の第１の実施の形態の変形例である。以下、すでに第１の実施の形態にて説明した部分と同様な機能を有する構成部分については同一符号を付し、説明は割愛する。

図２７は、本発明の第３の実施の形態による画像処理装置１”の構成について説明するための機能ブロック図である。本実施の形態による画像処理装置１”は、第１の実施の形態による画像処理装置１の構成に加え、画素選択部１０９を備えている。

画素選択部１０９は、対象物領域抽出部１０４にて抽出される画素領域の輪郭部分の画素あるいは該輪郭部分の内側に存在する画素のみを選択する。

移動判定部１０６は、画素選択部１０９にて選択される画素に基づいて、撮像対象物の移動量および移動方向を判定する。これにより、余分な線分の抽出処理の発生を抑制することができ、効率的に高精度な補正結果を得ることができる。

図２８は、本発明の第３の実施の形態による画像処理装置における処理（画像処理方法）の流れを示すフローチャートである。なお、図２８に示すフローチャートにおけるＳ３０１〜Ｓ３０９、Ｓ３１１〜Ｓ３１３については、図２にて示したフローチャートにおけるＳ１０１〜Ｓ１０９、Ｓ１１０〜Ｓ１１２と同様な処理であるため、説明は割愛する。

画素選択部１０９は、対象物領域抽出ステップにて抽出される画素領域（撮像対象物マスク画像）の輪郭部分の画素あるいは該輪郭部分の内側に存在する画素のみを選択する（画素選択ステップ）（Ｓ３１０）。

移動判定ステップは、画素選択ステップにて選択される画素のみを対象にして細線化処理等を行い、撮像対象物の移動量および移動方向を判定する。

撮影時に被写体以外の余分な物が映ってしまったり、外光の影響などによって、照明オン・オフ差分画像に余分な線分が出現したりする場合に、この余分な線分を撮像対象物マスク画像を用いて排除することができる（図２９参照）。これによって撮像対象物についての差分画像を生成する場合におけるブレ補正の精度を高めることができる。

なお、上述の各実施の形態において、差分画像生成部１０３による差分画像の生成時や移動判定部１０６による判定処理における線領域の抽出時に、被写体や線を強調するための輝度補正を行ってもよい。

また、上述の各実施の形態では、撮像対象物が人物である場合を例に挙げたが、これに限られるものではなく、例えば「手のひら」を撮像対象物とし、得られる画像データに基づいて「手のひら静脈認証」を実現することもできる。

「手のひら静脈認証」のために手のひらを撮像する場合、カメラと手のひらは数ｃｍ程度しか離れておらず、かなり近距離からの撮像となる。このように、近距離からカメラで撮像する場合、背景と撮像対象物の明るさの差が大きくなりやすい。このように背景と撮像対象物の明るさの差がかなり大きくなる場合には、差分画像生成部にて生成される差分画像を２値化し、線画像やマスク画像を作成する際の閾値の設定を周囲の照明状況に応じて調整することが望ましい。

また、上述した「手のひら静脈認証」に限らず、照明オン画像および照明オフ画像を、ほぼ同じ背景（背景が固定されているような撮影環境）にて撮像対象物（例えば、顔、瞳孔、指紋など）を撮像する撮像装置においても、本発明は効果を奏する。

また、上述の各実施の形態では、本発明に係る画像処理装置が、撮像装置２とは別個に設けられ、画像処理装置自体が独立して取引の対象となり得る例を示したが、これに限られるものではなく、例えば上述の各実施の形態による画像処理装置を撮像装置に内蔵させる構成とすることにより、本発明に係る画像処理装置の効果を奏する撮像装置を提供することもできる。もちろん、画像処理装置を構成する全ての構成部分を撮像装置に内蔵させるだけでなく、画像処理装置の構成要素の一部を撮像装置に配置し、画像処理装置と撮像装置からなる画像処理システム全体として本発明に係る画像処理装置の機能を実現するようにしてもよい。

上述の画像処理装置での処理における各ステップは、ＭＥＭＯＲＹ８０２に格納されている画像処理プログラムをＣＰＵ８０１に実行させることにより実現されるものである。

更に、画像処理装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、画像処理プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、画像処理装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

以上説明したように、本発明によれば、撮像対象物を照明しない非照明時に該撮像対象物を撮像した画像と、撮像対象物を照明する照明時に該撮像対象物を撮像した画像とに基づいて、撮像画像上における該撮像対象物の抽出を行なう画像処理技術において、簡便な装置構成で、且つ少ない処理負荷で高精度な撮像対象物の抽出を実現することのできる技術の提供が可能となる。

Claims (10)

1. 撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像を取得する第１の画像取得部と、
   前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像を取得する第２の画像取得部と、
   前記第１の画像取得部にて取得される第１の画像における各画素の輝度と、前記第２の画像取得部にて取得される第２の画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成部と、
   前記差分画像生成部にて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出部と、
   前記高輝度領域抽出部にて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定部と
   を備えてなる画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記差分画像生成部にて生成される差分画像に基づいて、前記第１および第２の画像の内いずれか一方における前記撮像対象物に対応する画素領域を抽出する対象物領域抽出部と、
   前記移動判定部にて判定される移動量に基づいて、前記対象物領域抽出部にて抽出される画素領域の画像上での位置および寸法が、前記第１および第２の画像の内いずれか他方における前記撮像対象物に対応する画素領域と略同じ状態になるように補正する補正処理部とを備え、
   前記差分画像生成部は、前記補正処理部による補正処理を経た第１および第２の画像間での差分画像を生成する画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記移動判定部は、高輝度領域抽出部にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、最も大きいものを前記移動量と判定する画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記移動判定部は、高輝度領域抽出部にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、最も大きい寸法となる位置における該細線と直交する方向を、前記撮像対象物の移動方向と判定する画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記移動判定部は、高輝度領域抽出部にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位所定の順位までの値を平均したものを前記移動量と判定する画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記移動判定部は、高輝度領域抽出部にて抽出される画像領域に対して細線化処理を施すことにより得られる細線に直交する方向における該画像領域の寸法の内、大きさが上位所定の順位となる複数位置における該細線と直交する方向の平均を、前記撮像対象物の移動方向と判定する画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記移動判定部は、高輝度領域抽出部にて抽出される画像領域に対して細線化処理を施すことにより得られる細線上の複数の所定位置において該細線と直交する方向における該画像領域の各寸法の差が、所定の寸法値を下回る場合、前記撮像対象物の移動方向は該撮像対象物を撮像する撮像装置による撮像方向であると判定する画像処理装置。
8. 請求項２に記載の画像処理装置において、
   前記移動判定部にて判定される前記撮像対象物の移動量の差が所定の距離以下である移動方向が複数通りある場合、該複数通りの移動方向それぞれに基づいて、前記対象物領域抽出部にて前記第１および第２の画像の内いずれか一方から抽出される画素領域の画像上での位置および寸法が、前記第１および第２の画像の内いずれか他方における前記撮像対象物に対応する画素領域と略同じ状態になるように補正する補正処理部を備え、
   前記差分画像生成部は、前記補正処理部による補正処理を経た第１および第２の画像間での差分画像を生成するものであり、
   前記移動判定部は、前記差分画像生成部にて生成される複数の差分画像の内、前記高輝度領域抽出部にて抽出される画像領域の面積が最も狭い差分画像の生成に用いられた移動方向を前記撮像対象物の移動方向と判定する画像処理装置。
9. 撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像および前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像の内いずれか一方を取得する第１の画像取得ステップと、
   前記第１の画像および前記第２の画像の内いずれか他方を取得する第２の画像取得ステップと、
   前記第１の画像取得ステップにて取得される画像における各画素の輝度と、前記第２の画像取得ステップにて取得される画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成ステップと、
   前記差分画像生成ステップにて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出ステップと、
   前記高輝度領域抽出ステップにて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定ステップと
   を有する画像処理方法。
10. 撮像対象物を照明しない非照明時に該撮像対象物を撮像した第１の画像および前記撮像対象物を照明する照明時に該撮像対象物を撮像した第２の画像の内いずれか一方を取得する第１の画像取得ステップと、
    前記第１の画像および前記第２の画像の内いずれか他方を取得する第２の画像取得ステップと、
    前記第１の画像取得ステップにて取得される画像における各画素の輝度と、前記第２の画像取得ステップにて取得される画像における各画素の輝度との差分からなる差分画像を生成する差分画像生成ステップと、
    前記差分画像生成ステップにて生成される差分画像における、所定の輝度値以上の輝度を有する画素からなる画像領域を抽出する高輝度領域抽出ステップと、
    前記高輝度領域抽出ステップにて抽出される画像領域に基づいて、前記第１の画像の撮像タイミングと前記第２の画像の撮像タイミングとの間での前記撮像対象物の移動量を判定する移動判定ステップと
    をコンピュータに実行させる画像処理プログラム。

Images