JP5047005B2 - 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置 - Google Patents

Description

本発明は、画像処理技術分野におけるパターン照合に関わるものである。特に、パターン照合の精度向上のために、画像から検出対象パターン／認識対象パターンの特徴量を抽出する技術に関するものである。

近年、画像中から画像処理により対象パターンを検出する手法において、実用的な手法が提案されている。特に対象パターンを人間の顔とした場合には、様々な応用が考えられるため、その検出手法に関して盛んに研究開発が行われている。さらには、顔を検出するだけでなく、検出した顔が、あらかじめ登録してある人物のうちの誰であるのかを、識別する顔認識の手法に関しても盛んに研究開発が行われている。

これらの検出／認識手法においてよく用いられる技術としてマッチング手法がある。マッチング手法では、あらかじめ用意してあるテンプレート（登録画像）と、処理対象画像との間で、正規化相関等の識別処理により、類似度を算出するものである。

このようなマッチング手法を用いた顔検出／顔認識を、監視システム等の実環境下において応用する場合、天候の変動や時間帯によって、画像のコントラストが変化したり、画像中に部分的な影が生じたりする可能性がある。実環境下では、このような照明条件の変動によって画像中での見え方（パターン）が大きく変わり、検出精度／認識精度が大きく影響を受ける。

この問題を軽減するために、画像の輝度値そのものに対して識別処理を行うのではなく、輝度値から照明変動にロバストな（頑健な）特徴量を抽出して、その特徴量に対して識別処理を行うことが提案されている。例えば、対象画素と周辺画素との輝度差分の符号（周辺増分符号）に対して相関処理を行う手法が特許文献１や非特許文献１に示されている。これらの手法では、テンプレート画像および処理対象画像のそれぞれにおいて、対象画素と周囲画素との濃淡値の増分（大小関係）を符号として表現し、その符号の一致数を類似度としている。このような手法により、符号が逆転しない範囲の輝度変動やノイズ混入に対して頑強な照合を行うことができることが知られている。

しかしながら、特許文献１や非特許文献１に示されている技術は、テンプレート画像と処理対象画像の類似度を算出するものである。従って、顔等のように、同一カテゴリーに属するが、それぞれ個性をもつようなものに検出対象を広げようとした場合、顔の種類だけテンプレートを用意する必要が生じ、実用化が困難であった。

このような問題に対して、特許文献２、特許文献３では、検出対象の画像からなる（例えば様々な顔画像からなる）データベースから、周辺増分符号の統計的な性質を抽出することで、解決を試みている。

また、周辺増分符号に類する特徴抽出としてＬＢＰ（LocalBinaryPattern）オペレータが知られており、このＬＢＰオペレータを顔認識の照明変動の影響を除去するための前処理として用いた手法も提案されている（非特許文献２）。位置（x_c,y_c）の画素に対するＬＢＰオペレータとは、以下の式のように定義される。ここで、i_cは位置（x_c,y_c）の画素の輝度値、i_nは周辺８画素の輝度値を示す。またｎは周辺画素のインデックスを示し、位置（x_c,y_c）に対して左上画素をｎ＝７として、時計回りに１ずつ減少していく。

図６の（Ａ）に示すように中心位置（x_c,y_c）にある演算対象画素（i_c＝９６）と周囲の８画素とが配置されていた場合、その大小関係に基づき１或いは０を割り当てる。その結果の例を図６の（Ｂ）に示す。なお、この与えられた１或いは０を、差分値に対し２値の量子化を行ったという意味で量子化値と呼ぶことにする。さらに、この量子化値に対して、それぞれに２のべき乗の重みを与えて加算することでＬＢＰ値を得る。非特許文献２では、このようにして得たＬＢＰ値から構成される画像に対して、顔認識処理を行っている。
特許３８３１２３２号公報 特許３６９６２１２号公報 特開２００６−１８５３７５号公報 佐藤、金子、五十嵐、"周辺増分符号相関画像に基づくロバスト物体検出および分離"、電子情報通信学会論文誌、D-II、Vol.J84-D-IINo.12,pp. 2585-2594, 2001年12月. Heusch, G.; Rodriguez, Y.; Marcel,S"Local binary patterns as an image preprocessing for face authentication,"Automatic Face and Gesture Recognition, 2006.FGR 2006. 7th InternationalConference on 10-12April 2006

しかしながら、周辺増分符号を用いて顔検出を行っている特許文献２や特許文献３や、ＬＢＰを用いて顔認識を行っている非特許文献２では、以下に示すような課題がある。

非特許文献２では、演算対象画素と周囲の８画素との相対位置に応じて、量子化値に対して２のべき乗の重み付けを行っている。具体的には、演算対象画素の左上方向に対し１２８の重み付けを行い、演算対象画素の真上方向に対し６４の重み付けを行い、以下時計周りに、３２、１６、８、４、２、１の重み付けを行っている。

しかしながら、このように左上方向から時計回りに２のべき乗の重み付けを行うことは必ずしも合理的とは言えない。例えば、検出対象として水平方向に伸びるエッジが多いパターン（横縞模様等）を検出したい場合には、その検出対象の特徴を表現するような方向に大きい重み付けを行った方が検出性能が向上することが期待できる。また、その際の重み付けする値としては２のべき乗にこだわる必要はない。

さらに、検出対象として顔のように、画像のある部分（例えば目の周囲）では、水平方向に伸びるエッジが多く、別の部分（例えば鼻の周囲）では垂直方向に伸びるエッジが多いようなパターンを検出したい場合画ある。このような場合には、領域ごとに方向に対する重み付けを変更した方が検出性能が向上することが期待できる。

しかしながら非特許文献２では、上述のような検出対象の特徴に応じて重み付けを変更したり、さらには検出対象の局所的な領域ごとに重み付けを変更したりするようなことは考慮されてなかった。

また、特許文献２では、検出対象の画像からなるデータベースを用いて、増分符号の方向ごと、かつ量子化値ごとに、増分符号の出現確率を測定することで、検出対象の特徴を捉えようとしている。また、特許文献３では、検出対象の画像からなるデータベースを用いて、増分符号の方向ごと、かつ量子化値ごとに、周辺増分符号をベクトル化して、そのベクトルごとに出現確率を測定することで、検出対象の特徴を捉えようとしている。

しかしながら特許文献２や特許文献３の手法で対象パターンを検出する際には、データベースを用いて測定した出現確率をテーブルとして保持しておく必要がある。そのため、特にハードウエアにて検出処理を実現する場合には、テーブルを実現するメモリの容量が大きくなるという課題があった。

特に特許文献２や特許文献３の手法を、あらかじめ登録してある人物のうちの誰であるのかを顔を基に識別する顔認識の手法に応用しようとすると、登録する人数に比例してテーブルの数が増大するという課題があった。さらには、登録者それぞれに対して、信頼に足りうる出現確率を算出できるだけの画像（登録者が映っている画像）が必要となるという課題があった。

本発明は上記課題に鑑みてなされたものであり、画像中の検出対象を検出する処理において、検出性能の向上と必要なメモリ量の低減化を両立させることを可能とする特徴量の取得を実現することを目的とする。

上記課題を解決するための、本発明の一態様による画像処理方法は、
画像から予め定められた基準で特定の複数の部分画像を切り出す切り出し工程と、
前記切り出し工程で切り出された特定の複数の部分画像のそれぞれにおいて、当該部分画像の各画素を注目画素として、注目画素とその周辺の各周辺画素との間で画素値の差分値を算出する第１算出工程と、
前記注目画素について、該注目画素が属する部分画像が前記特定の複数の部分画像の何れであるかと、当該注目画素に対する各周辺画素の相対位置と、当該注目画素と各周辺画素との前記差分値のレベルとに基づき、各周辺画素との差分値に対するパラメータ値を決定する決定工程と、
前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第２算出工程と、
前記特定の複数の部分画像のそれぞれにおいて、各画素を注目画素とした対応する前記特徴量を統合することで、当該特定の複数の部分画像の各々の特徴量を取得する取得工程とを備える。

また、上記課題を解決するための、本発明の一態様による画像処理装置は、
画像から予め定められた基準で特定の複数の部分画像を切り出す切り出し手段と、
前記切り出し手段で切り出された特定の複数の部分画像のそれぞれにおいて、当該部分画像の各画素を注目画素として、注目画素とその周辺の各周辺画素との間で画素値の差分値を算出する第１算出手段と、
前記注目画素について、該注目画素が属する部分画像が前記特定の複数の部分画像の何れであるかと、当該注目画素に対する各周辺画素の相対位置と、当該注目画素と各周辺画素との前記差分値のレベルとに基づき、各周辺画素との差分値に対するパラメータ値を決定する決定手段と、
前記決定手段で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第２算出手段と、
前記特定の複数の部分画像のそれぞれにおいて、各画素を注目画素とした対応する前記特徴量を統合することで、当該特定の複数の部分画像の各々の特徴量を取得する取得手段とを備える。

本発明によれば、画像中の検出対象を検出する処理において、検出性能の向上と必要なメモリ量の低減化とを両立させることができる。

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。

［第１実施形態］
以下、第１実施形態による画像処理手法を用いた認識システムについて説明を行う。

認識とは、認識対象がいくつかの概念（クラス）に分類できる場合に、観測された認識対象をそれらの概念のひとつに対応させる処理である。例えば顔認識とは、入力された画像中に存在する顔画像が、あらかじめ登録してある人物のうちの誰であるのかを識別する画像処理手法のことである。

第１実施形態では、本発明の画像処理手法を、処理領域画像の特徴量に基づいて、前記画像があらかじめ登録してあるパターンのいずれに対応するかを判定するパターン認識に適用する例を示す。特にパターン認識のアプリケーションとして、顔認識に用いる場合を示す。顔認識処理の前段に必要となる顔検出処理（画像中での顔の位置、サイズ、向きの検出）は周知の手法で検出されているものとする。ここで第１実施形態における顔の向きとは、面内回転を指すこととする。

第１実施形態では、顔検出によって検出された顔位置、顔サイズ、顔向きに応じて顔の周囲画像が切り出され、さらにあらかじめ定められた所定の顔サイズ、所定の顔向きに正規化された画像に対して、本発明の画像処理手法を適用する。従って、第１実施形態の画像処理手法が適用される画像（顔検出によって切り出し正規化された画像）は、画像中での目、鼻、口等の位置が概ね揃っているものとなる。

また、説明の簡単のため、本実施形態で扱う画像は全てグレースケール画像（輝度画像）であるとする。

図１は、第１実施形態による顔認識システムの構成例を示すブロック図である。
符号１０９は、顔認識システムである。顔認識システム１０９は、処理対象画像を入力し、認識処理結果を出力する。顔認識システム１０９は、あらかじめ登録してある人物のうちのいずれかが、処理対象画像中に存在すると判断すれば、その人物を特定する情報を認識処理結果として出力する。また、あらかじめ登録してあるどの人物も処理対象画像中に存在しないと判断すれば、その旨を認識処理結果として出力する。

認識システム１０９の動作モードには、登録モードと認識モードがある。登録モードの時には、認識システム１０９は、処理対象画像として登録画像（認識したい人物が映っている画像）を入力し、登録特徴量画像格納部１０５にその登録画像から得られた特徴量画像を格納する。認識モードの時には、処理対象画像として検査画像（認識したい人物が映っているか否かを調べたい画像）を入力し、登録モードの時に登録特徴量画像格納部１０５に格納した特徴量画像と、検査画像の特徴量画像とを比較する。各モードの処理の詳細については後述する。

符号１０８は、顔検出部である。顔検出部１０８は、入力される処理対象画像に対し、公知の顔検出手法を施し、処理対象画像中での顔の位置やサイズや方向（以下、顔位置、顔サイズ、顔方向）を特定する。さらに顔検出部１０８は、特定された顔位置、顔サイズ、顔方向を基に、あらかじめ定められた所定の大きさに顔サイズを正規化し、あらかじめ定められた所定の方向に顔が向くように、顔画像を切り出すことで、切り出し正規化画像を作成し、これを出力する。図２の（Ａ）に切り出し正規化画像の例を示す。符号２００が切り出し正規化画像を示している。

符号１００は、第１実施形態による画像処理を行う画像処理部である。画像処理部１００は、顔検出部１０８からの切り出し正規化画像に対して、複数の処理領域を設定し、その処理領域ごとに特徴量抽出処理を行い、特徴量画像を出力する。この手順の詳細は後述する。

符号１０１は、処理領域設定制御部である。処理領域設定制御部１０１は、所定の手法により、切り出し正規化画像中で処理領域を設定し、設定した処理領域を指定する情報（処理領域指定情報と呼ぶ）を出力する。

処理領域を設定する所定の方法に関しては特に問わないので、公知の技術で行えばよい。本実施形態では前述のように、切り出し正規化画像中での目、鼻、口等の位置が概ね揃っていることから、切り出し正規化画像の内容とは無関係な、固定的な処理領域を用いてもよい。本実施形態では、処理領域として４つの領域を設定するとする。図２の（Ｂ）に本実施形態の処理領域の例を示す。切り出し正規化画像２００に対して、処理領域として、２０１、２０２、２０３、２０４（それぞれ太線で図示）が示されている。なお、図２の（Ｂ）の例では、処理領域同士の重なりは無い場合が示されているが、処理領域同士が重なっていても良い。

図２の（Ｂ）のように処理領域が設定された場合の処理領域指定情報の例を図３に示す。処理領域指定情報は、処理領域のインデックスである処理領域番号、水平方向開始座標、垂直方向開始座標、水平方向幅、垂直方向高さから構成され、これらの情報により処理領域が特定される。本実施形態では例えば処理領域０が処理領域２０１を示し、以下、処理領域１が処理領域２０２、処理領域２が処理領域２０３、処理領域３が処理領域２０４を示すとする。また、処理領域指定情報は必ずしも図３のようになっている必要はなく、処理領域が一意に特定できる情報であればよい。また、処理領域の形状は円形や楕円、任意の多角形などでもよく、矩形に限定されない。
処理領域設定制御部１０１は、各処理領域に関する情報（以下、処理領域指定情報）を順次出力する。

符号１０２は処理領域切り出し部である。処理領域切り出し部１０２は、処理領域設定制御部１０１から出力される処理領域指定情報に従って、入力された切り出し正規化画像から所定の処理領域を切り出す処理を行う。例えば処理領域設定制御部１０１から処理領域０に関する処理領域指定情報が出力されると、処理領域切り出し部１０２は処理領域２０１を切り出して処理領域画像として出力する。こうして、処理領域設定制御部１０１と処理領域切り出し部１０２により、処理対象画像（または正規化画像）から予め定められた基準で複数の処理領域画像（部分画像）が切り出される。

符号１０４は、重み付けパラメータ格納部である。重み付けパラメータ格納部１０４は、特徴量抽出部１０３が指定する条件に従って、重み付けパラメータを特徴量抽出部１０３に対して出力する。重み付けパラメータは、処理領域番号と、特徴量抽出部１０３における量子化処理の量子化レベルと、差分終点画素インデックス（後述）に応じて、設定できるようになっている。重み付けパラメータ格納部１０４に格納されている重み付けパラメータを図４に示す。図４に示されているのは、図２の（Ｂ）に示すように処理領域が４つあり、特徴量抽出部１０３における量子化処理の量子化レベルが２（０と１に量子化されるとする）であり、後述する差分終点画素が８つある場合の重み付けパラメータである。処理領域番号は、処理領域切り出し部１０２により切り出された複数の処理領域画像の何れであるかを特定する識別情報である。

符号１０３は特徴量抽出部である。特徴量抽出部１０３による特徴量の抽出について、以下、説明する。

ここでは、処理領域設定制御部１０１から処理領域０に関する情報が出力されているとする。このとき処理領域切り出し部１０２からは、処理領域２０１の画像が出力されている。図７には、特徴量抽出の手順を示すために、処理領域を拡大した図を示している。符号７００は処理領域（例えば処理領域２０１）を拡大したものである。符号７０１は３画素×３画素のサイズの処理ウインドウである。特徴量抽出部１０３は、処理ウインドウ７０１を処理領域中でスキャンさせるとともに、各スキャン位置において、処理ウインドウ７０１の中心画素（図７において斜線で図示）に対して特徴量を算出する。本実施形態でのスキャンのステップは水平方向、垂直方向ともに1画素とする。

図５には、処理ウインドウ７０１があるスキャン位置にあるときの特徴量抽出の手順を示している。図５の（Ａ）〜（Ｄ）において、太線の枠は処理ウインドウを示す。図５の（Ａ）は、あるスキャン位置での処理ウインドウ７０１内にある画素の輝度値を示したものである。それぞれのスキャン位置において、処理ウインドウの中心にある画素を差分起点画素と呼び、その周囲にある画素を差分終点画素と呼ぶこととする。差分終点画素は複数（図５の場合８画素）存在する。即ち、差分起点画素は特徴量を算出する対象の注目画素であり、差分終点画素は注目画素の周囲に存在する複数の周辺画素である。また、差分終点画素の各々を区別するために、中心から見て左上にある差分終点画素を７として、時計回りに１ずつ減少していくようなインデックスを与える。図５の（Ａ）における処理ウインドウの場合、差分起点画素の輝度値は９６であり、インデックス７の差分終点画素の輝度値は８４となる。インデックス（インデックス値）は、差分終点画素の、差分起点画素に対する相対位置関係を示していることになる。

図８に特徴量抽出部１０３で行われる処理のフローチャートを示す。
処理ウインドウ７０１の処理領域７００内でのスキャンを開始する（ステップＳ８００）。
ウインドウ７０１を新たなスキャン位置に移動させると、特徴量抽出部１０３は、そのスキャン位置での差分起点画素と差分終点画素との大小比較を行う。まず、そのスキャン位置での差分起点画素と差分終点画素とから輝度差分値を求める（第１算出処理）。輝度差分値は差分終点画素ごとに算出するので、輝度差分値は差分終点画素の数に等しい数だけ算出される（ステップＳ８０１）。図５の（Ａ）に示した処理ウインドウのステップＳ８０１による第１算出処理の結果を図５の（Ｂ）に示す。

続いて、特徴量抽出部１０３は、輝度差分値に対して量子化処理を行う（量子化工程）。本実施形態では、量子化処理の量子化レベルは２としており、輝度差分値が０以上であれば１、０未満であれば０と量子化する（ステップＳ８０２）。図５の（Ｂ）に示した処理ウインドウに対するステップＳ８０２による処理結果を図５の（Ｃ）に示す。

続いて、特徴量抽出部１０３は、ステップＳ８０２で得られた各量子化値に対する重み付けパラメータを重み付けパラメータ格納部１０４から取得する（ステップＳ８０３）。即ち、ステップＳ８０３では、算出した量子化値に対する重み付けパラメータの選択を行う。重み付けパラメータ格納部１０４では、図４で説明したように、処理領域番号、差分終点画素インデックス、量子化値の組み合わせに対応付けて重み付けパラメータが格納されている。従って、特徴量抽出部１０３は、重み付けパラメータ格納部１０４に対して、処理領域番号、差分終点画素インデックス、量子化値を出力することで、それらの条件に合致した重み付けパラメータを重み付けパラメータ格納部１０４から取得する。こうして、１つの画素を差分起点画素として差分終点画素ごとに重み付けパラメータが選択されることになる。即ち、特徴量抽出部１０３は、重み付けパラメータ格納部１０４を参照して、
・処理領域画像が複数の処理領域画像の何れであるかを特定する識別情報（処理領域番号）と、
・輝度差分値（本例では量子化値が用いられる）と、
・当該輝度差分値が算出された差分終点画素の差分起点画素に対する相対位置関係（インデックス）と
に基づき、各輝度差分値に対するパラメータ値を決定する。

例えば、図５の（Ｃ）に示されるように量子化されている場合（処理領域０とする）には、差分終点画素インデックスが７の量子化値（０）に対して選択される重み付けパラメータは、図５の（Ｄ）に示されるように、W_0_7_0となる。

続いて、特徴量抽出部１０３は、ステップＳ８０３で決定されたパラメータ値を用いて、差分起点画素（注目画素）に対応する特徴量を算出する第２算出処理を行う。本実施形態では、特徴量抽出部１０３は、選択された重み付けパラメータを加算し、その値をそのスキャン位置での特徴量とする（ステップＳ８０４）。

全スキャン位置において上記ステップＳ８０１〜Ｓ８０４の処理が行われたならば（ステップＳ８０５）、スキャンを終了し、その処理領域に対する特徴量抽出部１０３の処理を終了する（ステップＳ８０６）。
特徴量抽出部１０３は以上の処理を各処理領域に対して行う。

１つの処理領域に対して特徴量抽出部１０３の処理が終了すると、抽出した特徴量を画素値とする特徴量画像が生成される。但し、処理ウインドウ７０１の大きさが３×３のサイズであるので、特徴量画像のサイズは処理領域に比べて、水平方向、垂直方向ともに２画素小さいものとなる。処理領域ごとに特徴量画像が生成されるので、処理対象画像が認識システム１０９に１枚入力されると、処理領域の数に等しい枚数の特徴量画像が生成される。例えば、図２の（Ｂ）では、４つの処理領域があるので、４枚の特徴量画像が生成される。
以上、処理領域設定制御部１０１、処理領域切り出し部１０２、特徴量抽出部１０３、重み付けパラメータ格納部１０４により、画像処理部１００が構成される。

符号１０５は、登録特徴量画像格納部である。登録特徴量画像格納部１０５には、登録画像に対する特徴量画像が格納される。登録画像とは、認識したい人物が映っている画像のことである。

認識システム１０９が登録モードの時には、登録画像に対して、顔検出部１０８による顔検出処理、画像処理部１００による特徴量抽出処理が行われ、処理領域ごとに特徴量画像が出力される。この登録画像に対する特徴量画像は、登録特徴量画像格納部１０５に格納される。また各登録画像に映っている人物を特定するＩＤ情報（名前等）も特徴量画像に関連付けて格納しておく。登録画像１枚あたり、処理領域の数に等しい特徴量画像が格納されることになるので、特徴量画像には、もとになった処理領域番号と、ＩＤ情報とが関連付けられている。

登録特徴量画像格納部１０５に格納されている特徴量画像の例を図９に示す。図９には、登録人物（認識したい人物）としてＩＤ０とＩＤ１の２名の場合が示されている。また、それぞれの登録人物に対して、２枚ずつの登録画像を用いて特徴量画像を作成し、格納している場合が示されている。

認識システム１０９が認識モードの時には、処理領域設定制御部１０１から出力される処理領域指定情報に基づいて、格納されている特徴量画像とその特徴量画像のＩＤ情報が出力される。例えば処理領域設定制御部１０１から処理領域０に関する情報が出力されると、登録特徴量画像格納部１０５は、処理領域０から作成された特徴量画像とそのID情報を順次出力する。例えば、登録特徴量画像格納部１０５が図９のように特徴量画像を格納している場合には、特徴量画像としてF_0_0_0、F_0_1_0、F_1_0_0、F_1_1_0が順次出力される。また、それぞれのＩＤ情報としてＩＤ０、ＩＤ０、ＩＤ１、ＩＤ１が出力される。

図１において、符号１０６は、相関演算部である。相関演算部１０６は、登録画像の特徴量画像と、検査画像の特徴量画像との相関演算を、処理領域ごとに行う。相関演算の種類は特には問わないので、公知の技術で行えばよい。本実施形態では、一つの例として、正規化相関演算を行うものとする。

例えば、登録特徴量画像格納部１０５において、図９のように特徴量画像が格納されていたとすると、相関演算部１０６では、まず検査画像の処理領域０から算出された特徴量画像と、F_0_0_0との正規化相関演算を行い、相関値を算出する。続いて、F_0_1_0との正規化相関演算を行い、相関値を算出する。同様にF_1_0_0並びにF_1_1_0との正規化相関演算を行い、それぞれ相関値を算出する。続いて検査画像の処理領域１から算出された特徴量画像とF_0_0_1、F_0_1_1、F_1_0_1、F_1_1_1との正規化相関演算を行い、それぞれ相関値を算出する。同様の処理を全ての処理領域に対して行う。

相関演算部１０６は、算出した相関値を、相関値算出に用いた登録画像の特徴量画像に関連付けられていたＩＤ情報とともに、出力する。相関演算部１０６において算出される相関値の数は、登録特徴量画像格納部１０５において格納されている特徴量画像の数に等しい（図９の場合１６個）。

符号１０７は、統合判断部である。統合判断部１０７は、相関演算部１０６から送られてくる相関値とＩＤ情報とから、検査画像に、あらかじめ登録してある人物のうちのどの人物が存在するかを判断する。或いは、あらかじめ登録してあるどの人物も検査画像中に存在しないとの判断を行う。

この判断の手法に関しては特に問わないので公知の手法を用いればよい。本実施形態の統合判断部１０７は、例えば、ＩＤ情報単位で相関値の平均（相関値平均）を算出し、その相関値平均の中で最大（最大相関値平均）のものを求める。そして、その最大相関値平均が所定の閾値を超えた場合、統合判断部１０７は、その最大相関値平均に関連付けられたＩＤ情報の人物が、検査画像中に存在すると判断する。最大相関値平均が所定の閾値を超えない場合には、統合判断部１０７は、登録してあるどの人物も検査画像中に存在しないと判断する。

以上が第１実施形態による顔認識システム（図１）の説明である。

第１実施形態の顔認識システムによれば、特徴量抽出部１０３において、輝度差分値を求めるときの方向（差分起点画素と差分終点画素との相対位置関係）に応じて、重み付けパラメータを設定できる。従って、認識処理にとって重要な方向（個人間で差異が顕著になりやすい方向）には、重みを大きく設定する等の調節が可能となり、認識性能が向上する。さらに、重み付けパラメータの設定は、処理領域ごとにも変更することができる。従って、例えば、目の周囲の処理領域（図２の（Ｂ）の領域２０１と領域２０２）は垂直方向の重み付けを大きくし、鼻の周囲の処理領域（図２の（Ｂ）の領域２０３）は、水平方向の重み付けを大きくする、といったことも可能になる。処理領域ごとに、認識処理にとって重要な方向が異なることは十分考えられるので、これによっても認識性能の向上が期待できる。

また、第１実施形態によれば、格納重み付けパラメータ格納部１０４に格納する重み付けパラメータの数は、処理領域の数と、差分終点画素インデックスの数と、量子化レベルの数とを掛け合わせた数である。従って、格納重み付けパラメータ格納部１０４を比較的小さな容量のメモリで実現可能である。

なお、重み付けパラメータの値の決定方法としては、例えば、人が経験に基づいて決定する方法が考えられる。或いは、登録画像と検査画像から構成される学習用のデータベースを用意して、様々な重み付けパラメータのセットを適用して認識性能を調査し、最も認識性能が良かった重み付けパラメータのセットに決定する、という方法でもよい。

或いは、同様のデータベースに対して、正答相関値と誤答相関値とを、様々な重み付けパラメータのセットに対して算出し、正答相関値から誤答相関値を引いた値が最も大きくなった重み付けパラメータのセットに決定する、という方法でもよい。なお、正答相関値とは登録画像と検査画像のＩＤが一致しているときの相関値であり、誤答相関値とは登録画像と検査画像のＩＤが一致していないときの相関値である。

なお、第１実施形態の認識システムでは、登録モードと認識モードがあるとしたが、登録モードは必ずしも必須ではない。登録画像に対して、登録モードで行うのと同等の処理をあらかじめオフラインで行って特徴量画像を算出しておき、登録特徴量画像格納部１０５に格納しておくようにしても良い。
［第２実施形態］

続いて、第２実施形態による画像処理手法を用いた検出システムについて説明する。

第１実施形態では本発明の画像処理方法を認識処理（顔認識）に適用する例を示した。第２実施形態では、本発明の画像処理手法を、取得された処理領域画像の特徴量に基づいて画像から検出対象パターンを検出するパターン検出に適用する例を示す。特にパターン検出のアプリケーションとして、「目（人間の目）」の検出に用いる場合を示す。つまり、本発明を、入力された画像中に目が在るか無いかを検出する画像処理手法に適用する場合の例を示す。
説明の簡単のため、第２実施形態でも扱う画像は全てグレースケール画像（輝度画像）であるとする。

図１０は、第２実施形態による目検出システムのブロック図である。
符号１００９は、目検出システムである。目検出システム１００９は、処理対象画像を入力し、検出処理結果を出力する。検出処理結果としては、処理対象画像中に目が存在すると判断すれば、その位置を特定する情報が出力される。目が処理対象画像中に存在しないと判断すればその旨が出力される。

符号１００２は処理領域切り出し部である。処理領域切り出し部１００２は、処理対象画像を、所定のサイズの検出ウインドウでスキャンして、そのスキャン位置での検出ウインドウ内の画像を切り出す処理を行う。検出ウインドウのサイズで切り出された領域を検出ウインドウ領域と呼ぶ。

符号１０００は、第２実施形態による画像処理を行う画像処理部である。画像処理部１０００は、処理領域切り出し部１００２によって切り出された検出ウインドウ領域に対して、特徴量抽出処理を行い、特徴量画像を出力する。この手順の詳細については後述する。

符号１００４は、重み付けパラメータ格納部である。重み付けパラメータ格納部１００４は、特徴量抽出部１００３が指定する条件に従って、重み付けパラメータを特徴量抽出部１００３に対して出力する。重み付けパラメータは、特徴量抽出部１００３における量子化処理の量子化レベルと、差分終点画素インデックスに応じて、設定できるようになっている。従って例えば、特徴量抽出部１００３における量子化処理の量子化レベルが２の場合（０と１に量子化されるとする）で、差分終点画素が８つある場合には、重み付けパラメータは１６個存在することになる。重み付けパラメータ格納部１００４における重み付けパラメータは概ね第１実施形態（図４）と同様であるが、処理領域毎ではなく、目、鼻、口などの検出対象毎に重み付けパラメータが格納される。

符号１００３は特徴量抽出部である。特徴量抽出部１００３による特徴量の抽出手順は第１実施形態の場合と同じであるので詳細は割愛する。但し、第１実施形態の場合には、特徴量を抽出する対象が処理ウインドウにより順次複数回スキャンされる処理領域であったが、第２実施形態の場合には、１回のスキャンの対象である検出ウインドウ領域である点において相違するが、処理の中身は同じである。また、特徴量抽出部１００３は、重み付けパラメータ格納部１００４を参照して、
・検出すべき特徴の種類（目、口、鼻など）と、
・輝度差分値（本例では量子化値が用いられる）と、
・当該輝度差分値が算出された差分終点画素の差分起点画素に対する相対位置関係（インデックス）と
に基づき、各輝度差分値に対するパラメータ値を決定する。

以上のようにして検出ウインドウ領域に対して特徴量抽出部１００３の処理が終了すると、特徴量を画素値とする特徴量画像が生成される。

符号１００５は、登録特徴量画像格納部である。登録特徴量画像格納部１００５には、検出対象である目の特徴量画像を格納しておく。

目の特徴量画像は、例えば以下のように作成する。即ち、概ね同サイズの目が写っている、検出ウインドウと同じサイズの画像を多数用意し、その平均画像を作成する。平均画像とは、複数枚の画像の対応する画素の平均値を各画素値とした画像である。その平均画像に対して特徴量抽出部１００３と同様の処理を行い、得られた特徴量画像を目の特徴量画像として登録特徴量画像格納部１００５に格納しておく。

登録特徴量画像格納部１００５に格納されている特徴量画像は、相関演算部１００６に出力される。

符号１００６は、相関演算部である。相関演算部１００６は、登録特徴量画像格納部１００５から出力される特徴量画像と、画像処理部１０００から出力される特徴量画像との相関演算を行う。

相関演算は、画像処理部１０００から新たな特徴量画像が出力される毎（つまり、処理領域切り出し部１００２において検出ウインドウのスキャンが行われる毎）に行われ、相関値が算出される。算出された相関値は統合判断部１００７に出力される。

符号１００７は、統合判断部である。統合判断部１００７は、相関演算部１００６から送られてくる相関値から、処理対象画像に、目が存在するかを判断する。

この判断の手法に関しては特に問わないので公知の手法を用いればよい。第２実施形態では、１枚の処理対象画像に対して、処理領域切り出し部１００２において検出ウインドウのスキャンが行われる回数と同数の相関値が得られる。そして、統合判断部１００７は、その相関値の中で最大のものを求め、その最大のものが所定の閾値を超えた場合、目が検査画像中に存在すると判断する。他方、所定の閾値を超えない場合は、統合判断部１００７は、目が存在しないとの判断を行う。

以上が第２実施形態による目検出システム（図１０）の説明である。

第２実施形態による目検出システムでは、特徴量抽出部１００３において、輝度差分値を求めるときの方向（差分起点画素と差分終点画素との相対位置関係）に応じて、重み付けパラメータを設定できる。従って、目の検出処理にとって重要な方向には、重みを大きく設定する等の調節が可能となり、検出性能が向上する。

さらに、重み付けパラメータの設定を検出対象に応じて行えるので、検出対象ごとに最適な重み付けパラメータの設定を行うことが可能である。例えば、第２実施形態では、目の検出を例に挙げたが、同一のシステムで鼻を検出したい場合には、重み付けパラメータを鼻検出用に変更し、登録特徴量画像格納部１００５から出力される特徴量画像を鼻画像から作成したものに変えればよい。

重み付けパラメータの値の決定方法としては、例えば、人が経験に基づいて決定する方法が考えられる。或いは、学習用のデータベースを用意して、様々な重み付けパラメータのセットを適用して検出性能を調査し、最も検出性能が良かった重み付けパラメータのセットに決定する、という方法でもよい。
[第３実施形態]

第３実施形態では、第１、第２実施形態で示した画像処理方法を実行するハードウエア構成の一例について説明する。

図１１は、第３実施形態に係わる情報処理装置のハードウエア構成例を説明するブロック図である。図１１において、１１００はＣＰＵ（中央演算装置）であり、第１、第２実施形態で説明した画像処理方法をプログラムに従って実行する。１１０１はプログラムメモリであり、ＣＰＵ１１００により実行されるプログラムを記憶する。１１０２はＲＡＭであり、ＣＰＵ１１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。１１０３はハードディスクであり、画像ファイルや登録画像の特徴量画像などを保存するための記憶媒体である。１１０４はディスプレイであり、本実施形態の処理結果をユーザに提示する装置である。１１０５は、これら各部とＣＰＵ１１００とを接続している制御バス・データバスである。

このような構成のハードウエアを用いることにより、上記第１、第２実施形態による画像処理方法を実行することができる。

なお、上記のハードウエア構成は、画像処理方法の全てをＣＰＵ１１００の処理によって行う場合であるが、もちろん一部の処理を専用ハードウエアに置き換えることも可能である。例えば、特徴量抽出部１０３、１００３で行われる処理を専用ハードウエアで行う、といったことも可能である。

以上のように、上記各実施形態によれば、検出対象の特徴に応じて、差分演算を行う２画素間（差分起点画素と差分終点画素）の相対位置関係に応じて選択される重み付けの値が変更される。さらに、検出対象を局所的な領域に分割し、領域に応じても重み付けが変更される。

そのため、上記実施形態によれば、検出対象の特徴を表現するような方向に大きい重み付けを行うことができ、検出性能を向上させる効果がある。さらに、検出対象を領域に分割し、その領域ごとに、方向に対する重み付けを行うので検出性能がより向上する。また、重み付けに必要なパラメータは、領域ごと、方向ごと、量子化値ごとに用意すればよいので、従来のような大容量のメモリは必要ない。

［その他の実施形態］
第１、第２実施形態では、特徴量抽出処理において量子化する場合、輝度差分値の符号に応じて量子化していたが、本発明の量子化は、これに限られるものではない。例えば、輝度差分値とある所定の（０以外の）閾値とを比較して、量子化するようにしてもよい。

また、量子化レベルを２の場合についてのみ説明を行ったが、量子化レベルの数はこれに限るものではないことは明らかである。

また、差分起点画素と差分終点画素の位置関係も、上記実施形態で示したものに限らない。例えば、図１２の（Ａ）〜（Ｄ）では、処理ウインドウ内の差分起点画素（斜線）と差分終点画素の例を示している。図１２の各画素に割り振られている番号は、差分終点画素を区別するためのインデックスであり、番号が割り振られていない画素は、処理ウインドウ内にあるが差分終点画素としては用いられない画素を示している。これまで説明してきた実施形態では、差分起点画素の隣接した周囲８画素の場合のみを差分終点画素としていた（図１２の（Ａ））が、本発明はこれに限るものではない。

例えば、図１２の（Ｂ）のように、差分起点画素の隣接した周囲８画素の一部を差分終点画素とするものでもよい。

また、差分終点画素と差分起点画素とは隣接画素である必要は無い。差分終点画素は差分起点画素の近傍にあればよい。従って、これまでの説明では、処理ウインドウのサイズは３×３のみであったが、図１２の（Ｃ）のように５×５のサイズでもよい。さらに図１２の（Ｄ）のように処理ウインドウ内の画素の一部を差分終点画素とするものでもよい。

また、各差分終点画素に割り振られているインデックスは、各差分終点画素を区別するだけのものであるので、インデックスの割り振りかたは、本発明の画像処理手法を実装する際に、やりやすいように割り振ればよい。

また、処理ウインドウを処理領域内でスキャンさせるときのステップ数も１画素に限らない。検出対象、或いは認識対象に応じて最適なステップ数を選択すればよい。また、処理時間に応じて、最適なステップ数を選択するようにしてもよい。

更に、処理領域の数も、上記実施形態で示したものに限られるものではない。また、各処理領域でサイズが異なってもよいし、形も矩形に限定されるものではない。また、処理領域は、お互いに重なっていても良いし、包含関係にあっても良い。

また、重み付けパラメータは、図４に示したようなテーブルをメモリに持つものでもよいし、重み付けパラメータが、論理演算で表現できるような場合には、論理演算で重み付けパラメータを算出するようにしても良い。この場合、論理演算は、例えばインデックス値と量子化値を用いた演算であり、第１実施形態であれば領域毎に、第２実施形態であれば検出対象毎に用意される。

例えば、重み付けパラメータを２のべき乗に限定した場合には、量子化した結果得られる量子化値（１或いは０）を、シフト演算すれば得られる。この場合には、差分終点画素インデックスごとにどれだけシフトするかを記憶しておけばよく、重み付けパラメータそのものを記憶する必要は無くなる。

また、例えば、
・重み付けパラメータを２のべき乗に限定し、かつ、
・同一の処理領域内では、差分起点画素と差分終点画素との相対位置関係が異なる場合には重み付けパラメータが必ず異なるように（同一の処理領域内で差分終点インデックスが異なれば、必ず重み付けパラメータが異なるように）すれば、
算出した特徴量から、差分終点インデックス毎の量子化値を逆算できる。このことは、その特徴量を算出した差分起点画素が複数の処理領域に属していた場合に、それぞれの処理領域ごとに特徴量を算出する必要があるが、その際の量子化する処理までは、一度の処理で済むという利点を生む。

また、対称性を有する物体に対して処理領域を設定する場合には（例えば、顔はほぼ左右対称と考えられる）、処理領域もその対称性に従って設定すれば（図２の（Ｂ）の処理領域２０１と処理領域２０２のように）、テーブルが小さくできる。これは、対称性を有する物体では、特徴も対称性を有すると考えられるためである。重み付けパラメータも対称になるようにすれば、テーブルのサイズを小さくできる。

例えば、処理領域２０１における差分終点画素が差分起点画素の左にある場合の重み付けパラメータと、処理領域２０２における差分終点画素が差分起点画素の右にある場合の重み付けパラメータとを等しくするようにしておけばよい。同様に差分起点画素と差分終点画素との相対位置関係が処理領域２０１と処理領域２０２で対称なものは、同じ重み付けパラメータにしておけばよい。

また、これまで説明してきた各実施形態では、認識システムや検出システムに輝度画像を入力していたが、輝度画像に限られるわけではない。カラー画像に対して認識／検出を行いたい場合は、認識システムや検出システムの前段に、色チャネルを輝度に変換する処理を入れれば良い。或いは、認識システムや検出システムの中で、認識／検出に都合のよい輝度画像に変換する処理を行い、画像処理部に投入してもよい。或いは、各色チャネルに対して独立に実施形態で示した処理を行い、認識システムや検出システムの後段で各色チャネルでの出力結果を統合するものでもよい。特徴量抽出部１０３、１００３は、処理領域画像として切り出された部分画像において、注目画素（差分起点画素）とその周辺の周辺画素（差分終点画素）との間で、画素値の差分値を算出し、これを用いて重み付けパラメータを決定する。ここで、画素値としては、輝度値、色値などを用いることができる。

また、重み付けパラメータ格納部１０４に格納されたパラメータ値は「重み付け」という名称を用いたが、実際には各量子化値を置換する値として用いられている。しかしながら、本発明において、図６の（Ｂ）に示したＬＢＰ値のように、重み付けパラメータを量子化値に作用させる形態を用いることももちろん可能である。但し、この場合、量子化値が０の欄のパラメータ値は不要となる。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

本発明の好適な一実施形態である認識システムを示すブロック図である。 切り出し正規化画像、処理領域を示す図である。 処理領域指定情報を示す図である。 重み付けパラメータ格納部での重み付けパラメータの格納状態を示す図である。 特徴量抽出部の処理を模式的に表した図である。 ＬＢＰ値の算出処理を模式的に表した図である。 処理領域で処理ウインドウをスキャンさせている様子を示す図である。 特徴量抽出部の処理の流れを示すフローチャートである。 登録特徴量画像格納部での特徴量画像の格納状態を示す図である。 本発明の好適な一実施形態である検出システムを示すブロック図である。 本発明の好適な一実施形態であるハードウエアの構成を示すブロック図である。 処理ウインドウ内の差分終点画素の様子を示す図である。

Claims (13)

1. 画像から予め定められた基準で特定の複数の部分画像を切り出す切り出し工程と、
   前記切り出し工程で切り出された特定の複数の部分画像のそれぞれにおいて、当該部分画像の各画素を注目画素として、注目画素とその周辺の各周辺画素との間で画素値の差分値を算出する第１算出工程と、
   前記注目画素について、該注目画素が属する部分画像が前記特定の複数の部分画像の何れであるかと、当該注目画素に対する各周辺画素の相対位置と、当該注目画素と各周辺画素との前記差分値のレベルとに基づき、各周辺画素との差分値に対するパラメータ値を決定する決定工程と、
   前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第２算出工程と、
   前記特定の複数の部分画像のそれぞれにおいて、各画素を注目画素とした対応する前記特徴量を統合することで、当該特定の複数の部分画像の各々の特徴量を取得する取得工程とを備えることを特徴とする画像処理方法。
2. 前記決定工程では、各差分値に対するパラメータ値を決定するために、更に、当該差分値が算出された周辺画素の前記注目画素に対する相対位置関係を用いることを特徴とする請求項１に記載の画像処理方法。
3. 前記差分値をあらかじめ定められた量子化レベルで量子化して量子化値を得る量子化工程を更に備え、
   前記決定工程では、前記差分値のレベルとして前記量子化値を用いることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記量子化工程では、２つの量子化レベルで前記差分値を量子化することを特徴とする請求項３に記載の画像処理方法。
5. 前記パラメータ値は２のべき乗であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記取得工程では、１つの注目画素について前記決定工程で決定された全ての周辺画素に対するパラメータ値を加算した結果を、当該注目画素に対する特徴量とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 請求項１乃至６のいずれか１項に記載の画像処理方法を用いて取得された処理領域画像の特徴量に基づいて、前記画像から検出対象パターンを検出するパターン検出方法。
8. 請求項１乃至６のいずれか１項に記載の画像処理方法を用いて取得された処理領域画像の特徴量に基づいて、前記画像があらかじめ登録してあるパターンのいずれに対応するかを判定することを特徴とするパターン認識方法。
9. 画像から予め定められた基準で特定の複数の部分画像を切り出す切り出し手段と、
   前記切り出し手段で切り出された特定の複数の部分画像のそれぞれにおいて、当該部分画像の各画素を注目画素として、注目画素とその周辺の各周辺画素との間で画素値の差分値を算出する第１算出手段と、
   前記注目画素について、該注目画素が属する部分画像が前記特定の複数の部分画像の何れであるかと、当該注目画素に対する各周辺画素の相対位置と、当該注目画素と各周辺画素との前記差分値のレベルとに基づき、各周辺画素との差分値に対するパラメータ値を決定する決定手段と、
   前記決定手段で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第２算出手段と、
   前記特定の複数の部分画像のそれぞれにおいて、各画素を注目画素とした対応する前記特徴量を統合することで、当該特定の複数の部分画像の各々の特徴量を取得する取得手段とを備えることを特徴とする画像処理装置。
10. 請求項１乃至６のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
11. 請求項７に記載のパターン検出方法をコンピュータに実行させるためのプログラム。
12. 請求項８に記載のパターン認識方法をコンピュータに実行させるためのプログラム。
13. 請求項１０乃至１２のいずれか１項に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images