JP2007025901A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2007025901A JP2007025901A JP2005204737A JP2005204737A JP2007025901A JP 2007025901 A JP2007025901 A JP 2007025901A JP 2005204737 A JP2005204737 A JP 2005204737A JP 2005204737 A JP2005204737 A JP 2005204737A JP 2007025901 A JP2007025901 A JP 2007025901A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- pixel
- luminance
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 abstract 2
- 238000012795 verification Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 被写体の撮影を行う際の撮影環境、特に照明条件によって被写体が暗かったり、被写体に対して部分的に陰がかかってしまったりする場合においても精度よく被写体を検出するための技術を提供すること。
【解決手段】 縮小画像上の各位置に所定サイズの矩形を配置した場合に、この矩形内のパターンを抽出し(S104)、このパターンを構成するそれぞれの画素の輝度値を、それぞれの画素の低周波成分を用いて補正し(S106)、補正されたパターンが顔のパターンであるかを判別し(S107)、顔のパターンと判別されたパターンを出力する(S108)。
【選択図】 図2
【解決手段】 縮小画像上の各位置に所定サイズの矩形を配置した場合に、この矩形内のパターンを抽出し(S104)、このパターンを構成するそれぞれの画素の輝度値を、それぞれの画素の低周波成分を用いて補正し(S106)、補正されたパターンが顔のパターンであるかを判別し(S107)、顔のパターンと判別されたパターンを出力する(S108)。
【選択図】 図2
Description
本発明は、画像中における被写体を検出するための技術に関するものである。
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献1に各種方式が挙げられている。その中では、いくつかの顕著な特徴(2つの目、口、鼻など)とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。
一方、非特許文献2で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献2による顔検出の方法について簡単に説明する。
まず、顔を含む画像データをメモリに読み込み、顔と照合する所定の領域を画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が0以上なら顔、それ以外は非顔であると判別する。
そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図3に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図3に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
また、切り出した部分領域が顔かどうかを判定する際に、特に画像撮影時の照明条件など被写体の環境によって顔が暗かったり、部分的に陰が顔にかかってしまったりした場合には、切り出した領域の画素値の分布が大幅に変わってしまうので、著しく性能が劣化してしまう。
このような状況に対処するために、非特許文献2では、切り出した部分領域に対して画素値の線形補正とヒストグラム平滑化による補正を前処理として行っている。画素値の線形補正とは、切り出した部分領域の画素値の分布を一次平面で近似し、その一次成分を元の画素値の分布から減算することで直線的な画素値の変化を補正するものである。また、ヒストグラム平滑化は切り出した部分領域の画素値の分布(ヒストグラム)が一様になるように画素値の変換を行い、コントラストを強調する当業者には良く知られた画像処理方法である。
しかしながら、画素値の線形補正では、顔の部分に影響を与える照明条件が大局的に変化する場合にはある程度対処できるが、例えば、被写体が帽子をかぶっていたり、木陰に立っていたりするような顔に対して部分的に陰がかかっているような状況では対処できず、被写体パターンの検出精度を劣化させるという問題点があった。
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002、"Detecting Faces in Images: A Survey" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998、"Neural network-based face detection"
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002、"Detecting Faces in Images: A Survey" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998、"Neural network-based face detection"
本発明は以上の問題に鑑みて成されたものであり、被写体の撮影を行う際の撮影環境、特に照明条件によって被写体が暗かったり、被写体に対して部分的に陰がかかってしまったりする場合においても精度よく被写体を検出するための技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
即ち、所定の被写体を含む画像を取得する取得手段と、
前記画像の輝度成分で構成される輝度画像を生成する生成手段と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小手段と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出手段と、
前記それぞれの画素の低周波成分を求める計算手段と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正手段と、
前記補正手段によって輝度値が補正されたパターンが顔のパターンであるかを判別する判別手段と、
前記判別手段によって顔のパターンと判別されたパターンを出力する出力手段と
を備えることを特徴とする。
前記画像の輝度成分で構成される輝度画像を生成する生成手段と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小手段と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出手段と、
前記それぞれの画素の低周波成分を求める計算手段と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正手段と、
前記補正手段によって輝度値が補正されたパターンが顔のパターンであるかを判別する判別手段と、
前記判別手段によって顔のパターンと判別されたパターンを出力する出力手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
即ち、所定の被写体を含む画像を取得する取得工程と、
前記画像の輝度成分で構成される輝度画像を生成する生成工程と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小工程と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出工程と、
前記それぞれの画素の低周波成分を求める計算工程と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正工程と、
前記補正工程で輝度値が補正されたパターンが顔のパターンであるかを判別する判別工程と、
前記判別工程で顔のパターンと判別されたパターンを出力する出力工程と
を備えることを特徴とする。
前記画像の輝度成分で構成される輝度画像を生成する生成工程と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小工程と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出工程と、
前記それぞれの画素の低周波成分を求める計算工程と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正工程と、
前記補正工程で輝度値が補正されたパターンが顔のパターンであるかを判別する判別工程と、
前記判別工程で顔のパターンと判別されたパターンを出力する出力工程と
を備えることを特徴とする。
本発明の構成により、被写体の撮影を行う際の撮影環境、特に照明条件によって被写体が暗かったり、被写体に対して部分的に陰がかかってしまったりする場合においても精度よく被写体を検出することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
本実施形態に係る画像処理装置は、PC(パーソナルコンピュータ)やWS(ワークステーション)等のコンピュータにより構成されており、ディジタルカメラなどの撮像装置から入力した画像、インターネットなどのネットワークを介して外部機器からダウンロードした画像、CD−ROMやDVD−ROMなどの記憶媒体からの読み出しにより入力した画像など、様々な入力形態で入力した画像中に含まれている所定の被写体を検出する。なお、本実施形態では被写体として人間の顔を用いるが、その他の被写体を用いても良い。
先ず、このような処理を行う本実施形態に係る画像処理装置について説明する。図7は、本実施形態に係る画像処理装置に適用可能なコンピュータのハードウェア構成を示す図である。
201はCPUで、RAM202やROM203に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータが行う後述の各処理を実行する。
202はRAMで、外部記憶装置207や記憶媒体ドライブ装置208から読み出したプログラムやデータを一時的に記憶するためのエリア、I/F209を介して外部から受信したデータを一時的に記憶する為のエリア、CPU201が各種の処理を実行する為に用いるワークエリア等、各種のエリアを適宜提供することができる。
203はROMで、ここにブートプログラムや本コンピュータの設定データなどを格納する。
204、205は夫々キーボード、マウスで、コンピュータの操作者が操作することで各種の指示をCPU201に対して入力することができる。
206は表示部で、CRTや液晶画面などにより構成されており、CPU201による処理結果を文字や画像等でもって表示する。
207は外部記憶装置で、ハードディスクドライブ装置等の大容量情報記憶装置であって、ここにOS(オペレーティングシステム)や、コンピュータが行う後述の各処理をCPU201に実行させるためのプログラムやデータが格納されており、これらはCPU201による制御に従って適宜RAM202に読み出される。
208は記憶媒体ドライブ装置で、CD−ROMやDVD−ROMなどの記憶媒体に記録されているプログラムやデータを読み出して、RAM202や外部記憶装置207等に出力する。なお、上記外部記憶装置207に記憶されているプログラムやデータの一部を上記記憶媒体に記録しておいても良く、その場合には、これら記憶されているプログラムやデータを使用する際に、記憶媒体ドライブ装置208がこの記憶媒体に記録されているプログラムやデータを読み出して、RAM202に出力する。
209はI/F(インターフェース)で、ここにディジタルカメラやインターネットやLANのネットワーク回線等を接続することができる。
210は上述の各部を繋ぐバスである。
なお、コンピュータへの画像の入力形態については特に限定するものではなく、様々な形態が考えられる。
図1は、本実施形態に係る画像処理装置に適用可能なコンピュータの機能構成を示すブロック図である。同図に示す如く、本実施形態に係る画像処理装置は、画像入力部10、画像メモリ20、画像縮小部30、照合パターン抽出部40、低周波成分抽出部50、輝度補正部60、顔判別部70、顔領域出力部80により構成されている。
画像入力部10は、例えばディジタルスチルカメラ、フィルムスキャナーなどの装置から出力された画像データを受け、後段の画像メモリ20に出力するものである。なお、上述の通り、画像の入力形態については特に限定するものではない。
画像メモリ20は、画像入力部10から出力される画像データを格納するためのメモリである。
画像縮小部30は、先ず、画像メモリ20から受けた画像データの輝度成分で構成される輝度画像を生成する。そして、生成した輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する。生成したそれぞれの縮小画像(画像メモリ20から受けた画像データに基づいて生成したオリジナルの輝度画像も1/1の縮小画像と解釈すれば、このオリジナルもまた、縮小画像に含めることができる)は順次後段の照合パターン抽出部40に出力する。
照合パターン抽出部40は、画像縮小部30から縮小画像を受けると、この縮小画像上で所定サイズの矩形を移動させながら、この矩形に含まれる画素群を「照合対象パターン」として順次抽出し、後段の低周波成分抽出部50、及び輝度補正部60に出力する。このような処理は、画像縮小部20から受けたそれぞれの縮小画像について行う。
低周波成分抽出部50は、照合パターン抽出部40から照合対象パターンを受けると、この照合対象パターンを構成する各画素の低周波成分を抽出する。抽出した低周波成分のデータは後段の輝度補正部60に出力する。
輝度補正部60は、照合パターン抽出部40から照合対象パターン、低周波成分抽出部50からこの照合対象パターンの低周波成分を受けると、この低周波成分を用いて、この照合対象パターンの輝度分布を補正する処理を行う。
顔判別部70は、輝度補正部60が輝度分布を補正した照合対象パターンが顔のパターンであるのか否かを判別する。
顔領域出力部70は、顔判別部70が顔のパターンであると判別した照合対象パターンを出力する。
以上の各部は、例えば、CPU201の一機能として動作するものである。
次に、CPU201が図1に示した各部として動作することでなされる処理、即ち、画像中に含まれている被写体を検出するための処理について、同処理のフローチャートを示す図2を用いて以下説明する。なお、同図のフローチャートに従った処理をCPU201に実行させるためのプログラムやデータは外部記憶装置207(もしくは記憶媒体ドライブ装置208が読み取り可能な記憶媒体)に保存されており、これをCPU201の制御に従って適宜RAM202にロードし、CPU201がこれを用いて処理を実行することで、コンピュータは以下説明する各処理を実行することになる。
外部記憶装置207や、I/F209を介して外部から画像データが入力されると、CPU201は、これをRAM202内の上記画像メモリ20に相当するエリアに一時的に格納する(ステップS101)。なお、本コンピュータに入力した画像が圧縮されている場合には、これを伸張してからRAM202に一時的に格納する。
本実施形態では、入力された画像データを構成する各画素は、R、G、Bで表現されるものであるとする。従って、CPU201は、ステップS101でRAM202に格納した画像データに基づいて、この画像の輝度成分で構成される画像(輝度画像)、即ち、この画像を構成する各画素の値をこの画素の輝度値に変換した画像を生成する(ステップS102)。しかし、ステップS101でRAM202に格納した画像データを構成する各画素がYCrCbで表現されるものである場合には、ステップS102では、Y成分のみを用いて輝度画像を生成する。
次に、CPU201は、生成した輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する(ステップS103)。例えば、ステップS102で生成した輝度画像(以下の説明上、縮小画像1と呼称する)の縦横のサイズを1/1.2倍した縮小画像2を生成し、次に縮小画像2の縦横のサイズを1/1.2倍した縮小画像3を生成する、というように、複数枚の縮小画像を生成する。これは、以後の処理で顔を抽出する際に様々な大きさの顔の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。なお、生成する縮小画像の枚数については特に限定するものではない。
そして、ステップS104以降では、生成したそれぞれの縮小画像について処理を行う。即ち、ステップS104以降の処理は、生成した縮小画像の数だけ繰り返し行うことになる。
以降の説明では、生成した縮小画像はサイズの大きい順に縮小画像1、縮小画像2、、、、縮小画像Mと呼称するものとし、先ず、縮小画像1について以降の処理を行うものとする。なお、処理の対象として選択する順番については特に限定するものではない。
先ず、CPU201は、縮小画像1上に所定サイズの矩形を配置し、矩形内の画素群を照合対象パターンとして抽出する(ステップS104)。この矩形は、縮小画像1上の各位置に配置した場合に、それぞれの位置における矩形内の輝度分布を得るためのものであるので、例えばこの矩形は最初は画像の左上隅に配置する。
次に、ステップS104で抽出した照合対象パターンを構成する各画素の低周波成分を求める(ステップS105)。ステップS105における処理については様々なものが考えられるが、以下にその一例を示す。
例えば、照合対象パターンを構成する画素i(i=1,,,N)の低周波成分を求める場合、照合対象パターン上でこの画素iの位置を中心とする所定サイズのブロックを設定し、このブロック内の各画素の輝度値の平均値を求め、この平均値を画素iの低周波成分とする。
ここで、このブロックについては図6に示すように、照合対象パターンが検出対象の顔をほぼカバーする領域Fである場合、目や鼻をほぼカバーする程度の大きさの領域Pであることがより好ましい。これは、照明条件や周囲の環境により、目や鼻などくぼみ、突起のある部分が関係して顔に部分的な陰ができる頻度が高く、そのような状況に対処するように低周波成分を抽出することがより好ましいからである。例えば、照合対象パターンのサイズが20画素×20画素程度である場合には、ブロックのサイズは5×5画素〜9×9画素程度であることが好ましい。なお、ブロック内の平均輝度値を算出する際、照合対象パターンの周辺領域では部分的なブロックしか設定できないので、その場合には、設定可能な部分のブロック内の輝度値を用いて平均輝度値を求めるようにする。また、低周波成分を抽出する具体的な方法として本実施形態ではブロック内の平均輝度値を求めるようにしたが、ブロック内の輝度分布とガウシアン関数との積和演算を行うことで、ブロック内の輝度分布を得るようにしても良い。
従って、i=1〜Nについてこのような処理を行うことにより、照合対象パターンを構成するそれぞれの画素の低周波成分(換言すれば照合対象パターンの輝度分布)を求めることができる。尚、処理の高速を優先する場合には、ある画素のまとまり(例えば2画素×2画素)毎にブロックを設定し、そのブロック内の画素の平均輝度値を、このまとまった画素に対する低周波成分としても良い。
次に、CPU201は、ステップS104で抽出した照合対象パターンを構成する各画素の輝度値を、それぞれの画素についてステップS105で求めた低周波成分でもって補正する処理を行う(ステップS106)。
即ち、照合対象パターンを構成する画素i(i=1,,,N)の輝度値をYi、画素iの低周波成分をLiとすると、この画素iの補正後の輝度値Y’iは以下の式に従って求めることができる。
Y’i=Yi/Li
なお、ここでY’i、Yi、Liは0以上1以下の値に正規化されているものとし、Liが0の場合はY’iとして0を出力する。また、Y’iが1を越えた場合はY’iとして1を出力する。また、所定のパラメータγを用いて、以下の式に従ってY’iを求めるようにしても良い。
なお、ここでY’i、Yi、Liは0以上1以下の値に正規化されているものとし、Liが0の場合はY’iとして0を出力する。また、Y’iが1を越えた場合はY’iとして1を出力する。また、所定のパラメータγを用いて、以下の式に従ってY’iを求めるようにしても良い。
Y’i=Yi/Liγ
上記何れかの式でもって輝度値を補正することにより、補正しようとする画素の輝度値は、この画素の周辺の輝度が明るい場合はあまり輝度値が変化しないが、この画素の周辺の輝度が暗い場合は輝度が明るくなるように補正されるので、画像中で部分的に暗い箇所を構成する各画素の輝度値を、周辺の輝度値を鑑みて補正することができる。
上記何れかの式でもって輝度値を補正することにより、補正しようとする画素の輝度値は、この画素の周辺の輝度が明るい場合はあまり輝度値が変化しないが、この画素の周辺の輝度が暗い場合は輝度が明るくなるように補正されるので、画像中で部分的に暗い箇所を構成する各画素の輝度値を、周辺の輝度値を鑑みて補正することができる。
なお、本実施形態では、低周波成分に基づく輝度補正について説明したが、上記非特許文献2で提案されているヒストグラム平滑化処理と組み合わせてもよいことは言うまでもない。
従って、上記何れかの式を用いて、Y’iをi=1〜Nについて求めることで、ステップS104で抽出した照合対象パターンを構成する各画素の輝度値を補正することができる。ステップS104で抽出した照合対象パターンを構成する各画素の輝度値を補正したものはY’iのデータとして得られる。
次に、顔判別部70は、ステップS106で輝度分布が補正された照合対象パターン(輝度パターン)が、顔パターン(顔とおぼしきパターン)であるかを判別する(ステップS107)。
図4は、所定領域内のパターンを識別する為のニューラルネットワークの動作について示した図である。同図においてRは、例えば画像上で識別する領域を示すものであり、本実施形態ではこの領域Rを同図に示す如く、3種類の方法にてさらに領域分割し、各ニューロン(Nで示す)への受容野とする。そして、分割された領域の輝度分布を各ニューロンに入力し、中間層での出力が得られる。そして、各ニューロンの出力を出力層のニューロンの入力として最終出力が得られる。
ここで、各ニューロンでは予め学習によって得られた重みと輝度分布との積和演算およびその結果のシグモイド関数による演算が行われる。本実施形態では、出力層のニューロンの出力値と所定の閾値との比較を行い、閾値を越える出力のパターンを顔、それ以外を顔でない(非顔)とした(ニューラル・ネットワークの詳細および学習の方法については、上記非特許文献2を参照されたい)。
なお、ステップS106で輝度分布が補正された照合対象パターンが顔パターンであるかを判別する処理についてはこれに限定するものではなく、所定の入力パターンに対して被写体の判別を行い、顔パターンと非顔パターンとの判別が可能な値を出力するようなものであればよい。例えば、入力である部分領域を図5に示す如く顔の輪郭、眼、鼻、口、頬の位置関係にもとづいて分割するように受容野を設定してもよい。図5は、顔の各部分を示す図である。
また、ニューラル・ネットワークによる判別に限らず、例えば、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2001に”Rapid Object Detection using a Boosted Cascade of Simple Features”と題するViolaとJonesによる報告で提案されているAdaBoostによる方式を用いてもよい。
図3は、様々なサイズの縮小画像(本実施形態の場合には縮小画像1、縮小画像2、、、、縮小画像M)について、照合対象パターンが顔パターンであるかを判別する処理を説明する図である。それぞれの縮小画像上の各位置に同じサイズの矩形を配置した場合に、それぞれの位置における矩形内の領域が顔パターンであるのか否かを判断するために、先ず、同図左側に示す如く、縮小画像の左上隅に矩形を配置し、そこから右側に、上から下に向かって矩形の位置を移動させる。移動させる毎に矩形内の画素群は照合対象パターンとして顔パターンの判別に用いられる。
そして、ステップS107において、ステップS106で輝度値が補正された照合対象パターンが顔のパターンであると判別された場合には処理をステップS108に進め、この照合対象パターンの画像データを出力する(ステップS108)。なお、出力する照合対象パターンについては、ステップS106における補正前のものであっても良いし、補正後のものであっても良い。
また、出力先については特に限定するものではないが、RAM202内の所定のエリアであっても良いし、外部記憶装置207やI/F209を介してデータ通信可能な外部の装置であっても良い。
一方、ステップS107において、ステップS106で輝度値が補正された照合対象パターンが顔のパターンではないと判別された場合、若しくはステップS108における処理の後には処理をステップS114に進め、CPU201は、縮小画像1上における矩形の移動先があるのかをチェックする(ステップS114)。即ち、縮小画像1上における矩形の位置を移動させ、次の位置における矩形内の画素群を照合対象パターンとして抽出する処理を行う場合に、移動先が無い場合、例えば、現在の矩形の位置が既に縮小画像1の右下隅の位置であれば、もう矩形の移動は行えない。一方、現在の矩形の位置が既に縮小画像1の右下隅の位置でなければ、矩形の移動を行うことができる。
従って、移動先がある場合には処理をステップS114からステップS115に進め、縮小画像1上における矩形の位置を移動させる(ステップS115)。そして矩形の移動が完了すると、処理をステップS104に進め、移動後の矩形内における照合対象パターンを抽出し、以降の処理を行う。
一方、矩形の移動先がない場合には、処理をステップS116に進め、全ての縮小画像について以上の処理を行ったのかを判断し(ステップS116)、まだ処理対象となっていない縮小画像がある場合には処理をステップS117に進め、縮小画像上に配置する矩形の位置を初期化(例えば縮小画像の左上隅の位置に戻す)し(ステップS117)、次の縮小画像についてステップS104以降の処理を行う。
本実施形態では現在縮小画像1について処理を行ったので、次は縮小画像2について処理を行う。よってこの場合には、縮小画像2上の左上隅の位置に矩形を配置し(ステップS117)、この縮小画像2についてステップS104以降の処理を行う。
よって、以上のように、異なる縮小率の縮小画像のそれぞれについて、同じサイズの照合対象パターンを抽出し、抽出した照合対象パターンを用いて顔の検出処理を行うことで、顔が画像中にどのような比率で占めていようとも、画像中における顔を検出することができる。例えば縮小率の高い縮小画像のサイズは限りなく照合対象パターンのサイズに近づくので、例え画像中に大きく顔が占めているような場合であっても、この顔は照合対象パターン内に収まる可能性が高く、この顔を検出する可能性は高い。
以上の説明により、本実施形態によって、照明条件など被写体の撮影環境が悪い状況においても画像中から精度よく顔領域を抽出することができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
Claims (8)
- 所定の被写体を含む画像を取得する取得手段と、
前記画像の輝度成分で構成される輝度画像を生成する生成手段と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小手段と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出手段と、
前記それぞれの画素の低周波成分を求める計算手段と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正手段と、
前記補正手段によって輝度値が補正されたパターンが顔のパターンであるかを判別する判別手段と、
前記判別手段によって顔のパターンと判別されたパターンを出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記計算手段は、前記パターンを構成する画素i(i=1,,,N)の前記パターン上における位置を中心とする所定サイズのブロックを設定し、当該ブロック内の各画素の輝度値の平均値を、前記画素iの低周波成分として求める処理をi=1〜Nについて行うことを特徴とする請求項1に記載の画像処理装置。
- 前記ブロックのサイズは、前記パターンが前記所定の被写体をほぼカバーするサイズである場合に、目や鼻をほぼカバーする程度のサイズであることを特徴とする請求項2に記載の画像処理装置。
- 前記補正手段は、前記パターンを構成する画素i(i=1,,,N)の輝度値をYi、当該画素iの低周波成分をLiとすると、当該画素iの補正後の輝度値Y’iを以下の式 Y’i=Yi/Li
に従って求める処理をi=1〜Nについて行うことを特徴とする請求項1に記載の画像処理装置。 - 前記補正手段は、前記パターンを構成する画素i(i=1,,,N)の輝度値をYi、当該画素iの低周波成分をLiとすると、当該画素iの補正後の輝度値Y’iを以下の式 Y’i=Yi/Liγ
に従って求める処理をi=1〜Nについて行うことを特徴とする請求項1に記載の画像処理装置。 - 所定の被写体を含む画像を取得する取得工程と、
前記画像の輝度成分で構成される輝度画像を生成する生成工程と、
前記輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する縮小工程と、
前記縮小画像上の各位置に所定サイズの矩形を配置した場合に、当該矩形内のパターンを構成するそれぞれの画素の輝度値を抽出する抽出する第1の抽出工程と、
前記それぞれの画素の低周波成分を求める計算工程と、
前記それぞれの画素の輝度値を、前記それぞれの画素の低周波成分を用いて補正する補正工程と、
前記補正工程で輝度値が補正されたパターンが顔のパターンであるかを判別する判別工程と、
前記判別工程で顔のパターンと判別されたパターンを出力する出力工程と
を備えることを特徴とする画像処理方法。 - コンピュータに請求項6に記載の画像処理方法を実行させることを特徴とするプログラム。
- 請求項7に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005204737A JP2007025901A (ja) | 2005-07-13 | 2005-07-13 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005204737A JP2007025901A (ja) | 2005-07-13 | 2005-07-13 | 画像処理装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007025901A true JP2007025901A (ja) | 2007-02-01 |
Family
ID=37786597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005204737A Withdrawn JP2007025901A (ja) | 2005-07-13 | 2005-07-13 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007025901A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009032018A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
JP2009032021A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
JP2009032019A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
-
2005
- 2005-07-13 JP JP2005204737A patent/JP2007025901A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009032018A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
JP2009032021A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
JP2009032019A (ja) * | 2007-07-26 | 2009-02-12 | Seiko Epson Corp | 画像処理装置、画像処理方法、およびコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11716527B2 (en) | Photographing apparatus, method and medium using image recognition | |
US8977056B2 (en) | Face detection using division-generated Haar-like features for illumination invariance | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
US8055067B2 (en) | Color segmentation | |
US20110268359A1 (en) | Foreground/Background Segmentation in Digital Images | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
JP2007047965A (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
CN101983507A (zh) | 自动红眼检测 | |
JP2006119817A (ja) | 画像処理装置 | |
JP2007025900A (ja) | 画像処理装置、画像処理方法 | |
JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
CN111222433A (zh) | 自动人脸稽核方法、***、设备及可读存储介质 | |
JP4599110B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP2007026308A (ja) | 画像処理方法、画像処理装置 | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
JP2007025901A (ja) | 画像処理装置、画像処理方法 | |
KR20110019969A (ko) | 얼굴 검출 장치 | |
JP4789526B2 (ja) | 画像処理装置、画像処理方法 | |
JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム | |
JP2007048108A (ja) | 画像評価システム及び画像評価方法並びに画像評価プログラム | |
JP2004199200A (ja) | パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム | |
JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
JP4831344B2 (ja) | 目の位置の検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |