JP2010250420A - 顔の特徴部位の座標位置を検出する画像処理装置 - Google Patents
顔の特徴部位の座標位置を検出する画像処理装置 Download PDFInfo
- Publication number
- JP2010250420A JP2010250420A JP2009096901A JP2009096901A JP2010250420A JP 2010250420 A JP2010250420 A JP 2010250420A JP 2009096901 A JP2009096901 A JP 2009096901A JP 2009096901 A JP2009096901 A JP 2009096901A JP 2010250420 A JP2010250420 A JP 2010250420A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detected
- detection
- face
- coordinate position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像より時間的に前に座標位置の検出がなされた画像である被検出画像の座標位置の検出に関連する情報である検出情報を記憶する記憶部と、座標位置の検出に用いられる特徴点の注目画像における初期位置を設定するために注目画像上に規定される注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像における初期位置を設定するために被検出画像上に規定された被検出画像規定領域に基づいて特定するかを検出情報に基づいて、判定する処理判定部と、初期位置に設定された特徴点の設定位置を座標位置に近づけるように更新し、更新された設定位置を座標位置として検出する特徴位置検出部と、を備える。
【選択図】図1
【解決手段】注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置は、注目画像より時間的に前に座標位置の検出がなされた画像である被検出画像の座標位置の検出に関連する情報である検出情報を記憶する記憶部と、座標位置の検出に用いられる特徴点の注目画像における初期位置を設定するために注目画像上に規定される注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像における初期位置を設定するために被検出画像上に規定された被検出画像規定領域に基づいて特定するかを検出情報に基づいて、判定する処理判定部と、初期位置に設定された特徴点の設定位置を座標位置に近づけるように更新し、更新された設定位置を座標位置として検出する特徴位置検出部と、を備える。
【選択図】図1
Description
本発明は、注目画像に含まれる目画像から所定の目の状態を検出する画像処理装置に関する。
視覚的事象のモデル化手法として、アクティブアピアランスモデル(Active Appearance Model、略して「AAM」とも呼ばれる)が知られている。AAMでは、例えば、複数のサンプル画像に含まれる顔の特徴部位(例えば目尻や鼻頭やフェイスライン)の位置(座標)や画素値(例えば輝度値)の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え(Appearance)」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。AAMによれば、任意の顔画像のモデル化(合成)が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である(特許文献1)。
しかし、上記従来の技術には、画像に含まれる顔の特徴部位の位置の検出に関して、さらなる効率化・高速化の余地があった。
本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることを目的とする。
上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。
第1の態様は、注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置を提供する。本発明の第1の態様に係る画像処理装置は、前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える。
第1の態様に係る画像処理装置によれば、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、特徴部位信頼度を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置において、前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、前記処理判定部は、第1の被検出画像における前記特徴部位信頼度と、前記第1の被検出画像より時間的に前に前記座標位置の検出がなされた第2の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第1の被検出画像および第2の被検出画像のそれぞれの特徴部位信頼度の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置において、前記検出情報は、第1の被検出画像において検出された前記特徴部位の座標位置と、前記第1の被検出画像より時間的に前に前記座標位置の検出がなされた第2の被検出画像において検出された前記特徴部位の座標位置との差異であり、前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定してもよい。この場合、注目画像規定領域を、注目画像に含まれる顔画像に基づいて検出するか、もしくは、被検出画像規定領域に基づいて特定するかについて、第1の被検出画像および第2の被検出画像のそれぞれについて検出された特徴部位の座標位置の差を用いて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置において、前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定してもよい。この場合、注目画像における特徴点の初期位置を注目画像規定領域に基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報に基づいて判定するため、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置はさらに、前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備えていてもよい。この場合、注目画像に含まれる目の画像からの目の状態を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置において、前記目の状態とは、目を瞑っている状態であってもよい。この場合、注目画像に含まれる目の画像の目を瞑っている状態を検出する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置はさらに、前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備えていてもよい。この場合、注目画像に含まれる目の画像の目を瞑っているか否かを判定する処理の効率化・高速化を図ることができる。
第1の態様に係る画像処理装置はさらに、時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備えていてもよい。この場合、注目画像に含まれる顔画像が居眠りをしている状態か否かを判定する処理の効率化・高速化を図ることができる。
なお、本発明は、種々の態様で実現することが可能であり、例えば、プリンター、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、顔の特徴部位の検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
以下、本発明に係る画像処理装置の一態様であるデジタルスチルカメラについて、図面を参照しつつ、実施例に基づいて説明する。
A.第1実施例:
A1.画像処理装置の構成:
図1は、本発明の第1実施例における画像処理装置としてのデジタルスチルカメラ100の構成を概略的に示す説明図である。本実施例のデジタルスチルカメラ(以下「DSC」とも呼ぶ)100は、被写体としての撮像対象物を撮像して被写体画像を表す画像データを生成する撮像装置(画像生成装置)として機能すると共に、生成された画像データに対する画像処理を行う画像処理装置としても機能する。
A1.画像処理装置の構成:
図1は、本発明の第1実施例における画像処理装置としてのデジタルスチルカメラ100の構成を概略的に示す説明図である。本実施例のデジタルスチルカメラ(以下「DSC」とも呼ぶ)100は、被写体としての撮像対象物を撮像して被写体画像を表す画像データを生成する撮像装置(画像生成装置)として機能すると共に、生成された画像データに対する画像処理を行う画像処理装置としても機能する。
DSC100は、レンズ102と、レンズ102を駆動して焦点(ピント)の位置や焦点距離を調整するレンズ駆動部104と、レンズ駆動部104を制御するレンズ駆動制御部106と、レンズ102を介して受光面に入力された光を電気信号に変換する撮像素子108と、撮像素子108から出力された電気信号に対するA/D変換を行うA/D変換器110と、外部機器との情報のやり取りのためのインターフェース部(I/F部)112と、液晶ディスプレイにより構成された表示部114と、ボタンやタッチパネルにより構成された操作部116と、DSC100の各部を制御するCPU118と、ROMやRAMによって構成された内部メモリー200と、を備えている。撮像素子108は、例えばCCDを用いて構成される。DSC100の各構成要素は、バス122を介して双方向通信可能に接続されている。
内部メモリー200には、画像生成部210と、表示処理部220と、画像処理部230と、が格納されている。画像生成部210は、レンズ102や撮像素子108などを制御して、被写体としての撮像対象物を撮像し、被写体画像を表す画像データを生成するためのコンピュータープログラムである。表示処理部220は、表示部114を制御して、表示部114上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバであり、CPU118により実行されることで機能を実現する。画像処理部230は、所定のオペレーティングシステムの下で、CPU118により実行されることで居眠り検出処理をおこなうコンピュータープログラムである。居眠り検出処理は、特定の顔画像について居眠りをしているか否かを検出する処理である。居眠り検出処理については、後に詳述する。
画像処理部230は、プログラムモジュールとして、顔領域検出部231と、目領域検出部232と、検出情報算出部235と、処理判定部236と、目状態検出部237と、目状態判定部238と、居眠り判定部239と、を含んでいる。また、目領域検出部232は、初期位置設定部233と特徴位置検出部234と、を含んでいる。これら各部の機能については、後述の居眠り検出処理の説明において詳述する。
CPU118は、内部メモリー200から、これらのプログラム(画像生成部210、表示処理部220、画像処理部230)を読み出して実行することにより、これら各部の機能を実現する。
内部メモリー200には、また、AAM情報AMIおよび目状態判定情報IJIが格納されている。AAM情報AMIは、後述のAAM設定処理によって予め設定される情報であり、後述の居眠り検出処理において参照される。AAM情報AMIの内容については、後述のAAM設定処理の説明において詳述する。目状態判定情報IJIは、後述する目状態検出部237による目状態の検出に用いられる。目状態判定情報IJIの内容については、後述の目状態判定情報設定処理の説明において詳述する。
A2.AAM設定処理:
図2は、第1実施例におけるAAM設定処理の流れを示すフローチャートである。AAM設定処理は、AAM(アクティブアピアランスモデル(Active Appearance Model))と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、AAM設定処理は、ユーザによりおこなわれる。
図2は、第1実施例におけるAAM設定処理の流れを示すフローチャートである。AAM設定処理は、AAM(アクティブアピアランスモデル(Active Appearance Model))と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、AAM設定処理は、ユーザによりおこなわれる。
はじめに、ユーザは、人物の顔を含んだ複数の画像をサンプル画像SIとして用意する(ステップS110)。図3は、サンプル画像SIの一例を示す説明図である。図3に示すように、サンプル画像SIは、個性、人種・性別、表情(怒り、笑い、困り、驚き等)、向き(正面向き、上向き、下向き、右向き、左向き等)といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像SIがそのように用意されれば、AAMによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理(後述)の実行が可能となる。なお、サンプル画像SIは、学習用画像とも呼ばれる。
それぞれのサンプル画像SIに含まれる顔画像に、特徴点CPを設定する(ステップS120)。図4は、サンプル画像SIにおける特徴点CPの設定方法の一例を示す説明図である。特徴点CPは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置(例えば端点や4分割点等、以下同じ)、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭(フェイスライン)上の所定位置といった68箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官(眉毛、目、鼻、口)および顔の輪郭における所定位置を、特徴部位として設定する。図4に示すように、特徴点CPは、各サンプル画像SIにおいてオペレーターにより指定された68個の特徴部位を表す位置に設定(配置)される。このように設定された各特徴点CPは各特徴部位に対応しているため、顔画像における特徴点CPの配置は顔の形状を特定していると表現することができる。
サンプル画像SIにおける特徴点CPの位置は、座標により特定される。図5は、サンプル画像SIに設定された特徴点CPの座標の一例を示す説明図である。図5において、SI(j)(j=1,2,3・・・)は各サンプル画像SIを示しており、CP(k)(k=0,1,・・・,67)は各特徴点CPを示している。また、CP(k)−Xは、特徴点CP(k)のX座標を示しており、CP(k)−Yは、特徴点CP(k)のY座標を示している。特徴点CPの座標としては、顔の大きさと顔の傾き(画像面内の傾き)と顔のX方向およびY方向の位置とのそれぞれについて正規化されたサンプル画像SIにおける所定の基準点(例えば画像の左下の点)を原点とした座標が用いられる。また、本実施例では、1つのサンプル画像SIに複数の人物の顔画像が含まれる場合が許容されており(例えばサンプル画像SI(2)には2人の顔画像が含まれている)、1つのサンプル画像SIにおける各人物は人物IDによって特定される。
つづいて、ユーザは、AAMの形状モデルの設定をおこなう(ステップS130)。具体的には、各サンプル画像SIにおける68個の特徴点CPの座標(X座標およびY座標)により構成される座標ベクトル(図5参照)に対する主成分分析をおこない、特徴点CPの位置により特定される顔の形状sが下記の式(1)によりモデル化する。なお、形状モデルは、特徴点CPの配置モデルとも呼ぶ。
上記式(1)において、s0は平均形状である。図6は、平均形状s0の一例を示す説明図である。図6(a)および(b)に示すように、平均形状s0は、サンプル画像SIの各特徴点CPについての平均位置(平均座標)により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状s0において、外周に位置する特徴点CP(フェイスラインおよび眉毛、眉間に対応する特徴点CP、図4参照)を結ぶ直線により囲まれた領域(図6(b)においてハッチングを付して示す)を「平均形状領域BSA」と呼ぶ。平均形状s0においては、図6(a)に示すように、特徴点CPを頂点とする複数の三角形領域TAが、平均形状領域BSAをメッシュ状に分割するように設定される。
形状モデルを表す上記式(1)において、siは形状ベクトルであり、piは形状ベクトルsiの重みを表す形状パラメーターである。形状ベクトルsiは、顔の形状sの特性を表すベクトルであり、主成分分析により得られる第i主成分に対応する固有ベクトルである。上記式(1)に示すように、本実施例における形状モデルでは、特徴点CPの配置を表す顔形状sが、平均形状s0とn個の形状ベクトルsiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターpiを適切に設定することにより、あらゆる画像における顔の形状sを再現することが可能である。
図7は、形状ベクトルsiおよび形状パラメーターpiと、顔の形状sとの関係を例示した説明図である。図7(a)に示すように、顔の形状sを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数n(図7ではn=4)の固有ベクトルが、形状ベクトルsiとして採用される。形状ベクトルsiのそれぞれは、図7(a)の矢印に示すように、各特徴点CPの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第1主成分に対応する第1形状ベクトルs1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターp1を大小することにより、図7(b)に示すように、顔の形状sの横方向の顔向きが変化する。2番目に寄与率の大きい第2主成分に対応する第2形状ベクトルs2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターp2を大小することにより、図7(c)に示すように、顔の形状sの縦方向の顔向きが変化する。また、3番目に寄与率の大きい第3主成分に対応する第3形状ベクトルs3は顔の形状の縦横比にほぼ相関するベクトルとなっており、4番目に寄与率の大きい第4主成分に対応する第4形状ベクトルs4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。
なお、形状モデル設定ステップ(ステップS130)において設定された平均形状s0および形状ベクトルsiは、AAM情報AMI(図1)として内部メモリー200に格納される。
つづいて、AAMのテクスチャーモデルの設定をおこなう(ステップS140)。具体的には、まず、各サンプル画像SIに対して、サンプル画像SIにおける特徴点CPの設定位置が平均形状s0における特徴点CPの設定位置と等しくなるように、画像変換(以下、「ワープW」とも呼ぶ)を行う。
図8は、サンプル画像SIのワープWの方法の一例を示す説明図である。各サンプル画像SIにおいては、平均形状s0と同様に、外周に位置する特徴点CPにより囲まれた領域をメッシュ状に分割する複数の三角形領域TAが設定される。ワープWは、複数の三角形領域TAのそれぞれについてのアフィン変換の集合である。すなわち、ワープWにおいては、サンプル画像SIにおけるある三角形領域TAの画像は、平均形状s0における対応する三角形領域TAの画像へとアフィン変換される。ワープWにより、特徴点CPの設定位置が平均形状s0における特徴点CPの設定位置と等しいサンプル画像SI(以下「サンプル画像SIw」と表す)が生成される。
なお、各サンプル画像SIwは、平均形状領域BSA(図8においてハッチングを付して示す)を内包する矩形枠を外周とし、平均形状領域BSA以外の領域(以下「マスク領域MA」とも呼ぶ)がマスクされた画像として生成される。平均形状領域BSAとマスク領域MAとを併せた画像領域を基準領域BAと呼ぶ。また、各サンプル画像SIwは、例えば56画素×56画素のサイズの画像として正規化される。
次に、各サンプル画像SIwの画素群xのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、顔のテクスチャー(「見え」とも呼ぶ)A(x)が下記の式(2)によりモデル化される。なお、画素群xは、平均形状領域BSAに位置する画素の集合である。ここで、画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。
上記式(2)において、A0(x)は平均顔画像である。図9は、平均顔画像A0(x)の一例を示す説明図である。平均顔画像A0(x)は、ワープWの後のサンプル画像SIw(図8参照)の平均の顔が表された画像である。すなわち、平均顔画像A0(x)は、サンプル画像SIwの平均形状領域BSA内の画素群xの画素値(輝度値)の平均をとることにより算出される画像である。従って、平均顔画像A0(x)は、平均的な顔の形状における平均的な顔のテクスチャー(見え)を表すモデルである。なお、平均顔画像A0(x)は、サンプル画像SIwと同様に、平均形状領域BSAとマスク領域MAとで構成され、例えば56画素×56画素のサイズの画像として算出される。
テクスチャーモデルを表す上記式(2)において、Ai(x)はテクスチャーベクトルであり、λiはテクスチャーベクトルAi(x)の重みを表すテクスチャーパラメーターである。テクスチャーベクトルAi(x)は、顔のテクスチャーA(x)の特性を表すベクトルであり、具体的には、主成分分析により得られる第i主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数mの固有ベクトルが、テクスチャーベクトルAi(x)として採用される。本実施例では、最も寄与率の大きい第1主成分に対応する第1テクスチャーベクトルA1(x)は、顔色の変化(性別の差とも捉えられる)にほぼ相関するベクトルとなっている。
上記式(2)に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーA(x)が、平均顔画像A0(x)とm個のテクスチャーベクトルAi(x)の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーA(x)を再現することが可能である。なお、テクスチャーモデル設定ステップ(図2のステップS140)において設定された平均顔画像A0(x)およびテクスチャーベクトルAi(x)は、AAM情報AMI(図1)として内部メモリー200に格納される。
以上説明したAAM設定処理(図2)により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーA(x)に対して平均形状s0から形状sへの変換(図8に示したワープWの逆変換)を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
A3.目状態判定情報設定処理:
目状態判定情報設定処理は、目の画像についてのテクスチャーモデルを設定する処理である。本実施例において、目状態判定情報設定処理についてもAAM設定処理と同様に、ユーザによりおこなわれる。
目状態判定情報設定処理は、目の画像についてのテクスチャーモデルを設定する処理である。本実施例において、目状態判定情報設定処理についてもAAM設定処理と同様に、ユーザによりおこなわれる。
図10は、目状態判定情報設定処理を説明するための説明図である。図10(a)は目領域を例示した説明図である。特徴点CPが設定されたサンプル画像SI(図4)において、図10(a)に示すように、サンプル画像SIの目の輪郭上に設定されている特徴点CPにより囲まれた領域を「目領域EA」と呼ぶ。各サンプル画像SIの目領域EAに対して、目領域EAを形成する特徴点CPの設定位置が平均形状s0における特徴点CPの設定位置と等しくなるように画像変換(ワープW)を行う。ワープWにより、平均形状s0における特徴点CPの設定位置と等しい位置の特徴点CPに囲まれた領域である平均形状目領域BEAを含むサンプル目画像SEIwが生成される。
図10(b)は、サンプル目画像を例示した説明図である。図10(b)に示すように、各サンプル目画像SEIwは、平均形状目領域BEAを内包する矩形枠を外周とし、平均形状目領域BEA以外の領域(マスク領域MA)がマスクされた画像として生成される。平均形状目領域BEAとマスク領域MAとを併せた画像領域を基準領域BAと呼ぶ。また、各サンプル目画像SIwは、例えば56画素×56画素のサイズの画像として正規化される。
次に、各サンプル目画像SEIwの画素群xのそれぞれにおける画素値により構成される画像ベクトルに対する主成分分析がおこなわれ、目のテクスチャーが上記の式(2)によりモデル化される。ここで、画素群xは、平均形状目領域BEAに位置する画素の集合である。画素値とは輝度値であり、画像ベクトルは、輝度値により構成される輝度値ベクトルである。なお、AAM設定処理で設定されるテクスチャーモデルと区別するために、以後、目状態判定情報設定処理により設定されるテクスチャーモデルには、ダッシュ(’)を付けて説明する。例えば、平均形状目領域BEAのテクスチャーは、テクスチャーA’(x)と呼ぶ。A’0(x)は、平均目画像である。平均目画像A’0(x)は、ワープWの後のサンプル目画像SEIw(図10(b)参照)の平均の目の見えが表された画像である。なお、平均目画像A’0(x)は、サンプル目画像SEIwと同様に、平均形状目領域BEAとマスク領域MAとで構成され、例えば56画素×56画素のサイズの画像として算出される。
目のテクスチャーモデルでは、目の見えを表す目のテクスチャーA’(x)が、平均目画像A’0(x)とm個のテクスチャーベクトルA’i(x)の線形結合との和としてモデル化される。目のテクスチャーモデルにおいてテクスチャーパラメーターλ’iを適切に設定することにより、例えば、目の開閉や、黒目の位置などを変化させた、あらゆる目の画像をテクスチャーA’(x)により再現することが可能である。なお、設定された平均目画像A’0(x)およびテクスチャーベクトルA’i(x)は、目状態判定情報IJI(図1)として内部メモリー200に格納される。
図10(c)は、第1テクスチャーベクトルとサンプル目画像との関係を例示した説明図である。本実施例では、最も寄与率の大きい第1主成分に対応する第1テクスチャーベクトルA’1(x)は、目の開閉にほぼ相関するベクトルとなるように、主成分分析の対象とするサンプル目画像SEIwが選定されている。具体的には、主成分分析の対象とするサンプル目画像SEIwに、目瞑り状態の目画像と目開き状態の目画像を含めることにより、意図的に目の開閉に相関する主成分が形成されるようにしている。これにより、目の開閉にほぼ相関する第1テクスチャーベクトルA’1(x)の係数であるテクスチャーパラメーターλ’1の値を変化させることで、図10(c)に示すように、目画像の目の開閉状態の変化を表現することができる。なお、本実施例では、第1主成分に目の開閉に相関するテクスチャーベクトルが形成されるものとして説明しているが、必ずしも、第1主成分に形成される必要はなく、例えば、第2主成分や第3主成分など、これ以外の主成分として形成されていてもよい。
A4.居眠り検出処理:
図11は、第1実施例における居眠り検出処理の流れを示すフローチャートである。本実施例における居眠り検出処理は、対象とする顔(以後「対象顔」とも呼ぶ)が居眠りをしている状態を表しているか否かを検出する処理である。具体的には、DSC100は、対象顔を撮影して対象顔を含む画像を表す画像データを生成し、画像データから対象顔が居眠りをしている状態を表しているか否かを検出する。
図11は、第1実施例における居眠り検出処理の流れを示すフローチャートである。本実施例における居眠り検出処理は、対象とする顔(以後「対象顔」とも呼ぶ)が居眠りをしている状態を表しているか否かを検出する処理である。具体的には、DSC100は、対象顔を撮影して対象顔を含む画像を表す画像データを生成し、画像データから対象顔が居眠りをしている状態を表しているか否かを検出する。
画像生成部210は、居眠り検出処理の対象となる画像データを生成する(ステップS210)。具体的には、DSC100は、撮影を行う領域を表示部114に表示し、ユーザによる操作部116の操作を受けて対象顔を含む領域を撮影する。画像生成部210は、撮影した対象顔を含む領域の画像データを生成し、内部メモリー200の所定の領域に格納する。本実施例では、DSC100は、対象顔を所定の時間間隔で連続的に撮影し、それぞれの画像データを生成する。なお、生成した画像データのうち、以下の説明の対象とする画像データを特に注目画像データと呼び、注目画像データにより表される画像を注目画像OIと呼ぶものとする。
DSC100は、目領域検出処理をおこなう(ステップs220)。目領域検出処理とは、注目画像OIから目領域EAを検出する処理である。図12は、第1実施例における目領域検出処理の流れを示すフローチャートである。本実施例における目領域検出処理は、AAMを利用して、注目画像に含まれる顔画像における特徴点CPの配置を決定することにより、顔画像における特徴部位の位置を検出し、検出した特徴部位の位置から目領域を特定する。上述したように、本実施例では、AAM設定処理(図2)において、人物の顔の器官(眉毛、目、鼻、口)および顔の輪郭における計68箇所の所定位置が、特徴部位として設定されている(図4参照)。そのため、本実施例における特徴部位の位置の検出は、人物の顔の器官および顔の輪郭における所定位置を表す68個の特徴点CPの位置を特定することによりおこなう。
本実施例では、注目画像OIより時間的に前に目領域検出処理がなされた画像を被検出画像DIとも呼ぶ。被検出画像DIは、注目画像OIと画像サイズが等しい。被検出画像DIのうち特に、注目画像OIの直前に撮影され、目領域検出処理がなされた画像を被検出画像DI1とし、被検出画像DI1の直前に撮影され、目領域検出処理がなされた画像を被検出画像DI2とする。また、被検出画像DIにおける目領域EAの検出に関連する情報を検出情報DCIと呼ぶ。本実施例における目領域検出処理は、検出情報DCIに応じて、被検出画像DIに対する目領域検出処理の検出結果を利用して注目画像OIから目領域EAを検出する。被検出画像DIの検出結果を利用する場合の条件や、利用する検出結果の詳細については後述する。
図12に示すように、処理判定部236は、内部メモリー200に検出情報DCIがあるか否かを判定する(ステップS310)。検出情報DCIは、既述のとおり、被検出画像DIについての目領域の検出に関連する情報であり、具体的には、目領域検出部232が検出した顔の特徴部位の位置が、真の顔の特徴部位の位置である確からしさを表す指標である特徴部位信頼度や、目領域検出処理がなされた時間が異なる2以上の被検出画像DIにおいてそれぞれ検出された顔の特徴部位の座標位置の差異などを含む。本実施例では、検出情報DCIとして特徴部位信頼度を用いて説明する。
内部メモリー200に検出情報DCIがない場合と判定された場合には(ステップS310:NO)、顔領域検出部231(図1)は、注目画像OIに対して顔領域FAの検出処理をおこなう(ステップS320)。すなわち、顔領域検出部231は、注目画像OIに含まれる顔画像に基づいて、顔画像の少なくとも一部を含む領域を顔領域FAとして検出する。顔領域FAの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習(例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等)により設定される学習データを用いる手法等がある。注目画像OIにおいて検出された顔領域FAは、特許請求の範囲における「注目画像規定領域」に該当する。上記を換言すると、内部メモリー200に検出情報DCIがない場合には、顔領域検出部231は、注目画像OIに含まれる顔画像に基づいて、注目画像規定領域を検出する。
図13は、注目画像OIにおける顔領域FAの検出結果の一例を示す説明図である。図13には、注目画像OIにおいて検出された顔領域FAが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域FAとして検出されるような顔検出手法が用いられている。
顔領域FAの検出処理の後、初期位置設定部233(図1)は、注目画像OIに対する特徴点CPの初期位置を設定する(ステップS330)。図14は、第1実施例における特徴点CPの初期位置設定処理の流れを示すフローチャートである。本実施例では、初期位置設定部233は、顔領域FAに対する顔画像の大きさ、傾き、位置(上下方向の位置および左右方向の位置)を表すグローバルパラメーターの値と、特徴量である形状パラメーターp1および形状パラメーターp2の値と、を種々変更して、特徴点CPを注目画像OI上の仮設定位置に設定する(ステップS410)。
図15は、グローバルパラメーターの値を変更することによる特徴点CPの仮設定位置の一例を示す説明図である。図15(a)および図15(b)には、注目画像OIにおける特徴点CPおよび特徴点CPをつないで形成されるメッシュが示されている。初期位置設定部233は、図15(a)および図15(b)の中央に示すように、顔領域FAの中央部に平均形状s0が形成されるような特徴点CPの仮設定位置(以下、「基準仮設定位置」とも呼ぶ)を設定する。
初期位置設定部233は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター(大きさ、傾き、上下方向の位置および左右方向の位置)を変更すると、注目画像OIにおいて特徴点CPにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動する。従って、初期位置設定部233は、図15(a)に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置(基準仮設定位置の図の下および上に示す)や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置(基準仮設定位置の図の右および左に示す)を設定する。また、初期位置設定部233は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置(基準仮設定位置の図の左上、左下、右上、右下に示す)も設定する。
また、図15(b)に示すように、初期位置設定部233は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置(基準仮設定位置の図の上および下に示す)や、左または右に並行移動したメッシュを形成するような仮設定位置(基準仮設定位置の図の左および右に示す)を設定する。また、初期位置設定部233は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置(基準仮設定位置の図の左上、左下、右上、右下に示す)も設定する。
初期位置設定部233は、図15(a)に示す基準仮設定位置以外の8つの仮設定位置のそれぞれにおけるメッシュに対して図15(b)に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、4つのグローバルパラメーター(大きさ、傾き、上下方向の位置、左右方向の位置)をそれぞれ既知の3段階の値として組み合わせにより設定される80通り(=3×3×3×3−1)の仮設定位置と、基準仮設定位置の合計81通りの仮設定位置が設定される。
初期位置設定部233は、設定された各仮設定位置に対応する平均形状画像I(W(x;p))を生成する(ステップS420)。図16は、平均形状画像I(W(x;p))の一例を示す説明図である。平均形状画像I(W(x;p))は、入力画像における特徴点CPの配置が平均形状s0における特徴点CPの配置と等しくなるような変換によって算出される。
平均形状画像I(W(x;p))を算出するための変換は、サンプル画像SIw算出のための変換と同様に、三角形領域TA毎のアフィン変換の集合であるワープWにより行われる。具体的には、注目画像OIに配置された特徴点CPによって、外周に位置する特徴点CP(フェイスラインおよび眉毛、眉間に対応する特徴点CP)を結ぶ直線により囲まれた領域である平均形状領域BSAが特定され、注目画像OIにおける平均形状領域BSAに対して三角形領域TA毎のアフィン変換が行われることにより、平均形状画像I(W(x;p))が算出される。本実施例では、平均形状画像I(W(x;p))は、平均顔画像A0(x)と同様に平均形状領域BSAおよびマスク領域MAにより構成され、平均顔画像A0(x)と同サイズの画像として算出される。
なお、上述したように、画素群xは、平均形状s0における平均形状領域BSAに位置する画素の集合である。ワープW実行後の画像(平均形状s0を有する顔画像)における画素群xに対応するワープW実行前の画像(注目画像OIの平均形状領域BSA)における画素群をW(x;p)と表す。平均形状画像は、注目画像OIの平均形状領域BSAにおける画素群W(x;p)のそれぞれにおける輝度値により構成される画像であるため、I(W(x;p))と表される。図16には、図15(a)に示した9個の仮設定位置に対応する9個の平均形状画像I(W(x;p))を示している。
初期位置設定部233は、各仮設定位置に対応する平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieを算出する(ステップS430)。差分画像Ieは、平均形状画像I(W(x;p))と平均顔画像A0(x)の各画素値の差であり、本実施例では差分値とも呼ぶ。差分画像Ieは、特徴点CPの設定位置が、特徴部位の位置と一致している場合には表れないため、特徴点CPの設定位置と、特徴部位の位置と差異を表している。本実施例では、特徴点CPの仮設定位置は81種類設定されているため、初期位置設定部233は、81個の差分画像Ieを算出することとなる。
初期位置設定部233は、各差分画像Ieの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ieに対応する仮設置位置(以下「ノルム最小仮設定位置」とも呼ぶ)を、注目画像OIにおける特徴点CPの初期位置として設定する(ステップS440)。画素値は輝度値であってもよいしRGB値であってもよい。以上により、特徴点CP初期位置設定処理が完了する。
特徴点CP初期位置設定処理が完了すると、図12に戻り、特徴位置検出部234(図1)は、注目画像OIにおける特徴点CPの設定位置の補正を行う(ステップS340)。図17は、第1実施例における特徴点CP設定位置補正処理の流れを示すフローチャートである。
特徴位置検出部234は、注目画像OIから平均形状画像I(W(x;p))を算出する(ステップS510)。平均形状画像I(W(x;p))の算出方法は、特徴点CP初期位置設定処理におけるステップS420と同様である。
特徴位置検出部234は、平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieを算出する(ステップS520)。特徴位置検出部234は、差分画像Ieに基づき、特徴点CPの設定位置補正処理が収束したか否かを判定する(ステップS530)。特徴位置検出部234は、差分画像Ieのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。
なお、特徴位置検出部234は、算出された差分画像Ieのノルムの値が前回のステップS520において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部234は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、特徴位置検出部234は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
上記のステップS530の収束判定において未だ収束していないと判定した場合には、特徴位置検出部234は、パラメーター更新量ΔPを算出する(ステップS540)。パラメーター更新量ΔPは、4個のグローバルパラメーター(全体としての大きさ、傾き、X方向位置、Y方向位置)、および、AAM設定処理により算出されるn個の形状パラメーターpi(式(1)参照)の値の変更量を意味している。なお、特徴点CPを初期位置に設定した直後においては、グローバルパラメーターは、特徴点CP初期位置設定処理において決定された値が設定されている。また、このときの特徴点CPの初期位置と平均形状s0の特徴点CPの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターpiの値はすべてゼロである。
パラメーター更新量ΔPは、下記の式(3)により算出される。すなわち、パラメーター更新量ΔPは、アップデートマトリックスRと差分画像Ieとの積である。
式(3)におけるアップデートマトリックスRは、差分画像Ieに基づきパラメーター更新量ΔPを算出するために予め学習により設定されたM行N列のマトリックスであり、AAM情報AMI(図1)として内部メモリー200に格納されている。本実施例では、アップデートマトリックスRの行数Mは、グローバルパラメーターの数(4個)と、形状パラメーターpiの数(n個)との和((4+n)個)に等しく、列数Nは、平均顔画像A0(x)の平均形状領域BSA内の画素数(56画素×56画素−マスク領域MAの画素数)に等しい。アップデートマトリックスRは、下記の式(4)および(5)により算出される。
特徴位置検出部234は、算出されたパラメーター更新量ΔPに基づきパラメーター(4個のグローバルパラメーターおよびn個の形状パラメーターpi)を更新する(ステップS550)。これにより、注目画像OIにおける特徴点CPの設定位置が更新される。特徴位置検出部234は、差分画像Ieのノルムが小さくなるように更新する。パラメーターの更新の後には、再度、特徴点CPの設置位置が補正された注目画像OIからの平均形状画像I(W(x;p))の算出(ステップS510)、差分画像Ieの算出(ステップS520)、差分画像Ieに基づく収束判定(ステップS530)が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ieに基づくパラメーター更新量ΔPの算出(ステップS540)、パラメーターの更新による特徴点CPの設定位置補正(ステップS550)が行われる。
図17のステップS510からS550までの処理が繰り返し実行されると、注目画像OIにおける各特徴部位に対応する特徴点CPの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定(ステップS530)において収束したと判定される。収束判定において収束したと判定されると、目領域検出処理が完了する(ステップS560)。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点CPの設定位置が、最終的な注目画像OIにおける特徴点CPの設定位置として特定される。また、特定された特徴点CPから注目画像OIにおける目領域EAが特定される。なお、ステップS510からS550までの処理の繰り返しにより、注目画像OIにおける各特徴部位に対応する特徴点CPの位置と実際の特徴部位の位置とが一致する場合もある。
図18は、特徴点CP設定位置補正処理の結果の一例を示す説明図である。図18には、注目画像OIにおいて最終的に特定された特徴点CPの設定位置が示されている。特徴点CPの設定位置により、注目画像OIに含まれる顔の特徴部位(人物の顔の器官(眉毛、目、鼻、口)および顔の輪郭における所定位置)の位置が特定されるため、注目画像OIにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また目領域EAが検出される。以上により、特徴点CP設定位置補正処理が完了する。
特徴点CP設定位置補正処理が完了すると、図12に戻り、検出情報算出部235(図1)は、検出情報DCIを更新する(ステップS350)。本実施例では、検出情報DCIとして特徴部位信頼度を用いているので、検出情報算出部235は、注目画像OIについての特徴部位信頼度を算出する。特徴部位信頼度は、収束した差分画像Ieのノルムに基づき算出される指標であり、検出された特徴部位の位置が真に顔の特徴部位の位置であることの確からしさを表す。目領域検出処理では、顔の特徴部位の位置ではない位置、すなわち、真の顔の特徴部位の位置とまったく重複しない位置や、真の顔の特徴部位の位置の一部と重複するが正確に対応する位置ではない位置が、誤って顔の特徴部位の位置として検出される可能性がある。特徴部位信頼度は、顔の特徴部位の位置の検出が、誤検出ではなく正しい検出であることの確からしさを表している。
図19は、差分画像のノルムと特徴部位信頼度との関係を例示した説明図である。検出情報算出部235は、予め用意された図19に示す対応図を用いて、差分画像Ieのノルムから特徴部位信頼度を算出する。図19の対応図を用いることで、特徴部位信頼度の値が0〜100の範囲となるように差分画像Ieのノルムがスケール変換される。ここで、特徴部位信頼度が0の場合は、顔の特徴部位の位置が正しく検出されていない可能性が高いことを意味し、信頼度が100の場合は、顔の特徴部位の位置が正しく検出された可能性が高いことを意味する。なお、差分画像Ieのノルムから照明などの影響を取り除くために、平均形状画像I(W(x;p))に含まれる各画素の輝度値と平均顔画像A0(x)の画素値(輝度値)の平均値や分散を揃えるように正規化をおこなってもよい。検出情報算出部235は、算出した注目画像OIの特徴部位信頼度を内部メモリー200に格納する。
以上、内部メモリー200に検出情報DCIがない場合(ステップS310:NO)について説明したが、以下では、ステップS310において、内部メモリー200に検出情報DCIが格納されている場合(ステップS310:YES)について説明する。処理判定部236は、注目画像OIの直前に撮影された被検出画像DI1についての検出情報DCIと、予め内部メモリー200に格納されている第1の閾値TH1とを比較する(ステップS360)。
処理判定部236は、検出情報DCIが第1の閾値TH1以上の場合(ステップS360:YES)、注目画像OIにおける特徴点CPの初期位置を、被検出画像DI1において決定された特徴点CPの初期位置に基づいて決定すると判定する(ステップS390)。検出情報DCIが第1の閾値TH1以上である場合、すなわち、特徴部位信頼度が第1の閾値TH1以上である場合には、被検出画像DI1において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性が高いため、顔領域FAの検出処理(ステップS320)、および、特徴点CP初期位置設定処理(ステップS330)をおこなわず、被検出画像DI1において決定された特徴点CPの初期位置に基づいて注目画像OIにおける特徴点CPの初期位置を決定しても、注目画像OIにおける顔の特徴部位に近い位置に特徴点CPを設定することができる。
図20は、被検出画像および注目画像における特徴点の初期位置を例示した説明図である。処理判定部236による上記判定の後、初期位置設定部233は、図20に示すように、注目画像OIに対して、被検出画像DI1に設定された特徴点CPの初期位置と同じ座標位置に特徴点CPを設定する。これにより、特徴点CPをつないで形成されるメッシュについても注目画像OIと被検出画像DI1とで同じ位置および範囲に設定される。特徴位置検出部234は、注目画像OIに設定された特徴点CPの設定位置の補正を行い(ステップS340)、目領域EAを検出する。また、検出情報算出部235は、注目画像OIの検出情報DCIを算出し、内部メモリー200の検出情報DCIを更新する(ステップS350)。
検出情報DCIが第1の閾値TH1より小さい場合(ステップS360:NO)、すなわち、特徴部位信頼度が第1の閾値TH1より小さい場合には、さらに、処理判定部236は、検出情報DCIと第2の閾値TH2とを比較する(ステップS370)。第2の閾値TH2は第1の閾値TH1より小さい値である。検出情報DCIが第2の閾値TH2以上の場合(ステップS370:YES)、処理判定部236は、注目画像OIにおける顔領域FAの位置および範囲を注目画像OIの直前に撮影された被検出画像DI1における顔領域FAの位置および範囲に基づいて設定すると判定する(ステップS380)。検出情報DCIが第2の閾値TH2以上である場合、すなわち、特徴部位信頼度が第2の閾値TH2以上である場合には、第1の閾値TH1以上である場合に比べて劣るが、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、顔領域FAの検出処理(ステップS320)をおこなわず、被検出画像DI1において設定された顔領域FAの位置および範囲を注目画像OIにおける顔領域FAの位置および範囲としても、注目画像OIにおける顔の特徴部位に近い位置に特徴点CPを設定することができる。被検出画像DIにおいて設定された顔領域FAは特許請求の範囲における「被検出画像規定領域」に該当する。上記を換言すると、検出情報DCIが第2の閾値TH2以上の場合、処理判定部236は、被検出画像規定領域に基づいて注目画像規定領域を特定すると判定する。
図21は、被検出画像および注目画像における顔領域を例示した説明図である。処理判定部236による上記判定の後、顔領域検出部231は、図21に示すように、注目画像OIに対して、被検出画像DI1上において特定された顔領域FAの位置および範囲と同じ位置および範囲を注目画像OIの顔領域FAとして特定する。初期位置設定部233は、注目画像OIにおいて特定された顔領域FAに基づいて特徴点CPの初期位置を設定する(ステップS330)。また、特徴位置検出部234は、注目画像OIに設定された特徴点CPの設定位置を補正し(ステップS340)、目領域EAを検出する。また、検出情報算出部235は、注目画像OIの検出情報DCIを算出し、内部メモリー200の検出情報DCIを更新する(ステップS350)。
検出情報DCIが第2の閾値TH2より小さい場合(ステップS370:NO)、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は低いため、処理判定部236は、顔領域FAの検出処理により注目画像OIの顔領域FAを検出すると判定する。その後、特徴点CPの初期位置設定(ステップS330)、特徴点CPの設定位置補正(ステップS340)、内部メモリー200の検出情報DCIを更新(ステップS350)がなされる。以上により、目領域検出処理が完了する。
目領域検出処理が完了すると、図11に戻り、画像処理部230は、目瞑り判定をおこなう(ステップS230)。目瞑り判定とは、目領域検出処理により検出された注目画像OIの目領域EAに含まれる目画像が目瞑り状態か否についての判定である。具体的には、目状態検出部237は、特徴点CP設定位置補正処理において注目画像OIに含まれる顔の特徴部位の位置が特定された際の平均形状画像I(W(x;p))における平均形状目領域BEAの画素値により構成される画像ベクトルと、目の開閉にほぼ相関するベクトルである第1テクスチャーベクトルA’1(x)との内積により、テクスチャーパラメーターλ’1の値を算出する。ここで、算出されるテクスチャーパラメーターλ’1は、第1テクスチャーベクトルA’1(x)の係数であり、注目画像OIに含まれる目画像が目瞑り状態か否を表している。
目状態判定部238は、算出されたテクスチャーパラメーターλ’1と、予め設定された第3の閾値TH3とを比較して、目瞑り判定をおこなう。例えば、テクスチャーパラメーターλ’1の値が第3の閾値TH3より大きい場合には目瞑りと判定し、テクスチャーパラメーターλ’1の値が第3の閾値TH3以下の場合には目瞑りではないと判定する。以上より、目瞑り判定が完了する。
目瞑り判定が完了すると、居眠り判定部239は、居眠り判定をおこなう(ステップS240)。居眠り判定とは、対象顔が居眠りをしているか否についての判定である。具体的には、居眠り判定部239は、図示しないカウンターを備え、被検出画像DIもしくは注目画像OIに対する目瞑り判定において、連続して目瞑り状態であると判定された数をカウントし、カウント数が所定に達した場合、すなわち、連続して目瞑り状態と判定された回数が所定に達した場合に対象顔が居眠りをしていると判定する。DSC100は、居眠り判定部239により対象顔が居眠りをしていると判定すると、表示部114に居眠りをしていることを表示する。以上により、居眠り判定処理が完了する。
以上説明したように、第1の実施例に係る画像処理装置によれば、目の状態に関連する固有ベクトルと、検出された目領域の画像を変換した変換画像の画像ベクトルと、を用いて目の状態を検出するため、画像に含まれる目の状態を効率的に検出することができる。具体的には、目の開閉にほぼ相関する固有ベクトルである第1テクスチャーベクトルA’1(x)と、特徴点CP設定位置補正処理において注目画像OIに含まれる顔の特徴部位の位置が特定された際の平均形状画像I(W(x;p))における平均形状目領域BEAの画素値により構成される画像ベクトルとの内積から、テクスチャーパラメーターλ’1を算出し、テクスチャーパラメーターλ’1の値により注目画像OIに含まれる目画像が目瞑り状態か否かを検出するため、注目画像OIにおける目の状態を効率的に検出することができる。
第1の実施例に係る画像処理装置によれば、注目画像OIの顔領域FAを、注目画像OIに含まれる顔画像に基づいて検出するか、もしくは、被検出画像の顔領域FAに基づいて特定するかを検出情報DCIに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第2の閾値TH2以上である場合には、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、被検出画像DI1において設定された顔領域FAの位置および範囲を注目画像OIにおける顔領域FAの位置および範囲としても、注目画像OIにおける顔の特徴部位に近い位置に特徴点CPを設定することができる。これにより、顔領域FAの検出処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1の実施例に係る画像処理装置によれば、注目画像OIに設定される特徴点CPの初期位置を、注目画像OIの顔領域FAに基づいて決定するか、もしくは、被検出画像の初期位置に基づいて決定するかを検出情報DCIに基づいて判定するため、画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。具体的には、特徴部位信頼度が第1の閾値TH1以上である場合には、被検出画像DI1において検出された特徴部位の位置が真に顔の特徴部位の位置である可能性がさらに高いため、被検出画像DI1において決定された特徴点CPの初期位置に基づいて注目画像OIにおける特徴点CPの初期位置を決定しても、注目画像OIにおける顔の特徴部位に近い位置に特徴点CPを設定することができる。これにより、顔領域FAの検出処理、および、特徴点CP初期位置設定処理をおこなう必要がなくなり、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
B.第2実施例:
第1実施例では、AAM設定処理において、顔全体についての形状モデルおよびテクスチャーモデルが設定されているが、本実施例では、後述する目画像を含む顔画像の一部の領域(以後「目周辺領域EFA」と呼ぶ)の画像についての形状モデルおよびテクスチャーモデルを設定し、この形状モデルおよびテクスチャーモデルを用いて目領域検出処理をおこなう場合について説明する。デジタルスチルカメラ100の構成は、第1実施例と同様のため説明を省略する。また、本実施例のデジタルスチルカメラ100による居眠り判定処理において、画像データの生成(ステップS210)、目瞑り判定(ステップS230)、居眠り判定(ステップS240)は第1実施例と同様であるため説明を省略する。
第1実施例では、AAM設定処理において、顔全体についての形状モデルおよびテクスチャーモデルが設定されているが、本実施例では、後述する目画像を含む顔画像の一部の領域(以後「目周辺領域EFA」と呼ぶ)の画像についての形状モデルおよびテクスチャーモデルを設定し、この形状モデルおよびテクスチャーモデルを用いて目領域検出処理をおこなう場合について説明する。デジタルスチルカメラ100の構成は、第1実施例と同様のため説明を省略する。また、本実施例のデジタルスチルカメラ100による居眠り判定処理において、画像データの生成(ステップS210)、目瞑り判定(ステップS230)、居眠り判定(ステップS240)は第1実施例と同様であるため説明を省略する。
図22は、第2実施例における目領域検出処理を説明するための説明図である。図22(a)は、第2実施例における顔領域と目周辺領域を例示した説明図である。本実施例では、目周辺領域EFAは、図22(a)に示すように、顔領域FAの一部であって、顔の特徴部位のうち、眉、目、鼻を含んだ領域として説明する。顔領域FAの検出処理(ステップS320)において、顔領域検出部231は、顔領域FAを検出することにより目周辺領域EFAを特定する。すなわち、注目画像OIにおける目周辺領域EFAの位置および範囲は、検出した顔領域FAの注目画像OIにおける位置および範囲に対して予め規定されているため、顔領域FAの検出により目周辺領域EFAの位置および範囲が一義的に規定される。目周辺領域EFAの位置および範囲の規定方法については特に限定はなく、例えば、目周辺領域EFAは、顔領域FAの外周から所定の画素数内側の範囲としてもよいし、顔領域FAの縦横それぞれの画素数に所定の定数を掛けて算出される範囲としてもよい。
図22(b)は、第2実施例における目周辺領域と特徴点を例示した説明図である。初期位置設定部233は、特徴点CPの初期位置を設定(ステップS330)する際、顔領域FAのかわりに目周辺領域EFAを用いて特徴点CPを注目画像OI上の仮設定位置に設定する。具体的には、目周辺領域EFAの中央部に目周辺領域EFAに対応した平均形状s0が形成されるような特徴点CPの仮設定位置を設定するとともに、グローバルパラメーターの値を種々変更させて複数の仮設定位置を設定する。このとき設定される特徴点CPおよび特徴点CPをつないで形成されるメッシュは、図22(b)に示すように、目周辺領域EFAに対応した平均形状s0を構成するような特徴点CPおよびメッシュとなっている。
すなわち、AAM設定処理において、形状モデルを設定する際、目周辺領域EFAに含まれる特徴部位に対応する特徴点CPの座標ベクトルのみを用いて主成分分析をおこない、式(1)によるモデル化をおこなっている。これにより、目周辺領域EFAに含まれる特徴部位に対応する特徴点CPのみにより形成される平均形状s0が設定される。この平均形状s0を構成する特徴点CPには、目の輪郭上に設定されている特徴点CPも含まれているため、目領域EAを検出することができる。上述以外の目領域検出処理のステップは、第1実施例と同様であるため説明を省略する。
第2実施例に係る画像処理装置によれば、顔画像の目周辺領域EFAについての形状モデルおよびテクスチャーモデルを設定するため、画像に含まれる目領域を効率的に検出することができる。具体的には、第2実施例では、顔画像のうち、目周辺領域EFAについてのみの形状モデルおよびテクスチャーモデルを設定するため、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、座標位置を検出する特徴点CPの数が少なく、検出に必要な処理負荷の軽減を図ることができ、効率的に目領域を検出することができる。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
C1.変形例1:
第1実施例に係る画像処理装置は、注目画像OIから目領域EAを検出し、目領域に含まれる目画像から目瞑り状態か否かを判定しているが、検出する目の状態については、目瞑りか否かに限られず、例えば、黒目の位置(向き)などについて判定することも可能である。具体的には、黒目の位置に相関するテクスチャーベクトルを設定し、このテクスチャーベクトルと平均形状目領域BEAの画像ベクトル目との内積により算出されるテクスチャーパラメーターの値により黒目の位置(向き)を判定することができる。また、注目画像から検出する特徴部位は目に限られず、口などほかの器官であってもよい。この場合、例えば、口の開閉状態について判定することができる。
第1実施例に係る画像処理装置は、注目画像OIから目領域EAを検出し、目領域に含まれる目画像から目瞑り状態か否かを判定しているが、検出する目の状態については、目瞑りか否かに限られず、例えば、黒目の位置(向き)などについて判定することも可能である。具体的には、黒目の位置に相関するテクスチャーベクトルを設定し、このテクスチャーベクトルと平均形状目領域BEAの画像ベクトル目との内積により算出されるテクスチャーパラメーターの値により黒目の位置(向き)を判定することができる。また、注目画像から検出する特徴部位は目に限られず、口などほかの器官であってもよい。この場合、例えば、口の開閉状態について判定することができる。
C2.変形例2:
第1実施例に係る画像処理装置は、注目画像OIに対する目領域検出処理の処理判定において、検出情報DCIとして被検出画像DI1の特徴部位信頼度を用いているが、検出情報DCIは、これに限られず、例えば被検出画像DI1と被検出画像DI2それぞれの特徴部位信頼度の差を検出情報DCIとしてもよい。この場合、目領域検出処理が成された時間が異なる2つの被検出画像DIにおいて検出された特徴部位信頼度の差が所定値以下の場合には、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第1実施例と同様に、顔領域FAの検出処理、もしくは、顔領域FAの検出処理と特徴点CP初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
第1実施例に係る画像処理装置は、注目画像OIに対する目領域検出処理の処理判定において、検出情報DCIとして被検出画像DI1の特徴部位信頼度を用いているが、検出情報DCIは、これに限られず、例えば被検出画像DI1と被検出画像DI2それぞれの特徴部位信頼度の差を検出情報DCIとしてもよい。この場合、目領域検出処理が成された時間が異なる2つの被検出画像DIにおいて検出された特徴部位信頼度の差が所定値以下の場合には、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第1実施例と同様に、顔領域FAの検出処理、もしくは、顔領域FAの検出処理と特徴点CP初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
また、検出情報DCIは、特徴部位信頼度以外であってもよい。例えば、被検出画像DI1および被検出画像DI2においてそれぞれ検出された顔の特徴部位の座標位置の差異を検出情報DCIとしてもよい。座標位置の差異とは、所定の特徴点CPについての被検出画像DI1における設定位置から被検出画像DI2における設定位置までの距離であってもよいし、68箇所すべてのそれぞれの距離の平均値であってもよい。この場合、目領域検出処理が成された時間が異なる2つの被検出画像DIにおいて検出された顔の特徴部位の座標位置の差異が所定以下の場合には、被検出画像DIにおいて検出された特徴部位の位置が真に顔の特徴部位の位置である可能性は高いため、第1実施例と同様に、顔領域FAの検出処理、もしくは、顔領域FAの検出処理と特徴点CP初期位置設定処理の両方をおこなわなくても特徴部位の位置の検出をおこなうことができ、注目画像に含まれる顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
C3.変形例3:
図23は、変形例における目領域検出処理を説明するための説明図である。図23(a)は、変形例における顔領域と目周辺領域を例示した説明図である。図23(b)は、変形例における目周辺領域と特徴点を例示した説明図である。第2実施例では、目周辺領域EFAは、図22(a)に示すように、顔領域FAの一部であって、顔の特徴部位のうち、眉、目、鼻を含む領域として説明したが、目周辺領域EFAはこれに限られず、目を含んでいれば、例えば、眉や鼻を含んでいなくてもよく、また、図23(a)に示すように、目ごとに設定されていてもよい。目周辺領域EFAが目ごとに設定される場合には、図23(b)に示すように、それぞれの目周辺領域EFAに対して、目周辺領域EFAに対応した平均形状s0が形成されるような特徴点CPの仮設定位置を設定し、特徴部位の検出をおこなう。この場合であっても、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、検出する特徴点CPの数が少なく、検出負荷の軽減を図ることができ、効率的に目領域を検出することができる。また、右目もしくは左目のいずれか一方のみの状態を検出する画像処理装置としても実現することができるほか、左右の目の状態を独立して検出することができるため、ウインクなど左右の目の状態が異なる画像についても検出することができる。
図23は、変形例における目領域検出処理を説明するための説明図である。図23(a)は、変形例における顔領域と目周辺領域を例示した説明図である。図23(b)は、変形例における目周辺領域と特徴点を例示した説明図である。第2実施例では、目周辺領域EFAは、図22(a)に示すように、顔領域FAの一部であって、顔の特徴部位のうち、眉、目、鼻を含む領域として説明したが、目周辺領域EFAはこれに限られず、目を含んでいれば、例えば、眉や鼻を含んでいなくてもよく、また、図23(a)に示すように、目ごとに設定されていてもよい。目周辺領域EFAが目ごとに設定される場合には、図23(b)に示すように、それぞれの目周辺領域EFAに対して、目周辺領域EFAに対応した平均形状s0が形成されるような特徴点CPの仮設定位置を設定し、特徴部位の検出をおこなう。この場合であっても、顔全体についての形状モデルおよびテクスチャーモデルを用いた顔の特徴部位の検出に比べて、検出する特徴点CPの数が少なく、検出負荷の軽減を図ることができ、効率的に目領域を検出することができる。また、右目もしくは左目のいずれか一方のみの状態を検出する画像処理装置としても実現することができるほか、左右の目の状態を独立して検出することができるため、ウインクなど左右の目の状態が異なる画像についても検出することができる。
C4.変形例4:
本実施例に係る画像処理装置は、目状態判定部238および目瞑り判定部239を備えているが、目状態判定部238、もしくは、目状態判定部238および目瞑り判定部239を備えていなくてもよい。例えば、目状態判定部238を備えていなくても、目状態検出部237により算出された目瞑り状態か否を表すテクスチャーパラメーターλ’1の値を表示部114に表示する機能を備えたデジタルスチルカメラ100としても実現でき、また、目瞑りのみを判定する機能を備えたデジタルスチルカメラ100としても実現することができる。
本実施例に係る画像処理装置は、目状態判定部238および目瞑り判定部239を備えているが、目状態判定部238、もしくは、目状態判定部238および目瞑り判定部239を備えていなくてもよい。例えば、目状態判定部238を備えていなくても、目状態検出部237により算出された目瞑り状態か否を表すテクスチャーパラメーターλ’1の値を表示部114に表示する機能を備えたデジタルスチルカメラ100としても実現でき、また、目瞑りのみを判定する機能を備えたデジタルスチルカメラ100としても実現することができる。
C5.変形例5:
本実施例に係る画像処理装置は、目領域EAを検出し目瞑りの判定および居眠りの判定をおこなっているが、必ずしも目領域EAの検出をおこなう必要はなく、例えば、顔の特徴部位の位置の検出のみをおこなう画像処理装置としても実現することができる。
本実施例に係る画像処理装置は、目領域EAを検出し目瞑りの判定および居眠りの判定をおこなっているが、必ずしも目領域EAの検出をおこなう必要はなく、例えば、顔の特徴部位の位置の検出のみをおこなう画像処理装置としても実現することができる。
C6.変形例6:
本実施例におけるサンプル画像SIはあくまで一例であり、サンプル画像SIとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点CPの位置で示される顔の所定の特徴部位はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
本実施例におけるサンプル画像SIはあくまで一例であり、サンプル画像SIとして採用する画像の数、種類は任意に設定可能である。また、本実施例において、特徴点CPの位置で示される顔の所定の特徴部位はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
また、本実施例では、サンプル画像SIwの画素群xのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー(見え)を表す輝度値以外の指標値(例えばRGB値)に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
また、本実施例において、平均顔画像A0(x)および、平均目画像A’0(x)のサイズは56画素×56画素に限られず他のサイズであってもよい。また、平均顔画像A0(x)および、平均目画像A’0(x)は、マスク領域MAを含む必要はなく、平均形状領域BSA、もしくは、平均形状目領域BEAのみによって構成されるとしてもよい。また、平均顔画像A0(x)および、平均目画像A’0(x)の代わりに、サンプル画像SIの統計的分析に基づき設定される他の基準顔画像もしくは基準目画像が用いられるとしてもよい。
また、本実施例では、AAMを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法(例えばMorphable Modelと呼ばれる手法やActive Blobと呼ばれる手法)を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
また、本実施例では、画像生成部210により生成された画像データにより表される画像を注目画像OIとしているが、注目画像OIは、例えば、I/F部112を介して接続されている外部機器から取得した画像であってもよい。また、デジタルスチルカメラ100は、図示しないカードスロットを備え、メモリーカードから取得した画像を注目画像OIとしてもよい。
また、本実施例では、画像処理装置としてのデジタルスチルカメラ100による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやプリンター、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、本実施例に係る画像処理を用いれば、自動車、鉄道車両、船舶等における居眠り運転を検出し警報を発する目状態検出装置として実現することができる。
本実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
100…デジタルスチルカメラ
102…レンズ
104…レンズ駆動部
106…レンズ駆動制御部
108…撮像素子
110…A/D変換器110
112…I/F部
114…表示部
116…操作部
118…CPU
122…バス
200…内部メモリー
210…画像生成部
220…表示処理部
230…画像処理部
231…顔領域検出部
232…目領域検出部
233…初期位置設定部
234…特徴位置検出部
235…検出情報算出部
236…処理判定部
237…目状態検出部
238…目状態判定部
239…居眠り判定部
102…レンズ
104…レンズ駆動部
106…レンズ駆動制御部
108…撮像素子
110…A/D変換器110
112…I/F部
114…表示部
116…操作部
118…CPU
122…バス
200…内部メモリー
210…画像生成部
220…表示処理部
230…画像処理部
231…顔領域検出部
232…目領域検出部
233…初期位置設定部
234…特徴位置検出部
235…検出情報算出部
236…処理判定部
237…目状態検出部
238…目状態判定部
239…居眠り判定部
Claims (12)
- 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備える画像処理装置。 - 請求項1に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、前記被検出画像の前記特徴部位信頼度が所定値以上である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記検出情報は、前記特徴位置検出部が検出した前記座標位置が前記顔の特徴部位の座標位置である確からしさを表す特徴部位信頼度であり、
前記処理判定部は、第1の被検出画像における前記特徴部位信頼度と、前記第1の被検出画像より時間的に前に前記座標位置の検出がなされた第2の被検出画像における前記特徴部位信頼度との差が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。 - 請求項1に記載の画像処理装置において、
前記検出情報は、第1の被検出画像において検出された前記特徴部位の座標位置と、前記第1の被検出画像より時間的に前に前記座標位置の検出がなされた第2の被検出画像において検出された前記特徴部位の座標位置との差異であり、
前記処理判定部は、前記差異が所定値以下である場合には、前記注目画像規定領域を前記被検出画像規定領域に基づいて特定すると判定する画像処理装置。 - 請求項1ないし請求項4のいずれかに記載の画像処理装置において、
前記処理判定部は、前記注目画像に設定される前記特徴点の初期位置を、前記注目画像規定領域に基づいて決定するか、もしくは、前記被検出画像に設定された前記特徴点の初期位置に基づいて決定するかを前記検出情報に基づいて判定する画像処理装置。 - 請求項1ないし請求項5のいずれかに記載の画像処理装置はさらに、
前記特徴位置検出部により検出された前記特徴部位の座標位置に基づいて特定される領域であって、目の画像を少なくとも一部に含む領域である目領域の画像から目の状態を検出する目状態検出部を備える画像処理装置。 - 請求項6に記載の画像処理装置において、
前記目の状態とは、目を瞑っている状態である画像処理装置。 - 請求項7に記載の画像処理装置はさらに、
前記目状態検出部による検出結果に基づいて、前記注目画像に含まれる目の画像が目を瞑っている状態か否かを判定する目状態判定部を備える画像処理装置。 - 請求項8に記載の画像処理装置はさらに、
時間的に連続する所定数の注目画像に対して目を瞑っている状態であると前記目状態判定部が判定した場合に、前記注目画像に含まれる顔画像は居眠りをしている状態であると判定する居眠り判定部を備える画像処理装置。 - 注目画像に含まれる顔の特徴部位の座標位置を検出するデジタルカメラであって、
顔を含む領域を撮影して注目画像を生成する撮影部と、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶部と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定部と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出部と、を備えるデジタルカメラ。 - 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理方法であって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する工程と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する工程と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する工程と、を備える画像処理方法。 - 注目画像に含まれる顔の特徴部位の座標位置を検出する画像処理のためのコンピュータープログラムであって、
前記注目画像より時間的に前に前記座標位置の検出がなされた画像である被検出画像の前記座標位置の検出に関連する情報である検出情報を記憶する記憶機能と、
前記座標位置の検出に用いられる特徴点の前記注目画像における初期位置を設定するために前記注目画像上に規定される注目画像規定領域を、前記注目画像に含まれる顔画像に基づいて検出するか、もしくは、前記被検出画像における前記初期位置を設定するために前記被検出画像上に規定された被検出画像規定領域に基づいて特定するかを前記検出情報に基づいて、判定する処理判定機能と、
前記初期位置に設定された前記特徴点の設定位置を前記座標位置に近づけるように更新し、更新された前記設定位置を前記座標位置として検出する特徴位置検出機能と、をコンピューターに実現させるコンピュータープログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009096901A JP2010250420A (ja) | 2009-04-13 | 2009-04-13 | 顔の特徴部位の座標位置を検出する画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009096901A JP2010250420A (ja) | 2009-04-13 | 2009-04-13 | 顔の特徴部位の座標位置を検出する画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010250420A true JP2010250420A (ja) | 2010-11-04 |
Family
ID=43312705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009096901A Pending JP2010250420A (ja) | 2009-04-13 | 2009-04-13 | 顔の特徴部位の座標位置を検出する画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010250420A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012249917A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体 |
JP2015075916A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP2015075915A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
KR101571241B1 (ko) | 2014-04-23 | 2015-11-23 | 한국 한의학 연구원 | 안면 표현형 결정 장치 및 방법 |
CN107169397A (zh) * | 2016-03-07 | 2017-09-15 | 佳能株式会社 | 特征点检测方法及装置、图像处理***和监视*** |
JP2020035137A (ja) * | 2018-08-29 | 2020-03-05 | カシオ計算機株式会社 | 開閉状態判定装置、方法、プログラム、音声認識装置、及びロボット |
CN111652918A (zh) * | 2020-06-04 | 2020-09-11 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
CN111783535A (zh) * | 2020-05-28 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 关键点数据增强方法和装置、以及关键点检测方法和装置 |
JP2022512048A (ja) * | 2019-11-22 | 2022-02-02 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
US11403788B2 (en) | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
-
2009
- 2009-04-13 JP JP2009096901A patent/JP2010250420A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012249917A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体 |
US10372972B2 (en) | 2013-10-09 | 2019-08-06 | Aisin Seiki Kabushiki Kaisha | Face detection apparatus, face detection method, and program |
JP2015075916A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP2015075915A (ja) * | 2013-10-09 | 2015-04-20 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
KR101571241B1 (ko) | 2014-04-23 | 2015-11-23 | 한국 한의학 연구원 | 안면 표현형 결정 장치 및 방법 |
US9355304B2 (en) | 2014-04-23 | 2016-05-31 | Korea Institute Of Oriental Medicine | Apparatus and method of determining facial expression type |
CN107169397A (zh) * | 2016-03-07 | 2017-09-15 | 佳能株式会社 | 特征点检测方法及装置、图像处理***和监视*** |
JP2020035137A (ja) * | 2018-08-29 | 2020-03-05 | カシオ計算機株式会社 | 開閉状態判定装置、方法、プログラム、音声認識装置、及びロボット |
JP7196467B2 (ja) | 2018-08-29 | 2022-12-27 | カシオ計算機株式会社 | 開閉状態判定装置、開閉状態判定方法及びプログラム |
JP2022512048A (ja) * | 2019-11-22 | 2022-02-02 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
US11403788B2 (en) | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
JP7159357B2 (ja) | 2019-11-22 | 2022-10-24 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
CN111783535A (zh) * | 2020-05-28 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 关键点数据增强方法和装置、以及关键点检测方法和装置 |
CN111652918A (zh) * | 2020-06-04 | 2020-09-11 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
CN111652918B (zh) * | 2020-06-04 | 2023-08-18 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010250420A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010182150A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010191592A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010186288A (ja) | 顔画像の所定のテクスチャー特徴量を変更する画像処理 | |
JP4799104B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP2010250419A (ja) | 目の様態を検出する画像処理装置 | |
KR20200118076A (ko) | 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
JP2010186216A (ja) | 顔画像における特徴部位の位置の特定 | |
JP2011060038A (ja) | 画像処理装置 | |
JP2007087346A (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP2009237619A (ja) | 画像における顔領域および器官領域の検出 | |
JP2011053942A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2019117577A (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
JP2010282339A (ja) | 目における瞳の位置を補正する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 | |
CN111898571A (zh) | 动作识别***及方法 | |
JP2010244321A (ja) | 顔画像を表す顔モデルを設定する画像処理 | |
JP2010176314A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010244251A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010170184A (ja) | 顔画像における特徴部位の位置の特定 | |
JP7385416B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
JP6898020B1 (ja) | 情報処理装置及び情報処理方法 | |
WO2021157213A1 (ja) | 画像処理装置および画像処理方法 | |
JP2011048469A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2010245721A (ja) | 顔画像に対する画像処理 | |
JP2010282340A (ja) | 画像に含まれる目の状態を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |