JP2007265367A - 視線検出方法および装置ならびにプログラム - Google Patents
視線検出方法および装置ならびにプログラム Download PDFInfo
- Publication number
- JP2007265367A JP2007265367A JP2006093391A JP2006093391A JP2007265367A JP 2007265367 A JP2007265367 A JP 2007265367A JP 2006093391 A JP2006093391 A JP 2006093391A JP 2006093391 A JP2006093391 A JP 2006093391A JP 2007265367 A JP2007265367 A JP 2007265367A
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature
- line
- eye
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】全体画像内の顔の視線の検出を効率よく行う。
【解決手段】顔検出手段10において全体画像Pの中から顔画像FPが検出される。次に、特徴点抽出手段20により検出された顔画像FPから複数の目特徴点ECPおよび顔特徴点FCPが抽出される。その後、特徴量生成手段30において抽出した各特徴点ECP、FCPから目特徴量EFおよび顔特徴量FFが生成され、これらをベクトル成分とする特徴ベクトルCBが生成される。そして、視線検出手段40において、生成された特徴ベクトルCBを用いて視線の向きの検出が行われる。
【選択図】図1
【解決手段】顔検出手段10において全体画像Pの中から顔画像FPが検出される。次に、特徴点抽出手段20により検出された顔画像FPから複数の目特徴点ECPおよび顔特徴点FCPが抽出される。その後、特徴量生成手段30において抽出した各特徴点ECP、FCPから目特徴量EFおよび顔特徴量FFが生成され、これらをベクトル成分とする特徴ベクトルCBが生成される。そして、視線検出手段40において、生成された特徴ベクトルCBを用いて視線の向きの検出が行われる。
【選択図】図1
Description
本発明は、画像中の人物の視線の向きを検出する視線検出方法および装置ならびにプログラムに関するものである。
従来、自動車の運転手の視線を検出することにより自動車制御を行う、もしくは被写体の視線を検出することにより撮影した画像の取捨選択を行う等、人間の視線を用いた各種技術が提案されており、これらの方法を実現するために人間の視線を検出する方法が研究されている。視線を検出する一例として赤外線照射装置や頭部固定カメラ等を用いて人物の目を撮影することにより瞳の位置を検出し視線を特定する方法がある。
一方、上述した視線検出用の装置を用いることなく画像処理によって人物被写体の視線を検出する方法が提案されている。画像処理による視線検出の方法として、虹彩あるいは瞳孔中心位置を検出し視線を検出する方法がある(たとえば非特許文献1参照)。非特許文献1においては、まず顔の輪郭の検出し顔向きを検出する一方、瞳の輪郭や瞳の中心の位置等から目の向いている方向を検出する。そして、顔の向きと目の向きとの関係から視線の向きを検出するようになっている。
"Passive Driver Gaze Tracking with Active Appearance Models", Takahiro Ishikawa, Simon Baker, Iain Matthews and Takeo Kanade, CMU-RI-TR-04-08
"Passive Driver Gaze Tracking with Active Appearance Models", Takahiro Ishikawa, Simon Baker, Iain Matthews and Takeo Kanade, CMU-RI-TR-04-08
しかし、非特許文献1のように、顔の向きの検出と目の向きの検出とを別々に行った場合、顔の向きの計算と目の向きの計算がそれぞれ必要になり、計算量が多くなり視線検出に時間が掛かってしまうという問題がある。
そこで、本発明は、効率的に視線の向きを検出することができる視線検出方法および装置ならびにプログラムを提供することを目的とするものである。
本発明の視線検出方法は、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することを特徴とするものである。
本発明の視線検出装置は、全体画像の中から顔画像を検出する顔検出手段と、顔検出手段により検出された顔画像の目から複数の目特徴点を抽出するとともに、顔を構成する部位から複数の顔特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成する特徴量生成手段と、特徴量生成手段により生成された目特徴量と顔特徴量とを用いて視線の向きを検出する視線検出手段とを有することを特徴とするものである。
本発明の視線検出プログラムは、コンピュータに、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することを実行させることを特徴とするものである。
ここで、「顔画像を構成する部位」とは、たとえば目、鼻、唇、耳、顔の輪郭等の顔の構成要素を意味し、1つであってもよいし複数であってもよい。よって、顔特徴点はたとえば顔特徴点は鼻および唇から抽出したものであってもよい。また、目特徴点は顔画像の目から抽出したものであれば良く、たとえば目特徴点は瞳の端部および目の外周から抽出したものであってよい。
特徴点抽出手段は、特徴点を検出するものであればその手法は問わず、たとえばパターンマッチングやアダブースティングアルゴリズムもしくはSVM(support Vector Machine)アルゴリズム等を用いて特徴点を検出するようにしてもよい。
なお、特徴量生成手段は、特徴点を用いてそれぞれ顔特徴量および目特徴量を算出するものであればよく、たとえば複数の目特徴点間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであってもよい。さらに、特徴量生成手段は、複数の顔特徴点間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであってもよい。
また、視線検出手段は、顔特徴量と目特徴量との双方を用いて視線を検出するものであればその手法を問わず、たとえば、生成した目特徴量と顔特徴量とをベクトル成分とする特徴ベクトルを生成し、たとえばSVMアルゴリズムやニューラルネットワーク等によりパターン分類することにより視線の向きを検出するものであってもよい。このとき、視線検出手段は、視線が正面を向いているクラスとそれ以外にあるクラスとを判別するように機械学習されたものであり、特徴ベクトルを用いたパターン分類を行うことにより視線の向きを検出するものであってもよい。
また、顔検出手段は、いかなる顔の検出方法も用いることができ、たとえば全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであってもよい。
なお、顔検出手段は、全体画像から正面顔のみを検出するものであってもよいし、正面顔と横顔と斜め顔とを検出する機能を有するものであってもよい。このとき、視線検出手段は顔検出手段により検出された正面顔、横顔、斜め顔に対応した複数の視線検出器を備えたものであってもよい。
本発明の視線検出方法および装置ならびにプログラムによれば、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することにより、顔の向きと目の向きとを別々に検出することなく視線の向きを検出することができるため、効率的に視線の向きの検出を行うことができる。
なお、視線検出手段が、生成した目特徴量と顔特徴量とをベクトル成分とする特徴ベクトルを生成し、特徴ベクトルを用いてパターン分類することにより視線の向きを検出するものであるとき、効率的に視線の向きの検出を行うことができる。
さらに、視線検出手段が、特徴ベクトルを用いて視線が正面を向いているクラスとそれ以外にあるクラスとにパターン分類するように機械学習されたものであれば、視線が正面を向いている顔画像を正確にパターン分類することができる。
また、特徴量生成手段が、複数の目特徴点間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであり、複数の顔特徴点間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであれば、目の位置や顔を構成する部位の位置等の個人差によるズレをなくし、視線検出の汎用性を高めることができる。
また、顔検出手段が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。
また、目特徴点が瞳の端部および目の外周から抽出したものからなり、顔特徴点が鼻および唇から抽出したものからなるものであれば、目の向きおよび顔の向きを確実に検出することができる。
また、顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の顔判別器を備えたものであり、視線検出手段が顔検出手段により検出された正面顔と横顔と斜め顔とにそれぞれ対応した複数設けられたものであれば、様々な顔向きに対して視線の検出を行うことができる。
以下、図面を参照して本発明の視線検出装置の好ましい実施の形態を詳細に説明する。なお、図1のような視線検出装置1の構成は、補助記憶装置に読み込まれた視線検出プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。また、この視線検出プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
視線検出装置1は、正面顔の視線の向きを検出するものであって、全体画像Pの中から顔画像FPを検出する顔検出手段10と、顔画像FPから複数の目特徴点ECPと複数の顔特徴点FCPとを抽出する特徴点抽出手段20と、複数の目特徴点ECPを用いて目の向きを示す目特徴量EFを生成するとともに、複数の顔特徴点FCPを用いて顔の向きを示す顔特徴量FFを生成する特徴量生成手段30と、生成された目特徴量EFと顔特徴量FFとを用いて視線の向きを検出する視線検出手段40とを有している。
顔検出手段10は、たとえばデジタルカメラ2等において取得された全体画像Pの中から顔を判別し、判別した顔を顔画像FPとして抽出する機能を有している。顔検出手段10は、図2に示すように、全体画像P上にサブウィンドウWを走査させることにより部分画像PPを生成する部分画像生成手段11と、部分画像生成手段11により生成された複数の部分画像PPにおいて、顔である部分画像を検出する顔判別器12とを有している。
なお、部分画像生成手段11に入力される全体画像Pは前処理手段10aにより前処理が施されている。前処理手段10aは、全体画像Pに対し図3(A)〜(D)に示すように、全体画像Pを多重解像度化して解像度の異なる複数の全体画像P2、P3、P4を生成する機能を有している。さらに、前処理手段10aは、生成した複数の全体画像Pに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Pの全領域においてコントラストを所定レベルに揃える正規化(以下、局所正規化という)を施す機能を有している。
部分画像生成手段11は、図3(A)に示すように、設定された画素数(たとえば32画素×32画素)を有するサブウィンドウWを全体画像P内において走査させ、サブウィンドウWにより囲まれた領域を切り出すことにより設定画素数からなる部分画像PPを生成するようになっている。なお、部分画像生成手段11は、図3(B)〜(D)に示すように、生成された低解像度画像上においてサブウィンドウWを走査させたときの部分画像PPをも生成するようになっている。このように、低解像度画像からも部分画像PPを生成することにより、全体画像PにおいてサブウィンドウW内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウW内に収めることが可能となり、検出を確実に行うことができる。
図2の顔判別器12は、部分画像PPが顔であるか非顔かの2値判別を行う機能を有し、たとえばアダブースティングアルゴリズム(Adaboosting Algorithm)により学習されたものであって、複数の弱判別器CF1〜CFM(M:弱判別器の個数)を有している。各弱判別器CF1〜CFMはそれぞれ部分画像PPから特徴量xを抽出し、この特徴量xを用いて部分画像PPが顔であるか否かの判別を行う機能を備える。そして、顔判別器12は弱判別器CF1〜CFMおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
具体的には、各弱判別器CF1〜CFMは図4に示すように部分画像PP内の設定された座標P1a、P1b、P1cにおける輝度値等を抽出する。さらに、部分画像PPの低解像度画像PP2内の設定された座標位置P2a、P2b、低解像度画像PP3内の設定された座標位置P3a、P3bにおける輝度値等をそれぞれ抽出する。その後、上述した7個の座標P1a〜P3bの2つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量xとする。各弱判別器CF1〜CFM毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器CF1では座標P1a、P1cにおける輝度の差分を特徴量として用い、弱判別器CF2では座標P2a、P2bにおける輝度の差分を特徴量として用いるようになっている。
なお、各弱判別器CF1〜CFMがそれぞれ特徴量xを抽出する場合について例示しているが、複数の部分画像PPについて上述した特徴量xを予め抽出しておき、各弱判別器CF1〜CFMに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。
各弱判別器CF1〜CFMは図5に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量xの値に応じたスコアf1(x)〜fM(x)を出力する。さらに、各弱判別器CF1〜CFMは判別性能を示す信頼度β1〜βMを有している。各弱判別器CF1〜CFMは、スコアf1(x)〜fM(x)と信頼度β1〜βMとを用いて判定スコアβm・fm(x)を算出するようになっている。そして、各弱判別器CFmの判定スコアβm・fm(x)自体が設定しきい値Sref以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する(βm・fm(x)≧Sref)。
ここで、顔判別器12の各弱判別器CF1〜CFMはカスケード構造を有しており、各弱判別器CF1〜CFMのすべてが顔であると判別した部分画像PPのみを顔画像FPとして出力するようになっている。つまり、弱判別器CFmにおいて顔であると判別した部分画像PPのみ下流側の弱判別器CFm+1による判別を行い、弱判別器CFmで非顔であると判別された部分画像PPは下流側の弱判別器CFm+1による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像PPの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム(MIRU2004)、2004年7月に開示されている。
なお、各弱判別器CF1〜CFMから出力された判定スコアS1〜SMをそれぞれ個別に判定スコアしきい値Sref以上であるか否かを判断するのではなく、弱判別器CFmにおいて判別を行う際、弱判別器CFmの上流側の弱判別器CF1〜CFm−1での判定スコアの和Σr=1 mβr・frが判定スコアしきい値S1ref以上であるか否かにより判別を行うようにしても良い(Σr=1 mβr・fr(x)≧S1ref)。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
また、顔検出手段10はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、公知のSVM(Support Vector Machine)アルゴリズムを用いて下を検出するものであっても良い。
図1の特徴点抽出手段20は、顔検出手段10により検出された顔画像FPから目特徴点ECPおよび顔特徴点FCPを抽出するものであって、たとえば特開平6−348851号公報に開示されている方法や、avid Cristinacce “A Multi-Stage Approach to Facial Feature Detection”, In Proc. of BMVC, Pages 231-240, 2004あるいは特願2006−45493号に開示されている方法等の技術を用いて特徴点を検出するものである。具体的には、特徴点抽出手段20は、顔画像FPから特徴点の候補となる特徴点候補を検出する特徴点候補判別器21と、特徴点候補検出手段21により検出された各特徴点候補が特徴点である確率を算出する確率算出手段22と、確率算出手段22により算出された確率を用いて特徴点を推定する特徴点推定手段23とを有している。特徴点候補判別器21は、図7に示すような略中心に特徴点を有するサンプル画像SPを用いてAdaBoostアルゴリズムにより学習されたものであり、上述した顔検出と同様の手法により特徴点候補Xiを検出する。具体的には、顔画像FPから部分顔画像を生成し、部分顔画像から特徴量を抽出し、この特徴量を用いて部分顔画像が特徴点を略中心に含むものであるか否かを判定する。そして、特徴点候補判別器21は特徴点を略中心に含むと判定された部分顔画像が存在する顔画像FP上から特徴点候補Xiを検出する。
確率算出手段22はデータベース22に記憶された存在確率分布を用いて各特徴点候補Xiが特徴点である確率を算出する。具体的には、このデータベース22aにはたとえば図8(A)に示すような右目尻を基準としたときの右口角の存在確率分布、図8(B)に示すような右目尻を基準としたときの右口角の存在確率分布、図8(C)に示すような右目尻を基準としたときの右口角の存在確率分布等が記憶されている。そして、確率算出手段22は、それぞれの特徴点候補Xiについて他のすべての特徴点候補Xiから推測される存在確率の和(もしくは積)を算出する。そして、特徴点推定手段23は、算出された存在確率の和(もしくは積)に基づいて検出された確率の高い特徴点候補を特徴点として抽出する。すると、図9に示すように、顔画像FPの目および顔を構成する部位(鼻、唇)から複数の目特徴点ECP1〜ECP12および顔特徴点FCP1〜FCP4が抽出されることになる。
図1の特徴量生成手段30は、目特徴点ECP1〜ECP12を用いて目特徴量EFを生成し、顔特徴点FCP1〜FCP4を用いて顔特徴量FFを生成するようになっている。ここで、特徴量生成手段30は各特徴点の距離の比を各特徴量として生成する。具体的には特徴量生成手段30は、目尻ECP1から瞳ECP9までの距離(白眼の長さ)/目尻ECP1から目頭ECP2までの距離、目頭ECP2から瞳ECP10までの距離(白眼の長さ)/目尻ECP1から目頭ECP2までの距離を右目の左右方向の向きを示す目特徴量として抽出する。また、特徴量生成手段30は、目尻ECP6から瞳ECP12までの距離(白眼の距離)/目尻ECP6から目頭ECP5までの距離、目頭ECP5から瞳ECP11までの距離(白眼の距離)/目尻ECP6から目頭ECP5までの距離を左目の左右方向の向きを示す目特徴量として抽出する。さらに、上まぶたECP3から下まぶたECP4までの距離(白眼の距離)/目尻ECP1から目頭ECP2までの距離、上まぶたECP7から下まぶたECP8までの距離(白眼の距離)/目尻ECP6から目頭ECP5までの距離を右目および左目の上下方向の向きを示す目特徴量EFとして生成する。
同時に、特徴量生成手段30は、右目の目尻ECP1から目頭ECP2までの距離の中点と鼻頭FCP1との距離/左目の目尻ECP6から目頭ECP5までの距離の中点と鼻頭FCP1との距離、右口角FCP2と唇中央FCP4との距離/右口角FCP3と唇中央FCP4との距離を顔特徴量FFとして生成する。以上、特徴量生成手段30は6つの目特徴量EFと2つの顔特徴量FFとを生成する。目特徴量EFおよび顔特徴量FFとして距離の比を用いることにより、人物被写体の違いによる各特徴点の存在する位置のずれによる検出精度の低下を防止することができる。
視線検出手段40は、SVM(Support Vector Machine)アルゴリズムを用いて視線が正面(撮影装置2側)を向いているクラスと正面以外を向いているクラスとにパターン分類することにより視線を検出するようになっている。具体的には、視線検出手段40は、複数の目特徴量EFおよび複数の顔特徴量FFをベクトル成分とする特徴ベクトルCBを生成し、この特徴ベクトルCBに対し2値の出力値を計算する。たとえば視線検出手段40は、線形識別関数y(x)=sign(ωTx-h)(ωTはシナプス加重に対応するパラメータ、hは所定のしきい値)に特徴ベクトルCBを入力することにより、視線が正面を向いているか(y(x)=1)もしくは正面以外を向いているか(y(x)=-1)を出力するようになっている。なお、パラメータωT、hは、視線検出手段40が正面を向いているサンプル画像を用いて機械学習されることにより決定されたものである。視線検出手段40は上述したSVMアルゴリズムではなく、たとえばニューラルネットワーク等公知のパターン分類技術を用いて視線を検出するものであっても良い。
図10は本発明の視線検出方法の好ましい実施の形態を示すフローチャートであり、図1から図11を参照して視線検出方法について説明する。まず、顔検出手段10において全体画像Pの中から顔画像FPが検出される(ステップST1、図2〜図5参照)。次に、特徴点抽出手段20により検出された顔画像FPから複数の目特徴点ECPおよび顔特徴点FCPが抽出される(ステップST2、図6〜図9参照)。その後、特徴量生成手段30において抽出した各特徴点ECP、FCPから目特徴量EFおよび顔特徴量FFが生成される(ステップST3)。そして、視線検出手段40において、生成された目特徴量EFおよび顔特徴量FFをベクトル成分とする後特徴ベクトルCBが生成され、視線の向きの検出が行われる(ステップST4)。
これにより、目特徴量EFと顔特徴量FFとの関係から視線の向きを検出することにより、効率的な視線検出を行うことが可能となる。すなわち、従来の視線検出においては、目の向きと顔の向きとをそれぞれ判別して両者の向きの関係から人物被写体がいずれの方向を見ているかを検出するようにしているため、目の向きの検出処理と顔の向きの検出処理が必要である。一方、上述した視線検出方法および装置1においては、目の向きと顔の向きとの相対的関係が判別できれば、目の向きおよび顔の向きがそれぞれ独立して検出されなくても視線を検出することができることに着目し、目の向きおよび顔の向きを判別することなく目特徴量EFと顔特徴量FFとの相対的関係により視線の検出を行うようにしている。よって、視線検出を行う際の計算量および計算時間を短縮することができるため、効率的な視線検出を行うことができる。
図11は本発明の視線検出装置の別の実施の形態を示すブロック図である。なお、図11の視線検出装置100において、図1の視線検出装置1と同一の構成を有する部位には同一の符号を付してその説明を省略する。図11の視線検出装置100が図1の視線検出装置1と異なる点は、正面顔、横顔、斜め顔のそれぞれに対応した顔検出手段、特徴点検出手段、特徴量生成手段、特徴ベクトル生成手段および視線検出手段が設けられている点である。
各顔検出手段110a〜110cは上述した顔検出手段10と同様の手法(図1参照)により各顔を検出するものであるが、検出すべき顔の向きに応じた学習が施された顔検出器を有している。この各顔検出手段110a〜110cによって、正面顔FP1、横顔FP2、斜め顔FP3が検出される。また、各特徴点抽出手段120a〜120cは正面顔FP1(図12(A)参照)、横顔FP2(図12(B)参照)、斜め顔FP3(図12(C)参照)において、それぞれ顔の各構成部位の形状(見え方)が異なるのに伴い、各顔向きにおいて異なるテンプレート画像TPを用いるとともに、視線検出を行うのに好ましい顔画像FP1〜FP3の位置から特徴点の抽出を行うようになっている。
各特徴量生成手段130a〜130cは、上述した特徴量生成手段30と同様の手法により(図1参照)、検出された特徴点を用いて目特徴量EFおよび顔特徴量FFを生成する。そして、各視線検出手段140a〜140cは複数の目特徴量EFおよび複数の顔特徴量FFをベクトル成分とする特徴ベクトルCBを生成し、特徴ベクトルCBを用いて上述した視線検出手段40と同様の手法により視線を検出するようになっている。なお各視線検出手段140a〜140cは各顔向きにおいて視線が正面を向いているときの目特徴量EFと顔特徴量FFとの相対的関係をサンプルデータとして用い学習されている。
このように、正面顔FP1、横顔FP2、斜め顔FP3の各顔毎に顔検出、特徴点の抽出、特徴量の生成および視線の検出を行うことにより、各顔向きに対応した視線検出を行うことができるため、顔向きの異なる場合の視線の検出を効率的に精度良く行うことができる。つまり、たとえば視線が正面を向いている場合であっても、正面顔と斜め顔とでは、目における目尻・目頭と瞳の位置関係(目特徴点および目特徴量)が異なるとともに、目・鼻・唇の位置関係(顔特徴点および顔特徴量)が異なる。具体的には、視線の向きは顔の向きと視線の向きとの相対関係によって決定する。たとえば図12(A)のように視線が正面を向いている顔画像FPを検出する場合、正面顔の場合には顔および目が撮影装置2のレンズ側を向いるものを検出すればよい。しかし、図12(C)のように顔が右を向いている場合には目が顔の向きに対して左側(撮影装置2のレンズ側)を向いている顔画像FPを検出する必要がある。そこで、各顔向きに合わせた各検出器を設けることにより、いずれの顔向きであって正確で効率的な視線の検出を行うことができる。
上記実施の形態によれば、生成した目特徴量EFと顔特徴量FFとを用いてパターン分類することにより視線の向きを検出することにより、顔の向きと目の向きとを別々に検出することなく視線の向きを検出することができるため、効率的に視線の向きの検出を行うことができる。
また、図1の特徴量生成手段30が、複数の目特徴点EF間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであり、複数の顔特徴点FF間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであれば、目の位置や顔を構成する部位の位置等の個人差によるズレをなくし、視線検出の汎用性を高めることができる。
さらに、図2の顔検出手段10が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像PPを生成する部分画像生成手段11と、部分画像生成手段により生成された複数の部分画像PPのうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像PPが顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。
また、目特徴点ECPが瞳の端部および目の外周から抽出したものからなり、顔特徴点FCPが鼻および唇から抽出したものからなるものであれば、目の向きおよび顔の向きを確実に検出することができる。
さらに、視線検出手段40が、視線が正面を向いているクラスとそれ以外にあるクラスとを判別するように機械学習されたものであり、特徴ベクトルを用いてパターン分類を行うことにより視線の向きを検出するものであるとき、視線の向きを精度良く検出することができる。
また、顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の顔判別器を備えたものであり、視線検出手段が顔検出手段により検出された正面顔と横顔と斜め顔とに対応して複数設けられているものであれば、様々な顔向きに対して視線の検出を行うことができる。
1、100 視線検出装置
10、110 顔検出手段
20、120 特徴点抽出手段
30、130 特徴量生成手段
35 特徴ベクトル生成手段
40、140 視線検出手段
CB 特徴ベクトル
EF 目特徴量
f1 スコア
FCP 顔特徴点
FF 顔特徴量
FP 顔画像
10、110 顔検出手段
20、120 特徴点抽出手段
30、130 特徴量生成手段
35 特徴ベクトル生成手段
40、140 視線検出手段
CB 特徴ベクトル
EF 目特徴量
f1 スコア
FCP 顔特徴点
FF 顔特徴量
FP 顔画像
Claims (9)
- 全体画像の中から顔画像を検出し、
検出した前記顔画像の目から複数の目特徴点を抽出するとともに、前記顔画像の顔を構成する部位から複数の顔特徴点を抽出し、
抽出した前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、
生成した前記目特徴量と前記顔特徴量とを用いて視線の向きを検出する
ことを特徴とする視線検出方法。 - 全体画像の中から顔画像を検出する顔検出手段と、
該顔検出手段により検出された前記顔画像の目から複数の目特徴点を抽出するとともに、顔を構成する部位から複数の顔特徴点を抽出する特徴点抽出手段と、
該特徴点抽出手段により抽出された前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成する特徴量生成手段と、
該特徴量生成手段により生成された前記目特徴量と前記顔特徴量とを用いて視線の向きを検出する視線検出手段と
を有することを特徴とする視線検出装置。 - 前記視線検出手段が、生成した前記目特徴量と前記顔特徴量とをベクトル成分とする特徴ベクトルを生成し、該特徴ベクトルを用いてパターン分類することにより視線の向きを検出するものであることを特徴とする請求項2記載の視線検出装置。
- 前記視線検出手段が、前記特徴ベクトルを視線が正面を向いているクラスとそれ以外にあるクラスとにパターン分類するように機械学習されたものであることを特徴とする請求項3記載の視線検出装置。
- 前記特徴量生成手段が、前記各目特徴点間の距離をそれぞれ算出し、算出した距離の比を前記目特徴量として生成するとともに、前記各顔特徴点間の距離をそれぞれ算出し、算出した距離の比を前記顔特徴量として生成するものであることを特徴とする請求項2から4のいずれか1項記載の視線検出装置。
- 前記目特徴点が目の瞳、目尻、目頭からそれぞれ抽出したものであり、前記顔特徴点が鼻および唇から抽出したものであることを特徴とする請求項2から5のいずれか1項記載の視線検出装置。
- 前記顔検出手段が、
前記画像もしくは前記全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を判別する顔判別器と
を有し、
該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別するものであることを特徴とする請求項2から6のいずれか1項記載の視線検出装置。 - 前記顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の前記顔判別器を備えたものであり、視線検出手段が前記顔検出手段により検出された前記正面顔と横顔と斜め顔とにそれぞれ対応して複数複数設けられているものであることを特徴とする請求項7記載の視線検出装置。
- コンピュータに、
検出した前記顔画像の目から複数の目特徴点を抽出するとともに、前記顔画像の顔を構成する部位から複数の顔特徴点を抽出し、
抽出した前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、
生成した前記目特徴量と前記顔特徴量とをベクトル成分とする特徴ベクトルを生成し、
生成した特徴ベクトルを用いてパターン分類することにより視線の向きを検出する
ことを実行させるための視線検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006093391A JP2007265367A (ja) | 2006-03-30 | 2006-03-30 | 視線検出方法および装置ならびにプログラム |
US11/730,126 US20070230797A1 (en) | 2006-03-30 | 2007-03-29 | Method, apparatus, and program for detecting sightlines |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006093391A JP2007265367A (ja) | 2006-03-30 | 2006-03-30 | 視線検出方法および装置ならびにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007265367A true JP2007265367A (ja) | 2007-10-11 |
Family
ID=38558994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006093391A Withdrawn JP2007265367A (ja) | 2006-03-30 | 2006-03-30 | 視線検出方法および装置ならびにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20070230797A1 (ja) |
JP (1) | JP2007265367A (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059257A (ja) * | 2007-09-03 | 2009-03-19 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009266086A (ja) * | 2008-04-28 | 2009-11-12 | Omron Corp | 視線検出装置および方法、並びに、プログラム |
JP2009282699A (ja) * | 2008-05-21 | 2009-12-03 | Seiko Epson Corp | 画像における顔の器官の画像に対応する器官領域の検出 |
JP2010108476A (ja) * | 2008-10-03 | 2010-05-13 | Sony Corp | 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体 |
WO2010113821A1 (ja) * | 2009-04-02 | 2010-10-07 | アイシン精機株式会社 | 顔特徴点検出装置及びプログラム |
WO2011037579A1 (en) * | 2009-09-25 | 2011-03-31 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
EP2416280A1 (en) | 2010-08-06 | 2012-02-08 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2012029940A (ja) * | 2010-07-30 | 2012-02-16 | Hiroshima City Univ | 視線計測方法及び視線計測装置 |
US8787629B2 (en) | 2011-04-21 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing based on line-of-sight of a person |
EP2782047A2 (en) | 2013-03-22 | 2014-09-24 | Canon Kabushiki Kaisha | Line-of-sight detection apparatus and image capturing apparatus |
US8891819B2 (en) | 2010-08-03 | 2014-11-18 | Canon Kabushiki Kaisha | Line-of-sight detection apparatus and method thereof |
WO2018100760A1 (ja) | 2016-12-02 | 2018-06-07 | Cyberdyne株式会社 | 上肢動作支援装置及び上肢動作支援システム |
DE102018208920A1 (de) | 2017-08-01 | 2019-02-07 | Omron Corporation | Informationsverarbeitungsvorrichtung und Abschätzungsverfahren für ein Abschätzen einer Blickrichtung einer Person und eine Lernvorrichtung und ein Lernverfahren |
KR20190030140A (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 |
WO2019054598A1 (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 |
KR20200031503A (ko) * | 2018-09-14 | 2020-03-24 | 아크소프트 코포레이션 리미티드 | 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법 |
KR20200145825A (ko) * | 2019-06-17 | 2020-12-30 | 구글 엘엘씨 | 3차원 시선 벡터를 이용한 차량 탑승자 참여 |
JP2021502618A (ja) * | 2018-09-28 | 2021-01-28 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 |
WO2022215952A1 (ko) * | 2021-04-08 | 2022-10-13 | 주식회사 이모코그 | 기계 학습 기반 시선 추적 장치 및 방법 |
JP2022161690A (ja) * | 2021-04-09 | 2022-10-21 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532419B2 (ja) * | 2006-02-22 | 2010-08-25 | 富士フイルム株式会社 | 特徴点検出方法および装置並びにプログラム |
KR101590331B1 (ko) * | 2009-01-20 | 2016-02-01 | 삼성전자 주식회사 | 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 |
US20140003654A1 (en) * | 2012-06-29 | 2014-01-02 | Nokia Corporation | Method and apparatus for identifying line-of-sight and related objects of subjects in images and videos |
JP6098133B2 (ja) * | 2012-11-21 | 2017-03-22 | カシオ計算機株式会社 | 顔構成部抽出装置、顔構成部抽出方法及びプログラム |
GB2579445B (en) | 2013-03-12 | 2020-09-16 | Opternative Inc | Computerized refraction and astigmatism determination |
US10089525B1 (en) | 2014-12-31 | 2018-10-02 | Morphotrust Usa, Llc | Differentiating left and right eye images |
US9846807B1 (en) * | 2014-12-31 | 2017-12-19 | Morphotrust Usa, Llc | Detecting eye corners |
JP2016163150A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、通信方法及びプログラム |
JP6488922B2 (ja) | 2015-07-06 | 2019-03-27 | 株式会社デンソー | 運転者異常検出装置 |
CN105892647B (zh) * | 2016-03-23 | 2018-09-25 | 京东方科技集团股份有限公司 | 一种显示屏调整方法、其装置及显示装置 |
US10984237B2 (en) * | 2016-11-10 | 2021-04-20 | Neurotrack Technologies, Inc. | Method and system for correlating an image capturing device to a human user for analyzing gaze information associated with cognitive performance |
CN107219889A (zh) * | 2017-05-25 | 2017-09-29 | 京东方科技集团股份有限公司 | 护眼显示装置和显示屏调整方法 |
CN110969061A (zh) * | 2018-09-29 | 2020-04-07 | 北京市商汤科技开发有限公司 | 神经网络训练、视线检测方法和装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6154559A (en) * | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
US6989754B2 (en) * | 2003-06-02 | 2006-01-24 | Delphi Technologies, Inc. | Target awareness determination system and method |
-
2006
- 2006-03-30 JP JP2006093391A patent/JP2007265367A/ja not_active Withdrawn
-
2007
- 2007-03-29 US US11/730,126 patent/US20070230797A1/en not_active Abandoned
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059257A (ja) * | 2007-09-03 | 2009-03-19 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US8295556B2 (en) | 2007-09-03 | 2012-10-23 | Sony Corporation | Apparatus and method for determining line-of-sight direction in a face image and controlling camera operations therefrom |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP4655235B2 (ja) * | 2008-03-14 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US8285004B2 (en) | 2008-04-28 | 2012-10-09 | Omron Corporation | Line of sight detecting device and method |
JP2009266086A (ja) * | 2008-04-28 | 2009-11-12 | Omron Corp | 視線検出装置および方法、並びに、プログラム |
JP2009282699A (ja) * | 2008-05-21 | 2009-12-03 | Seiko Epson Corp | 画像における顔の器官の画像に対応する器官領域の検出 |
JP2010108476A (ja) * | 2008-10-03 | 2010-05-13 | Sony Corp | 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体 |
US8494258B2 (en) | 2008-10-03 | 2013-07-23 | Sony Corporation | Learning-based feature detection processing device and method |
JP4670976B2 (ja) * | 2008-10-03 | 2011-04-13 | ソニー株式会社 | 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体 |
US8331630B2 (en) | 2009-04-02 | 2012-12-11 | Aisin Seiki Kabushiki Kaisha | Face feature point detection device and program |
JP2010244178A (ja) * | 2009-04-02 | 2010-10-28 | Toyota Central R&D Labs Inc | 顔特徴点検出装置及びプログラム |
WO2010113821A1 (ja) * | 2009-04-02 | 2010-10-07 | アイシン精機株式会社 | 顔特徴点検出装置及びプログラム |
WO2011037579A1 (en) * | 2009-09-25 | 2011-03-31 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
JP2012029940A (ja) * | 2010-07-30 | 2012-02-16 | Hiroshima City Univ | 視線計測方法及び視線計測装置 |
US8891819B2 (en) | 2010-08-03 | 2014-11-18 | Canon Kabushiki Kaisha | Line-of-sight detection apparatus and method thereof |
JP2012038106A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
EP2416280A1 (en) | 2010-08-06 | 2012-02-08 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US8761459B2 (en) | 2010-08-06 | 2014-06-24 | Canon Kabushiki Kaisha | Estimating gaze direction |
US8787629B2 (en) | 2011-04-21 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing based on line-of-sight of a person |
JP2014186505A (ja) * | 2013-03-22 | 2014-10-02 | Canon Inc | 視線検出装置及び撮像装置 |
EP2782047A2 (en) | 2013-03-22 | 2014-09-24 | Canon Kabushiki Kaisha | Line-of-sight detection apparatus and image capturing apparatus |
US9426375B2 (en) | 2013-03-22 | 2016-08-23 | Canon Kabushiki Kaisha | Line-of-sight detection apparatus and image capturing apparatus |
WO2018100760A1 (ja) | 2016-12-02 | 2018-06-07 | Cyberdyne株式会社 | 上肢動作支援装置及び上肢動作支援システム |
DE102018208920A1 (de) | 2017-08-01 | 2019-02-07 | Omron Corporation | Informationsverarbeitungsvorrichtung und Abschätzungsverfahren für ein Abschätzen einer Blickrichtung einer Person und eine Lernvorrichtung und ein Lernverfahren |
KR20190030140A (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 |
WO2019054598A1 (ko) * | 2017-09-13 | 2019-03-21 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 |
US11250242B2 (en) | 2017-09-13 | 2022-02-15 | Visualcamp Co., Ltd. | Eye tracking method and user terminal performing same |
KR102092931B1 (ko) * | 2017-09-13 | 2020-03-24 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 |
KR102223478B1 (ko) * | 2018-09-14 | 2021-03-04 | 아크소프트 코포레이션 리미티드 | 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법 |
KR20200031503A (ko) * | 2018-09-14 | 2020-03-24 | 아크소프트 코포레이션 리미티드 | 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법 |
JP2021502618A (ja) * | 2018-09-28 | 2021-01-28 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 |
US11295474B2 (en) | 2018-09-28 | 2022-04-05 | Beijing Sensetime Technology Development Co., Ltd. | Gaze point determination method and apparatus, electronic device, and computer storage medium |
KR20200145825A (ko) * | 2019-06-17 | 2020-12-30 | 구글 엘엘씨 | 3차원 시선 벡터를 이용한 차량 탑승자 참여 |
KR102385874B1 (ko) | 2019-06-17 | 2022-04-12 | 구글 엘엘씨 | 3차원 시선 벡터를 이용한 차량 탑승자 참여 |
US11527082B2 (en) | 2019-06-17 | 2022-12-13 | Google Llc | Vehicle occupant engagement using three-dimensional eye gaze vectors |
US11847858B2 (en) | 2019-06-17 | 2023-12-19 | Google Llc | Vehicle occupant engagement using three-dimensional eye gaze vectors |
WO2022215952A1 (ko) * | 2021-04-08 | 2022-10-13 | 주식회사 이모코그 | 기계 학습 기반 시선 추적 장치 및 방법 |
JP2022161690A (ja) * | 2021-04-09 | 2022-10-21 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
JP7219788B2 (ja) | 2021-04-09 | 2023-02-08 | 本田技研工業株式会社 | 情報処理装置、情報処理方法、学習方法、およびプログラム |
US12013980B2 (en) | 2021-04-09 | 2024-06-18 | Honda Motor Co., Ltd. | Information processing apparatus, information processing method, learning method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20070230797A1 (en) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007265367A (ja) | 視線検出方法および装置ならびにプログラム | |
US9235751B2 (en) | Method and apparatus for image detection and correction | |
JP4156430B2 (ja) | データベース自動更新方法を用いた顔検証方法及びそのシステム | |
US9098760B2 (en) | Face recognizing apparatus and face recognizing method | |
Huang et al. | Face recognition using component-based SVM classification and morphable models | |
EP1426898B1 (en) | Human detection through face detection and motion detection | |
US8837773B2 (en) | Apparatus which detects moving object from image and method thereof | |
US20180341803A1 (en) | Information processing apparatus, information processing method, and storage medium | |
KR101877981B1 (ko) | 가버 특징과 svm 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
Harville et al. | Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera | |
JP4642128B2 (ja) | 画像処理方法、画像処理装置及びシステム | |
Arcoverde Neto et al. | Enhanced real-time head pose estimation system for mobile device | |
CN110532965B (zh) | 年龄识别方法、存储介质及电子设备 | |
JP2005056387A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2014093023A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP5787686B2 (ja) | 顔認識装置、及び顔認識方法 | |
WO2019003973A1 (ja) | 顔認証装置、顔認証方法およびプログラム記録媒体 | |
JP6417664B2 (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
Huang et al. | Face recognition with support vector machines and 3D head models | |
KR100977259B1 (ko) | 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법 | |
Kwon | Face recognition using depth and infrared pictures | |
Gul et al. | A machine learning approach to detect occluded faces in unconstrained crowd scene | |
JP2007304675A (ja) | 画像合成方法および装置ならびにプログラム | |
Castaneda et al. | Reduced support vector machines applied to real-time face tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090602 |