JP4166143B2 - 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 - Google Patents
顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 Download PDFInfo
- Publication number
- JP4166143B2 JP4166143B2 JP2003391148A JP2003391148A JP4166143B2 JP 4166143 B2 JP4166143 B2 JP 4166143B2 JP 2003391148 A JP2003391148 A JP 2003391148A JP 2003391148 A JP2003391148 A JP 2003391148A JP 4166143 B2 JP4166143 B2 JP 4166143B2
- Authority
- JP
- Japan
- Prior art keywords
- eyebrow
- candidate point
- target image
- face
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
川戸慎二郎、鉄谷信二、"リング周波数フィルタを利用した眉間の実時間検出"信学論(D−II),vol.J84−D−II,no12,pp.2577−2584,Dec.2001. 川戸慎二郎、鉄谷信二、"目のリアルタイム検出と追跡",信学技報,PRMU2000−63,pp.15−22、Sept.2000. チャイ D,ガン K.N.「テレビ電話アプリケーションにおける肌色マップを用いた顔の分割」IEEE トランザクション オン サーキッツ アンド システムズ フォー ビデオ テクノロジー,第9巻、No.4,pp.551−564,1990(Chai, D. and Ngan, K.N.:"Face Segmentation Using Skin-Color Map in Videophone Application," IEEE Trans. on Circuits and Systems For Video Technology, Vol.9, No., pp.551-564, 1990) J.ヤン,A.ワイベル,「実時間の顔追跡器」,プロシィーディング 3rd IEEE ワークショップ オン アプリケーション オブ コンピュータ ビジョン,pp.142−147,1996年(J. Yang and A. Waibel, "A real-time face tracker," Proc. 3rd IEEE Workshop on Application of Computer Vision, pp.142-147, 1996) H.ローリー,S.バルージャ,T.カナダ,「ニューラルネットワークによる顔検知」 IEEE トランザクション パターン アナリシス アンド マシン インテリジェンス,第20巻,no.1,pp.23−38, 1月 1998年(H. Rowly, S. Baluja, and T. Kanada, "Neural-Network-Based Face Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, vol.20, no.1, pp.23-38, Jan.1998) E.ジェルマス、B.K.ロウ 「顔検知:サーベイ」 コンピュータ ビジョン アンド イメージ アンダスタンディング、83(3)、pp.236−274,2001年 (E. Hjelmas and B. K. Low, "Face Detection : A survey," Computer Vision and Image Understanding, 83(3), pp.236-274, 2001) ブライアン スカセッラティ 「フォビーティッド アクティブ ビジョン システムに対する顔検出による目の検出」 プロシィーディングズ AAAI 1998年 pp.969−976(Brian Scassellati, "Eye Finding via Face Detection for a Foveated, Active Vision System", Proc. AAAI ’98, pp.969-976)
[ハードウェア構成]
以下、本発明の実施の形態1にかかる顔位置抽出装置について説明する。この顔位置抽出装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像から、眉間の位置および目の位置を検出するためのものである。図1に、この顔位置抽出装置の外観を示す。
まず、本発明の手続きの概略をまとめると、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルターで画面を走査する。矩形は、たとえば、3×2に6分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。
図3は、上述した3×2に6分割された矩形フィルタ(以下、「6分割矩形フィルタ」と呼ぶ)を示す図である。
以下では、上述した6分割矩形フィルタを用いて、眉間の候補点を抽出する処理を説明する。
以上のようにして抽出された眉間候補点には、真の眉間候補点以外に偽の眉間候補点も含まれる。そこで、以下に説明する手順で、真の眉間候補点を抽出する。
次に、図11のステップS206において使用する眉間テンプレートの形成方法について説明する。
実施の形態1の図11において説明したとおり、眉間候補点から真の候補点を抽出する際には、一般には、眉間候補点の位置の修正および入力画像の回転等を行なう必要がある。ただし、テレビ会議のように画像中の人物の動きが比較的小さい場合には、真の候補点の抽出処理を簡略化することも可能である。
実施の形態1および2では、カメラ30は1台で撮影を行なうこととしていた。
実施の形態3では、予め準備しておいたサイズの異なる眉間テンプレートから眉間候補点のカメラ30からの距離に応じて、眉間テンプレートを選択した。
以上説明した実施の形態では、顔位置の抽出処理において、眉間検出フィルタで画像中から眉間の候補点を抽出し、候補点の中から真の眉間を選択する、という処理を行なっている。
テンプレートをf={tij}、評価されるパターンをf={fij}とすると、単純な類似度評価値(q)としては、以下の式(5)のような各対応画素値の差の絶対値の総和がある。
眉間検出フィルタで画像中から眉間の候補点を抽出し、候補点の中から真の眉間を選択する、という処理は、言い換えれば、眉間の候補点の中から、顔のパターンに対応するのか、あるいは、顔パターンではないのかを判別することで、真の眉間を抽出する、との手続きとみることもできる。
パターンf={fij}を、その画素値を一列にならべたI×J次元のベクトルと考えると、1パターンはI×J次元空間の1点と考えられる。
上述した線形判別法で誤りが最小になるように超平面を決定しても、実用上は、誤りが大きすぎる場合もあり得る。
排反事象H1(顔である)とH2(非顔である)があって、Aを任意の事象(切り出した濃淡パターン)としたとき、ベイズの定理は、以下の式で表わされる。
Claims (18)
- 人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、顔位置の抽出方法。 - 人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによる、各前記矩形形状の相対的な明暗関係が所定の条件を満たす場合に前記眉間検出フィルタの中心を抽出するフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、顔位置の抽出方法。 - 前記眉間検出フィルタは、1つの矩形形状を6分割したものである、請求項1または2に記載の顔位置の抽出方法。
- 前記6つの矩形形状は、
鉛直方向に隣接する2つの第1の矩形形状と、
前記第1の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第2の矩形形状と、
前記第2の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第3の矩形形状とを含む、請求項1または2に記載の顔位置の抽出方法。 - 前記真の候補点を選択するステップは、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の2つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、2つの目の中点の位置に修正するステップと、
前記修正された眉間候補点位置を中心に2つの目が水平となるように入力画像を回転するステップと、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを含む、請求項1または2に記載の顔位置の抽出方法。 - デジタルデータを準備するステップは、前記対象画像をステレオ画像として準備するステップを含み、
前記真の候補点を選択するステップは、
前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択するステップを含む、請求項1または2に記載の顔位置の抽出方法。 - コンピュータに、対象となる画像領域内の顔位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、プログラム。 - コンピュータに、対象となる画像領域内の顔位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによる、各前記矩形形状の相対的な明暗関係が所定の条件を満たす場合に前記眉間検出フィルタの中心を抽出するフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、プログラム。 - 前記眉間検出フィルタは、1つの矩形形状を6分割したものである、請求項7または8に記載のプログラム。
- 前記6つの矩形形状は、
鉛直方向に隣接する2つの第1の矩形形状と、
前記第1の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第2の矩形形状と、
前記第2の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第3の矩形形状とを含む、請求項7または8に記載のプログラム。 - 前記真の候補点を選択するステップは、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の2つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、2つの目の中点の位置に修正するステップと、
前記修正された眉間候補点位置を中心に2つの目が水平となるように入力画像を回転するステップと、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを含む、請求項7または8に記載のプログラム。 - デジタルデータを準備するステップは、前記対象画像をステレオ画像として準備するステップを含み、
前記真の候補点を選択するステップは、
前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択するステップを含む、請求項7または8に記載のプログラム。 - 人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備する撮影手段と、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出する手段と、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択する選択手段とを備える、顔位置抽出装置。 - 人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備する撮影手段と、
前記対象となる画像領域内において、6つの矩形形状の結合した眉間検出フィルタによる、各前記矩形形状の相対的な明暗関係が所定の条件を満たす場合に前記眉間検出フィルタの中心を抽出するフィルタリング処理により眉間候補点の位置を抽出する手段と、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択する選択手段とを備える、顔位置抽出装置。 - 前記眉間検出フィルタは、1つの矩形形状を6分割したものである、請求項13または14に記載の顔位置抽出装置。
- 前記6つの矩形形状は、
鉛直方向に隣接する2つの第1の矩形形状と、
前記第1の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第2の矩形形状と、
前記第2の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する2つの第3の矩形形状とを含む、請求項13または14に記載の顔位置抽出装置。 - 前記選択手段は、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の2つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出する手段と、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、2つの目の中点の位置に修正する手段と、
前記修正された眉間候補点位置を中心に2つの目が水平となるように入力画像を回転する手段と、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択する手段とを含む、請求項13または14に記載の顔位置抽出装置。 - 前記撮影手段は、前記対象画像をステレオ画像として準備する手段を含み、
前記選択手段は、前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択する手段を含む、請求項13または14に記載の顔位置抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003391148A JP4166143B2 (ja) | 2002-11-21 | 2003-11-20 | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002338175 | 2002-11-21 | ||
JP2003391148A JP4166143B2 (ja) | 2002-11-21 | 2003-11-20 | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004185611A JP2004185611A (ja) | 2004-07-02 |
JP4166143B2 true JP4166143B2 (ja) | 2008-10-15 |
Family
ID=32774681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003391148A Expired - Fee Related JP4166143B2 (ja) | 2002-11-21 | 2003-11-20 | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4166143B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072829A (ja) * | 2004-09-03 | 2006-03-16 | Fujifilm Software Co Ltd | 画像認識システム及び画像認識方法 |
EP1693782B1 (en) * | 2005-02-21 | 2009-02-11 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method for facial features detection |
JP4756503B2 (ja) * | 2006-05-23 | 2011-08-24 | 株式会社国際電気通信基礎技術研究所 | 瞬き検出装置及びコンピュータプログラム |
JP2008015770A (ja) * | 2006-07-05 | 2008-01-24 | Fujitsu Ten Ltd | 画像認識装置および画像認識方法 |
JP4714102B2 (ja) * | 2006-07-19 | 2011-06-29 | パナソニック株式会社 | 画像符号化装置、方法およびシステム |
JP5058681B2 (ja) | 2007-05-31 | 2012-10-24 | キヤノン株式会社 | 情報処理方法及び装置、プログラム、記憶媒体 |
JP4948379B2 (ja) | 2007-12-18 | 2012-06-06 | キヤノン株式会社 | パターン識別器生成方法、情報処理装置、プログラム及び記憶媒体 |
JP4800367B2 (ja) * | 2008-10-17 | 2011-10-26 | 日本電信電話株式会社 | 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム |
KR101522985B1 (ko) * | 2008-10-31 | 2015-05-27 | 삼성전자주식회사 | 영상처리 장치 및 방법 |
JP5098981B2 (ja) * | 2008-12-08 | 2012-12-12 | トヨタ自動車株式会社 | 顔部位検出装置 |
JP5235691B2 (ja) | 2009-01-13 | 2013-07-10 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP5416489B2 (ja) * | 2009-06-17 | 2014-02-12 | 日本電信電話株式会社 | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム |
JP5340088B2 (ja) | 2009-09-07 | 2013-11-13 | キヤノン株式会社 | 情報処理方法及び装置 |
WO2011118224A1 (ja) * | 2010-03-26 | 2011-09-29 | 株式会社ディジタルメディアプロフェッショナル | ぼかし画像取得装置及び方法 |
JP5548087B2 (ja) | 2010-09-30 | 2014-07-16 | オリンパス株式会社 | 演算装置および演算方法 |
JP5603258B2 (ja) * | 2011-01-13 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 検出装置及び検出方法 |
WO2018220824A1 (ja) * | 2017-06-02 | 2018-12-06 | 三菱電機株式会社 | 画像識別装置 |
WO2020031362A1 (ja) * | 2018-08-10 | 2020-02-13 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
CN111640058B (zh) * | 2020-06-03 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种图像融合处理方法及装置 |
-
2003
- 2003-11-20 JP JP2003391148A patent/JP4166143B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004185611A (ja) | 2004-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4166143B2 (ja) | 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置 | |
US7369687B2 (en) | Method for extracting face position, program for causing computer to execute the method for extracting face position and apparatus for extracting face position | |
US8369574B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
US7221809B2 (en) | Face recognition system and method | |
US8064653B2 (en) | Method and system of person identification by facial image | |
US8577151B2 (en) | Method, apparatus, and program for detecting object | |
US7324693B2 (en) | Method of human figure contour outlining in images | |
US8374392B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
EP1271394A2 (en) | Method for automatically locating eyes in an image | |
US20010000025A1 (en) | Method and apparatus for personnel detection and tracking | |
JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
US20090245575A1 (en) | Method, apparatus, and program storage medium for detecting object | |
JP4206053B2 (ja) | ユーザインタフェース装置およびユーザインタフェースプログラム | |
RU2370817C2 (ru) | Система и способ отслеживания объекта | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
Kim et al. | Generalized facial manipulation detection with edge region feature extraction | |
KR101727833B1 (ko) | 얼굴인식을 위한 판별분석 기반의 복합 특징 벡터 생성 장치 및 방법 | |
CN112801038A (zh) | 一种多视点的人脸活体检测方法及*** | |
KR20000061100A (ko) | 은행거래시스템의 거래자 안면인식방법 | |
US11783625B2 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
JP7152651B2 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
CN113553895A (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
JP4061405B2 (ja) | 顔画像分類登録装置 | |
Li et al. | Estimating gaze points from facial landmarks by a remote spherical camera | |
JP2021064120A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4166143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |