JPH1115979A - Face detection and method and device for tracing face - Google Patents
Face detection and method and device for tracing faceInfo
- Publication number
- JPH1115979A JPH1115979A JP10116369A JP11636998A JPH1115979A JP H1115979 A JPH1115979 A JP H1115979A JP 10116369 A JP10116369 A JP 10116369A JP 11636998 A JP11636998 A JP 11636998A JP H1115979 A JPH1115979 A JP H1115979A
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- skin color
- window
- dark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ビデオカメラ等の
カラー画像入力手段から入力されるカラー画像に基づい
て人の顔の検出または追跡を高速で行う顔検出及び顔追
跡方法並びにその装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for detecting and tracking a human face at high speed based on a color image input from a color image input means such as a video camera. It is.
【０００２】[0002]
【従来の技術】ディジタル画像をコンピュータ処理する
ことにより顔検出または顔追跡を行う方法の研究は従来
から行われている。モノクロ画像を用いた顔検出の研究
としては、例えば、小杉氏による「個人識別のための多
重ピラミッドを用いたシーン中の顔の検索・位置決め」
（電子情報通信学会論文誌、Vol.J77-D-II,No.4,pp672-
681,1994) がある。また、カラー画像を用いた顔検出の
研究としては、Q.Chen氏らによる「Face detection by
fuzzy pattern matching」(Proceedings of 5thInterna
tional Conference on Computer Vision,pp591-596)等
がある。2. Description of the Related Art Research on methods for detecting a face or tracking a face by computer processing of a digital image has been conducted. For research on face detection using monochrome images, for example, Kosugi's "Search and Positioning of Faces in Scenes Using Multiple Pyramids for Individual Identification"
(Transactions of IEICE, Vol.J77-D-II, No.4, pp672-
681, 1994). For research on face detection using color images, see Q. Chen et al.
fuzzy pattern matching '' (Proceedings of 5th Interna
National Conference on Computer Vision, pp591-596).
【０００３】[0003]
【発明が解決しようとする課題】ところが、上記モノク
ロ画像による顔検出では、顔の色を検出することができ
ないため、顔検出が不安定になりがちな問題がある。一
方、上記従来のカラー画像を用いた顔検出では、顔テン
プレートを用いた照合を行っているので、予め多くの顔
テンプレートを準備しておく必要があり、且つ実際の検
出に際しては、多くの位置において上記顔テンプレート
と実際の画像との間の相関計算を行わねばならないの
で、検出に要する時間が、通常、２秒以上と長くなり、
実時間による検出には適しないものであった。However, the face detection based on the monochrome image cannot detect the color of the face, so that the face detection tends to be unstable. On the other hand, in the above-described conventional face detection using a color image, since matching using a face template is performed, it is necessary to prepare many face templates in advance. Since the correlation calculation between the face template and the actual image must be performed in, the time required for detection is usually as long as 2 seconds or more,
It was not suitable for real-time detection.
【０００４】また、上記顔テンプレートを用いた方法で
は、検出の精度がディジタル画像の明るさや顔の大き
さ、ヘアースタイルや眼鏡の着用の有無等に影響される
場合がある他、上記ディジタル画像中の顔の向きが正面
以外の横向き等になっている場合、顔が正面を向いてい
ても首が傾いている場合、或いは、ディジタル画像中に
複数の顔が含まれている場合等には、正確な検出が行え
ないこともあった。[0004] In the method using the face template, the accuracy of detection may be affected by the brightness of the digital image, the size of the face, the presence or absence of hairstyles or wearing glasses, and the like. If the face is facing sideways other than the front, if the face is facing the front, but the neck is tilted, or if the digital image contains multiple faces, In some cases, accurate detection could not be performed.
【０００５】[0005]
【課題を解決するための手段】本発明は、上記課題を解
決し、カラー画像に基づいて人の顔の検出または追跡を
高速で正確に行うことのできる顔検出及び顔追跡方法並
びにその装置を提供することを目的とする。そのため、
本発明の請求項１の顔検出方法は、カラー画像入力手段
から入力されるカラー画像から、事前に学習済のガウス
関数に従って肌色領域を抽出するとともに上記カラー画
像から明るさがあるしきい値以下の暗い領域を抽出し、
上記肌色領域内に一定の面積比で上記暗い領域を検出し
たとき、人の顔であると判定することを特徴とするもの
である。SUMMARY OF THE INVENTION The present invention solves the above-mentioned problems and provides a face detection and face tracking method and apparatus capable of detecting or tracking a human face at high speed and accurately based on a color image. The purpose is to provide. for that reason,
According to the face detecting method of the present invention, a skin color region is extracted from a color image input from a color image input means in accordance with a Gaussian function learned in advance, and brightness from the color image is equal to or less than a threshold value. Extract the dark areas of
When the dark area is detected at a constant area ratio in the skin color area, it is determined that the face is a human face.
【０００６】請求項２の顔追跡方法は、請求項１記載の
方法による顔検出を上記カラー画像の複数のフレームで
連続的に行うことにより人の顔の移動を追跡することを
特徴とするものである。According to a second aspect of the present invention, there is provided a face tracking method wherein a face of the person is tracked by continuously performing face detection by the method according to the first aspect in a plurality of frames of the color image. It is.
【０００７】請求項３の顔追跡方法は、請求項２記載の
方法による顔追跡を行うに当たり、各フレームにおける
顔検出を前回のフレームで顔が検出された領域の近傍の
領域のみで行うことを特徴とするものである。According to a third aspect of the present invention, in performing the face tracking according to the second aspect of the present invention, the face detection in each frame is performed only in an area near the area where the face was detected in the previous frame. It is a feature.
【０００８】請求項４の記録媒体は、請求項１乃至３の
いずれか記載の顔検出方法または顔追跡方法を実行する
ためのプログラムを記録したコンピュータ読取可能な記
録媒体である。According to a fourth aspect of the present invention, there is provided a computer-readable recording medium storing a program for executing the face detecting method or the face tracking method according to any one of the first to third aspects.
【０００９】請求項５の顔検出装置は、カラー画像入力
手段から入力されたカラー画像から事前に学習済のガウ
ス関数に従って肌色領域を抽出する肌色領域検出手段
と、上記カラー画像から明るさがあるしきい値以下の暗
い領域を抽出する暗い領域検出手段と、上記肌色領域検
出手段で検出された肌色領域の面積を求める肌色領域分
析手段と、上記暗い領域検出手段で検出された上記暗い
領域の面積を求める暗い領域分析手段と、肌色領域分析
手段と暗い領域分析手段との分析結果に基づいて上記肌
色領域内に上記暗い領域が存在し且つその面積比が一定
範囲内であるときに人の顔であると判定する顔判定手段
とを備えたことを特徴とするものである。According to a fifth aspect of the present invention, there is provided a face detecting device for extracting a skin color region from a color image input from a color image input device in accordance with a Gaussian function learned in advance, and the color image has brightness. Dark area detecting means for extracting a dark area equal to or less than a threshold value, flesh color area analyzing means for calculating the area of the flesh color area detected by the flesh color area detecting means, and dark area detecting means for detecting the dark area detected by the dark area detecting means. A dark region analyzing means for obtaining an area, and a human being when the dark region exists in the flesh color region based on the analysis result of the flesh color region analyzing device and the dark region analyzing device and the area ratio is within a certain range. And a face determining means for determining that the face is a face.
【００１０】請求項６の顔検出装置は、請求項５の構成
において、上記肌色領域分析手段及び上記暗い領域分析
手段は各々肌色領域及び暗い領域の重心を求める一方、
上記顔判定手段は肌色領域の重心を中心とし且つ肌色領
域の面積と略等しい面積の矩形窓を上記肌色領域上に設
定し、且つこの矩形窓を左上窓及び右上窓からなる上部
窓と下部窓とに分割して、上記左上窓、右上窓及び下部
窓内に各々上記暗い領域の重心が含まれるとともに上記
左上窓、右上窓及び下部窓内の肌色領域に対する暗い領
域の面積比が各々一定範囲内であるときに人の顔である
と判定することを特徴とするものである。According to a sixth aspect of the present invention, in the configuration of the fifth aspect, the skin color area analyzing means and the dark area analyzing means determine the center of gravity of the skin color area and the dark area, respectively.
The face determining means sets a rectangular window centered on the center of gravity of the skin color region and having an area substantially equal to the area of the skin color region on the skin color region, and sets the rectangular window as an upper window and a lower window including an upper left window and an upper right window. The upper left window, the upper right window, and the lower window each include the center of gravity of the dark region, and the upper left window, the upper right window, and the lower window each have a fixed area ratio of the dark region to the skin color region. It is characterized in that it is determined that the face is a human face when it is within.
【００１１】すなわち、人の顔の中で暗い領域は、主と
して、目の周辺（特に、黒目及び眉毛）と口の周辺（口
及び唇）とであるので、左目及び右目に対して上記左上
窓及び右上窓を設定するとともに、口に対して下部窓を
設定し、左上窓、右上窓及び下部窓内で暗い領域が各々
一定の面積比で含まれているか否かを判定するようにし
たものである。That is, the dark area in the human face is mainly around the eyes (especially black eyes and eyebrows) and around the mouth (mouth and lips). In addition to setting the upper right window and the lower window for the mouth, it is determined whether or not dark areas are included in the upper left window, the upper right window, and the lower window at a fixed area ratio. It is.
【００１２】請求項７の顔検出装置は、請求項６の構成
において、上記左上窓または右上窓の少なくとも一方に
暗い領域の重心が含まれないとき、上記顔判定手段が左
上窓及び右上窓を上記肌色領域に対して左右方向へスラ
イドさせて上記判定を行うことを特徴とするものであ
る。すなわち、カラー画像内で人の顔が斜め横向きにな
っていた場合等には、左目及び右目に対応した暗い領域
の重心が左右にずれることがあるが、係る場合に上記左
上窓及び右上窓を上記肌色領域に対して左右へスライド
させることにより対応するものである。According to a seventh aspect of the present invention, in the configuration of the sixth aspect, when at least one of the upper left window and the upper right window does not include the center of gravity of a dark area, the face determining means sets the upper left window and the upper right window. The above determination is performed by sliding the skin color region in the left-right direction. That is, for example, when the human face is obliquely horizontal in the color image, the center of gravity of the dark area corresponding to the left eye and the right eye may be shifted to the left and right. This is achieved by sliding the skin color region to the left and right.
【００１３】請求項８の顔追跡装置は、請求項５乃至７
のいずれかの構成において、請求項５乃至７のいずれか
の顔検出装置による顔検出を複数のフレームで連続的に
行うことにより顔の移動を追跡することを特徴とするも
のである。[0013] The face tracking apparatus according to the eighth aspect is characterized in that:
In any of the above structures, the movement of the face is tracked by continuously performing face detection by the face detection device according to any one of claims 5 to 7 in a plurality of frames.
【００１４】[0014]
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。本実施の形態の顔検出及び追跡装
置は、ヒューマンインターフェイス、データベース検
索、ビル監視、セキュリティ、テレビ会議、顔による照
合システム、仮想（人工）現実感、ゲーム、教育、映画
制作、エンタテインメント、画像通信等の種々の分野で
利用できるものである。Embodiments of the present invention will be described below with reference to the drawings. The face detection and tracking device according to the present embodiment includes a human interface, database search, building monitoring, security, video conference, face matching system, virtual (artificial) reality, game, education, movie production, entertainment, image communication, and the like. Can be used in various fields.
【００１５】図１に示すように、顔検出及び追跡装置１
は、カラー画像入力手段２から入力されるカラー画像中
の肌色領域を検出する肌色領域検出手段３と、上記カラ
ー画像中の暗い領域を検出する暗い領域検出手段４と、
肌色領域検出手段３で検出された肌色領域の面積及び重
心を求める肌色領域分析手段５と、暗い領域検出手段４
で検出された暗い領域の面積及び重心を求める暗い領域
分析手段６と、肌色領域分析手段５及び暗い領域分析手
段６の分析結果に基づいて、上記カラー画像中に人の顔
が存在するか否かを判定する顔判定手段７とを備えてい
る。As shown in FIG. 1, a face detection and tracking device 1
Includes a skin color region detection unit 3 for detecting a skin color region in a color image input from the color image input unit 2, a dark region detection unit 4 for detecting a dark region in the color image,
Skin color region analyzing means 5 for obtaining the area and center of gravity of the skin color region detected by the skin color region detecting means 3, and dark region detecting means 4
Based on the analysis results of the dark area analyzing means 6 for obtaining the area and the center of gravity of the dark area detected in the above, and the analysis results of the skin color area analyzing means 5 and the dark area analyzing means 6, whether or not a human face exists in the color image Face determining means 7 for determining whether
【００１６】図２は図１の顔検出及び追跡装置１及びカ
ラー画像入力手段２のより詳細な構成を示すブロック図
である。カラー画像入力手段２は、撮像手段２１と、撮
像手段２１がアナログ信号を出力する場合に設けられる
Ａ／Ｄ変換部２２とからなる。顔検出及び追跡装置１で
顔追跡を行う場合、例えば、ＣＣＤ(Charge CoupledDev
ice) ビデオカメラからなる撮像手段２１で撮像された
フルカラーの動画がＡ／Ｄ変換部２２でディジタル信号
に変換された後、顔検出及び追跡装置１の肌色領域検出
手段３に送られる。一方、顔検出及び追跡装置１で顔検
出を行う場合、例えば、ディジタルカメラ等からなる撮
像手段２１で撮像されたカラーの静止画（ディジタル信
号）がそのまま肌色領域検出手段３に送られる。FIG. 2 is a block diagram showing a more detailed configuration of the face detection and tracking device 1 and the color image input means 2 of FIG. The color image input unit 2 includes an imaging unit 21 and an A / D conversion unit 22 provided when the imaging unit 21 outputs an analog signal. When the face detection and tracking device 1 performs face tracking, for example, a CCD (Charge Coupled Dev)
(ice) A full-color moving image captured by an imaging unit 21 composed of a video camera is converted into a digital signal by an A / D conversion unit 22, and then sent to a skin color region detection unit 3 of the face detection and tracking device 1. On the other hand, when face detection is performed by the face detection and tracking device 1, for example, a color still image (digital signal) captured by the imaging device 21 including a digital camera or the like is sent to the skin color region detection device 3 as it is.
【００１７】肌色領域検出手段３は第１変換手段３１、
第２変換手段３２及び肌色画素の検出手段３３からな
る。上記ＣＣＤビデオカメラまたはディジタルカメラ等
の撮像手段２１から入力されるカラー画像は、通常、Ｎ
ＴＳＣ(National TelevisionSystem Committee) 方式の
ＲＧＢ（赤、緑、青）表色系で表現されているが、本実
施の形態では、このＲＧＢ表色系を、まず、第１変換手
段３１によりＣＩＥ（国際証明委員会）方式のＸＹＺ表
色系に変換する。ＲＧＢ表色系からＸＹＺ表色系への変
換式(1) を以下に示す。The skin color area detecting means 3 comprises a first converting means 31,
It comprises a second conversion means 32 and a skin color pixel detection means 33. A color image input from the imaging means 21 such as the CCD video camera or digital camera usually has N
Although expressed in the RGB (red, green, blue) color system of the TSC (National Television System Committee) system, in the present embodiment, this RGB color system is first converted to CIE (international (Certification Committee) Convert to XYZ color system. The conversion formula (1) from the RGB color system to the XYZ color system is shown below.
【００１８】[0018]
【数１】 (Equation 1)
【００１９】次に、上記ＸＹＺ表色系を肌色領域検出手
段３内の第２変換手段３２でｘｙ表色系に変換する。す
なわち、Ｘ、Ｙ、Ｚを各々２倍、３倍しても輝度（明る
さ）が変化するのみであるから、輝度に関係なく色だけ
を表現するのであれば、Ｘ、Ｙ、Ｚの比率が分かってい
ればよい。Ｘ、Ｙ、Ｚからｘ、ｙへの変換式(2) は、以
下の通りである。なお、後述するように、輝度はＸＹＺ
表色系のＹで表す。Next, the XYZ color system is converted into the xy color system by the second conversion means 32 in the flesh color area detection means 3. That is, even if X, Y, and Z are respectively doubled and tripled, only the luminance (brightness) changes, so that if only the color is expressed regardless of the luminance, the ratio of X, Y, and Z is assumed. I just need to know. The conversion formula (2) from X, Y, Z to x, y is as follows. Note that the luminance is XYZ as described later.
It is represented by Y in the color system.
【００２０】[0020]
【数２】 (Equation 2)
【００２１】第２変換手段３２でｘｙ表色系に変換した
後、肌色画素の検出手段３３が肌色画素の領域を検出す
る。ここで、肌色（顔の色）は個人差があるが、同じ人
種では正規分布に従うと考えられる。そのため、本発明
者は東洋人についての肌色分布状況を調査した。すなわ
ち、ビデオカメラを用いて顔画像を数人分取得し、肌色
部分のみを手動で切り取り、肌色サンプル画像を用意し
た。２次元の正規分布関数は次の数３中の式(3) で表さ
れる。After the conversion into the xy color system by the second conversion means 32, the skin color pixel detection means 33 detects the area of the skin color pixels. Here, the skin color (face color) varies among individuals, but it is considered that the same race follows a normal distribution. Therefore, the present inventor investigated the skin color distribution of Orientals. That is, a face image was obtained for several persons using a video camera, and only the flesh color portion was manually cut out to prepare a flesh color sample image. The two-dimensional normal distribution function is expressed by the following equation (3) in equation (3).
【００２２】[0022]
【数３】 (Equation 3)
【００２３】数３中の太字のｘはｘｙ表色系の色、太字
のμは肌色分布の中心、太字のΣは肌色分布の共分散行
列を示しており、太字のｘ、太字のμ及び太字のΣは各
々数４中の式(4) 、(5) 、(6) で表される。In Equation 3, x in bold represents the color of the xy color system, μ in bold represents the center of the flesh color distribution, Σ in bold represents the covariance matrix of the flesh color distribution, and x in bold, μ in bold and The bold Σ is represented by Equations (4), (5) and (6) in Equation 4, respectively.
【００２４】[0024]
【数４】 (Equation 4)
【００２５】得られた肌色サンプル画像のｘｙ色情報を
用いて、肌色サンプル画像のピクセル数をｎとすると、
中心μ（太字）及び共分散行列Σ（太字）は各々数５中
の式(7) 、(8) で求めることができる。Using the xy color information of the obtained flesh color sample image and letting the number of pixels of the flesh color sample image be n,
The center μ (bold) and the covariance matrix Σ (bold) can be obtained by Expressions (7) and (8) in Equation 5, respectively.
【００２６】[0026]
【数５】 (Equation 5)
【００２７】正規分布関数の指数部分のマハラノビス距
離Ｄは、数６中の式(9) で表され、このマハラノビス距
離Ｄをカラー画像からの肌色領域抽出に用いる。肌色画
素の検出手段３３は、マハラノビス距離Ｄの値があるし
きい値未満の場合、太字のｘで表される色は肌色であ
り、Ｄが上記しきい値以上の場合、色は肌色でないと判
断する。The Mahalanobis distance D in the exponent part of the normal distribution function is expressed by the following equation (9) in Equation 6, and this Mahalanobis distance D is used for extracting a skin color area from a color image. When the value of the Mahalanobis distance D is less than a certain threshold, the color represented by x in bold is a flesh color, and when D is equal to or greater than the threshold, the color is not a flesh color. to decide.
【００２８】[0028]
【数６】 (Equation 6)
【００２９】また、暗い領域検出手段４は第１変換手段
３１から送られるＸＹＺ表色系のＹの輝度（明るさ）を
２値化し、これをあるしきい値と比較して、輝度がしき
い値以下の場合に暗い画素であると判断する。肌色領域
分析手段５及び暗い領域分析手段６は各々前述のよう
に、肌色領域と暗い領域の面積及び重心を求め、これら
のデータを顔判定手段７に送信する。Further, the dark area detecting means 4 binarizes the luminance (brightness) of Y in the XYZ color system sent from the first converting means 31 and compares it with a certain threshold value. If it is less than the threshold value, it is determined that the pixel is a dark pixel. As described above, the skin color area analysis means 5 and the dark area analysis means 6 determine the area and the center of gravity of the skin color area and the dark area, and transmit these data to the face determination means 7.
【００３０】顔判定手段７は、肌色領域内に暗い領域が
一定範囲の面積比で含まれている場合に当該肌色領域が
人の顔であると判定する。すなわち、人の顔の中で暗い
領域は、主として、左右の目の周辺（黒目、眉毛等）及
び口の周辺（口、唇等）であり、左右の目は顔の上部、
口は顔の下部に位置している。そのため、本実施の形態
では、カラー画像中で検出された肌色領域の上部及び下
部に各々目及び口に対応する暗い領域が存在するか否か
により当該肌色領域が人の顔であるか否かを判定する。The face judging means 7 judges that the skin color area is a human face when a dark area is included in the skin color area at a certain area ratio. That is, dark areas in a human face are mainly around the left and right eyes (black eyes, eyebrows, etc.) and around the mouth (mouth, lips, etc.).
The mouth is located below the face. Therefore, in the present embodiment, whether or not the skin color area is a human face is determined based on whether or not dark areas corresponding to eyes and mouths are present above and below the skin color area detected in the color image. Is determined.
【００３１】より具体的には、図２の顔判定手段７内の
Ａ部に示すように、顔判定手段７はカラー画像中で検出
された肌色領域Ｈ上に重なるように正方形状の窓Ｍを設
定する。その場合、窓Ｍの面積は肌色領域Ｈの面積と略
等しくし、且つ窓Ｍの重心と肌色領域Ｈの重心とを一致
させる。窓Ｍを上下に２分割するとともに、上半分をさ
らに左右に２分割して、左上窓Ｍ１、右上窓Ｍ２及び下
部窓Ｍ３に分割する。そして、左上窓Ｍ１、右上窓Ｍ２
及び下部窓Ｍ３内に各々暗い領域が存在して且つこれら
の暗い領域の重心が各々左上窓Ｍ１、右上窓Ｍ２及び下
部窓Ｍ３内に位置しており、しかもこれらの暗い領域の
面積の肌色領域Ｈの面積に対する比率が一定範囲内であ
れば、人の顔であると判定する。More specifically, as shown in part A of the face judging means 7 in FIG. 2, the face judging means 7 has a square window M so as to overlap the flesh-color area H detected in the color image. Set. In this case, the area of the window M is made substantially equal to the area of the skin color region H, and the center of gravity of the window M is made to coincide with the center of gravity of the skin color region H. The window M is vertically divided into two, and the upper half is further divided into left and right, and divided into an upper left window M1, an upper right window M2, and a lower window M3. And upper left window M1, upper right window M2
And dark areas exist in the lower window M3, and the centers of gravity of these dark areas are located in the upper left window M1, the upper right window M2, and the lower window M3, respectively, and the skin color area of the area of these dark areas If the ratio of H to the area is within a certain range, it is determined that the face is a human face.
【００３２】すなわち、左上窓Ｍ１及び右上窓Ｍ２内に
おける肌色領域Ｈ内に暗い領域が肌色領域Ｈに対して１
／９００乃至１／４０の面積比で存在していれば、これ
らの暗い領域は各々左目及び右目の周辺（特に黒目及び
眉毛）であると判定し、下部窓Ｍ３内における肌色領域
Ｈに暗い領域が１／２００乃至１／５の面積比で存在し
ていれば、この暗い領域は口の周辺であると判定し、左
上窓Ｍ１、右上窓Ｍ２及び下部窓Ｍ３内に暗い領域が各
々上記の割合で存在しているときに、上記肌色領域Ｈが
人の顔であると判定する。That is, the dark region in the skin color region H in the upper left window M1 and the upper right window M2 is one to the skin color region H.
If they exist at an area ratio of / 900 to 1/40, it is determined that these dark areas are around the left eye and the right eye (especially the iris and eyebrows), and the dark area in the skin color area H in the lower window M3. Is present at an area ratio of 1/200 to 1/5, it is determined that this dark area is around the mouth, and the dark areas in the upper left window M1, the upper right window M2, and the lower window M3 are respectively described above. When they exist at the ratio, it is determined that the skin color area H is a human face.
【００３３】また、図２の顔判定手段７中のＢ部または
Ｃ部に示すように、カラー画像内で人の顔が斜め前方を
向いている場合、顔の中の目の位置で左右方向へずれる
ことになるが、この場合は、左上窓Ｍ１及び右上窓Ｍ２
を左右方向へスライドし、スライドした状態で左上窓Ｍ
１及び右上窓Ｍ２内に各々暗い領域が一定範囲の面積比
で含まれるか否かを判定し、左上窓Ｍ１及び右上窓Ｍ２
内に暗い領域が一定範囲の面積比で含まれていれば、人
の顔であると判定する。As shown in part B or part C of the face determination means 7 in FIG. 2, when a person's face is directed obliquely forward in the color image, the position of the eyes in the face in the left-right direction is changed. In this case, the upper left window M1 and the upper right window M2
To the left and right.
1 and the upper right window M2 to determine whether or not a dark area is included in a certain range of area ratio, respectively.
If a dark area is included in the area at a certain area ratio, it is determined that the image is a human face.
【００３４】顔検出及び追跡装置１でカラーの静止画像
に基づく顔検出を行う場合は、上記の手順で検出が可能
であるが、カラーの動画に基づく顔追跡を行う場合、カ
ラー画像入力手段２から肌色領域検出手段３及び暗い領
域検出手段４に入力される複数のフレームの各々につい
て上記の手順で顔検出を行うことにより、顔追跡を行え
ばよい。その場合、隣接するフレーム間での顔の位置の
移動は、比較的僅かであるから、図３に示すように、各
フレームにおける顔検出は、前回のフレームで肌色領域
が検出された領域Ｆ１の近傍の矩形領域Ｆ内のみで行う
ことにより、顔検出の所要時間を一層短縮することがで
きる。なお、図３中Ｆ２は今回のフレームにおいて検出
された肌色領域を示す。When the face detection and tracking device 1 performs face detection based on a color still image, detection can be performed by the above procedure. However, when face tracking based on a color moving image is performed, the color image input means 2 is used. The face tracking may be performed by performing face detection according to the above-described procedure for each of a plurality of frames input to the flesh-color area detection means 3 and the dark area detection means 4 from. In this case, since the movement of the position of the face between adjacent frames is relatively slight, as shown in FIG. 3, the face detection in each frame is performed in the region F1 where the skin color region was detected in the previous frame. By performing the processing only in the nearby rectangular area F, the time required for face detection can be further reduced. In addition, F2 in FIG. 3 indicates a flesh color area detected in the current frame.
【００３５】図４は顔検出及び追跡装置１による顔検出
または顔追跡の手順を示すフローチャートであり、上記
した説明と重複するので、詳述しないが、Ｓ１乃至Ｓ９
の各ステップが順次実行される。Ｓ９では、顔の位置が
表示されるが、これは用途が、例えば、ビル監視であれ
ば、検出された人の顔が監視用モニタに表示され、用途
がテレビ会議であれば、会議用のモニタに表示されるも
のである。FIG. 4 is a flow chart showing the procedure of face detection or face tracking by the face detection and tracking device 1, which will not be described in detail since it is duplicated with the above description.
Are sequentially executed. In S9, the position of the face is displayed. If the use is, for example, building monitoring, the detected person's face is displayed on the monitoring monitor. It is displayed on the monitor.
【００３６】なお、本実施の形態の顔検出及び追跡装置
１により顔追跡を行いながら、モニタ等に顔の位置を表
示する場合、撮像手段２１、例えば、ビデオカメラは、
撮影方向及びズームの自動制御が可能なものを使用する
ことが好ましい。すなわち、ビデオカメラを水平面内で
の回転（パン）及び上下の首振り（チルト）の可能なも
のとし、カラー画像内での顔の位置の移動に応じて、ビ
デオカメラの撮影方向を変化させることにより、カラー
画像内の顔が常時当該カラー画像の中央部付近に位置す
る制御するとともに、カラー画像内の肌色領域の面積の
変化に応じてズームを変化させることにより、カラー画
像内の肌色領域の面積が常時一定の範囲内となるように
することが好ましい。When displaying the position of a face on a monitor or the like while performing face tracking by the face detection and tracking device 1 of the present embodiment, the imaging means 21, for example, a video camera,
It is preferable to use one that can automatically control the shooting direction and zoom. That is, the video camera can be rotated (panned) in a horizontal plane and swung up and down (tilted), and the shooting direction of the video camera is changed according to the movement of the position of the face in the color image. By controlling the face in the color image to always be located near the center of the color image and changing the zoom according to the change in the area of the skin color area in the color image, It is preferable that the area is always within a certain range.
【００３７】なお、本発明者は、上記顔検出及び追跡装
置１を用いて人の顔を検出する実験を行った。実験にお
いては、カラー画像入力手段２としてＣＣＤビデオカメ
ラを使用するとともに、顔検出及び追跡装置１としてパ
ーソナルコンピュータ（Gateway2000)を使用した。ま
た、カラー画像ボードはLinx DT3153 を使用した。入力
画像はフルカラーで、画像サイズは320 ×240 ピクセル
であった。The present inventor conducted an experiment for detecting a human face using the face detection and tracking device 1 described above. In the experiments, a CCD video camera was used as the color image input means 2 and a personal computer (Gateway 2000) was used as the face detection and tracking device 1. The color image board used was Linx DT3153. The input image was full color and the image size was 320 x 240 pixels.
【００３８】上記実験では、顔を斜め右または斜め左に
向けたり、顔とビデオカメラの距離を変えたり、複数の
顔を同時に撮影したり、眼鏡を着用したり、種々の条件
の下で顔検出を行ったが、顔が検出されなかったのは、
４１人中２人のみであった。これら２人は頭髪が目にか
かっていたので原因であった。また、顔検出に要する時
間は０．２秒程度、顔追跡に要する時間は０．１秒程度
で、従来より大幅に短縮することができた。In the above experiment, the face was turned diagonally right or left, the distance between the face and the video camera was changed, a plurality of faces were photographed at the same time, the face was worn under various conditions, or the like. The detection was performed but no face was detected.
Only 2 out of 41 people. These two were responsible because their hair was on their eyes. In addition, the time required for face detection is about 0.2 seconds, and the time required for face tracking is about 0.1 seconds, which is much shorter than before.
【００３９】なお、本実施の形態で説明した顔検出及び
追跡方法をパーソナルコンピュータ等を用いて実行する
ためのコンピュータプログラムを、ＣＤ−ＲＯＭ等の各
種記録媒体に記録して販売、使用等する行為は、当然に
本発明の実施範囲内に含まれるものである。The act of recording a computer program for executing the face detection and tracking method described in the present embodiment using a personal computer or the like on various recording media such as a CD-ROM, and selling or using the computer program. Is naturally included in the scope of the present invention.
【００４０】[0040]
【発明の効果】以上説明したように、本発明の請求項１
の顔検出方法は、本発明の請求項１の顔検出方法は、カ
ラー画像入力手段から入力されるカラー画像（ディジタ
ル画像）から、事前に学習済のガウス関数に従って肌色
領域を抽出するとともに上記カラー画像から明るさがあ
るしきい値以下の暗い領域を抽出し、上記肌色領域内に
一定の面積比で上記暗い領域を検出したとき、人の顔で
あると判定するようにしたので、従来のカラー画像を用
いた顔検出の場合と異なり、予め準備した顔テンプレー
トとの照合計算を多くの位置で繰り返し行うような必要
がなく、検出に要する時間を大幅に短縮することができ
るので実時間による顔検出が可能となるとともに、肌色
（顔の色）領域内に暗い領域（目の周辺、口の周辺等）
がある一定の面積比で含まれているときに顔であると判
定するようにしたので、検出の精度は充分に高いものと
なり、顔の大きさや向き、首を傾けているか否か等によ
り検出の精度が低下することもなく、カラー画像内に複
数の顔が含まれている場合でも検出が可能である。ま
た、肌色領域に対する暗い領域の面積比にある一定幅を
与えておけば、眼鏡の着用の有無にかかわらず、顔の検
出が正確に行えるようになる。As described above, according to the first aspect of the present invention,
The face detection method according to claim 1 of the present invention is characterized in that a skin color region is extracted from a color image (digital image) input from a color image input means in accordance with a Gaussian function learned in advance, and the color is extracted. A dark area having a brightness equal to or less than a threshold value is extracted from the image, and when the dark area is detected at a constant area ratio in the flesh color area, it is determined that the image is a human face. Unlike the case of face detection using a color image, there is no need to repeatedly perform matching calculation with a prepared face template at many positions, and the time required for detection can be greatly reduced, so real-time detection is possible. Face detection becomes possible, and dark areas (around the eyes, around the mouth, etc.) within the skin color (face color) area
The face is determined when it is included in a certain area ratio, so the detection accuracy is sufficiently high, and the detection is based on the size and orientation of the face, whether the head is tilted, etc. Can be detected even when a plurality of faces are included in the color image without lowering the accuracy of the image. In addition, if a certain width is given to the area ratio of the dark region to the skin color region, the face can be accurately detected regardless of whether or not the spectacles are worn.
【００４１】また、肌色領域内に暗い領域（目の周辺、
口の周辺等）があることを判定の対象とし、肌色領域外
に位置する頭髪に関する情報は顔検出には用いないこと
としたので、頭髪の量やヘアースタイルに影響されずに
顔検出を行うことができる。さらに、肌色領域の検出に
ガウス関数を用いて、ガウス関数の中心までの距離があ
るしきい値未満であれば肌色であると判定するようにす
るとともに、暗い領域の検出も明るさ（輝度）があるし
きい値以下であるかに基づいて行うようにしたので、検
出に用いるカラー画像の明るさや顔の色の個人差等に影
響されずに顔検出が正確に行える。In addition, a dark area (around the eyes,
(The area around the mouth, etc.) is determined, and information on the hair located outside the skin color area is not used for face detection. Therefore, face detection is performed without being affected by the amount of hair or hair style. be able to. Further, using a Gaussian function to detect a flesh color area, if the distance to the center of the Gaussian function is less than a certain threshold value, it is determined that the skin color is flesh color. Since the detection is performed based on whether or not the threshold value is equal to or less than a certain threshold value, face detection can be accurately performed without being affected by the brightness of a color image used for detection and individual differences in face color.
【００４２】請求項２の顔追跡方法は、請求項１記載の
方法による顔検出を上記カラー画像の複数のフレームで
連続的に行うことにより人の顔の移動を追跡するように
したので、動画中での顔追跡を実時間で正確に行えるよ
うになる。According to the face tracking method of the present invention, the movement of a person's face is tracked by continuously performing face detection by the method of the present invention on a plurality of frames of the color image. Face tracking inside can be done accurately in real time.
【００４３】請求項３の顔追跡方法は、請求項２記載の
方法による顔追跡を行うに当たり、各フレームにおける
顔検出を前回のフレームで顔が検出された領域の近傍の
領域のみで行うようにしたものであり、通常、隣接する
フレーム間では顔の位置の移動は僅かであるから、新た
なフレームでは、前回のフレームで顔が検出された領域
の近傍で検出を行うことにより顔の検出ができ、このよ
うに、検出領域を前回のフレームで顔が検出された領域
の近傍に限定することにより、検出に要する時間を一層
短縮することができるので、実時間での顔追跡に好適で
ある。In the face tracking method according to the third aspect, in performing the face tracking by the method according to the second aspect, the face detection in each frame is performed only in the area near the area where the face was detected in the previous frame. Normally, the position of the face is slightly shifted between adjacent frames, so that in a new frame, the face is detected by performing detection near the area where the face was detected in the previous frame. By limiting the detection area to the vicinity of the area where the face was detected in the previous frame, the time required for detection can be further reduced, which is suitable for face tracking in real time. .
【００４４】請求項４の記録媒体は、請求項１乃至３の
いずれか記載の顔検出方法または顔追跡方法を実行する
ためのプログラムを記録したコンピュータ読取可能な記
録媒体（ＣＤ−ＲＯＭ等）であり、係る記録媒体からコ
ンピュータに上記プログラムをインストールすることに
より、本発明に係る顔検出方法または顔追跡方法の実行
が可能となる。A recording medium according to a fourth aspect is a computer-readable recording medium (such as a CD-ROM) on which a program for executing the face detection method or the face tracking method according to any one of the first to third aspects is recorded. Yes, by installing the program from the recording medium to a computer, the face detection method or face tracking method according to the present invention can be executed.
【００４５】請求項５の顔検出装置は、カラー画像入力
手段から入力されたカラー画像から事前に学習済のガウ
ス関数に従って肌色領域を抽出する肌色領域検出手段
と、上記カラー画像から明るさがあるしきい値以下の暗
い領域を抽出する暗い領域検出手段と、上記肌色領域検
出手段で検出された肌色領域の面積を求める肌色領域分
析手段と、上記暗い領域検出手段で検出された上記暗い
領域の面積を求める暗い領域分析手段と、肌色領域分析
手段と暗い領域分析手段との分析結果に基づいて上記肌
色領域内に上記暗い領域が存在し且つその面積比が一定
範囲内であるときに人の顔であると判定する顔判定手段
とを備えたものであるから、従来の顔テンプレートを用
いた顔検出方法と比べて、検出に要する時間を大幅に短
縮することができるので実時間による顔検出が可能とな
るとともに、検出の精度は充分に高いものとなり、顔の
大きさや向き、首を傾けているか否かや眼鏡の着用の有
無等により検出の精度が低下することもなく、カラー画
像内に複数の顔が含まれている場合でも検出が可能であ
る。According to a fifth aspect of the present invention, there is provided a face detecting apparatus for extracting a flesh color area from a color image input from a color image input means in accordance with a Gaussian function learned in advance, and the color image has brightness. Dark area detecting means for extracting a dark area equal to or less than a threshold value, flesh color area analyzing means for calculating the area of the flesh color area detected by the flesh color area detecting means, and dark area detecting means for detecting the dark area detected by the dark area detecting means. A dark region analyzing means for obtaining an area, and a human being when the dark region exists in the flesh color region based on the analysis result of the flesh color region analyzing device and the dark region analyzing device and the area ratio is within a certain range. Since the apparatus includes the face determination unit that determines that the face is a face, the time required for detection can be significantly reduced as compared with the conventional face detection method using a face template. In addition to real-time face detection, the detection accuracy will be sufficiently high, and the detection accuracy will decrease depending on the size and orientation of the face, whether the head is tilted, whether or not glasses are worn, etc. Nonetheless, detection is possible even when a color image includes a plurality of faces.
【００４６】また、肌色領域内に暗い領域（目の周辺、
口の周辺等）があることを判定の対象とし、肌色領域外
に位置する頭髪に関する情報は顔検出には用いないこと
としたので、頭髪の量やヘアースタイルに影響されずに
顔検出を行うことができ、且つ肌色領域の検出にガウス
関数を用いて、ガウス関数の中心までの距離があるしき
い値未満であれば肌色であると判定するようにするとと
もに、暗い領域の検出も明るさがあるしきい値以下であ
るかに基づいて行うようにしたので、検出に用いるカラ
ー画像の明るさや顔の色の個人差等に影響されずに顔検
出が正確に行える。Further, a dark area (around the eyes,
(The area around the mouth, etc.) is determined, and information on the hair located outside the skin color area is not used for face detection. Therefore, face detection is performed without being affected by the amount of hair or hair style. If the distance to the center of the Gaussian function is less than a certain threshold, it is determined that the skin color is a skin color, and the detection of the dark area is also performed by the brightness. Since the detection is performed based on whether or not the threshold value is equal to or less than a certain threshold value, face detection can be accurately performed without being affected by the brightness of a color image used for detection and individual differences in face color.
【００４７】請求項６の顔検出装置は、請求項５の構成
において、上記肌色領域分析手段及び上記暗い領域分析
手段は各々肌色領域及び暗い領域の重心を求める一方、
上記顔判定手段は肌色領域の重心を中心とし且つ肌色領
域の面積と略等しい面積の矩形窓を上記肌色領域上に設
定し、且つこの矩形窓を左上窓及び右上窓からなる上部
窓と下部窓とに分割して、上記左上窓、右上窓及び下部
窓内に各々上記暗い領域の重心が含まれるとともに上記
左上窓、右上窓及び下部窓内の肌色領域に対する暗い領
域の面積比が各々一定範囲内であるときに人の顔である
と判定するものであり、人の顔の中の暗い領域である左
右の目の周辺（黒目及び眉毛）と口の周辺（口及び唇）
とに対して各々上記左上窓、右上窓及び下部窓を設定
し、左上窓、右上窓及び下部窓内で暗い領域が各々一定
の面積比で含まれているか否かに基づいて人の顔である
か否かを判定するようにしたので、これら目及び口の有
無に基づいて顔検出を正確に行えるようになる。According to a sixth aspect of the present invention, in the configuration of the fifth aspect, the flesh color area analyzing means and the dark area analyzing means determine the center of gravity of the flesh color area and the dark area, respectively.
The face determining means sets a rectangular window centered on the center of gravity of the skin color region and having an area substantially equal to the area of the skin color region on the skin color region, and sets the rectangular window as an upper window and a lower window including an upper left window and an upper right window. The upper left window, the upper right window, and the lower window each include the center of gravity of the dark region, and the upper left window, the upper right window, and the lower window each have a fixed area ratio of the dark region to the skin color region. It is determined that the face is a human face when it is inside the area around the left and right eyes (black eyes and eyebrows) and around the mouth (mouth and lips), which are dark areas in the human face.
The upper left window, the upper right window, and the lower window are respectively set for and the upper left window, the upper right window, and the lower window. Since it is determined whether or not the face is present, the face can be accurately detected based on the presence or absence of the eyes and the mouth.
【００４８】請求項７の顔検出装置は、請求項６の構成
において、上記左上窓または右上窓の少なくとも一方に
暗い領域の重心が含まれないとき、上記顔判定手段が左
上窓及び右上窓を上記肌色領域に対して左右方向へスラ
イドさせて上記判定を行うようにしたので、例えば、カ
ラー画像内で人の顔が斜め横向きになっていたり、首が
傾いていて、左目及び右目に対応した暗い領域の重心が
顔の左右にずれていた場合でも、上記左上窓及び右上窓
を上記肌色領域に対して左右へスライドさせることによ
り、顔検出が行えるようになるので、顔の向きや首の傾
き等に影響されずに人の顔を正確に検出できるようにな
る。According to a seventh aspect of the present invention, in the configuration of the sixth aspect, when at least one of the upper left window and the upper right window does not include the center of gravity of a dark area, the face determining means determines the upper left window and the upper right window. Since the above determination is made by sliding the skin color region in the left-right direction, for example, in a color image, a person's face is obliquely sideways, or the neck is tilted, which corresponds to the left eye and the right eye. Even when the center of gravity of the dark area is shifted to the left or right of the face, face detection can be performed by sliding the upper left window and the upper right window to the left and right with respect to the skin color area. The human face can be accurately detected without being affected by the inclination or the like.
【００４９】請求項８の顔追跡装置は、請求項５乃至７
のいずれかの構成において、請求項５乃至７のいずれか
の顔検出装置による顔検出を複数のフレームで連続的に
行うことにより顔の移動を追跡するようにしたので、動
画中での顔追跡を実時間で正確に行えるようになる。こ
の場合、動画中での人の顔の位置の移動に応じて、カラ
ー画像入力手段における撮像手段の向き（撮像方向）を
自動的に変化させることにより、動画中での顔の位置が
常時、動画の中央部付近に位置するように制御すること
が好ましい。The face tracking apparatus according to the eighth aspect is characterized in that:
In any of the above configurations, the face movement is tracked by continuously performing face detection by the face detection device according to any one of claims 5 to 7 in a plurality of frames. Can be performed accurately in real time. In this case, by automatically changing the direction (imaging direction) of the imaging means in the color image input means in accordance with the movement of the position of the human face in the moving image, the face position in the moving image can be constantly changed. It is preferable to control the moving image to be located near the center.
【図１】本発明の実施の形態に係る顔検出及び追跡装置
を示す概略ブロック図。FIG. 1 is a schematic block diagram showing a face detection and tracking device according to an embodiment of the present invention.
【図２】上記顔検出及び追跡装置のより詳細な構成を示
すブロック図。FIG. 2 is a block diagram showing a more detailed configuration of the face detection and tracking device.
【図３】上記顔検出及び追跡装置で顔追跡を行う場合の
各フレームにおける顔の検出範囲を示す説明図。FIG. 3 is an explanatory diagram showing a face detection range in each frame when the face detection and tracking device performs face tracking.
【図４】上記顔検出及び追跡装置による処理手順を示す
フローチャート。FIG. 4 is a flowchart showing a processing procedure by the face detection and tracking device.
１ 顔検出及び追跡装置 ２ カラー画像入力手段 ３ 肌色領域検出手段 ４ 暗い領域検出手段 ５ 肌色領域分析手段 ６ 暗い領域分析手段 ７ 顔判定手段 DESCRIPTION OF SYMBOLS 1 Face detection and tracking device 2 Color image input means 3 Skin color area detection means 4 Dark area detection means 5 Skin color area analysis means 6 Dark area analysis means 7 Face determination means
Claims (8)
ー画像から、事前に学習済のガウス関数に従って肌色領
域を抽出するとともに上記カラー画像から明るさがある
しきい値以下の暗い領域を抽出し、上記肌色領域内に一
定の面積比で上記暗い領域を検出したとき、人の顔であ
ると判定することを特徴とする顔検出方法。1. A skin color area is extracted from a color image input from a color image input means in accordance with a Gaussian function learned in advance, and a dark area having a brightness equal to or less than a threshold is extracted from the color image. A face detection method characterized in that when the dark area is detected at a constant area ratio in the skin color area, the face is determined to be a human face.
カラー画像の複数のフレームで連続的に行うことにより
人の顔の移動を追跡することを特徴とする顔追跡方法。2. The face tracking method according to claim 1, wherein the movement of a human face is tracked by continuously performing face detection in a plurality of frames of the color image.
に当たり、各フレームにおける顔検出を前回のフレーム
で顔が検出された領域の近傍の領域のみで行うことを特
徴とする顔追跡方法。3. The face tracking method according to claim 2, wherein the face detection in each frame is performed only in a region near the region where the face was detected in the previous frame.
方法または顔追跡方法を実行するためのプログラムを記
録したコンピュータ読取可能な記録媒体。4. A computer-readable recording medium on which a program for executing the face detection method or the face tracking method according to claim 1 is recorded.
ー画像から事前に学習済のガウス関数に従って肌色領域
を抽出する肌色領域検出手段と、上記カラー画像から明
るさがあるしきい値以下の暗い領域を抽出する暗い領域
検出手段と、上記肌色領域検出手段で検出された肌色領
域の面積を求める肌色領域分析手段と、上記暗い領域検
出手段で検出された上記暗い領域の面積を求める暗い領
域分析手段と、肌色領域分析手段と暗い領域分析手段と
の分析結果に基づいて上記肌色領域内に暗い領域が存在
し且つその面積比が一定範囲内であるときに人の顔であ
ると判定する顔判定手段とを備えたことを特徴とする顔
検出装置。5. A skin color area detecting means for extracting a skin color area from a color image input from a color image input means in accordance with a Gaussian function learned in advance, and a dark area having a brightness equal to or less than a threshold from the color image. Area detecting means for extracting the area, a skin color area analyzing means for obtaining the area of the skin color area detected by the skin color area detecting means, and a dark area analyzing means for obtaining the area of the dark area detected by the dark area detecting means A face determination unit that determines a human face when a dark area exists in the skin color area and the area ratio is within a certain range, based on an analysis result of the skin color area analysis unit and the dark area analysis unit. And a means for detecting a face.
分析手段は各々肌色領域及び暗い領域の重心を求める一
方、上記顔判定手段は肌色領域の重心を中心とし且つ肌
色領域の面積と略等しい面積の矩形窓を上記肌色領域上
に設定し、且つこの矩形窓を左上窓及び右上窓からなる
上部窓と下部窓とに分割して、上記左上窓、右上窓及び
下部窓内に各々上記暗い領域の重心が含まれるとともに
上記左上窓、右上窓及び下部窓内の肌色領域に対する暗
い領域の面積比が各々一定範囲内であるときに人の顔で
あると判定することを特徴とする請求項５記載の顔検出
装置。6. The skin color area analysis means and the dark area analysis means determine the center of gravity of the skin color area and the dark area, respectively, while the face determination means centers on the center of gravity of the skin color area and is substantially equal to the area of the skin color area. Is set on the skin color area, and this rectangular window is divided into an upper window and a lower window including an upper left window and an upper right window, and the dark areas are respectively set in the upper left window, the upper right window, and the lower window. 6. A human face is determined when the center ratio of the dark area is included in the upper left window, the upper right window, and the lower window in the predetermined range. The face detection device according to the above.
方に暗い領域の重心が含まれないとき、上記顔判定手段
が左上窓及び右上窓を上記肌色領域に対して左右方向へ
スライドさせて上記判定を行うことを特徴とする請求項
６記載の顔検出装置。7. When at least one of the upper left window and the upper right window does not include the center of gravity of a dark area, the face determining means slides the upper left window and the upper right window in the left-right direction with respect to the skin color area to perform the determination. The face detection device according to claim 6, wherein
による顔検出を複数のフレームで連続的に行うことによ
り顔の移動を追跡することを特徴とする顔追跡装置。8. A face tracking device, wherein the face detection is performed by continuously performing face detection by a plurality of frames in the plurality of frames.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11636998A JP3459950B2 (en) | 1997-04-30 | 1998-04-27 | Face detection and face tracking method and apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14839597 | 1997-04-30 | ||
| JP9-148395 | 1997-04-30 | ||
| JP11636998A JP3459950B2 (en) | 1997-04-30 | 1998-04-27 | Face detection and face tracking method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1115979A true JPH1115979A (en) | 1999-01-22 |
| JP3459950B2 JP3459950B2 (en) | 2003-10-27 |
Family
ID=26454712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11636998A Expired - Fee Related JP3459950B2 (en) | 1997-04-30 | 1998-04-27 | Face detection and face tracking method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3459950B2 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001222048A (en) * | 2000-02-08 | 2001-08-17 | Olympus Optical Co Ltd | Camera |
| WO2002041254A1 (en) * | 2000-11-17 | 2002-05-23 | Sony Corporation | Robot device and face identifying method, and image identifying device and image identifying method |
| US6470271B2 (en) | 2000-02-28 | 2002-10-22 | Honda Giken Kogyo Kabushiki Kaisha | Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method |
| JP2002543539A (en) * | 1999-04-29 | 2002-12-17 | ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ | Method for expressing color image, method for searching for color image, apparatus for expressing and searching for color image, computer system, computer program, and computer readable medium |
| JP2005202562A (en) * | 2004-01-14 | 2005-07-28 | Konica Minolta Photo Imaging Inc | Image processing method, image processor and image processing program |
| JP2006293732A (en) * | 2005-04-12 | 2006-10-26 | Hitachi Ltd | Information processor, image sensor, biometrics system, and biometrics program for information processor |
| WO2007062478A1 (en) * | 2005-11-30 | 2007-06-07 | Seeing Machines Pty Ltd | Visual tracking of eye glasses in visual head and eye tracking systems |
| US7362887B2 (en) | 2004-02-13 | 2008-04-22 | Honda Motor Co., Ltd. | Face identification apparatus, face identification method, and face identification program |
| CN101206719A (en) * | 2006-12-22 | 2008-06-25 | 佳能株式会社 | Method and device for detecting and processing specific pattern in image |
| JP2009017591A (en) * | 2008-09-18 | 2009-01-22 | Canon Inc | Imaging apparatus and image processing method |
| JP2009033544A (en) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | Photographic device and control method of photographic device, and program |
| US7747157B2 (en) | 2005-09-16 | 2010-06-29 | Fujifilm Corporation | Target-image position detecting apparatus, method and program for controlling said apparatus |
| US7801360B2 (en) | 2005-10-17 | 2010-09-21 | Fujifilm Corporation | Target-image search apparatus, digital camera and methods of controlling same |
| JP2011034311A (en) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | Image processor and method |
| US8013906B2 (en) | 2005-06-20 | 2011-09-06 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method |
| JP2017118363A (en) * | 2015-12-24 | 2017-06-29 | Ｎｅｃソリューションイノベータ株式会社 | Color recognition device, color recognition method and program |
-
1998
- 1998-04-27 JP JP11636998A patent/JP3459950B2/en not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011192316A (en) * | 1999-04-29 | 2011-09-29 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for searching for color image, control apparatus, system for searching for color image, machine-readable medium, method for representing color image, computer system, computer program and computer-readable medium |
| JP2011146078A (en) * | 1999-04-29 | 2011-07-28 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for representing color image, control apparatus, system for representing image, machine-readable medium, computer system, computer program, and computer-readable medium |
| JP2002543539A (en) * | 1999-04-29 | 2002-12-17 | ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ | Method for expressing color image, method for searching for color image, apparatus for expressing and searching for color image, computer system, computer program, and computer readable medium |
| JP2010262673A (en) * | 1999-04-29 | 2010-11-18 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for representing color image, control apparatus, system for representing image, machine-readable medium, computer system, computer program, and computer-readable medium |
| JP2001222048A (en) * | 2000-02-08 | 2001-08-17 | Olympus Optical Co Ltd | Camera |
| US6470271B2 (en) | 2000-02-28 | 2002-10-22 | Honda Giken Kogyo Kabushiki Kaisha | Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method |
| US7200249B2 (en) | 2000-11-17 | 2007-04-03 | Sony Corporation | Robot device and face identifying method, and image identifying device and image identifying method |
| WO2002041254A1 (en) * | 2000-11-17 | 2002-05-23 | Sony Corporation | Robot device and face identifying method, and image identifying device and image identifying method |
| US7317817B2 (en) | 2000-11-17 | 2008-01-08 | Sony Corporation | Robot apparatus, face identification method, image discriminating method and apparatus |
| JP2002157596A (en) * | 2000-11-17 | 2002-05-31 | Sony Corp | Robot unit and face identifying method |
| JP2005202562A (en) * | 2004-01-14 | 2005-07-28 | Konica Minolta Photo Imaging Inc | Image processing method, image processor and image processing program |
| US7362887B2 (en) | 2004-02-13 | 2008-04-22 | Honda Motor Co., Ltd. | Face identification apparatus, face identification method, and face identification program |
| DE102004051159B4 (en) * | 2004-02-13 | 2008-10-02 | Honda Motor Co., Ltd. | Face identification device, face identification method and face identification program |
| JP2006293732A (en) * | 2005-04-12 | 2006-10-26 | Hitachi Ltd | Information processor, image sensor, biometrics system, and biometrics program for information processor |
| US8013906B2 (en) | 2005-06-20 | 2011-09-06 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method |
| US7747157B2 (en) | 2005-09-16 | 2010-06-29 | Fujifilm Corporation | Target-image position detecting apparatus, method and program for controlling said apparatus |
| US7801360B2 (en) | 2005-10-17 | 2010-09-21 | Fujifilm Corporation | Target-image search apparatus, digital camera and methods of controlling same |
| WO2007062478A1 (en) * | 2005-11-30 | 2007-06-07 | Seeing Machines Pty Ltd | Visual tracking of eye glasses in visual head and eye tracking systems |
| US8165347B2 (en) | 2005-11-30 | 2012-04-24 | Seeing Machines Pty Ltd | Visual tracking eye glasses in visual head and eye tracking systems |
| JP2008158774A (en) * | 2006-12-22 | 2008-07-10 | Canon Inc | Image processing method, image processing device, program, and storage medium |
| CN101206719A (en) * | 2006-12-22 | 2008-06-25 | 佳能株式会社 | Method and device for detecting and processing specific pattern in image |
| US8265350B2 (en) | 2006-12-22 | 2012-09-11 | Canon Kabushiki Kaisha | Method and apparatus for detecting and processing specific pattern from image |
| US9239946B2 (en) | 2006-12-22 | 2016-01-19 | Canon Kabushiki Kaisha | Method and apparatus for detecting and processing specific pattern from image |
| JP2009033544A (en) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | Photographic device and control method of photographic device, and program |
| JP2009017591A (en) * | 2008-09-18 | 2009-01-22 | Canon Inc | Imaging apparatus and image processing method |
| JP4726251B2 (en) * | 2008-09-18 | 2011-07-20 | キヤノン株式会社 | Imaging apparatus and image processing method |
| JP2011034311A (en) * | 2009-07-31 | 2011-02-17 | Casio Computer Co Ltd | Image processor and method |
| JP2017118363A (en) * | 2015-12-24 | 2017-06-29 | Ｎｅｃソリューションイノベータ株式会社 | Color recognition device, color recognition method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3459950B2 (en) | 2003-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7003135B2 (en) | System and method for rapidly tracking multiple faces | |
| Graf et al. | Multi-modal system for locating heads and faces | |
| WO2019128507A1 (en) | Image processing method and apparatus, storage medium and electronic device | |
| JP3459950B2 (en) | Face detection and face tracking method and apparatus | |
| US6504942B1 (en) | Method of and apparatus for detecting a face-like region and observer tracking display | |
| CN101390128B (en) | Detecting method and detecting system for positions of face parts | |
| US20130076943A1 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| Hongo et al. | Focus of attention for face and hand gesture recognition using multiple cameras | |
| KR100326203B1 (en) | Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion | |
| JPH1051755A (en) | Screen display controller for video conference terminal equipment | |
| JP2000082147A (en) | Method for detecting human face and device therefor and observer tracking display | |
| JP2000163600A (en) | Face photographing and recognizing method and device | |
| US7460705B2 (en) | Head-top detecting method, head-top detecting system and a head-top detecting program for a human face | |
| JP3490910B2 (en) | Face area detection device | |
| CN110414381A (en) | Tracing type face identification system | |
| JP4367010B2 (en) | System, program and method | |
| KR101344851B1 (en) | Device and Method for Processing Image | |
| CN112464012B (en) | Automatic scenic spot photographing system capable of automatically screening photos and automatic scenic spot photographing method | |
| TW466452B (en) | Method and apparatus for photographing/recognizing a face | |
| JP2004128715A (en) | Storage control method and system for video data, program, recording medium, and video camera | |
| KR102194511B1 (en) | Representative video frame determination system and method using same | |
| WO2005055144A1 (en) | Person face jaw detection method, jaw detection system, and jaw detection program | |
| KR100438303B1 (en) | Object detection system | |
| CN112395922A (en) | Face action detection method, device and system | |
| CN113076936B (en) | Rope skipping counting method based on rope target extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |