JP2012181629A - Face detection method, face detection device, and program - Google Patents

Face detection method, face detection device, and program Download PDF

Info

Publication number
JP2012181629A
JP2012181629A JP2011043202A JP2011043202A JP2012181629A JP 2012181629 A JP2012181629 A JP 2012181629A JP 2011043202 A JP2011043202 A JP 2011043202A JP 2011043202 A JP2011043202 A JP 2011043202A JP 2012181629 A JP2012181629 A JP 2012181629A
Authority
JP
Japan
Prior art keywords
mouth
difference
face
face detection
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011043202A
Other languages
Japanese (ja)
Other versions
JP5703068B2 (en
Inventor
Satoshi Futami
聡 二見
Takehiro Mabuchi
健宏 馬渕
Hisatomo Ushijima
央智 牛島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sohgo Security Services Co Ltd
Original Assignee
Sohgo Security Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sohgo Security Services Co Ltd filed Critical Sohgo Security Services Co Ltd
Priority to JP2011043202A priority Critical patent/JP5703068B2/en
Publication of JP2012181629A publication Critical patent/JP2012181629A/en
Application granted granted Critical
Publication of JP5703068B2 publication Critical patent/JP5703068B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow determination of whether a target person wears an apparatus covering the mouth based on the result of face detection.SOLUTION: A face detection device detects a face from an image and extracts feature points of a mouth from the detected face. The device measures a vertical mouth width and horizontal mouth width based on the extracted feature points of the mouth, and calculates a first difference and a second difference between the measured vertical mouth width and horizontal mouth width and standard vertical mouth width and horizontal mouth width obtained in advance, respectively. The device performs threshold determination on absolute values of the first and second differences. If the first difference is less than a first threshold Thand if the second difference is less than a second threshold Th, the device determines that the mouth is not covered. Also, if the first difference is equal to the first threshold Th, and if the second difference is less than the second threshold Thand more than a third threshold Th, the device assumes that the mouth is detected in an open state and determines that the mouth is not covered.

Description

本発明は、画像データから顔を検出する顔検出方法および顔検出装置、ならびに、プログラムに関する。   The present invention relates to a face detection method, a face detection apparatus, and a program for detecting a face from image data.

従来、監視システムなどにおいて、監視カメラで撮像された画像データから顔を検出して、顔認証や不審者の検出などを行っている。例えば、画像データから目や口の両端といった顔器官の特徴点を抽出することで顔を検出し、その特徴点の位置関係から顔の認識を行う。   2. Description of the Related Art Conventionally, in a surveillance system or the like, a face is detected from image data captured by a surveillance camera to perform face authentication, suspicious person detection, or the like. For example, a face is detected by extracting feature points of facial organs such as eyes and both ends of the mouth from image data, and the face is recognized from the positional relationship of the feature points.

ここで、各顔器官の位置関係は、人物の表情などにより変動する。特許文献１では、登録画像における目、鼻、口などの顔器官の位置に主成分分析を適用し、その結果得られた主成分を用いて認証対象顔画像における顔器官の位置を評価する技術が開示されている。   Here, the positional relationship of each facial organ varies depending on the facial expression of the person. In Patent Document 1, principal component analysis is applied to the positions of facial organs such as eyes, nose, and mouth in a registered image, and the position of the facial organs in the authentication target facial image is evaluated using the principal components obtained as a result. Is disclosed.

図１２は、特許文献１による顔器官の位置評価の方法の例を示す。図１２（ａ）は、真顔の状態の位置評価、図１２（ｂ）は、笑顔の状態の位置評価の例を示す。この例では、顔器官のうち瞳、眉の先端、鼻および口（両端、中央）の位置を検出し、検出された各位置の位置関係を数値化して評価する。図１２（ａ）および図１２（ｂ）を比較すると、表情によって顔器官の位置関係が変化することが分かる。例えば閾値判定を用いて、この変化が同一人物の変動の範囲内か否かを判定することで、顔の認証精度を高めることができる。   FIG. 12 shows an example of a method for evaluating the position of a facial organ according to Patent Document 1. FIG. 12A shows an example of position evaluation in a true face state, and FIG. 12B shows an example of position evaluation in a smile state. In this example, the positions of the pupil, the tip of the eyebrows, the nose and the mouth (both ends, center) among the facial organs are detected, and the positional relationship between the detected positions is digitized and evaluated. Comparing FIG. 12 (a) and FIG. 12 (b), it can be seen that the positional relationship of the facial organs changes depending on the facial expression. For example, it is possible to improve the accuracy of face authentication by determining whether or not this change is within the variation range of the same person using threshold determination.

このように、特許文献１によれば、認証対象顔画像における顔器官を、表情の変化に伴う対象人物固有の顔の動きに応じて評価することができ、表情が変化しても正確に顔を認証できる。   As described above, according to Patent Document 1, the facial organ in the authentication target face image can be evaluated according to the movement of the face unique to the target person accompanying the change in facial expression. Can be authenticated.

特許文献１の方法では、顔認識の対象人物が目を瞑っていたり、サングラスやマスクで目や口を覆っており顔器官の位置を正しく検出できないような場合に、誤認識してしまうおそれがある。特許文献２には、画像に対してエッジ検出を行って顔の輪郭を決定し、輪郭内にある顔器官を検出することで、対象人物がサングラスやマスクを装着しているか否かを判定する技術が開示されている。すなわち、特許文献２では、顔認識の対象人物における顔器官が抽出できない場合に、当該対象人物がサングラスやマスクを装着していると見做している。   In the method of Patent Document 1, there is a risk that a person to be face-recognized may be misrecognized when his / her eyes are meditated or when the position of the facial organ cannot be correctly detected because the eyes or mouth are covered with sunglasses or a mask. is there. In Patent Document 2, edge detection is performed on an image to determine the contour of a face, and a facial organ within the contour is detected to determine whether the target person is wearing sunglasses or a mask. Technology is disclosed. That is, in Patent Document 2, when a face organ in a target person for face recognition cannot be extracted, it is assumed that the target person wears sunglasses or a mask.

特開２００７−１５６９４４号公報JP 2007-156944 A 特開平５−３５９９２号公報Japanese Patent Laid-Open No. 5-35992

しかしながら、特許文献２では、顔認識の対象人物が口を開けていたり、マスクなどで口を覆っている状態において、誤検出してしまうおそれがあるという問題点があった。例えば、対象人物がマスクなど非着用でも、口を開けていることによりマスク着用と誤検出されてしまう可能性がある。また、対象人物がマスクなどを着用して口元を隠している場合であっても、マスクの皺などを口の輪郭であると誤検出してしまう可能性がある。   However, in Patent Document 2, there is a problem that erroneous detection may occur in a state where the face recognition target person has an open mouth or covers the mouth with a mask or the like. For example, even if the target person is not wearing a mask or the like, there is a possibility that it is erroneously detected as wearing a mask because the mouth is open. Further, even when the target person wears a mask or the like and hides the mouth, there is a possibility that a mask fold or the like may be erroneously detected as the contour of the mouth.

本発明は、上記に鑑みてなされたものであって、顔検出の検出結果に基づき対象人物が口を覆う用具を装着しているか否かを判定可能とすることを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to make it possible to determine whether or not the target person is wearing a tool covering the mouth based on the detection result of face detection.

上述した課題を解決し、目的を達成するために、本発明は、顔検出手段が、画像から顔を検出する顔検出ステップと、特徴点抽出手段が、顔検出ステップにより検出された顔から口の特徴点を抽出する特徴点抽出ステップと、算出手段が、特徴点抽出ステップにより抽出された口の特徴点から口の縦幅および横幅を求め、口の縦幅と口について予め求められた標準の縦幅との第１の差分と、口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出ステップと、判定手段が、算出ステップにより算出された第１の差分および第２の差分に基づき、顔検出ステップにより検出された顔内の口が覆われた状態か否かを判定する判定ステップとを有することを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a face detection step in which the face detection means detects a face from an image, and a feature point extraction means in the mouth detected from the face detected in the face detection step. The feature point extracting step for extracting the feature points of the mouth, and the calculating means obtains the length and width of the mouth from the feature points of the mouth extracted by the feature point extracting step, and the standard obtained in advance for the length and width of the mouth A calculating step for calculating a first difference between the vertical width of the mouth and a second difference between the width of the mouth and the standard width previously obtained for the mouth; And a determination step of determining whether or not the mouth in the face detected by the face detection step is covered based on the difference and the second difference.

また、本発明は、画像から顔を検出する顔検出手段と、顔検出手段により検出された顔から口の特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された口の特徴点から口の縦幅および横幅を求め、口の縦幅と口について予め求められた標準の縦幅との第１の差分と、口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出手段と、算出手段により算出された第１の差分および第２の差分に基づき、顔検出手段により検出された顔内の口が覆われた状態か否かを判定する判定手段とを有することを特徴とする。   Further, the present invention provides a face detection means for detecting a face from an image, a feature point extraction means for extracting a mouth feature point from the face detected by the face detection means, and a mouth feature extracted by the feature point extraction means. The vertical and horizontal widths of the mouth are obtained from the points, and the first difference between the vertical width of the mouth and the standard vertical width obtained in advance for the mouth, and the width of the mouth and the standard horizontal width obtained in advance for the mouth And calculating means for calculating the difference between the two, and determining whether the mouth in the face detected by the face detecting means is covered based on the first difference and the second difference calculated by the calculating means And determining means for performing the processing.

また、本発明は、画像から顔を検出する顔検出ステップと、顔検出ステップにより検出された顔から口の特徴点を抽出する特徴点抽出ステップと、特徴点抽出ステップにより抽出された口の特徴点から口の縦幅および横幅を求め、口の縦幅と口について予め求められた標準の縦幅との第１の差分と、口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出ステップと、算出ステップにより算出された第１の差分および第２の差分に基づき、顔検出ステップにより検出された顔内の口が覆われた状態か否かを判定する判定ステップとをコンピュータに実行させるためのプログラムである。   The present invention also provides a face detection step for detecting a face from an image, a feature point extraction step for extracting a mouth feature point from the face detected by the face detection step, and a mouth feature extracted by the feature point extraction step. The vertical and horizontal widths of the mouth are obtained from the points, and the first difference between the vertical width of the mouth and the standard vertical width obtained in advance for the mouth, and the width of the mouth and the standard horizontal width obtained in advance for the mouth A calculation step for calculating the difference between the two, and whether or not the mouth in the face detected by the face detection step is covered based on the first difference and the second difference calculated by the calculation step This is a program for causing a computer to execute the determination step.

本発明によれば、顔検出の検出結果に基づき対象人物が口を覆う用具を装着しているか否かが判定可能となるという効果を奏する。   According to the present invention, it is possible to determine whether or not the target person is wearing a tool that covers the mouth based on the detection result of the face detection.

図１は、本発明の実施形態による顔検出装置の一例の機能を示す機能ブロック図である。FIG. 1 is a functional block diagram illustrating functions of an example of a face detection apparatus according to an embodiment of the present invention. 図２は、本発明の実施形態による顔検出方法の一例の処理を示すフローチャートである。FIG. 2 is a flowchart showing an example of processing of the face detection method according to the embodiment of the present invention. 図３は、本発明の実施形態による特徴点抽出を説明するための略線図である。FIG. 3 is a schematic diagram for explaining feature point extraction according to an embodiment of the present invention. 図４は、正規化に顔領域を示す矩形の対角線の長さを用いることを説明するための略線図である。FIG. 4 is a schematic diagram for explaining the use of a diagonal length of a rectangle indicating a face area for normalization. 図５は、閾値を設定する際に係数を乗じることを説明するための略線図である。FIG. 5 is a schematic diagram for explaining that the coefficient is multiplied when the threshold is set. 図６は、本発明の実施形態による逸脱度合mouthDeviancyに対する閾値判定について説明するための略線図である。FIG. 6 is a schematic diagram for explaining threshold determination for the deviation degree mouthDeviancy according to the embodiment of the present invention. 図７は、本発明の実施形態による逸脱度合mouthDeviancyに対する閾値判定について説明するための略線図である。FIG. 7 is a schematic diagram for explaining threshold determination for the deviation degree mouthDeviancy according to the embodiment of the present invention. 図８は、本発明の実施形態による逸脱度合mouthDeviancyに対する閾値判定について説明するための略線図である。FIG. 8 is a schematic diagram for explaining threshold determination for the deviation degree mouthDeviancy according to the embodiment of the present invention. 図９は、本発明の実施形態による逸脱度合mouthDeviancyに対する閾値判定について説明するための略線図である。FIG. 9 is a schematic diagram for explaining threshold determination for the deviation degree mouthDeviancy according to the embodiment of the present invention. 図１０は、口周辺の輝度に基づく判定について説明するための略線図である。FIG. 10 is a schematic diagram for explaining determination based on luminance around the mouth. 図１１は、本発明の実施形態による顔検出装置を適用可能なハードウェアとしての情報処理装置の一例の構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of an example of an information processing apparatus as hardware to which the face detection apparatus according to the embodiment of the present invention can be applied. 図１２は、従来技術による顔器官の位置評価の方法の例を示す略線図である。FIG. 12 is a schematic diagram showing an example of a method for evaluating the position of a facial organ according to the prior art.

以下に添付図面を参照して、本発明に係る顔検出装置の一実施形態を詳細に説明する。図１は、本実施形態による顔検出装置１の一例の機能を示す機能ブロック図である。顔検出装置１は、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４を含む。これら顔検出装置１を構成する各部は、ＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成することができる。これに限らず、これら各部の一部または全部をハードウェアにより構成してもよい。   Hereinafter, an embodiment of a face detection apparatus according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a functional block diagram showing functions of an example of the face detection apparatus 1 according to the present embodiment. The face detection apparatus 1 includes an image input unit 100, a face detection unit 101, a feature point extraction unit 102, a calculation unit 103, and a determination unit 104. Each unit constituting the face detection device 1 can be configured by a program operating on a CPU (Central Processing Unit). However, the present invention is not limited to this, and some or all of these units may be configured by hardware.

顔検出装置１において、画像データが画像入力部１００に入力される。画像入力部１００には、ビデオカメラなどで撮像された画像データを入力することができる。これに限らず、ＨＤＤ（ハードディスクドライブ）などの記憶媒体に予め格納した画像データを画像入力部１００に対して入力してもよい。また、画像入力部１００に入力される画像データは、動画および静止画の何れであってもよい。以下では、ビデオカメラで撮像された動画による画像データが画像入力部１００に入力されるものとする。画像入力部１００は、入力された画像データから、例えば１フレームの画像データをキャプチャして、顔検出部１０１に供給する。   In the face detection device 1, image data is input to the image input unit 100. Image data captured by a video camera or the like can be input to the image input unit 100. However, the present invention is not limited thereto, and image data stored in advance in a storage medium such as an HDD (hard disk drive) may be input to the image input unit 100. The image data input to the image input unit 100 may be either a moving image or a still image. In the following, it is assumed that image data based on a moving image captured by a video camera is input to the image input unit 100. The image input unit 100 captures, for example, one frame of image data from the input image data, and supplies the captured image data to the face detection unit 101.

顔検出部１０１は、供給された画像データを解析して、当該画像データから顔を検出する。画像データからの顔（顔領域および目、鼻、口などの顔器官）の検出は、既知の方法を用いて行うことができる。例えば、顔辞書とパターンマッチングを用いた部分空間法により、顔領域および各顔器官の検出を行うことが考えられる。顔検出部１０１による検出出力は、特徴点抽出部１０２に供給される。なお、顔検出部１０１は、画像データから顔が検出されなかった場合に、画像入力部１００に対して次の画像データを要求することができる。   The face detection unit 101 analyzes the supplied image data and detects a face from the image data. Detection of a face (a face region and facial organs such as eyes, nose, mouth) from image data can be performed using a known method. For example, it is conceivable to detect a face region and each facial organ by a subspace method using a face dictionary and pattern matching. The detection output from the face detection unit 101 is supplied to the feature point extraction unit 102. Note that the face detection unit 101 can request the next image data from the image input unit 100 when no face is detected from the image data.

特徴点抽出部１０２は、顔検出部１０１で検出された顔の特徴点を抽出する。例えば、特徴点抽出部１０２は、顔における目、鼻、口などの各顔器官について、特徴点を抽出する。特徴点の抽出には、既知の技術を用いることができる。例えば、顔検出部１０１で検出された顔領域に対して特徴点数の多い顔グラフを適用し、顔グラフの平行移動、拡大／縮小、回転などにより、さらに類似度の高い特徴点を抽出する方法を用いることが考えられる。   The feature point extraction unit 102 extracts the feature points of the face detected by the face detection unit 101. For example, the feature point extraction unit 102 extracts feature points for each facial organ such as eyes, nose, and mouth in the face. Known techniques can be used to extract feature points. For example, a method of applying a face graph having a large number of feature points to the face area detected by the face detection unit 101 and extracting feature points with higher similarity by parallel movement, enlargement / reduction, rotation, etc. of the face graph Can be considered.

本実施形態では、抽出された顔の特徴点のうち、口に関する特徴点に注目し、口の縦幅および横幅を計測するための特徴点を抽出する。特徴点抽出部１０２で抽出された口の特徴点の位置を示す情報は、算出部１０３に供給される。   In the present embodiment, among the extracted facial feature points, attention is paid to feature points related to the mouth, and feature points for measuring the vertical and horizontal widths of the mouth are extracted. Information indicating the position of the mouth feature point extracted by the feature point extraction unit 102 is supplied to the calculation unit 103.

特徴点抽出部１０２は、さらに、顔検出部１０１で検出された顔の向きを解析する。そして、顔の向きが上下左右それぞれの方向に対して予め決められた範囲内に収まっているか否かを判定する。例えば、特徴点抽出部１０２は、顔の特徴点の位置を示す情報に基づき顔の向きを推測する。なお、特徴点抽出部１０２は、顔の向きが所定範囲内に入っていないと判定した場合に、画像入力部１００に対して次の画像データを要求することができる。   The feature point extraction unit 102 further analyzes the orientation of the face detected by the face detection unit 101. Then, it is determined whether or not the face orientation is within a predetermined range with respect to each of the up, down, left, and right directions. For example, the feature point extraction unit 102 estimates the face direction based on information indicating the position of the feature point of the face. Note that the feature point extraction unit 102 can request the next image data from the image input unit 100 when determining that the face orientation is not within the predetermined range.

算出部１０３は、特徴点抽出部１０２から供給された口の特徴点の位置を示す情報に基づき、口の縦幅および横幅を算出する。ここで、算出部１０３は、口の縦幅および横幅について、予め多数のサンプルから算出された、標準のデータを持っている。算出部１０３は、顔検出の結果に基づき算出された口の縦幅および横幅と、標準の口の縦幅および横幅とを比較する。そして、比較結果に基づき、顔検出で検出された口の縦幅および横幅それぞれの、標準の口の縦幅および横幅に対する逸脱度合を算出する。算出された口の縦幅および横幅それぞれの逸脱度合は、判定部１０４に供給される。   The calculation unit 103 calculates the vertical width and the horizontal width of the mouth based on the information indicating the position of the mouth feature point supplied from the feature point extraction unit 102. Here, the calculation unit 103 has standard data calculated in advance from a large number of samples with respect to the vertical width and the horizontal width of the mouth. The calculation unit 103 compares the vertical and horizontal widths of the mouth calculated based on the face detection result with the standard vertical and horizontal widths of the mouth. Then, based on the comparison result, the deviation degrees of the vertical width and horizontal width of the mouth detected by the face detection with respect to the standard vertical width and horizontal width of the mouth are calculated. The calculated deviation degrees of the vertical and horizontal widths of the mouth are supplied to the determination unit 104.

判定部１０４は、算出部１０３から供給された、口の縦幅および横幅それぞれの逸脱度合に基づき、顔検出部１０１で検出された顔内の口が、口を覆う用具（例えばマスク）に覆われているか否かを判定する。判定部１０４は、口周辺の領域について測定された輝度を、さらに判定に用いてもよい。   The determination unit 104 covers the mouth in the face detected by the face detection unit 101 with a tool (for example, a mask) covering the mouth based on the deviation degrees of the vertical and horizontal widths of the mouth supplied from the calculation unit 103. It is determined whether or not The determination unit 104 may further use the luminance measured for the area around the mouth for determination.

図２は、本実施形態による顔検出方法の一例の処理を示すフローチャートである。ステップＳ１００で、顔検出装置１に入力された画像データが画像入力部１００にキャプチャされる。顔検出部１０１は、キャプチャされた画像データに対して既知の方法を用いて顔検出処理を施し、画像データから顔が検出されたか否かを判定する（ステップＳ１０１）。若し、顔が検出されていないと判定された場合は、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。   FIG. 2 is a flowchart illustrating an example of the face detection method according to the present embodiment. In step S <b> 100, the image data input to the face detection device 1 is captured by the image input unit 100. The face detection unit 101 performs face detection processing on the captured image data using a known method, and determines whether a face is detected from the image data (step S101). If it is determined that no face is detected, the image input unit 100 is requested for image data of the next frame, for example, and the process returns to step S100.

一方、ステップＳ１０１で、顔が検出されたと判定された場合、処理がステップＳ１０２に移行される。ステップＳ１０２では、特徴点抽出部１０２が、顔検出部１０１による顔検出結果を用いて顔の特徴点を検出する。   On the other hand, if it is determined in step S101 that a face has been detected, the process proceeds to step S102. In step S <b> 102, the feature point extraction unit 102 detects a face feature point using the face detection result by the face detection unit 101.

上述したように、本実施形態では、特徴点抽出部１０２は、各顔器官のうち、口に注目して特徴点を抽出する。より具体的には、図３に例示されるように、口１０における唇の両端、ならびに、唇の左右方向の中点における上下端（以下、単に唇の上下端のように呼ぶ）の位置を、特徴点として検出する。以下では、唇の右端および左端の位置をそれぞれ位置Ｐ1およびＰ2とし、唇の上端および下端をそれぞれ位置Ｐ3およびＰ4とする。 As described above, in this embodiment, the feature point extraction unit 102 extracts feature points by paying attention to the mouth among the facial organs. More specifically, as illustrated in FIG. 3, the positions of the upper and lower ends (hereinafter simply referred to as the upper and lower ends of the lips) at both ends of the lips in the mouth 10 and at the middle point in the left-right direction of the lips. , Detected as a feature point. Hereinafter, the right edge and left edge of the lips and the respective positions P 1 and P 2, to the lips of the top and bottom of the positions P 3 and P 4, respectively.

特徴点抽出部１０２は、さらに、画像データにおける顔の向きを推定する。例えば、特徴点抽出部１０２は、顔検出結果を用いて抽出された各顔器官の特徴点の位置関係から、顔の向きを推定する。そして、ステップＳ１０３で、特徴点抽出部１０２は、推定された顔の向きが、上下について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。一方、顔の向きが当該範囲内に収まっていると判定した場合、次のステップＳ１０４で、推定された顔の向きが左右について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。なお、ステップＳ１０３およびステップＳ１０４の順序は、逆でもよい。   The feature point extraction unit 102 further estimates the face orientation in the image data. For example, the feature point extraction unit 102 estimates the face direction from the positional relationship between the feature points of each facial organ extracted using the face detection result. In step S103, the feature point extraction unit 102 determines whether the estimated face orientation is within a predetermined range in the vertical direction. If it is determined that it does not fall within the range, the image input unit 100 is requested for image data of the next frame, for example, and the process returns to step S100. On the other hand, if it is determined that the face orientation is within the range, it is determined in the next step S104 whether the estimated face orientation is within a predetermined range for the left and right. If it is determined that it does not fall within the range, the image input unit 100 is requested for image data of the next frame, for example, and the process returns to step S100. Note that the order of step S103 and step S104 may be reversed.

ステップＳ１０４で、特徴点抽出部１０２は、推定された顔の向きが左右について予め定められた範囲内に収まっていると判定したら、ステップＳ１０２で抽出した口の特徴点の位置Ｐ1〜Ｐ4を示す情報を算出部１０３に渡し、処理をステップＳ１０５に移行させる。 In step S104, if the feature point extraction unit 102 determines that the estimated face orientation is within a predetermined range for the left and right, the mouth feature point positions P 1 to P 4 extracted in step S102. Is transferred to the calculation unit 103, and the process proceeds to step S105.

ステップＳ１０５で、算出部１０３は、特徴点抽出部１０２から渡された口の特徴点の位置Ｐ1〜Ｐ4を示す情報を用いて、口１０の縦幅および横幅を算出する。このとき、図４に例示されるように、顔検出部１０１による顔検出結果から得られる顔領域を示す矩形２０、例えば顔検出に用いた各顔器官を含む矩形２０の対角線の長さを用い、顔の大きさに基づき正規化した値として、縦幅および横幅を算出する。顔の大きさとして矩形２０の対角線の長さを用いるのは、矩形２０が正方形ではない場合に対応させるためである。 In step S <b> 105, the calculation unit 103 calculates the vertical width and the horizontal width of the mouth 10 using information indicating the positions P 1 to P 4 of the mouth feature points passed from the feature point extraction unit 102. At this time, as illustrated in FIG. 4, the length of the diagonal line of the rectangle 20 indicating the face area obtained from the face detection result by the face detection unit 101, for example, the rectangle 20 including each facial organ used for face detection is used. The vertical width and the horizontal width are calculated as values normalized based on the face size. The reason why the length of the diagonal line of the rectangle 20 is used as the size of the face is to deal with a case where the rectangle 20 is not a square.

具体的には、算出部１０３は、口１０の縦幅mouthYおよび横幅mouthXを、例えばそれぞれ式（１）および式（２）に従い算出する。なお、式（１）および式（２）において、値Ｆｘおよび値Ｆｙは、それぞれ正規化に用いる顔領域の矩形２０の横幅および縦幅を示す。また、値Ｐnｘおよび値Ｐnｘ（ｎは１〜４）は、それぞれ位置Ｐ1〜Ｐ4のｘ座標およびｙ座標を示す。各値の単位は、例えば画像データの画素とする。 Specifically, the calculation unit 103 calculates the vertical width mouthY and the horizontal width mouthX of the mouth 10 according to, for example, Expression (1) and Expression (2), respectively. In Expressions (1) and (2), the value Fx and the value Fy indicate the horizontal width and vertical width of the rectangle 20 of the face area used for normalization, respectively. Moreover, (the n 1 to 4) the value P n x and the value P n x is independently an x-coordinate and y-coordinate positions P 1 to P 4. The unit of each value is, for example, a pixel of image data.

Figure 2012181629
Figure 2012181629
Figure 2012181629
Figure 2012181629

次のステップＳ１０６で、算出部１０３は、ステップＳ１０５で算出した口１０の縦幅mouthYおよび横幅mouthXと、予め算出した、口の標準の縦幅および横幅との差分subNormalXおよびsubNormalYとを算出し、顔検出部１０１で検出された顔に含まれる口の縦幅および横幅の、標準の縦幅および横幅に対する逸脱度合を求める。   In the next step S106, the calculation unit 103 calculates the vertical width mouthY and the horizontal width mouthX of the mouth 10 calculated in step S105, and the difference between the normal vertical width and the horizontal width of the mouth, subNormalX and subNormalY, Degrees of deviation of the vertical and horizontal widths of the mouth included in the face detected by the face detection unit 101 from the standard vertical and horizontal widths are obtained.

口の標準の縦幅および横幅の算出は、例えば次のようにして行う。口１０について、予め、多数のサンプルについて上述した式（１）に従い縦幅mouthYを算出し、代表値（平均値など）を求めて口１０の標準の縦幅normalYとする。同様にして、口１０の横幅について、予め、多数のサンプルについて上述した式（２）に従い横幅mouthXを算出し、代表値を求めて口１０の標準の横幅normalXとする。これら標準の縦幅normalYおよびnormalXは、例えば顔検出装置１が有する、図示されないＨＤＤなどの不揮発性の記憶媒体に記憶される。   The standard vertical and horizontal widths of the mouth are calculated as follows, for example. For the mouth 10, the vertical width mouthY is calculated in advance according to the above-described equation (1) for a large number of samples, and a representative value (such as an average value) is obtained as the standard vertical width normalY of the mouth 10. Similarly, with respect to the width of the mouth 10, the width width mouthX is calculated in advance for a number of samples according to the above-described equation (2), and a representative value is obtained as the normal width normalX of the mouth 10. These standard vertical widths normalY and normalX are stored in a non-volatile storage medium such as an HDD (not shown) included in the face detection device 1, for example.

逸脱度合mouthDeviancyの算出方法について、口１０の縦幅mouthYを例にとって、当該縦幅mouthYに対する逸脱度合mouthYDeviancyを算出する場合について説明する。なお、以下に説明する逸脱度合mouthYDeviancyの算出方法は、口１０の横幅mouthXについても同様に適用できる。また、横幅mouthXに対応する逸脱度合mouthDeviancyを、逸脱度合mouthXDeviancyとする。   As a method of calculating the deviation degree mouthDeviancy, a case where the deviation degree mouthYDeviancy for the vertical width mouthY is calculated will be described by taking the vertical width mouthY of the mouth 10 as an example. Note that the method of calculating the deviation degree mouthYDeviancy described below can be similarly applied to the width mouthX of the mouth 10. Further, the departure degree mouthDeviancy corresponding to the width mouthX is set as the departure degree mouthXDeviancy.

先ず、式（３）に従い、特徴点の位置から求めた口１０の縦幅mouthYと、口の標準の縦幅normalYとの差分subNormalYを算出する。
subNormalY＝abs(mouthY−normalY) …（３） First, according to Expression (3), a difference subNormalY between the vertical width mouthY of the mouth 10 obtained from the position of the feature point and the normal vertical width normalY of the mouth is calculated.
subNormalY = abs (mouthY−normalY) (3)

ここで、「abs()」は、括弧内の計算結果に対して絶対値を取ることを意味する。式（３）で減算結果の絶対値を差分subNormalYとして用いるのは、口は通常、閉じており、標準の口の縦幅も、閉じた状態で計測されると考えられ、顔検出結果に基づく口の例えば縦幅mouthYと、標準の口の縦幅との差分を計算した場合に、正負は大きな意味を持たないためである。なお、口の横幅mouthXについても同様に、標準の口の縦幅に対する差分の絶対値を取り、差分subNormalXとする。   Here, “abs ()” means to take an absolute value for the calculation result in parentheses. The reason why the absolute value of the subtraction result is used as the difference subNormalY in equation (3) is that the mouth is normally closed and the vertical width of the standard mouth is considered to be measured in the closed state, and is based on the face detection result. This is because, for example, when the difference between the vertical width mouthY of the mouth and the vertical width of the standard mouth is calculated, positive and negative are not significant. Similarly, for the mouth mouth width mouthX, the absolute value of the difference with respect to the normal mouth height is taken as the difference subNormalX.

式（３）の結果得られた差分subNormalYに対して、口の縦幅に対して予め定められた係数pixelsToMouthYDeviancyを乗じて、口１０の縦幅mouthYの逸脱度合mouthYDeviancyを算出する。
mouthYDeviancy＝subNormalY×pixelsToMouthYDeviancy …（４） The deviation degree mouthYDeviancy of the vertical width mouthY of the mouth 10 is calculated by multiplying the difference subNormalY obtained as a result of Expression (3) by a predetermined coefficient pixelsToMouthYDeviancy to the vertical width of the mouth.
mouthYDeviancy = subNormalY × pixelsToMouthYDeviancy… （４）

ここで、係数pixelsToMouthYDeviancyは、判定部１０４における判定処理に用いる閾値の設定を容易にするために、差分subNormalYに対して乗じられる。口１０の縦幅mouthYを例に取り、図５を用いて、係数pixelsToMouthYDeviancyの意味について説明する。顔検出によって得られた特徴点に基づく口１０の縦幅mouthYと、口の標準の縦幅normalYとの差分subNormalYを取った場合、差分subNormalYの頻度分布は、例えば図５（ａ）に例示されるように、差分subNormalY＝０を中心とする正規分布的なものとなる。   Here, the coefficient pixelsToMouthYDeviancy is multiplied by the difference subNormalY in order to facilitate the setting of a threshold value used in the determination process in the determination unit 104. Taking the vertical width mouthY of the mouth 10 as an example, the meaning of the coefficient pixelsToMouthYDeviancy will be described with reference to FIG. When the difference subNormalY between the vertical width mouthY of the mouth 10 based on the feature points obtained by face detection and the normal vertical width normalY of the mouth is taken, the frequency distribution of the difference subNormalY is exemplified in FIG. 5A, for example. Thus, the distribution is normally distributed with the difference subNormalY = 0 as the center.

本実施形態では、後述するように、この差分subNormalYを閾値判断することで、検出された口が口を覆う用具に覆われているか否かを判定する。このとき、閾値を少し、例えば閾値Ｔｈ10から閾値Ｔｈ11にずらしただけで、対応する頻度が大きく変化し、頻度が少ない状態も許容してしまうおそれがある。そこで、差分subNormalYに対して１を超える係数pixelsToMouthYDeviancyを乗じた値を逸脱度合mouthYDeviancyとし、この逸脱度合mouthYDeviancyに対して閾値を設定することで、閾値の細かい設定が容易となる。 In this embodiment, as will be described later, this difference subNormalY is determined as a threshold to determine whether or not the detected mouth is covered with a tool that covers the mouth. At this time, even if the threshold value is slightly shifted, for example, from the threshold value Th 10 to the threshold value Th 11 , the corresponding frequency changes greatly, and there is a possibility that a low frequency state is allowed. Therefore, a value obtained by multiplying the difference subNormalY by a coefficient pixelsToMouthYDeviancy exceeding 1 is set as a deviation degree mouthYDeviancy, and setting a threshold value for the deviation degree mouthYDeviancy facilitates fine setting of the threshold value.

図５（ｂ）の例では、係数pixelsToMouthYDeviancy≒２として、頻度分布をｘ方向に略２倍に拡張している。これにより、閾値設定に対する精度が略２倍となり、閾値を図５（ａ）と同じだけずらした場合（閾値Ｔｈ10から閾値Ｔｈ12）の、頻度の変化が図５（ａ）に比べて小さくなり、閾値の設定が容易となる。 In the example of FIG. 5B, the frequency distribution is expanded approximately twice in the x direction with the coefficient pixelsToMouthYDeviancy≈2. As a result, the accuracy with respect to the threshold setting is approximately doubled, and when the threshold is shifted by the same amount as in FIG. 5A (threshold Th 10 to threshold Th 12 ), the frequency change is smaller than that in FIG. Thus, the threshold value can be easily set.

なお、ここでは、縦幅mouthYに対する係数pixelsToMouthYDeviancyについて説明したが、この係数は、口１０の横幅mouthXに対しても設定される。このとき、係数pixelsToMouthYDeviancyと、口１０の横幅mouthXに対して設定される係数pixelsToMouthXDeviancyとは、互いに異なる値とすることができる。   Although the coefficient pixelsToMouthYDeviancy for the vertical width mouthY has been described here, this coefficient is also set for the horizontal width mouthX of the mouth 10. At this time, the coefficient pixelsToMouthYDeviancy and the coefficient pixelsToMouthXDeviancy set for the width mouthX of the mouth 10 can be different from each other.

係数pixelsToMouthYDeviancyおよび係数pixelsToMouthXDeviancyの値は、実験的に予め決められる。例えば、係数pixelsToMouthYDeviancyとして、１０００を超える値を用いることができる。この場合、逸脱度合mouthYDeviancyの値も大きな値、例えば１０００を超える値を取る可能性がある。この場合、逸脱度合mouthYDeviancyの値に閾値として設定する値よりも大きな値を上限（例えば１０００）として設け、逸脱度合mouthYDeviancyの値がこの上限を超えた場合には、逸脱度合mouthYDeviancyの値を強制的にこの上限値に設定してもよい。   The values of the coefficient pixelsToMouthYDeviancy and the coefficient pixelsToMouthXDeviancy are predetermined experimentally. For example, a value exceeding 1000 can be used as the coefficient pixelsToMouthYDeviancy. In this case, the deviation degree mouthYDeviancy may also take a large value, for example, a value exceeding 1000. In this case, the value of the deviation degree mouthYDeviancy is set as an upper limit (for example, 1000) that is larger than the value set as the threshold, and if the value of the deviation degree mouthYDeviancy exceeds this upper limit, the value of the deviation degree This upper limit value may be set.

また、差分に対する係数の乗算に限らず、例えば設定される閾値近傍をｘ方向に拡大するような関数を用いることもできる。さらに、ステップＳ１０６において差分に対する係数の乗算を省略（または係数＝１）し、差分そのものを逸脱度合として用いることもできる。   In addition to the multiplication of the coefficient by the difference, for example, a function that enlarges the vicinity of the set threshold value in the x direction can also be used. Furthermore, in step S106, multiplication of the coefficient by the difference can be omitted (or coefficient = 1), and the difference itself can be used as the deviation degree.

ステップＳ１０６で、口１０の縦幅mouthYおよび横幅mouthXの、標準の縦幅normalYおよび横幅normalXに対する逸脱度合mouthYDeviancyおよびmouthXDeviancyが求められると、処理はステップＳ１０７に移行される。ステップＳ１０７、ならびに、ステップＳ１０８およびステップＳ１１０では、口１０の逸脱度合mouthYDeviancyおよびmouthXDeviancyに対する閾値判定が行われる。なお、以下で用いる閾値Ｔｈ1、Ｔｈ2およびＴｈ3は、それぞれ実験的に求めた値である。 When the deviation degrees mouthYDeviancy and mouthXDeviancy with respect to the standard vertical width normalY and horizontal width normalX of the vertical width mouthY and the horizontal width mouthX of the mouth 10 are obtained in step S106, the process proceeds to step S107. In step S107, and in steps S108 and S110, a threshold value determination is performed for the degrees of departure mouthYDeviancy and mouthXDeviancy of the mouth 10. Note that the threshold values Th 1 , Th 2, and Th 3 used below are values obtained experimentally.

ステップＳ１０７で、判定部１０４は、口１０の縦幅mouthYの逸脱度合mouthYDeviancyが第１の閾値Ｔｈ1を超えるか否かを判定する。超えると判定した場合、口１０が口を覆う用具で覆われている可能性があると判断できる。この場合、処理をステップＳ１１０に移行させる。一方、逸脱度合mouthYDeviancyが閾値Ｔｈ1以下であると判定したら、判定部１０４は、処理をステップＳ１０８に移行させる。 In step S107, the determination unit 104 determines whether more than a threshold Th 1 departing degree mouthYDeviancy the vertical width mouthY the first mouth 10. When it determines with exceeding, it can be judged that the opening | mouth 10 may be covered with the tool which covers an opening | mouth. In this case, the process proceeds to step S110. On the other hand, if it is determined that departure degree mouthYDeviancy is the threshold value Th 1 or less, the determination unit 104, the process proceeds to step S108.

図６および図７を用いて、ステップＳ１０７での判定処理について、より具体的に説明する。なお、ここでは、縦幅の逸脱度合mouthYDeviancyの代わりに、係数pixelsToMouthYDeviancyを乗ずる前の差分subNormalYを用いて説明を行う。   The determination process in step S107 will be described more specifically with reference to FIGS. Here, description will be made using the difference subNormalY before multiplication by the coefficient pixelsToMouthYDeviancy instead of the vertical deviation degree mouthYDeviancy.

図６（ａ）は、口１０がマスクなど口を覆う用具で覆われていない例を示す。この例では、口１０において、口の標準の縦幅normalYよりもやや大きな値で縦幅mouthYが算出されている。式（３）に従い、口１０の縦幅mouthYと、口の標準の縦幅normalYとの差分subNormalYが算出される。その結果、図６（ｂ）に示されるように、差分subNormalYの値が第１の閾値Ｔｈ1より小さい値となっている。したがって、判定部１０４は、顔検出の結果に基づき算出された縦幅mouthYの値の変動が口１０の正常な変動であると判定し、処理をステップＳ１０８に移行させる。 FIG. 6A shows an example in which the mouth 10 is not covered with a tool that covers the mouth such as a mask. In this example, in the mouth 10, the vertical width mouthY is calculated with a value slightly larger than the normal vertical width normalY of the mouth. The difference subNormalY between the vertical width mouthY of the mouth 10 and the normal vertical width normalY of the mouth is calculated according to the equation (3). As a result, as shown in FIG. 6B, the value of the difference subNormalY is smaller than the first threshold Th 1 . Therefore, the determination unit 104 determines that the variation in the value of the vertical width mouthY calculated based on the face detection result is a normal variation in the mouth 10, and shifts the processing to step S108.

図７（ａ）は、口１０がマスク１１に覆われている例を示す。この例では、マスク１１により口１０の特徴点の位置が定まらず、顔検出結果に基づく特徴点抽出においてマスク１１の皺１２を口１０の特徴点として誤検出してしまい、口１０の上下端の特徴点が、実際の口１０の縦幅より広い位置に抽出されている。そのため、図７（ｂ）に示されるように、口１０の縦幅mouthYから算出した差分subNormalYが第１の閾値Ｔｈ1よりも大きな値となっている。これは、顔検出の結果に基づき算出された縦幅mouthYの値の変動が口１０の正常な変動ではない、すなわち、口１０が検出されたものではないと判定でき、判定部１０４は、処理をステップＳ１１０に移行させる。 FIG. 7A shows an example in which the mouth 10 is covered with the mask 11. In this example, the position of the feature point of the mouth 10 is not determined by the mask 11, and the eyelid 12 of the mask 11 is erroneously detected as the feature point of the mouth 10 in the feature point extraction based on the face detection result. Are extracted at positions wider than the actual vertical width of the mouth 10. Therefore, as shown in FIG. 7B, the difference subNormalY calculated from the vertical width mouthY of the mouth 10 is larger than the first threshold Th 1 . This can be determined that the fluctuation in the value of the vertical width mouthY calculated based on the result of face detection is not a normal fluctuation of the mouth 10, that is, the mouth 10 is not detected. To step S110.

ステップＳ１０８で、判定部１０４は、口１０の横幅mouthXの逸脱度合mouthXDeviancyが第２の閾値Ｔｈ2を超えるか否かを判定する。超えると判定した場合、口１０が口を覆う用具で覆われている可能性があると判断できる。この場合、処理をステップＳ１１１に移行させる。一方、逸脱度合mouthXDeviancyが閾値Ｔｈ2以下であると判定したら、判定部１０４は、処理をステップＳ１０９に移行させ、口が口を覆う用具で覆われていないと判定する。 In step S108, the determination unit 104 determines whether the deviation degree mouthXDeviancy breadth mouthX mouth 10 is greater than the second threshold value Th 2. When it determines with exceeding, it can be judged that the opening | mouth 10 may be covered with the tool which covers an opening | mouth. In this case, the process proceeds to step S111. On the other hand, if it is determined that departure degree mouthXDeviancy is the threshold value Th 2 or less, the determination unit 104, the process control proceeds to step S109, determines that the mouth is not covered by the tool for covering the mouth.

図８および図９を用いて、ステップＳ１０８での判定処理について、より具体的に説明する。なお、ここでは、縦幅の逸脱度合mouthXDeviancyの代わりに、係数pixelsToMouthXDeviancyを乗ずる前の差分subNormalXを用いて説明を行う。   The determination process in step S108 will be described more specifically with reference to FIGS. Here, the description will be made using the difference subNormalX before being multiplied by the coefficient pixelsToMouthXDeviancy instead of the vertical deviation degree mouthXDeviancy.

図８（ａ）は、口１０がマスクなど口を覆う用具で覆われていない例を示す。この例では、口１０において、口の標準の横幅normalXよりもやや大きな値で横幅mouthXが算出されている。式（３）に従い、口１０の横幅mouthXと、口の標準の横幅normalXとの差分subNormalXが算出される。その結果、図８（ｂ）に示されるように、差分subNormalXの値が第１の閾値Ｔｈ2より小さい値となっている。したがって、判定部１０４は、顔検出の結果に基づき算出された横幅mouthXの値の変動が口１０の正常な変動であると判定し、処理をステップＳ１０９に移行させる。 FIG. 8A shows an example in which the mouth 10 is not covered with a tool that covers the mouth such as a mask. In this example, in the mouth 10, the width mouthX is calculated with a value slightly larger than the standard width normalX of the mouth. The difference subNormalX between the lateral width mouthX of the mouth 10 and the standard lateral width normalX of the mouth is calculated according to the equation (3). As a result, as shown in FIG. 8 (b), the value of the difference subNormalX has become the first threshold value Th 2 smaller value. Therefore, the determination unit 104 determines that the change in the value of the width mouthX calculated based on the face detection result is a normal change in the mouth 10, and shifts the processing to step S109.

図９（ａ）は、口１０がマスク１１に覆われている例を示す。この例では、マスク１１により口１０の特徴点の位置が定まらず、顔検出結果に基づく特徴点抽出においてマスク１１の皺１３を口１０の特徴点として誤検出してしまい、口１０の両端の特徴点が実際の口１０の横幅よりも狭い位置に抽出されている。そのため、図９（ｂ）に示されるように、口１０の横幅mouthXから算出した差分subNormalXが第２の閾値Ｔｈ2よりも大きな値となっている。これは、顔検出の結果に基づき算出された横幅mouthXの値の変動が口１０の正常な変動ではない、すなわち、口１０が検出されたものではないと判定でき、判定部１０４は、処理をステップＳ１１１に移行させる。 FIG. 9A shows an example in which the mouth 10 is covered with the mask 11. In this example, the position of the feature point of the mouth 10 is not determined by the mask 11, and the eyelid 13 of the mask 11 is erroneously detected as the feature point of the mouth 10 in the feature point extraction based on the face detection result. The feature points are extracted at positions narrower than the actual width of the mouth 10. Therefore, as shown in FIG. 9 (b), the difference subNormalX calculated from the width mouthX mouth 10 becomes a value larger than the second threshold Th 2. This is because it is possible to determine that the variation in the value of the width mouthX calculated based on the result of the face detection is not a normal variation of the mouth 10, that is, that the mouth 10 is not detected. The process proceeds to step S111.

上述したように、ステップＳ１０７で、判定部１０４は、口１０の縦幅mouthYの逸脱度合mouthYDeviancyが第１の閾値Ｔｈ1を超えると判定した場合、処理をステップＳ１１０に移行させる。ステップＳ１１０で、判定部１０４は、口１０の横幅mouthXの逸脱度合mouthXDeviancyが、第３の閾値Ｔｈ3を超え、且つ、閾値Ｔｈ2以下であるか否かが判定される。若し、これらの条件を満たすと判定された場合、判定部１０４は、処理をステップＳ１０９に移行させて、口が口を覆う用具で覆われていないと判定する。 As described above, in step S107, the determination unit 104, if the deviation degree mouthYDeviancy vertical width mouthY mouth 10 determines that first exceeds the threshold value Th 1, the process proceeds to step S110. In step S110, the determination unit 104, the deviation degree mouthXDeviancy breadth mouthX mouth 10, a third threshold value Th 3 exceeded, and, whether or not the threshold value Th 2 or less it is determined. If it is determined that these conditions are satisfied, the determination unit 104 shifts the process to step S109 and determines that the mouth is not covered with the tool that covers the mouth.

すなわち、処理がステップＳ１０７からステップＳ１１０を経てステップＳ１０９に移行した場合とは、顔検出部１０１において検出された口１０の縦幅mouthYが標準の縦幅より大きく、横幅mouthXが標準の横幅と略等しいか、若しくはやや小さい場合である。これは、開いた状態の口が検出されたと考えることができる。   That is, the process proceeds from step S107 through step S110 to step S109 when the vertical width mouthY of the mouth 10 detected by the face detection unit 101 is larger than the standard vertical width and the horizontal width mouthX is substantially equal to the standard horizontal width. It is the case where they are equal or slightly smaller. This can be considered that an open mouth has been detected.

一方、ステップＳ１１０で、上述の条件を満たしていないと判定した場合、すなわち、逸脱度合mouthXDeviancyが第３の閾値Ｔｈ3以下であるか、または、第２の閾値Ｔｈ2を超える場合、処理をステップＳ１１１に移行させる。この場合、口１０が口を覆う用具に覆われていると判断できる。例えば、逸脱度合mouthXDeviancyが第３の閾値Ｔｈ3以下の場合、例えば口を覆う用具（マスクなど）の皺を口の端として誤検出している可能性がある。また、逸脱度合mouthXDeviancyが第２の閾値Ｔｈ2を超える場合は、口１０の両端のサイズよりも大きいもので、口１０が覆われていると判断できる。 On the other hand, if it is determined in step S110 that the above condition is not satisfied, that is, if the deviation degree mouthXDeviancy is equal to or smaller than the third threshold Th 3 or exceeds the second threshold Th 2 , the process is performed. The process proceeds to S111. In this case, it can be determined that the mouth 10 is covered with a tool that covers the mouth. For example, when the deviation degree mouthXDeviancy is equal to or smaller than the third threshold Th 3 , there is a possibility that a wrinkle of a tool (such as a mask) that covers the mouth is erroneously detected as the edge of the mouth. Further, when the deviation degree mouthXDeviancy exceeds the second threshold Th 2 , it can be determined that the mouth 10 is covered because it is larger than the size of both ends of the mouth 10.

ステップＳ１１１で、判定部１０４は、口１０の周辺部の輝度に基づいた閾値判定を行う。一例として、図１０に示されるように、顔３０について顔検出結果により得られた顔領域を示す矩形３２を例えばＭ×Ｎの領域に分割し、口３１を含む分割領域を求める。そして、求められた分割領域を含む所定範囲の分割領域を、口周辺領域として定める。この口周辺領域の画素の輝度値の例えば平均値を算出し、口周辺領域の輝度とする。この輝度に対して、口３１が口を覆う用具で覆われているか否かを判定するための閾値Ｔｈ4を予め設定する。 In step S <b> 111, the determination unit 104 performs threshold determination based on the luminance of the peripheral part of the mouth 10. As an example, as shown in FIG. 10, a rectangle 32 indicating the face area obtained from the face detection result for the face 30 is divided into, for example, M × N areas, and a divided area including the mouth 31 is obtained. Then, a predetermined range of the divided area including the obtained divided area is defined as the mouth peripheral area. For example, an average value of the luminance values of the pixels in the mouth peripheral region is calculated and set as the luminance of the mouth peripheral region. A threshold value Th 4 for determining whether or not the mouth 31 is covered with a tool that covers the mouth is set in advance for this luminance.

閾値Ｔｈ4は、例えば、多数のサンプルを用いて予め求めた、口３１がマスクなど口を覆う用具で覆われていない状態、すなわち肌が露出した状態での口周辺領域の輝度と、マスクなどで覆われている状態での口周辺領域の輝度とに基づき設定することが考えられる。 The threshold value Th 4 is determined in advance using, for example, a large number of samples, in a state where the mouth 31 is not covered with a mask or other tool that covers the mouth, that is, in the state where the skin is exposed, the brightness of the peripheral area of the mouth, the mask, etc. It is conceivable to set based on the brightness of the peripheral area of the mouth in the state covered with

ステップＳ１１１で、判定部１０４は、口周辺領域の輝度が閾値Ｔｈ4以上であるか否かを判定する。若し、当該輝度が閾値Ｔｈ4以上であると判定した場合、判定部１０４は、処理をステップＳ１１２に移行させ、口１０が口を覆う用具で覆われていると判定する。一方、当該輝度が閾値Ｔｈ4未満であると判定した場合、判定部１０４は、処理をステップＳ１０９に移行させ、口１０が口を覆う用具で覆われていないと判定する。 In step S111, the determination unit 104 determines whether the brightness of the mouth peripheral region is the threshold value Th 4 or more. If it is determined that the luminance is greater than or equal to the threshold Th 4 , the determination unit 104 shifts the process to step S112 and determines that the mouth 10 is covered with a tool that covers the mouth. On the other hand, if the brightness is determined to be less than the threshold Th 4, the determination unit 104, the process control proceeds to step S109, it determines that the mouth 10 is not covered with the tool to cover the mouth.

なお、ステップＳ１１０の輝度による判定は、省略することができる。この場合、判定部１０４は、ステップＳ１０８で口１０の横幅mouthXの逸脱度合mouthXDeviancyが第２の閾値Ｔｈ2を超えると判定した場合、または、ステップＳ１１０で逸脱度合mouthXDeviancyが第３の閾値Ｔｈ3以下であるか、または、第２の閾値Ｔｈ2を超えると判定した場合に、処理をステップＳ１１２に移行させ、口１０が口を覆う用具に覆われていると判定する。ステップＳ１１１の輝度値による判定をさらに行うことで、より高精度な判定結果を得ることができる。 Note that the determination based on the luminance in step S110 can be omitted. In this case, the determination unit 104, if the deviation degree mouthXDeviancy breadth mouthX mouth 10 is determined to exceed the second threshold value Th 2 in step S108, or deviations degree mouthXDeviancy in step S110 the third threshold value Th 3 below Or when it is determined that the second threshold value Th 2 is exceeded, the process proceeds to step S112, and it is determined that the mouth 10 is covered with a tool covering the mouth. By performing the determination based on the luminance value in step S111, a more accurate determination result can be obtained.

以上説明したように、本実施形態によれば、顔検出を行い抽出した口の特徴点に基づき求めた口の縦幅および横幅を、口の標準の縦幅および横幅と比較することで、口がマスクのようなもので覆われている状態を検出することを可能としている。したがって、本実施形態を警備システムに適用した場合、顔の認識をより高精度に行うことが可能となると共に、不審者の検出も容易となる。   As described above, according to the present embodiment, by comparing the vertical and horizontal widths of the mouth determined based on the extracted feature points of the mouth with the standard vertical and horizontal widths of the mouth, It is possible to detect a state that is covered with something like a mask. Therefore, when this embodiment is applied to a security system, face recognition can be performed with higher accuracy and suspicious persons can be easily detected.

なお、上述では、本発明が、口が口を覆う用具に覆われているか否かを判定する場合に適用するように説明したが、これはこの例に限定されない。例えば、本発明による、実測値と標準の値との差分に基づく判定方法を応用することで、目が目を覆う用具（サングラスなど）に覆われているか否かの判定を行うことも可能である。   In the above description, the present invention has been described so as to be applied when it is determined whether or not the mouth is covered with a tool that covers the mouth, but this is not limited to this example. For example, by applying a determination method based on the difference between an actual measurement value and a standard value according to the present invention, it is also possible to determine whether or not the eye is covered with a tool (such as sunglasses) that covers the eye. is there.

図１１は、本実施形態による顔検出装置１を適用可能なハードウェアとしての情報処理装置２００の一例の構成を示す。情報処理装置２００において、バス２０１に対してＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、表示制御部２１３およびキャプチャ部２１４が接続される。さらに、バス２０１に対して、ハードディスクドライブ（ＨＤＤ）２１５、入力Ｉ／Ｆ２１６、ドライブ装置２１７および通信Ｉ／Ｆ２１８が接続される。   FIG. 11 shows an exemplary configuration of an information processing apparatus 200 as hardware to which the face detection apparatus 1 according to the present embodiment can be applied. In the information processing apparatus 200, a CPU 210, a ROM 211, a RAM 212, a display control unit 213, and a capture unit 214 are connected to the bus 201. Further, a hard disk drive (HDD) 215, an input I / F 216, a drive device 217, and a communication I / F 218 are connected to the bus 201.

キャプチャ部２１４は、例えば、ビデオカメラ２２０で撮像された動画像データが入力され、入力された動画像データから、フレーム単位で画像データを取得する。取得された画像データは、例えばバス２０１を介してＣＰＵ２１０に供給される。ＨＤＤ２１５は、ＣＰＵ２１０が動作するためのプログラムや、口の標準的な縦幅および横幅のデータが予め記憶される。ＨＤＤ２１５に対して、キャプチャ部２１４で取得された画像データなどを記憶させてもよい。   The capture unit 214 receives, for example, moving image data captured by the video camera 220, and acquires image data in units of frames from the input moving image data. The acquired image data is supplied to the CPU 210 via the bus 201, for example. The HDD 215 stores in advance a program for operating the CPU 210 and standard vertical and horizontal data of the mouth. Image data acquired by the capture unit 214 may be stored in the HDD 215.

ＣＰＵ２１０は、ＲＯＭ２１１やＨＤＤ２１５に予め記憶されたプログラムに従い、ＲＡＭ２１２をワークメモリとして用いて、この情報処理装置２００の全体の動作を制御する。例えば、図１を用いて説明した、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４それぞれの機能は、ＣＰＵ２１０上で動作するプログラムによって実現される。   The CPU 210 controls the overall operation of the information processing apparatus 200 using the RAM 212 as a work memory in accordance with a program stored in advance in the ROM 211 or the HDD 215. For example, the functions of the image input unit 100, the face detection unit 101, the feature point extraction unit 102, the calculation unit 103, and the determination unit 104 described with reference to FIG. 1 are realized by programs operating on the CPU 210.

表示制御部２１３は、ＣＰＵ２１０によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ２２１が表示可能な表示信号を生成し、ディスプレイ２２１に供給する。また、入力Ｉ／Ｆ２１６は、キーボード２１６ａや、マウスなどのポインティングデバイス２１６ｂが接続され、ユーザ入力を受け付け、ユーザ入力に応じた制御信号を出力し、ＣＰＵ２１０に供給する。また、入力Ｉ／Ｆ２１６は、ＵＳＢ(Universal Serial Bus)などのデータ通信入出力２１６ｃにも対応できる。   The display control unit 213 generates a display signal that can be displayed on the display 221 based on the display control signal generated by the CPU 210 according to the program, and supplies the display signal to the display 221. The input I / F 216 is connected to a keyboard 216 a and a pointing device 216 b such as a mouse, receives a user input, outputs a control signal corresponding to the user input, and supplies the control signal to the CPU 210. The input I / F 216 can also support a data communication input / output 216c such as a USB (Universal Serial Bus).

ドライブ装置２１７は、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、フレキシブルディスク、不揮発性メモリなどの記憶媒体からのデータの読み出しを行う。通信Ｉ／Ｆ２１８は、ＬＡＮ(Local Area Network)やインターネットといったネットワークに対する通信を制御する。   The drive device 217 reads data from a storage medium such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a flexible disk, or a nonvolatile memory. The communication I / F 218 controls communication with a network such as a LAN (Local Area Network) or the Internet.

このような構成による情報処理装置２００で実行される顔検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤ、フレキシブルディスク、不揮発性メモリなどのコンピュータで読み取り可能な記憶媒体に記録されて提供される。ドライブ装置２１７により、この記憶媒体から顔検出プログラムを読み出し、例えばＨＤＤ２１５に対して所定の方法でインストールする。   The face detection program executed by the information processing apparatus 200 having such a configuration is an installable format or executable format file on a computer-readable storage medium such as a CD, DVD, flexible disk, or nonvolatile memory. Recorded and provided. The face detection program is read from the storage medium by the drive device 217 and installed in the HDD 215 by a predetermined method, for example.

また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。   Further, the face detection program executed by the information processing apparatus 200 of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the face detection program executed by the information processing apparatus 200 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet.

また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、ＲＯＭ２１１などに予め組み込んで提供するように構成してもよい。   Further, the face detection program executed by the information processing apparatus 200 according to the present embodiment may be provided by being incorporated in advance in the ROM 211 or the like.

本実施形態の情報処理装置２００で実行される顔検出プログラムは、上述した各部（画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２１０が上述の記憶媒体や、ＨＤＤ２１５から顔検出プログラムを読み出して実行することにより、各部が主記憶装置（例えばＲＡＭ２１２）上にロードされ、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４が主記憶装置上に生成されるようになっている。   The face detection program executed by the information processing apparatus 200 according to the present embodiment includes a module configuration including the above-described units (the image input unit 100, the face detection unit 101, the feature point extraction unit 102, the calculation unit 103, and the determination unit 104). As actual hardware, the CPU 210 reads out and executes the face detection program from the above-described storage medium or HDD 215, so that each unit is loaded on the main storage device (for example, the RAM 212), and the image input unit 100, A face detection unit 101, a feature point extraction unit 102, a calculation unit 103, and a determination unit 104 are generated on the main storage device.

１ 顔検出装置
１０ 口
１１ マスク
２０ 矩形
１００ 画像入力部
１０１ 顔検出部
１０２ 特徴点抽出部
１０３ 算出部
１０４ 判定部 DESCRIPTION OF SYMBOLS 1 Face detection apparatus 10 Mouth 11 Mask 20 Rectangle 100 Image input part 101 Face detection part 102 Feature point extraction part 103 Calculation part 104 Determination part

Claims (10)

顔検出手段が、画像から顔を検出する顔検出ステップと、
特徴点抽出手段が、前記顔検出ステップにより検出された顔から口の特徴点を抽出する特徴点抽出ステップと、
算出手段が、前記特徴点抽出ステップにより抽出された前記口の特徴点から該口の縦幅および横幅を求め、該口の縦幅と口について予め求められた標準の縦幅との第１の差分と、該口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出ステップと、
判定手段が、前記算出ステップにより算出された前記第１の差分および前記第２の差分に基づき、前記顔検出ステップにより検出された顔内の口が覆われた状態か否かを判定する判定ステップと
を有する
ことを特徴とする顔検出方法。 A face detection step in which the face detection means detects a face from the image;
A feature point extracting means for extracting a feature point of the mouth from the face detected by the face detecting step;
A calculating means obtains a vertical width and a horizontal width of the mouth from the feature points of the mouth extracted by the feature point extracting step, and calculates a first vertical width and a standard vertical width obtained in advance for the mouth. A calculation step for calculating a difference and a second difference between the width of the mouth and a standard width previously obtained for the mouth;
A determining step for determining whether or not the mouth in the face detected by the face detecting step is covered based on the first difference and the second difference calculated by the calculating step. A face detection method characterized by comprising: 前記判定ステップは、
前記第１の差分が第１の閾値以下であり、且つ、前記第２の差分が第２の閾値以下である場合に、前記口が覆われていない状態であると判定する
ことを特徴とする請求項１に記載の顔検出方法。 The determination step includes
When the first difference is equal to or less than a first threshold value and the second difference is equal to or less than a second threshold value, it is determined that the mouth is not covered. The face detection method according to claim 1. 前記判定ステップは、
前記第１の差分が第１の閾値以下であり、且つ、前記第２の差分が前記第２の閾値を超える場合で、前記口を含む予め定められた範囲の輝度が該輝度に対して定められた閾値未満である場合に、前記口が覆われていない状態であると判定する
ことを特徴とする請求項２に記載の顔検出方法。 The determination step includes
When the first difference is less than or equal to a first threshold and the second difference exceeds the second threshold, the luminance of a predetermined range including the mouth is determined with respect to the luminance The face detection method according to claim 2, wherein the face is determined to be in a state in which the mouth is not covered when the threshold is less than the threshold value. 前記判定ステップは、
前記第１の差分が前記第１の閾値を超える場合、さらに、前記第２の差分を第３の閾値と比較し、該第２の差分が前記第２の閾値以下であり、且つ、該第３の閾値を超える場合に、前記口が覆われていない状態であると判定する
ことを特徴とする請求項２に記載の顔検出方法。 The determination step includes
If the first difference exceeds the first threshold, the second difference is further compared with a third threshold, the second difference is less than or equal to the second threshold, and the second difference The face detection method according to claim 2, wherein when the threshold value of 3 is exceeded, it is determined that the mouth is not covered. 前記判定ステップは、
前記第２の差分を前記第３の閾値と比較した結果、前記第２の差分が前記第３の閾値以下または前記第２の閾値を超え、且つ、前記口を含む予め定められた範囲の輝度が該輝度に対して定められた閾値未満である場合に、前記口が覆われていない状態であると判定する
ことを特徴とする請求項４に記載の顔検出方法。 The determination step includes
As a result of comparing the second difference with the third threshold, the second difference is equal to or less than the third threshold or exceeds the second threshold, and the luminance within a predetermined range including the mouth 5. The face detection method according to claim 4, wherein when the threshold value is less than a threshold value determined for the luminance, it is determined that the mouth is not covered. 前記算出ステップは、
前記第１の差分として、前記口の縦幅から前記標準の縦幅を減じた値の絶対値を取った値を用いる
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の顔検出方法。 The calculating step includes:
6. The value according to claim 1, wherein a value obtained by taking an absolute value of a value obtained by subtracting the standard vertical width from the vertical width of the mouth is used as the first difference. Face detection method. 前記算出ステップは、
前記第１の差分および前記第２の差分口の縦幅および横幅についてそれぞれ算出された前記差分に対して１を超える係数を乗じ、
前記判定ステップは、
それぞれ前記係数を乗じられた前記第１の差分および前記第２の差分に基づき前記判定を行う
ことを特徴とする請求項１乃至請求項６の何れか１項に記載の顔検出方法。 The calculating step includes:
Multiplying the difference calculated for the vertical width and the horizontal width of the first difference and the second difference port by a coefficient greater than 1, respectively;
The determination step includes
The face detection method according to claim 1, wherein the determination is performed based on the first difference and the second difference each multiplied by the coefficient. 前記顔検出ステップは、
前記画像から矩形領域として前記顔を検出し、
前記算出ステップは、
前記矩形領域の対角線の長さで正規化した前記口の横幅および縦幅を用いて前記第１の差分および前記第２の差分をそれぞれ求める
ことを特徴とする請求項１乃至請求項７の何れか１項に記載の顔検出方法。 The face detection step includes
Detecting the face as a rectangular area from the image;
The calculating step includes:
8. The first difference and the second difference are respectively obtained by using the width and height of the mouth normalized by the diagonal length of the rectangular area. The face detection method according to claim 1. 画像から顔を検出する顔検出手段と、
前記顔検出手段により検出された顔から口の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された前記口の特徴点から該口の縦幅および横幅を求め、該口の縦幅と口について予め求められた標準の縦幅との第１の差分と、該口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出手段と、
前記算出手段により算出された前記第１の差分および前記第２の差分に基づき、前記顔検出手段により検出された顔内の口が覆われた状態か否かを判定する判定手段と
を有する
ことを特徴とする顔検出装置。 Face detection means for detecting a face from an image;
Feature point extracting means for extracting mouth feature points from the face detected by the face detecting means;
A vertical width and a horizontal width of the mouth are obtained from the feature points of the mouth extracted by the feature point extraction means, a first difference between the vertical width of the mouth and a standard vertical width obtained in advance for the mouth, A calculating means for calculating a second difference between the width of the mouth and the standard width previously obtained for the mouth;
Determination means for determining whether the mouth in the face detected by the face detection means is covered based on the first difference and the second difference calculated by the calculation means. A face detection device characterized by the above. 画像から顔を検出する顔検出ステップと、
前記顔検出ステップにより検出された顔から口の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにより抽出された前記口の特徴点から該口の縦幅および横幅を求め、該口の縦幅と口について予め求められた標準の縦幅との第１の差分と、該口の横幅と口について予め求められた標準の横幅との第２の差分とを算出する算出ステップと、
前記算出ステップにより算出された前記第１の差分および前記第２の差分に基づき、前記顔検出ステップにより検出された顔内の口が覆われた状態か否かを判定する判定ステップと
をコンピュータに実行させるためのプログラム。 A face detection step for detecting a face from the image;
A feature point extracting step of extracting a feature point of the mouth from the face detected by the face detecting step;
A vertical width and a horizontal width of the mouth are obtained from the feature points of the mouth extracted by the feature point extraction step, a first difference between the vertical width of the mouth and a standard vertical width obtained in advance for the mouth, A calculating step for calculating a second difference between the width of the mouth and the standard width previously obtained for the mouth;
A determination step for determining whether or not the mouth in the face detected by the face detection step is covered based on the first difference and the second difference calculated by the calculation step; A program to be executed.
JP2011043202A 2011-02-28 2011-02-28 Face detection method, face detection device, and program Active JP5703068B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011043202A JP5703068B2 (en) 2011-02-28 2011-02-28 Face detection method, face detection device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011043202A JP5703068B2 (en) 2011-02-28 2011-02-28 Face detection method, face detection device, and program

Publications (2)

Publication Number Publication Date
JP2012181629A true JP2012181629A (en) 2012-09-20
JP5703068B2 JP5703068B2 (en) 2015-04-15

Family

ID=47012784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011043202A Active JP5703068B2 (en) 2011-02-28 2011-02-28 Face detection method, face detection device, and program

Country Status (1)

Country Link
JP (1) JP5703068B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045707A (en) * 2014-08-22 2016-04-04 国立大学法人静岡大学 Feature point detection system, feature point detection method, and feature point detection program
WO2019073732A1 (en) * 2017-10-10 2019-04-18 株式会社 資生堂 Stress evaluation method
CN111523476A (en) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 Mask wearing identification method, device, equipment and readable storage medium
WO2021140966A1 (en) * 2020-01-07 2021-07-15 Nec Corporation Method, apparatus and non-transitory computer readable medium
JP7409172B2 (en) 2020-03-12 2024-01-09 大日本印刷株式会社 image generation system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535992A (en) * 1991-07-26 1993-02-12 Sharp Corp Alarming device
JP2000242659A (en) * 1999-02-22 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> Method and device for normalizing feature value in similar retrieval, and storage medium stored with similar retrieval feature value normalizing program
JP2002183709A (en) * 2000-12-05 2002-06-28 Ge Medical Systems Global Technology Co Llc Image processing method and device, recording medium and image photographing device
JP2004318501A (en) * 2003-04-16 2004-11-11 Victor Co Of Japan Ltd Figure authentication system
JP2007094588A (en) * 2005-09-27 2007-04-12 Fujifilm Corp Face authentication system
JP2007156944A (en) * 2005-12-07 2007-06-21 Sony Corp Image processor, method, program, and recording medium
JP2008083932A (en) * 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd Admittance control apparatus, admittance control method and admittance control program
JP2010097379A (en) * 2008-10-16 2010-04-30 Denso Corp Driver monitoring device and program for driver monitoring device
JP2010157073A (en) * 2008-12-26 2010-07-15 Fujitsu Ltd Device, method and program for recognizing face
JP2010244090A (en) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd Person information extraction device, person information extraction method, and person information extraction program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535992A (en) * 1991-07-26 1993-02-12 Sharp Corp Alarming device
JP2000242659A (en) * 1999-02-22 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> Method and device for normalizing feature value in similar retrieval, and storage medium stored with similar retrieval feature value normalizing program
JP2002183709A (en) * 2000-12-05 2002-06-28 Ge Medical Systems Global Technology Co Llc Image processing method and device, recording medium and image photographing device
JP2004318501A (en) * 2003-04-16 2004-11-11 Victor Co Of Japan Ltd Figure authentication system
JP2007094588A (en) * 2005-09-27 2007-04-12 Fujifilm Corp Face authentication system
JP2007156944A (en) * 2005-12-07 2007-06-21 Sony Corp Image processor, method, program, and recording medium
JP2008083932A (en) * 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd Admittance control apparatus, admittance control method and admittance control program
JP2010097379A (en) * 2008-10-16 2010-04-30 Denso Corp Driver monitoring device and program for driver monitoring device
JP2010157073A (en) * 2008-12-26 2010-07-15 Fujitsu Ltd Device, method and program for recognizing face
JP2010244090A (en) * 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd Person information extraction device, person information extraction method, and person information extraction program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045707A (en) * 2014-08-22 2016-04-04 国立大学法人静岡大学 Feature point detection system, feature point detection method, and feature point detection program
WO2019073732A1 (en) * 2017-10-10 2019-04-18 株式会社 資生堂 Stress evaluation method
WO2021140966A1 (en) * 2020-01-07 2021-07-15 Nec Corporation Method, apparatus and non-transitory computer readable medium
JP2023509059A (en) * 2020-01-07 2023-03-06 日本電気株式会社 Method, Apparatus and Program
JP7380889B2 (en) 2020-01-07 2023-11-15 日本電気株式会社 METHODS, APPARATUS AND PROGRAMS
JP7409172B2 (en) 2020-03-12 2024-01-09 大日本印刷株式会社 image generation system
CN111523476A (en) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 Mask wearing identification method, device, equipment and readable storage medium
CN111523476B (en) * 2020-04-23 2023-08-22 北京百度网讯科技有限公司 Mask wearing recognition method, device, equipment and readable storage medium

Also Published As

Publication number Publication date
JP5703068B2 (en) 2015-04-15

Similar Documents

Publication Publication Date Title
JP6630999B2 (en) Image recognition device, image recognition method, and image recognition program
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
JP4830650B2 (en) Tracking device
Pamplona Segundo et al. Continuous 3D face authentication using RGB-D cameras
JP5787845B2 (en) Image recognition apparatus, method, and program
JP5703068B2 (en) Face detection method, face detection device, and program
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP5480532B2 (en) Image processing apparatus, image processing method, and program for causing computer to execute the method
US10360441B2 (en) Image processing method and apparatus
JP5061563B2 (en) Detection apparatus, biological determination method, and program
JP5787686B2 (en) Face recognition device and face recognition method
JP4507679B2 (en) Image recognition apparatus, image extraction apparatus, image extraction method, and program
WO2013122009A1 (en) Reliability level acquisition device, reliability level acquisition method and reliability level acquisition program
US20220019771A1 (en) Image processing device, image processing method, and storage medium
KR101455666B1 (en) Authentication apparatus and authentication method thereof
JP2005275935A (en) Terminal device
US20210174062A1 (en) Image processing device, image processing method, and recording medium
US20120076418A1 (en) Face attribute estimating apparatus and method
JP2010020594A (en) Pupil image recognition device
WO2017212967A1 (en) Comparison device and comparison method
JP6798285B2 (en) Biometric device, biometric method and program
EP2793102A2 (en) Information processing device
JP2012181628A (en) Face detection method, face detection device, and program
KR101087250B1 (en) Apparatus for detecting face using skin region detection
US20160188856A1 (en) Authentication device, authentication method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150223

R150 Certificate of patent or registration of utility model

Ref document number: 5703068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250