JP2023103452A - Recognition device, recognition method, and recognition program - Google Patents

Abstract

To provide a recognition device which allows for accurately recognizing an orientation of an object covered with a covering member.SOLUTION: Face orientation determination processing of a face orientation recognition device comprises: acquiring a captured image of an object (face) covered with a covering member (mask) and irradiated with light from irradiation means; detecting a face centerline based on luminance levels of pixels included in the acquired image and recognizing an orientation of the object based on the face centerline.EFFECT: The orientation of the object can be correctly recognized even if the object is covered with the covering member.SELECTED DRAWING: Figure 9

Description

本願は、対象を撮影した画像に基づいて当該対象の向いている方向を認識する認識装置等の技術分野に関する。 TECHNICAL FIELD The present application relates to a technical field such as a recognition device that recognizes the direction in which an object is facing based on an image of the object.

従来、人物の顔を撮影した画像から人物の顔の向きを認識する技術がある。一般的に顔の向きは顔の各部位の特徴を用いて認識するため、顔の一部がマスクなどの被覆材により被覆されていると認識精度が低下してしまう。 Conventionally, there is a technology for recognizing the orientation of a person's face from an image of the person's face. Since the orientation of the face is generally recognized using the characteristics of each part of the face, if a part of the face is covered with a covering material such as a mask, the recognition accuracy will decrease.

そこで、特許文献１に記載された技術は、マスクが存在する場合に、顔領域の顔幅に対するマスク中央部の鼻の相対位置から顔の左右向き角度を算出している。 Therefore, in the technique described in Patent Document 1, when a mask exists, the lateral angle of the face is calculated from the relative position of the nose at the center of the mask with respect to the face width of the face region.

特許５３５９２６６号公報Japanese Patent No. 5359266

しかしながら、特許文献１に記載の技術では、マスク中央部を鼻の位置としているが、マスク中央部は必ずしも実際の鼻の位置ではない場合があり、正確に顔の左右向き角度を算出できない場合がある。 However, in the technique described in Patent Document 1, the center of the mask is the position of the nose, but the center of the mask may not necessarily be the actual position of the nose, and there are cases where the left-right angle of the face cannot be calculated accurately.

本願発明は、こうした事情に鑑み、被覆部材により被覆された対象の向きを正確に認識することのできる認識装置等を提供することを課題とする。 In view of such circumstances, it is an object of the present invention to provide a recognition device or the like capable of accurately recognizing the orientation of an object covered by a covering member.

請求項１に記載の発明は、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段と、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段と、前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段と、を備える。 According to a first aspect of the present invention, there is provided an acquisition means for acquiring an image of an object covered with a covering member while the object is irradiated with light by an irradiation means, a detection means for detecting a center line of the surface of the object in the front vertical direction based on the luminance value of pixels included in the image, and a recognition means for recognizing the orientation of the object based on the detection result of the detection means.

請求項６に記載の発明は、認識装置による認識方法であって、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得工程と、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出工程と、前記検出工程の検出結果に基づいて、前記対象の向きを認識する認識工程と、を含む。 According to a sixth aspect of the present invention, there is provided a recognition method using a recognition device, comprising: an acquisition step of acquiring an image of an object covered with a covering member while the object is irradiated with light by an irradiation means; a detection step of detecting a center line of the surface of the object in the front vertical direction based on the luminance value of pixels included in the image; and a recognition step of recognizing the orientation of the object based on the detection result of the detection step.

請求項７に記載の発明は、コンピュータを、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段、前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段、として機能させる。 According to a seventh aspect of the present invention, a computer is caused to function as acquisition means for acquiring an image of an object covered with a covering member while being irradiated with light by an irradiation means, detection means for detecting a central line in the front vertical direction on the surface of the object based on the luminance values of pixels included in the image, and recognition means for recognizing the orientation of the object based on the detection result of the detection means.

認識装置１のブロック図である。2 is a block diagram of the recognition device 1; FIG. 色分け画像の一例である。It is an example of a color-coded image. 色分け画像の一例である。It is an example of a color-coded image. 顔向き認識装置Ｄのブロック図の一例である。1 is an example of a block diagram of a face orientation recognition device D; FIG. 顔向き認識装置Ｄの機能ブロック図の一例である。2 is an example of a functional block diagram of a face orientation recognition device D; FIG. （Ａ）、（Ｂ）、（Ｃ）は、顔やマスクの特徴検出方法の一例を説明するための図である。(A), (B), and (C) are diagrams for explaining an example of a face and mask feature detection method. 様々な顔の向きで撮影した色分け画像の一例である。It is an example of color-coded images taken in various face orientations. （Ａ）、（Ｂ）は、特殊な形状のマスクの一例を示す図である。(A) and (B) are diagrams showing an example of a mask with a special shape. 顔向き認識装置Ｄによる顔向き判定処理の一例を示すフローチャートである。4 is a flowchart showing an example of face orientation determination processing by a face orientation recognition device D; 顔向き認識装置Ｄによるマスク着用判定処理の一例を示すフローチャートである。7 is a flow chart showing an example of mask-wearing determination processing by the face orientation recognition device D. FIG. 顔向き認識装置Ｄによるヨー角判定処理の一例を示すフローチャートである。6 is a flowchart showing an example of yaw angle determination processing by the face orientation recognition device D; 顔向き認識装置Ｄによるピッチ角判定処理の一例を示すフローチャートである。7 is a flowchart showing an example of pitch angle determination processing by the face orientation recognition device D; （Ａ）、（Ｂ）は、マスク左右端の特徴と顔中心線（マスク上端付近）の特徴の一例を示す図である。(A) and (B) are diagrams showing examples of features at the left and right edges of the mask and features at the center line of the face (near the upper edge of the mask). （Ａ）、（Ｂ）は、マスク左右端の特徴と顔中心線（マスクにかかる部分）の特徴の一例を示す図である。(A) and (B) are diagrams showing an example of the features of the left and right edges of the mask and the features of the center line of the face (the portion that overlaps the mask). カメラＣと照射部Ｌを対象からみて異なる方向に配置した状態で撮影した画像の一例を示す図である。FIG. 4 is a diagram showing an example of an image captured with a camera C and an irradiation unit L arranged in different directions when viewed from an object;

本願発明を実施するための形態について、図１を用いて説明する。 A mode for carrying out the present invention will be described with reference to FIG.

図１に示すように、認識装置１は取得手段１１１Ａと、検出手段１１１Ｂと、認識手段１１１Ｃと、記憶制御手段１１１Ｄと、記憶手段１１１Ｅと、を備えている。なお、記憶手段は、認識装置１の外部に設けてもよい。 As shown in FIG. 1, the recognition device 1 includes acquisition means 111A, detection means 111B, recognition means 111C, storage control means 111D, and storage means 111E. Note that the storage means may be provided outside the recognition device 1 .

取得手段１１１Ａは、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する。被覆部材により被覆された対象とは、例えば、マスクを装着した顔である。照射手段は、一定の方向から対象に光を照射するのが好ましい。 111 A of acquisition means acquire the image which image|photographed the target covered by the covering member in the state irradiated with the light by the irradiation means. The target covered by the covering member is, for example, a face wearing a mask. It is preferable that the irradiation means irradiate the target with light from a fixed direction.

検出手段１１１Ｂは、取得手段１１１Ａが取得した画像に含まれる画素の輝度値に基づいて、対象の表面における正面縦方向の中心線を検出する。対象の表面における正面縦方向の中心線とは、対象が顔（一般的な顔）である場合には、目の間と、鼻の中心と、口の中心であって顔表面を通る線である。 The detection means 111B detects the center line in the front longitudinal direction on the surface of the object based on the luminance values of the pixels included in the image acquired by the acquisition means 111A. The front longitudinal center line on the surface of the object is the line between the eyes, the center of the nose, and the center of the mouth that passes through the face surface when the object is a face (a typical face).

ここで、図２を用いて中心線について説明する。図２は、マスク（「被覆材」の一例）をした顔を、カメラ方向から光を照射した状態で撮影した画像（モデルのプライバシー保護のため、目の部分を黒で塗りつぶす加工を施している。以下、モデルを撮影した画像について同様である）を輝度値に基づいて色分けした色分け画像２００である。具体的には、輝度値１００未満の部分を符号２０１で指し示す色で表し、輝度値１００以上１６０未満の部分を符号２０２で指し示す色で表し、輝度値１６０以上２２０未満の部分を符号２０３で指し示す色で表し、輝度値２２０以上の部分を符号２０４で指し示す色で表している。光を照射した場合、肌に比べて、マスク領域の輝度値が大きくなる。図２に示すように、マスク領域は、大きな輝度値（輝度値２２０以上）となる。マスクを装着した顔は顔中心に対して、左右対称で、顔中心はその他の顔部位に対して、やや突出する傾向にあるので、光をカメラ正面方向から照射した画像に基づき、検出手段１１１Ｂはマスクの左端２１１と、顔（マスク）中心線２１２（「中心線」の一例）を検出することができる。すなわち、検出手段１１１Ｂは、輝度値２２０以上の領域のマスク左端側（画像では右側）のエッジを、マスクの左端２１１として検出し、輝度値２２０以上の領域の顔中心側（マスク左端側と反対側）のエッジを、顔中心線２１２として検出する。但し、横方向の向き（ヨー角）がカメラ正面に対して一定の角度（５０度程度）を超えると、輝度値２２０以上の領域の顔中心側（マスク左端側と反対側）のエッジが顔中心線２１２と一致しなくなるので、この場合には、輝度値１６０以上２２０未満の領域の顔中心側のエッジを顔中心線２１２Ｂとして検出するのが好ましい。 Here, the center line will be described with reference to FIG. FIG. 2 shows a color-coded image 200 obtained by color-coding an image of a face with a mask (an example of a “covering material”) photographed with light emitted from the direction of the camera (the eyes are blacked out to protect the privacy of the model; hereinafter, the same applies to images photographed of the model) based on luminance values. Specifically, a portion with a luminance value of less than 100 is represented by a color 201, a portion with a luminance value of 100 or more and less than 160 is represented by a color of 202, a portion with a luminance value of 160 or more and less than 220 is represented by a color of 203, and a portion of a brightness value of 220 or more is represented by a color of 204. When light is irradiated, the luminance value of the mask area becomes larger than that of the skin. As shown in FIG. 2, the mask area has a large luminance value (luminance value of 220 or more). A face wearing a mask is bilaterally symmetrical with respect to the center of the face, and the center of the face tends to protrude slightly with respect to other parts of the face. Therefore, the detection means 111B can detect the left end 211 of the mask and the center line 212 of the face (mask) (an example of the "center line") based on the image illuminated from the front direction of the camera. That is, the detection means 111B detects the left edge of the mask (on the right side in the image) of the region with a luminance value of 220 or more as the left edge 211 of the mask, and detects the edge of the face center side (opposite side to the left end of the mask) of the region with a luminance value of 220 or more as the face center line 212. However, when the horizontal direction (yaw angle) exceeds a certain angle (about 50 degrees) with respect to the front of the camera, the edge of the face center side (the side opposite to the left end side of the mask) in the area with a luminance value of 220 or more does not match the face center line 212. In this case, it is preferable to detect the face center side edge of the area with a luminance value of 160 or more and less than 220 as the face center line 212B.

認識手段１１１Ｃは、検出手段１１１Ｂの検出結果に基づいて、対象の向きを認識する。 The recognition means 111C recognizes the orientation of the object based on the detection result of the detection means 111B.

以上説明した通り、実施形態に係る認識装置１の動作によれば、画像に含まれる画素の輝度値に基づく対象の表面における正面縦方向の中心線の検出結果に基づいて対象の向きを認識することから、対象が被覆部材により被覆されている場合であっても対象の向きを正確に認識することができる。 As described above, according to the operation of the recognition device 1 according to the embodiment, the orientation of the target is recognized based on the detection result of the center line in the front vertical direction on the surface of the target based on the luminance value of the pixels included in the image. Therefore, the orientation of the target can be accurately recognized even when the target is covered with a covering member.

また、認識手段１１１Ｃは、顔中心線２１２の傾きに基づいて、対象の縦方向の向き（ピッチ角）を認識する場合がある。顔の縦方向の向きと顔中心線２１２の傾きには相関関係があることが発明者の調査の結果分かっていることから、顔の縦方向の向き（ピッチ角）毎（例えば、１０度毎）に傾きに関する閾値を設けて、顔中心線２１２の傾きを閾値と比較することにより、顔の縦方向の角度を判定することができる。これにより、対象の縦方向の向きを認識することができる。 Further, the recognizing means 111C may recognize the vertical orientation (pitch angle) of the target based on the inclination of the face center line 212 . As a result of research conducted by the inventor, it is known that there is a correlation between the vertical orientation of the face and the inclination of the face center line 212. Therefore, by setting a threshold for the inclination for each vertical orientation (pitch angle) of the face (for example, every 10 degrees) and comparing the inclination of the face center line 212 with the threshold, the vertical angle of the face can be determined. This makes it possible to recognize the vertical orientation of the object.

更に、検出手段１１１Ｂは、認識手段１１１Ｃが対象の縦方向の向きを認識した際の、対象における被覆部材の上側の境界である上境界２１３を更に検出し、記憶制御手段１１１Ｄは、検出手段１１１Ｂが検出した上境界２１３の傾きを、認識手段１１１Ｂが認識した対象の縦方向の向きと対応付けて記憶手段１１１Ｅに記憶させ、認識手段１１１Ｃは、縦方向の向きを認識していない対象の画像が新たに取得された際に、当該画像について検出された被覆部材の上境界２１３の傾きと略同一の傾きが対応付けられている縦方向の向きを、当該画像に写る対象の縦方向の向きとして認識する場合がある。被覆部材の上境界２１３の傾きが略同一である場合には対象の縦方向の向きも略同一であることが、発明者の調査の結果、分かっていることから、このような判定が可能となる。これにより、一度、対象の縦方向の向きを認識しておけば、それ以降の画像については、上境界２１３を検出して、記憶手段に記憶された上境界２１３と比較することにより、縦方向の向きを認識することができる。すなわち、縦方向の向きを認識するための処理負担が軽減される。 Furthermore, the detecting means 111B further detects an upper boundary 213 which is the upper boundary of the covering member in the object when the recognizing means 111C recognizes the vertical direction of the object, the storage control means 111D stores the inclination of the upper boundary 213 detected by the detecting means 111B in association with the vertical direction of the object recognized by the recognizing means 111B in the storing means 111E, and the recognizing means 111C stores the object whose vertical direction is not recognized. When a new image is acquired, the vertical direction associated with the tilt substantially the same as the tilt of the upper boundary 213 of the covering member detected in the image may be recognized as the vertical direction of the object in the image. Such determination is possible because the inventor's investigation revealed that when the inclination of the upper boundary 213 of the covering member is substantially the same, the vertical orientation of the object is also substantially the same. Thus, once the vertical orientation of the object is recognized, the vertical orientation of subsequent images can be recognized by detecting the upper boundary 213 and comparing it with the upper boundary 213 stored in the storage means. That is, the processing load for recognizing the vertical orientation is reduced.

更にまた、認識手段１１１Ｃは、対象の横幅における、上境界線２１３と顔中心線２１２との交点の位置に基づいて、対象の横方向の向き（ヨー角）を認識する場合がある。 Furthermore, the recognition means 111C may recognize the horizontal orientation (yaw angle) of the object based on the position of the intersection of the upper boundary line 213 and the face center line 212 in the width of the object.

ここで、図３を用いて対象の横方向の向きを認識する場合の一例について説明する。認識手段１１１Ｃは、３本の垂線２２１－２２３に基づいて、対象の横方向の向きを認識する。垂線２２１は左耳端の点を通る垂線である。垂線２２２は顔中心線２１２と上境界２１３の交点を通る垂線である。垂線２２３は顔中心線２１２と上境界２１３の交点から顔奥側へ水平方向に移動し、顔右端に到達した点を通る垂線である。認識手段１１１Ｃは、垂線２２１と垂線２２２の幅ＷＡ（手前側顔幅ＷＡ）、垂線２２２と垂線２２３の幅ＷＢ（奥側顔幅ＷＢ）、垂線２２１と垂線２２３の幅ＷＣの何れか２つ幅に基づいて、対象の横方向の向きを認識する。顔の横方向の向きと、手前側顔幅ＷＡと奥側顔幅ＷＢの比には相関関係があることが発明者の調査の結果、分かっていることから、顔の横方向の向き（角度）毎（例えば、１０度毎）に手前側顔幅ＷＡと奥側顔幅ＷＢの比に関する閾値を設けて、手前側顔幅ＷＡと奥側顔幅ＷＢの比を閾値と比較することにより、顔の横方向の角度を判定することができる。これにより、対象の横方向の向きを認識することができる。 Here, an example of recognizing the horizontal direction of the target will be described with reference to FIG. The recognition means 111C recognizes the lateral orientation of the object based on the three perpendicular lines 221-223. A perpendicular line 221 is a perpendicular line that passes through the point at the tip of the left ear. A perpendicular line 222 is a perpendicular line passing through the intersection of the face centerline 212 and the upper boundary 213 . A perpendicular line 223 is a perpendicular line that moves horizontally from the intersection of the face center line 212 and the upper boundary 213 toward the inner side of the face and passes through a point that reaches the right end of the face. The recognizing means 111C recognizes the horizontal direction of the object based on any two of the width WA between the perpendiculars 221 and 222 (front side face width WA), the width WB between the perpendiculars 222 and 223 (back side face width WB), and the width WC between the perpendiculars 221 and 223. As a result of investigation by the inventor, it is known that there is a correlation between the lateral direction of the face and the ratio of the front side face width WA to the back side face width WB. Therefore, by setting a threshold for the ratio of the front side face width WA to the back side face width WB for each lateral direction (angle) of the face (for example, every 10 degrees) and comparing the ratio of the front side face width WA to the back side face width WB with the threshold, the lateral angle of the face can be determined. This makes it possible to recognize the lateral orientation of the object.

更にまた、検出手段１１１Ｂは、被覆部材の左側及び右側の少なくとも一方の境界である左右境界を更に検出し、認識手段１１１Ｃは、検出手段１１１Ｂが左右境界を検出した場合に、検出手段１１１Ｂが検出した左右境界と中心線とに基づいて、対象の横方向の向きを認識する。なお、左右境界は、例えば、マスクの左端２１１のエッジ（図２参照）で示される左境界、及び、マスクの右端のエッジで示される右境界の少なくとも一方の境界を意味する。すなわち、左右境界は左境界と右境界の総称ともいうことができる。認識手段１１１Ｃは、対象が右側を向いていることをマスクの左端２１１のエッジ（左境界）が検出されたことに基づいて認識し、対象が左側を向いていることをマスクの右端のエッジ（右境界）が検出されたことに基づいて認識する。 Furthermore, the detecting means 111B further detects the left and right boundaries, which are at least one of the left and right boundaries of the covering member, and the recognizing means 111C recognizes the lateral direction of the object based on the left and right boundaries and the center line detected by the detecting means 111B when the detecting means 111B detects the left and right boundaries. The left and right boundaries mean, for example, at least one of the left boundary indicated by the left edge 211 of the mask (see FIG. 2) and the right boundary indicated by the right edge of the mask. In other words, the left and right boundaries can also be called a generic term for the left and right boundaries. The recognizing means 111C recognizes that the object is facing right based on the detection of the edge (left boundary) at the left end 211 of the mask, and recognizes that the object is facing left based on the detection of the right end edge (right boundary) of the mask.

次に、上述した実施形態に対応する具体的な実施例について説明する。 Next, specific examples corresponding to the above-described embodiments will be described.

図４－図１４を用いて実施例について説明する。なお以下に説明する実施例は、本願発明を、顔向き認識装置Ｄ（以下、「認識装置Ｄ」という場合がある）に適用した場合の実施例である。 Examples will be described with reference to FIGS. 4 to 14. FIG. The embodiment described below is an embodiment in which the present invention is applied to a face orientation recognition device D (hereinafter sometimes referred to as "recognition device D").

本実施例の認識装置Ｄは、ＬＥＤ等の光源である照射部ＬやカメラＣと接続されている。認識装置Ｄは、マスクＭにより被覆された顔Ｆを照射部Ｌにより光を照射した状態で撮影した画像に基づいて、顔Ｆの向きを認識する。 The recognition device D of this embodiment is connected to an irradiation unit L, which is a light source such as an LED, and a camera C. As shown in FIG. The recognition device D recognizes the orientation of the face F based on an image captured while the face F covered with the mask M is irradiated with light from the irradiation unit L.

具体的には、認識装置Ｄは、撮影された画像を信号処理することで、顔（または顔特徴）を検出し、マスクの着用判定を行う。マスクを着用していると判定した場合、マスクの特徴（マスク陰影領域、マスクエッジ、マスクエッジ勾配、マスク紐エッジ勾配等）や顔の特徴（顔中心線、顔幅、顔輪郭等）を検出し、これらの抽出された特徴から、顔の向きを認識する。 Specifically, the recognition device D performs signal processing on the photographed image to detect a face (or facial features) and determine whether to wear a mask. When it is determined that the user is wearing a mask, the features of the mask (mask shadow area, mask edge, mask edge gradient, mask string edge gradient, etc.) and face features (face center line, face width, face outline, etc.) are detected, and the orientation of the face is recognized from these extracted features.

より具体的には、まず、画像内に顔が写っているかを判定し、マスク着用判定を行う位置（口領域）を決定する。例えば、従来公知の顔検出処理で検出される顔枠において、おおよその口の位置を決定する。なお、顔の各部分の特徴を検出して、マスク着用判定を行う位置を決定してもよい。例えば、目の位置を検出して、その下部にある領域をおおよその口の位置と決定して、マスク着用判定を行ってもよい。次に、マスクを着用しているかを判定する。一般的に、マスクＭをした顔Ｆに光を照射して撮像すると、マスク着用領域では高い輝度値が得られるので、口周辺の領域部の輝度値が高いことからマスクを着用しているかを判定する。なお、マスクの外形情報等からマスクを着用しているかを判定してもよい。マスクが着用されていると判定した場合には、マスクの特徴や顔の特徴を検出し、これらの抽出された特徴から、顔の向きを認識する。また、画像から、顔の特徴やマスクの特徴を検出した際の特徴検出結果から、照射光の強度を調整したり、カメラパラメータを調整したりして、マスクや顔の陰影や輝度勾配等をより顕著に検出する。なお、本実施例では、カメラＣと照射部Ｌが略同じ方向から対象に向いている場合について説明する。カメラＣと照射部Ｌが異なる方向から対象に向いている場合については、後述の変形例で説明する。 More specifically, first, it is determined whether or not a face is shown in the image, and the position (mouth area) for mask wearing determination is determined. For example, the approximate position of the mouth is determined in the face frame detected by conventionally known face detection processing. It should be noted that the position for mask wearing determination may be determined by detecting the features of each part of the face. For example, the position of the eyes may be detected, and the area below the eyes may be determined to be the approximate position of the mouth, and mask wearing determination may be performed. Next, determine whether the mask is worn. In general, when the face F with the mask M is irradiated with light and an image is taken, a high luminance value is obtained in the area where the mask is worn, so whether the mask is worn or not is determined based on the high luminance value in the area around the mouth. It should be noted that whether or not the user is wearing a mask may be determined based on information such as the shape of the mask. When it is determined that the mask is worn, the features of the mask and the features of the face are detected, and the orientation of the face is recognized from these extracted features. In addition, from the feature detection results when facial features and mask features are detected from the image, the intensity of the irradiation light is adjusted and the camera parameters are adjusted to detect the shadows and brightness gradients of the mask and face more conspicuously. In this embodiment, the case where the camera C and the irradiation unit L face the target in substantially the same direction will be described. A case where the camera C and the irradiation unit L face the object from different directions will be described in a modified example described later.

［１．認識装置Ｄの構成］
次に図４を用いて本実施例に係る認識装置Ｄの構成について説明する。図４に示すように、認識装置Ｄは、大別して、制御部３１１、記憶部３１２、通信部３１３、表示部３１４及び操作部３１５を含んで構成されている。通信部３１３は、カメラＣや照射部Ｌと接続されている。 [1. Configuration of recognition device D]
Next, the configuration of the recognition device D according to this embodiment will be described with reference to FIG. As shown in FIG. 4, the recognition device D roughly includes a control unit 311 , a storage unit 312 , a communication unit 313 , a display unit 314 and an operation unit 315 . The communication unit 313 is connected to the camera C and the irradiation unit L.

記憶部３１２は、例えばハードディスクドライブ等により構成されており、ＯＳ（Operating System）、顔の向きを認識するための顔向き認識プログラムを含む各種プログラムを記憶する。また、記憶部３１２は、カメラにより撮影された画像や顔向き認識プログラムに使用される各種データを記憶する。 The storage unit 312 is configured by, for example, a hard disk drive or the like, and stores various programs including an OS (Operating System) and a face orientation recognition program for recognizing the orientation of the face. The storage unit 312 also stores images captured by the camera and various data used for the face orientation recognition program.

通信部３１３は、照射部ＬやカメラＣとの通信状態を制御する。 The communication unit 313 controls the state of communication with the irradiation unit L and the camera C. FIG.

表示部３１４は、例えば、液晶ディスプレイ等により構成されており、カメラＣにより撮影された画像等を表示するようになっている。 The display unit 314 is configured by, for example, a liquid crystal display or the like, and displays an image or the like photographed by the camera C. FIG.

操作部３１５は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部３１１に出力するようになっている。 The operation unit 315 is composed of, for example, a keyboard, a mouse, etc., receives an operation instruction from an operator, and outputs the content of the instruction to the control unit 311 as an instruction signal.

制御部３１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）
、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部３１２に記憶された顔向き認識プログラムを含む各種プログラムを読み出し実行することにより各種機能を実現する。 The control unit 311 includes a CPU (Central Processing Unit), a ROM (Read Only Memory)
, RAM (Random Access Memory) and the like. Then, the CPU implements various functions by reading and executing various programs including the face orientation recognition program stored in the ROM and the storage unit 312 .

［２．認識装置Ｄの機能］
次に図５を用いて本実施例に係る認識装置Ｄ（制御部３１１）の機能について説明する。図５は認識装置Ｄの機能ブロック図を示す図である。認識装置Ｄは、画像解析部３５１、照射光調整部３５７、カメラ調整部３５８を含んで構成されている。画像解析部３５１、照射光調整部３５７、カメラ調整部３５８の機能は、制御部３１１が顔向き認識プログラムを実行することにより実現される。 [2. Function of recognition device D]
Next, functions of the recognition device D (control unit 311) according to this embodiment will be described with reference to FIG. FIG. 5 is a functional block diagram of the recognition device D. As shown in FIG. The recognition device D includes an image analysis section 351 , an irradiation light adjustment section 357 and a camera adjustment section 358 . Functions of the image analysis unit 351, the irradiation light adjustment unit 357, and the camera adjustment unit 358 are realized by the control unit 311 executing the face direction recognition program.

画像解析部３５１は、口領域検出部３５２、マスク着用判定部３５３、マスク特徴検出部３５４、顔特徴検出部３５５、顔向き方向認識部３５６を含んで構成されている。 The image analysis unit 351 includes a mouth area detection unit 352 , a mask wearing determination unit 353 , a mask feature detection unit 354 , a face feature detection unit 355 and a face direction recognition unit 356 .

口領域検出部３５２は、例えば、マスクＭにより被覆された顔Ｆを、照射部Ｌが光を照射した状態でカメラＣが撮影した画像に対して、顔検出処理、目検出処理、鼻検出処理、口検出処理を行う。顔検出処理で顔の領域が決定できた場合、顔検出枠の下方領域に口の領域があると判定できる。目検出処理で、目の領域が決定できた場合、目の下部に口の領域があると判定できる。鼻検出処理で、鼻の領域が決定できた場合も、鼻の下部に口の領域があると判定できる。口検出処理で、口の領域が検出できた場合は、その領域が口の領域であると判定する。 For example, the mouth region detection unit 352 performs face detection processing, eye detection processing, nose detection processing, and mouth detection processing on an image captured by the camera C while the face F covered by the mask M is irradiated with light by the irradiation unit L. If the face region can be determined by face detection processing, it can be determined that the mouth region exists in the lower region of the face detection frame. If the eye region can be determined in the eye detection process, it can be determined that the mouth region exists below the eye. Even if the nose region can be determined by the nose detection process, it can be determined that the mouth region exists below the nose. If the mouth region can be detected in the mouth detection process, it is determined that the region is the mouth region.

マスク着用判定部３５３は、口領域検出部３５２が検出した口領域についてマスクＭが着用されているかを判定する。具体的には輝度値に基づいて判定する。例えば、図６（Ａ）に示すように、右目領域４０１の平均輝度値と口領域４０２の平均輝度値を算出する。一般的に、顔に向けて光を照射した場合、肌の輝度値に比べて、マスクの輝度値は大きくなる。例えば、右目領域４０１の平均輝度値と口領域４０２の平均輝度値を比較して、略同じ値であればマスク未着用と判定し、口領域４０２の平均輝度値の方が大きければ（閾値を超えるような大きさ）であれば、マスク着用と判定することができる。 The mask wearing determination unit 353 determines whether the mask M is worn for the mouth region detected by the mouth region detection unit 352 . Specifically, it is determined based on the luminance value. For example, as shown in FIG. 6A, the average luminance value of the right eye region 401 and the average luminance value of the mouth region 402 are calculated. In general, when the face is irradiated with light, the luminance value of the mask is larger than the luminance value of the skin. For example, the average brightness value of the right eye region 401 and the average brightness value of the mouth region 402 are compared, and if the values are substantially the same, it is determined that the mask is not worn, and if the average brightness value of the mouth region 402 is greater (a size that exceeds the threshold value), it can be determined that the mask is worn.

マスク特徴検出部３５４は、マスク領域の輝度値に基づいてマスク領域の特徴を検出する。顔特徴検出部３５５は、顔領域の輝度値に基づいて顔領域の特徴を検出する。具体的には、マスク特徴検出部３５４及び顔特徴検出部３５５（まとめて、「特徴検出部」という場合がある）は、図２に示したように、顔を撮影した画像における輝度値を３つの閾値によって４つに切り分けた色分け画像により特徴を検出する。具体的には、（１）マスク領域、（２）肌（明）領域、（３）肌（暗）領域、（４）背景領域に切り分ける。 The mask feature detection unit 354 detects the feature of the mask area based on the luminance value of the mask area. The facial feature detection unit 355 detects features of the facial area based on the luminance value of the facial area. Specifically, the mask feature detection unit 354 and the face feature detection unit 355 (collectively referred to as a “feature detection unit” in some cases) detect features from color-coded images obtained by dividing the luminance values in an image of a face into four by three thresholds, as shown in FIG. Specifically, it is divided into (1) mask area, (2) skin (bright) area, (3) skin (dark) area, and (4) background area.

ここで、色分け画像の作成例について説明する。まず、特徴検出部は、（１）マスク領域と（２）肌（明）領域の境界を示す第１閾値を、肌領域（例えば、左目領域４０１）の最大値Ｊａ（画素値には、スパイクノイズ等も含まれうることを考慮して、ここでは、例えば５番目に大きな値を最大値として取り扱う）と、マスクが着用された際の口領域４０２の平均輝度値Ｊｂに基づいて決定する。例えば、Ｊａが「２１９」で、Ｊｂが「２４６」である場合には、Ｊａにマージンを加えた値を第１閾値とする。例えば、Ｊａに「１」を加えた「２２０」を第１閾値とする（切りのよい値とするために「１」を加えたがその他の値でもよい。以下、第２閾値、第３閾値についても同様）。第１閾値より輝度値が大きい画素で構成される領域をマスク領域として検出することができる。 Here, an example of creating a color-coded image will be described. First, the feature detection unit determines a first threshold that indicates the boundary between (1) the mask region and (2) the skin (bright) region based on the maximum value Ja of the skin region (for example, the left eye region 401) (in consideration of the fact that spike noise may also be included in pixel values, for example, the fifth largest value is treated as the maximum value here) and the average luminance value Jb of the mouth region 402 when the mask is worn. For example, when Ja is "219" and Jb is "246", a value obtained by adding a margin to Ja is set as the first threshold. For example, "220" obtained by adding "1" to Ja is set as the first threshold ("1" is added to give a sharper value, but other values may be used. Hereinafter, the same applies to the second and third thresholds). A region composed of pixels having a luminance value greater than the first threshold can be detected as a mask region.

次に、特徴検出部は、（２）肌（明）領域と（３）肌（暗）領域の境界を示す第２閾値を、肌領域（例えば、図６（Ｂ）に示す左目下半分領域４０３）の平均値Ｊｃ（眉や黒目部分は輝度値が小さいので左目下半分領域４０３としたが、他の部分の平均値でもよい）に基づいて決定する。例えば、Ｊｃが「１５７」である場合には、Ｊｃからマージンを差し引いた値を第２閾値とする。例えば、Ｊｃから「７」を引いた「１５０」を第２閾値とする。 Next, the feature detection unit determines a second threshold that indicates the boundary between (2) skin (bright) region and (3) skin (dark) region based on the average value Jc of the skin region (for example, the left eye lower half region 403 shown in FIG. 6B) (although the eyebrow and black eye portion has a small luminance value, the left eye lower half region 403 is used, but the average value of other portions may be used). For example, when Jc is "157", the value obtained by subtracting the margin from Jc is set as the second threshold. For example, "150" obtained by subtracting "7" from Jc is set as the second threshold.

次に、特徴検出部は、（３）肌（暗）領域と（４）背景領域の境界を示す第３閾値を、肌領域（例えば、図６（Ｃ）に示す左目左半分領域４０４）の最小値Ｊｄ（画素値には、スパイクノイズ等も含まれうることを考慮して、ここでは、例えば５番目に小さな値を最小値として取り扱う。ここでは、左目左半分領域４０４としたが、他の肌部分の最小値でもよい）に基づいて決定する。例えば、Ｊｄが「７８」である場合には、Ｊｄからマージンを差し引いた値を第３閾値とする。例えば、Ｊｄから「８」を引いた「７０」を第３閾値とする。 Next, the feature detection unit determines a third threshold that indicates the boundary between (3) the skin (dark) region and (4) the background region based on the minimum value Jd of the skin region (for example, the left-eye left-half region 404 shown in FIG. 6(C)). For example, when Jd is "78", the value obtained by subtracting the margin from Jd is set as the third threshold. For example, "70" obtained by subtracting "8" from Jd is set as the third threshold.

特徴検出部は、画像を構成する各画素を、当該画素の輝度値と第１閾値、第２閾値及び第３閾値に基づいて、（１）マスク領域、（２）肌（明）領域、（３）肌（暗）領域、（４）背景領域に切り分け、４色で表すことにより色分け画像を作成する。そして、色分け画像に基づいて、マスク領域の特徴、顔領域の特徴を検出する。 The feature detection unit divides each pixel constituting the image into (1) a mask region, (2) a skin (bright) region, (3) a skin (dark) region, and (4) a background region based on the luminance value of the pixel and the first, second, and third thresholds, and creates a color-coded image by expressing the regions in four colors. Then, the feature of the mask area and the feature of the face area are detected based on the color-coded image.

図７は、顔の縦方向の向き（ピッチ角）と、顔の横方向の向き（ヨー角）と、を１０度ずつ変化させて撮影した画像の一例であり、図２の例と同様に、輝度値１００未満の部分、輝度値１００以上１６０未満の部分、輝度値１６０以上２２０未満の部分、輝度値２２０以上の部分に分けてそれぞれ異なる色（図２の場合と同様）で表している。光を照射した場合、肌に比べて、マスク領域の輝度値が大きくなる。マスク領域は、大きな輝度値（輝度値２２０以上）となる。顔向き方向認識部３５６は、顔が左右方向（ヨー角：２０度～５０度）に向いているときは、マスク左右端と肌との境界である左右境界が明瞭に検出でき、顔が左右方向どちらの方向に向いているかを判定することができる。一方、カメラ正面（ヨー角：０度）を向いているときは、マスク左右端と肌との境界（左右境界）が検出できないので、このことにより、正面を向いていると判定することができる。左右方向の顔向き角度を推定するためには、顔の中心と顔の端（輪郭や耳等）、その他、マスク左右端が検出できれば、おおよその顔向き角度を算出することができる。以下、顔向き方向認識部３５６が顔の縦方向の向き（ピッチ角）と、顔の横方向の向き（ヨー角）を認識する手法について詳細に説明する。 FIG. 7 shows an example of an image captured while changing the vertical orientation (pitch angle) and the horizontal orientation (yaw angle) of the face by 10 degrees. As in the example of FIG. When light is irradiated, the luminance value of the mask area becomes larger than that of the skin. The mask area has a large luminance value (luminance value of 220 or more). When the face faces in the horizontal direction (yaw angle: 20 degrees to 50 degrees), the face orientation recognition unit 356 can clearly detect the left and right boundaries, which are the boundaries between the left and right edges of the mask and the skin, and can determine which direction the face faces in the left or right direction. On the other hand, when facing the front of the camera (yaw angle: 0 degrees), the boundaries (left and right boundaries) between the left and right edges of the mask and the skin cannot be detected, so it can be determined that the face is facing the front. In order to estimate the face orientation angle in the horizontal direction, if the center of the face, the edges of the face (contour, ears, etc.), and the left and right edges of the mask can be detected, the approximate face orientation angle can be calculated. A method for recognizing the vertical direction (pitch angle) and the horizontal direction (yaw angle) of the face by the face direction recognition unit 356 will be described in detail below.

（ピッチ角：０度の場合）
顔向きがカメラ正面（ヨー角：０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなる（肌の領域と比較して）が、マスクの左右端には顕著なマスクエッジ等は検出されない。顔向き左１０度（ヨー角：１０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なマスクエッジが検出できるようになる。これは、カメラ正面方向から光を照射しているためである。顔向き左２０度（ヨー角：２０度）のときは、１０度のときと比較すると、より顔を傾けたため、マスクのカメラに向けている側の領域の輝度値が顕著になる。マスクの左端も顕著に検出できる。また、マスク装着した顔は顔中心に対して、左右対称で、顔中心はその他の顔部位に対して、やや突出する傾向にあるので、光をカメラ正面方向から照射すると、マスクの左端に加えて、顔の中心線が明瞭に検出できるようになる。顔向き左３０度、左４０度、左５０度のときも、同様に、マスク左端と顔中心線が顕著に検出することが可能である。また、顔近辺に物体が無い場合、光を照射しても、背景の輝度値は大きくはならないので、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢを検出することが可能である。顔向きを左方向に１０度ずつ傾けた場合、以上で述べたマスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出することによって、顔向きが左に何度方向であるかを判定することができる。顔向きが右方向のときは、顔向き左方向のときと左右が対称となるだけであるので、詳細な説明は割愛する。 (Pitch angle: 0 degrees)
When the face is facing the front of the camera (yaw angle: 0 degrees, pitch angle: 0 degrees), the luminance value of the mouth region is large (compared to the skin region), but no significant mask edges are detected at the left and right edges of the mask. When the face orientation is 10 degrees to the left (yaw angle: 10 degrees, pitch angle: 0 degrees), the luminance value of the mouth region increases, and by tilting the face leftward with respect to the camera, a prominent mask edge can be detected at the left end of the mask. This is because the light is emitted from the front direction of the camera. When the face orientation is 20 degrees to the left (yaw angle: 20 degrees), the face is tilted more than when it is 10 degrees, so the brightness value of the area of the mask facing the camera becomes prominent. The left edge of the mask can also be detected remarkably. In addition, the face wearing a mask is bilaterally symmetrical with respect to the center of the face, and the center of the face tends to protrude slightly from other facial parts. Similarly, the left end of the mask and the center line of the face can be detected remarkably when the face direction is 30 degrees left, 40 degrees left, and 50 degrees left. Also, when there is no object near the face, even if the light is irradiated, the luminance value of the background does not increase, so it is possible to detect the face width WA on the front side of the camera and the face width WB on the back side of the camera. When the face is tilted to the left by 10 degrees, it is possible to determine how many degrees the face is to the left by detecting the left edge of the mask, the center line of the face, the face width WA in front of the camera, the face width WB in the back of the camera, and the like. When the face is directed to the right, the detailed description is omitted because it is only symmetrical to the left and right when the face is directed to the left.

（ピッチ角：上１０度の場合）
顔向きが上１０度（ヨー角：０度、ピッチ角：上１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは、顔が上向きと判定することはできないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である。顔向き左１０度（ヨー角：１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときも、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。 (Pitch angle: 10 degrees upward)
When the face orientation is 10 degrees upward (yaw angle: 0 degrees, pitch angle: 10 degrees upward), the luminance value of the mouth region is greater than that of the skin region, but no significant mask edge or the like is detected at the left and right ends of the mask. The gradient of the upper edge of the mask is steeper than that of the front facing camera (yaw angle: 0 degrees, pitch angle: 0 degrees). However, the gradient of the upper edge of the mask changes due to deformation each time the mask is worn. Therefore, it is not possible to determine that the face is upward based on this alone. When the face orientation is 10 degrees to the left (yaw angle: 10 degrees), the luminance value of the mouth region becomes large, similarly to when the pitch angle is 0 degrees, and by tilting the face to the left with respect to the camera, a prominent edge can be detected at the left end of the mask. Furthermore, even when the face is tilted leftward, the edge of the left end of the mask, the center line of the face, the front face width WA with respect to the camera, the face width WB at the back side with respect to the camera, etc. are detected, similarly to when the pitch angle is 0 degree, and it is possible to determine how many degrees the face is tilted leftward.

顔の上向き角度（ピッチ角）の判定は、顔向き左３０度、左４０度、左５０度等のときの顔中心線の傾きで判定できる。顔の上向き角度（ピッチ角）が０度のときと１０度のときで、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きを比較すると、顔の上向き角度（ピッチ角）が０度のときよりも、顔の上向き角度（ピッチ角）が１０度のときの方が明らかに、顔が上を向いていると判定することができる。この顔の上向き角度（ピッチ角）が１０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の上向き角度（ピッチ角）が１０度であると判定することができる。顔向き方向が上１０度右方向のときは、顔向き上１０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。 The upward angle (pitch angle) of the face can be determined by the inclination of the center line of the face when the face is 30 degrees to the left, 40 degrees to the left, 50 degrees to the left, or the like. By comparing the inclination of the center line of the face when the upward angle (pitch angle) of the face is 0 degrees and 10 degrees, and when the face direction is 30 degrees to the left, 40 degrees to the left, and 50 degrees to the left, it can be clearly determined that the face is facing upward when the upward angle (pitch angle) is 10 degrees rather than when the upward angle (pitch angle) is 0 degrees. If the gradient of the upper edge of the mask when the upward angle (pitch angle) of the face is 10 degrees is recorded as a reference, it can be determined that the upward angle (pitch angle) of the face is 10 degrees if the angle is the same as the gradient of the upper edge of the mask in an image taken later (preferably with a constant width and substantially the same angle) as long as the mask is not deformed. When the face direction is upward 10 degrees to the right, it is only left-right symmetrical to when the face is upward 10 degrees to the left, so a detailed description will be omitted.

（ピッチ角：上２０度の場合）
顔向きが上２０度（ヨー角：０度、ピッチ角：上２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは上向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる。顔向き左１０度（ヨー角：１０度、ピッチ角：上２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。 (Pitch angle: 20 degrees upward)
When the face is oriented 20 degrees upward (yaw angle: 0 degrees, pitch angle: 20 degrees upward), the luminance value of the mouth region is greater than that of the skin region, but no significant mask edges are detected at the left and right ends of the mask. The slope of the upper edge of the mask is steeper than that of the front facing camera (yaw angle: 0 degrees, pitch angle: 0 degrees), but the slope of the upper edge of the mask changes due to deformation each time the mask is worn. When the face orientation is 10 degrees to the left (yaw angle: 10 degrees, pitch angle: 20 degrees upward), the luminance value of the mouth region becomes large, as when the pitch angle is 0 degrees, and by tilting the face to the left with respect to the camera, a prominent edge can be detected at the left end of the mask. Further, when the face is tilted to the left, the edge of the left end of the mask, the center line of the face, the front face width WA with respect to the camera, the face width WB at the rear side of the camera, etc. are detected in the same manner as when the pitch angle is 0 degree, and it is possible to determine how many degrees the face is tilted leftward.

顔の上向き角度（ピッチ角）の判定は、顔向き上１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。顔向き上１０度のときと顔向き上２０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、顔向き上２０度のときの方がより傾いているので、上２０度と判定することができる。また、この顔の上向き角度（ピッチ角）が２０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の上向き角度（ピッチ角）が２０度であると判定することができる。顔向き方向が上２０度右方向のときは、顔向き上２０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。 The upward angle (pitch angle) of the face can be determined based on the inclination of the face center line when the face is 30 degrees left, 40 degrees left, and 50 degrees left, as in the case where the face is 10 degrees upward. Comparing when the face is upward 10 degrees and when the face is upward 20 degrees, the tilt of the face center line at 30 degrees left, 40 degrees left, and 50 degrees left is more tilted when the face is upward 20 degrees, so it can be determined to be 20 degrees upward. Also, if the gradient of the upper edge of the mask when the upward angle (pitch angle) of the face is 20 degrees is recorded as a reference, it can be determined that the upward angle (pitch angle) of the face is 20 degrees if the angle is the same as the gradient of the upper edge of the mask in an image taken later (preferably with a constant width and substantially the same angle) as long as the mask is not deformed. When the face direction is upward 20 degrees to the right, the detailed description is omitted because it is only left-right symmetrical to when the face is upward 20 degrees to the left.

（ピッチ角：下１０度の場合）
顔向きが下１０度（ヨー角：０度、ピッチ角：下１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することは可能である。 (Pitch angle: 10 degrees below)
When the face is oriented downward by 10 degrees (yaw angle: 0 degrees, pitch angle: downward 10 degrees), the luminance value of the mouth region is greater than that of the skin region, but no significant mask edges are detected at the left and right ends of the mask. The slope of the upper edge of the mask is gentler than that facing the camera (yaw angle: 0 degrees, pitch angle: 0 degrees). However, the slope of the upper edge of the mask changes due to deformation each time the mask is worn. When the face orientation is 10 degrees to the left (yaw angle: 10 degrees, pitch angle: downward 10 degrees), the luminance value of the mouth region becomes large, similarly to when the pitch angle is 0 degrees, and by tilting the face to the left with respect to the camera, a prominent edge can be detected at the left end of the mask. When the face is tilted to the left, it is possible to determine how many degrees the face is tilted to the left by detecting the edge of the left end of the mask, the center line of the face, the face width WA in front of the camera, the face width WB in the back of the camera, etc., in the same way as when the pitch angle is 0 degrees.

顔の下向き角度の判定は、顔向き上１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。ピッチ角：０度のときと、ピッチ角：下１０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、ピッチ角：下１０度の方が顔がより下方向に傾いていると判定でき、下１０度と判定することが可能である。この顔の下向き角度（ピッチ角）が１０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の下向き角度（ピッチ角）が１０度であると判定することができる。顔向き方向が下１０度右方向のときは、顔向き下１０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。 The downward angle of the face can be determined based on the inclination of the center line of the face when the face is 30 degrees left, 40 degrees left, and 50 degrees left, as in the case when the face is 10 degrees upward. Comparing the pitch angle of 0 degrees and the pitch angle of 10 degrees downward, the inclination of the face center line at 30 degrees left, 40 degrees left, and 50 degrees left can be determined to be 10 degrees downward because the face is tilted more downward at the pitch angle of 10 degrees downward. If the gradient of the upper edge of the mask when the downward angle (pitch angle) of the face is 10 degrees is recorded as a reference, it can be determined that the downward angle (pitch angle) of the face is 10 degrees if the angle is the same as the gradient of the upper edge of the mask in an image taken later (preferably with a constant width and substantially the same angle) as long as the mask is not deformed. When the face direction is downward 10 degrees to the right, the detailed description is omitted because it is symmetrical to the case when the face is downward 10 degrees to the left.

（ピッチ角：下２０度の場合）
顔向きが下２０度（ヨー角：０度、ピッチ角：下２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、装着時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することが可能である。 (Pitch angle: 20 degrees below)
When the face is 20 degrees downward (yaw angle: 0 degrees, pitch angle: 20 degrees downward), the luminance value of the mouth region is greater than that of the skin region, but no significant mask edges are detected at the left and right ends of the mask. The upper edge of the mask has a gentle gradient compared to the front facing camera (yaw angle: 0 degrees, pitch angle: 0 degrees), but the edge gradient on the upper side of the mask changes due to deformation each time the mask is worn. Therefore, it cannot be determined that the face is facing downward based on this alone. When the face orientation is 10 degrees to the left (yaw angle: 10 degrees, pitch angle: downward 20 degrees), the luminance value of the mouth region becomes large, similarly to when the pitch angle is 0 degrees, and by tilting the face to the left with respect to the camera, a prominent edge can be detected at the left end of the mask. Further, when the face is tilted leftward, it is possible to determine how many times the face is tilted leftward by detecting the edge of the left end of the mask, the center line of the face, the face width WA in front of the camera, the face width WB in the back of the camera, etc., in the same way as when the pitch angle is 0 degrees.

顔の下向き角度（ピッチ角）の判定は、顔向き下１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。顔向き下１０度のときと顔向き下２０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、顔がより下方向に傾いていると判定でき、下２０度と判定することができる。この顔の下向き角度（ピッチ角）が２０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の下向き角度（ピッチ角）が２０度であると判定することができる。顔向き方向が下２０度右方向のときは、顔向き下２０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。 The downward angle (pitch angle) of the face can be determined by the tilt of the face center line when the face is 30 degrees left, 40 degrees left, and 50 degrees left, as in the case of 10 degrees downward. Comparing when the face is 10 degrees downward and 20 degrees downward, the tilt of the face center line at 30 degrees to the left, 40 degrees to the left, and 50 degrees to the left can be determined to be 20 degrees downward because the face is tilted more downward. If the gradient of the upper edge of the mask when the downward angle (pitch angle) of the face is 20 degrees is recorded as a reference, it can be determined that the downward angle (pitch angle) of the face is 20 degrees if the angle is the same as the gradient of the upper edge of the mask in an image taken later (preferably with a constant width and approximately the same angle) as long as the mask is not deformed. When the face direction is downward 20 degrees to the right, the detailed description is omitted because it is only symmetrical to the case when the face is downward 20 degrees to the left.

なお、顔向きを左５０度のときなどにおいて、マスク左端近辺の肌の輝度値が高くなる場合があるが、耳にかけるマスクの紐部も、光照射によって輝度値が高くなり、顕著なエッジが検出できるので、その情報を基に、マスク左端を検出することも可能である。この紐エッジ情報から、顔の上下向きを判定することもできる。 When the face is oriented 50 degrees to the left, the luminance value of the skin near the left edge of the mask may become high. However, the cord portion of the mask that is worn over the ear also has a high luminance value due to light irradiation, and a prominent edge can be detected. Based on this information, it is also possible to detect the left edge of the mask. From this string edge information, it is also possible to determine whether the face is facing up or down.

また、顔幅ＷＡ、ＷＢは顔向き上下方向で異なる場合がある（図２における垂線２２２の取り方にもよる）ことから、顔向き上下向きを判定し、上下向き毎の基準に基づき、顔幅による向き判定を行うこともできる。 In addition, since the face widths WA and WB may differ in the vertical direction of the face (depending on how the perpendicular 222 is taken in FIG. 2), the vertical direction of the face can be determined, and the orientation can be determined based on the face width based on the criteria for each vertical direction.

更に、カメラＣと同じ方向から光を照射する場合、顔が下向き２０度のときは、額が髪の毛で遮蔽されていない場合は、額領域の輝度が大きくなる。額領域の輝度が所定の閾値より大きくなったことで、下向き２０度と判定してもよい。 Furthermore, when the light is emitted from the same direction as the camera C, the brightness of the forehead area is increased when the face is downward 20 degrees and the forehead is not blocked by the hair. When the luminance of the forehead region becomes greater than a predetermined threshold value, it may be determined that the downward direction is 20 degrees.

更にまた、顔向き上下方向の基準となるマスク上側エッジ勾配は、一度決めれば、その値を基準にして、上下方向のピッチ角を判定することもできる。例えば、下向き２０度時において、マスク上側エッジ勾配を一度決定した後に、顔向きが上２０度となったときに、基準となる下向き２０度時のエッジ勾配に基づき、顔向きが上２０度時のエッジ勾配を算出し、その値と画像から検出したエッジ勾配を比較して近い値であれば、顔向きが上２０度になったと判定することもできる。基準となるエッジ勾配は、マスク着用時の変形や着脱等が無ければ、計算可能である。顔とカメラの距離が変われば変化するが、その距離が略一定である場合、一度基準が決まれば、その基準に基づいて、判定することができる。また、顔とカメラの距離が変化したときでも、顔の奥行き情報や顔の大きさ情報に基づいて、基準となるエッジ勾配を変化させれば、顔向き方向を判定することができる。 Furthermore, once the mask upper edge gradient, which serves as a reference in the vertical direction of the face direction, is determined, the pitch angle in the vertical direction can be determined based on that value. For example, when the face orientation is 20 degrees upward after determining the mask upper edge gradient once when the face is 20 degrees downward, the edge gradient when the face orientation is 20 degrees upward is calculated based on the reference edge gradient when the face is 20 degrees downward. The reference edge gradient can be calculated if there is no deformation, removal, or the like when wearing the mask. If the distance between the face and the camera changes, it will change, but if the distance is substantially constant, once a criterion is determined, it can be determined based on that criterion. Further, even when the distance between the face and the camera changes, the face direction can be determined by changing the reference edge gradient based on the depth information and the size information of the face.

また、マスクは様々な種類があることから、何れの種類のマスクを着用しているかを判定して、着用しているマスク特有の形状情報に基づいて、顔向き方向を推定することもできる。発明者の調査によると、現在市販されているマスクには様々な種類があるが、上述したマスク左端（右端）のエッジに関しては、マスク毎の特徴はあるが、顔が左右方向を向いたときに、光を照射すれば、ほぼ全てのマスクについてマスク左右端のマスク特有の形状を検出することができることが判明している。また、顔が左右方向を向いたときの顔（マスク）の中心線も、マスクの種類に形状に違いがあるが、ほとんど全てマスクで、マスク中心部が突出した形状になっている（顔は顔中心に突出した形状になっており、その形状にフィットさせるため）ことから、光をカメラ側から照射すれば、顔中心となるマスク中心を検出することができる。また、上述したマスク上側のエッジ勾配に関しては、マスクの種類により様々であるが、上述した処理で、一度基準を決定すれば、その基準に基づいて、顔の上下方向の角度を判定することはできる。特異な形状として、例えば図８（Ａ）に示すマスクでは、マスク左右端の形状が縦のエッジ線ではないが、マスク左右端の形状を検出することはできる。また、図８（Ｂ）に示すような半球状のカップ型マスクがあるが、マスク中心やマスク上端エッジ勾配を検出することはできる。更に、黒いマスクでも、赤外撮影すると、輝度値の多少の差はあるが白く撮像することができるので、同様に、マスク検出し、マスク左右端や上端の特徴を検出することができる。 Also, since there are various types of masks, it is possible to determine which type of mask the user is wearing, and to estimate the face direction based on the shape information specific to the mask being worn. According to the inventor's research, there are various types of masks currently on the market, but with regard to the left edge (right edge) of the mask, although each mask has its own characteristics, it is possible to detect the mask-specific shape at the left and right edges of almost all masks by irradiating light when the face is facing in the left and right direction. Also, the center line of the face (mask) when the face is turned to the left or right has a different shape depending on the type of mask, but almost all of them are masks, and the center of the mask protrudes. Further, the above-described edge gradient on the upper side of the mask varies depending on the type of mask, but once the reference is determined in the above-described process, the angle in the vertical direction of the face can be determined based on that reference. As a peculiar shape, for example, in the mask shown in FIG. 8A, the shape of the left and right edges of the mask is not a vertical edge line, but the shape of the left and right edges of the mask can be detected. Also, there is a hemispherical cup-shaped mask as shown in FIG. 8B, but it is possible to detect the mask center and the mask top edge gradient. Furthermore, even a black mask can be imaged white with a slight difference in luminance value when photographed by infrared light, so similarly mask detection can be performed to detect the features of the left and right edges and the upper edge of the mask.

また、マスクは変形することがあるが、上述したマスク左右端のエッジの特徴については変化はほとんど発生しない。顔が左右方向を向いたときのマスクの中心線に関しては、マスクが柔軟な形状変化をするため、変形によりマスクの中心線が検出できない場合が生じる可能性もある。このような場合は、左３０度から左５０度のときにおいて、マスク領域ではなく、顔上半分の部分において、顔の中心線を検出して、顔向き上下方向判定を行うこともできるし、耳にかけているマスクの紐部の傾きを検出して、顔向き上下方向判定を行うこともできる。マスク上側エッジの勾配もマスク変形により変化することがあるが、一度基準勾配を決定すれば、マスク変形を考慮して、定期的に、基準をその都度計算するような処理を行えば、マスク上側エッジの勾配の変形にも対応することができる。 Also, although the mask may be deformed, the features of the edges at the left and right edges of the mask as described above hardly change. Regarding the center line of the mask when the face is turned to the left or right, there is a possibility that the center line of the mask cannot be detected due to the deformation of the mask because the shape of the mask flexibly changes. In such a case, when the angle is from 30 degrees left to 50 degrees left, the center line of the face can be detected in the upper half of the face instead of the mask area, and the face direction can be determined. Although the gradient of the upper edge of the mask may also change due to mask deformation, once the reference gradient is determined, the modification of the gradient of the upper edge of the mask can be dealt with by performing a process of periodically calculating the reference each time in consideration of the mask deformation.

顔向き方向認識部３５６が顔の向きを認識する上で、輝度値に基づいてエッジ勾配等を抽出する場合があるが、撮影条件によって、カメラパラメータ（露光時間等）や照射光強度を変更した方（何れか一方でも両方でもよい）が顕著にエッジ勾配等の特徴を抽出できる場合がある。そのような場合には、口領域検出部３５２、マスク着用判定部３５３、マスク特徴検出部３５４、顔特徴検出部３５５が検出した輝度値に基づいて、照射光調整部３５７が照射部Ｌから照射する光の強度を調整したり、カメラ調整部３５８がカメラＣのパラメータを調整したりする。 When the face orientation recognition unit 356 recognizes the orientation of the face, edge gradients and the like may be extracted based on the luminance value, but depending on the shooting conditions, changing the camera parameters (exposure time, etc.) or the intensity of the irradiation light (either one or both of them is acceptable) may enable the extraction of features such as the edge gradients to be remarkable. In such a case, based on the brightness values detected by the mouth area detection unit 352, the mask wearing determination unit 353, the mask feature detection unit 354, and the facial feature detection unit 355, the irradiation light adjustment unit 357 adjusts the intensity of the light emitted from the irradiation unit L, and the camera adjustment unit 358 adjusts the parameters of the camera C.

［３．認識装置Ｄの動作例］
次に、図９－図１２のフローチャートを用いて、認識装置Ｄの顔向き判定処理の一例について説明する。 [3. Operation example of recognition device D]
Next, an example of face orientation determination processing of the recognition apparatus D will be described using the flowcharts of FIGS. 9 to 12. FIG.

まず、認識装置Ｄの制御部３１１は、マスクＭにより被覆された顔Ｆを、照射部Ｌが光を照射した状態でカメラＣが撮影した画像を取得する（ステップＳ１１）。 First, the control unit 311 of the recognition device D acquires an image of the face F covered with the mask M, which is captured by the camera C while the irradiation unit L is emitting light (step S11).

次に、制御部３１１は、ステップＳ１１の処理で取得した画像に写る顔の口領域を検出する（ステップＳ１２）。 Next, the control unit 311 detects the mouth region of the face appearing in the image acquired in the process of step S11 (step S12).

次に、制御部３１１は、ステップＳ１２に処理で検出した口領域について、マスク着用判定処理を行う（ステップＳ１３）。 Next, the control unit 311 performs mask wearing determination processing for the mouth region detected in the processing of step S12 (step S13).

ここで、図１０を用いて、マスク着用判定処理について説明する。 Here, the mask-wearing determination process will be described with reference to FIG. 10 .

まず、制御部３１１は、肌領域（例えば、図６の右目領域４０１）の平均輝度値Ｉａを算出する（ステップＳ２１）。 First, the control unit 311 calculates the average luminance value Ia of the skin area (for example, the right eye area 401 in FIG. 6) (step S21).

次に、制御部３１１は、口領域（例えば、図６の口領域４０２）の平均輝度値Ｉｂを算出する（ステップＳ２２）。 Next, the control unit 311 calculates the average luminance value Ib of the mouth region (for example, the mouth region 402 in FIG. 6) (step S22).

次に、制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立するか否かを判定する（ステップＳ２３）。ここで、Ｉｃは閾値（例えばＩｃ＝４０）である。Ｉｃは観測輝度値等に応じて設定することができる。制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立すると判定した場合には（ステップＳ２３：ＹＥＳ）、マスク着用と判定し（ステップＳ２４）、マスク着用判定処理を終了する。一方、制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立しないと判定した場合には（ステップＳ２３：ＮＯ）、マスク未着用と判定し（ステップＳ２５）、マスク着用判定処理を終了する。 Next, the control unit 311 determines whether or not "Ib-Ia>Ic" holds (step S23). Here, Ic is a threshold (for example, Ic=40). Ic can be set according to the observed luminance value or the like. When determining that “Ib−Ia>Ic” holds (step S23: YES), the control unit 311 determines that the person is wearing a mask (step S24), and terminates the mask wearing determination process. On the other hand, when determining that “Ib−Ia>Ic” does not hold (step S23: NO), the control unit 311 determines that the mask is not worn (step S25), and ends the mask wearing determination process.

図９に戻り、制御部３１１は、マスク着用判定処理においてマスク着用と判定したか否かを判定する（ステップＳ１４）。制御部３１１は、マスク着用していない（未着用）と判定したと場合には（ステップＳ１４：ＮＯ）、顔向き判定処理を終了する。一方、制御部３１１は、マスク着用と判定したと場合には（ステップＳ１４：ＹＥＳ）、次いで、ヨー角判定処理を行う（ステップＳ１５）。 Returning to FIG. 9, the control unit 311 determines whether or not it is determined to wear a mask in the mask wearing determination process (step S14). When the control unit 311 determines that the mask is not worn (not worn) (step S14: NO), the face orientation determination process ends. On the other hand, when it is determined that the mask is worn (step S14: YES), the control section 311 performs yaw angle determination processing (step S15).

ここで、図１１を用いて、ヨー角判定処理について説明する。 Here, the yaw angle determination processing will be described with reference to FIG. 11 .

まず、制御部３１１は、ステップＳ１１又は後述するステップＳ１８の処理で取得した画像からマスク左右端を検出できるか否かを判定する（ステップＳ３１）。なお、図８（Ａ）に示したような左右端の形状が特殊なマスクについては、肌の輝度値に対して大きい輝度値のマスク部を最初に判定して記録しておくことにより、以降の処理でも同様に処理することができる。 First, the control unit 311 determines whether or not the left and right edges of the mask can be detected from the image acquired in step S11 or step S18 described later (step S31). For a mask with a special left and right edge shape as shown in FIG. 8A, by first determining and recording a mask portion with a luminance value greater than the luminance value of the skin, subsequent processing can be performed in the same way.

制御部３１１は、マスク左右端を検出できないと判定した場合には（ステップＳ３１：ＮＯ）、ヨー角を「０度」と判定し（ステップＳ３２）、ヨー角判定処理を終了する。一方、マスク左右端を検出できると判定した場合には（ステップＳ３１：ＹＥＳ）、次いで、顔中心線（図２の顔中心線２１２参照）を検出できるか否かを判定する（ステップＳ３３）。 When determining that the left and right edges of the mask cannot be detected (step S31: NO), the control unit 311 determines that the yaw angle is "0 degrees" (step S32), and ends the yaw angle determination process. On the other hand, if it is determined that the left and right edges of the mask can be detected (step S31: YES), then it is determined whether or not the face center line (see face center line 212 in FIG. 2) can be detected (step S33).

制御部３１１は、顔中心線を検出できないと判定した場合には（ステップＳ３３：ＮＯ）、ヨー角を「１０度」と判定し（ステップＳ３４）、ヨー角判定処理を終了する。一方、顔中心線を検出できると判定した場合には（ステップＳ３３：ＹＥＳ）、次いで、手前側顔幅ＷＡと奥側顔幅ＷＢを算出する（図３参照）（ステップＳ３５）。 When determining that the face center line cannot be detected (step S33: NO), the control unit 311 determines that the yaw angle is "10 degrees" (step S34), and ends the yaw angle determination process. On the other hand, if it is determined that the face center line can be detected (step S33: YES), then the front side face width WA and the back side face width WB are calculated (see FIG. 3) (step S35).

次に、制御部３１１は、ステップＳ３５の処理で算出した手前側顔幅ＷＡと奥側顔幅ＷＢに基づいてヨー角を判定する（ステップＳ３６）。本実施例では、ＷＢ／ＷＡと、予め定められた閾値Ｙ１、Ｙ２、Ｙ３（Ｙ１＞Ｙ２＞Ｙ３）を比較することにより、ヨー角を判定する。閾値Ｙ１、Ｙ２、Ｙ３は、カメラＣと顔Ｆの距離を観測した値等に基づいて値を変えてもよい。 Next, the controller 311 determines the yaw angle based on the front face width WA and the back face width WB calculated in step S35 (step S36). In this embodiment, the yaw angle is determined by comparing WB/WA with predetermined threshold values Y1, Y2, and Y3 (Y1>Y2>Y3). The threshold values Y1, Y2, and Y3 may be changed based on the observed value of the distance between the camera C and the face F, or the like.

制御部３１１は、具体的には、次の通りヨー角を判定する。
（１）Ｙ１＜ＷＢ／ＷＡ → ヨー角：２０度
（２）Ｙ２＜ＷＢ／ＷＡ＜Ｙ１ → ヨー角：３０度
（３）Ｙ３＜ＷＢ／ＷＡ＜Ｙ２ → ヨー角：４０度
（４）ＷＢ／ＷＡ＜Ｙ３ → ヨー角：５０度 Specifically, the controller 311 determines the yaw angle as follows.
(1) Y1 < WB/WA → yaw angle: 20 degrees (2) Y2 < WB/WA < Y1 → yaw angle: 30 degrees (3) Y3 < WB/WA < Y2 → yaw angle: 40 degrees (4) WB/WA < Y3 → yaw angle: 50 degrees

次に、制御部３１１は、顔中心線補正処理を行い（ステップＳ３７）、ヨー角判定処理を終了する。顔中心線補正処理は、照射部Ｌに対してヨー角が大きくなると、マスク中心部の輝度値が下がり、上述した輝度値条件により検出するマスク中心線と顔中心線が一致しなくなってしまう場合があるので（例えば、図７のヨー角５０度時。ヨー角４０度以下であれば、マスク中心線と顔中心線が一致しやすい）、そのような場合に顔中心線を補正するために行われる。本実施例では、ヨー角が５０度未満である場合には、輝度値２２０以上に色分けされた画素で形成されるエッジに対応する線を顔中心線とする。一方、ヨー角が５０度以上である場合には、輝度値１６０以上２２０未満に色分けされた画素で形成されるエッジに対応する線を顔中心線とする。 Next, the control unit 311 performs face center line correction processing (step S37), and ends the yaw angle determination processing. The face center line correction process is performed to correct the face center line in such a case, because when the yaw angle with respect to the irradiation part L increases, the luminance value at the center of the mask decreases, and the mask center line and the face center line detected according to the above-described luminance value conditions do not match (for example, when the yaw angle is 50 degrees in FIG. 7. When the yaw angle is 40 degrees or less, the mask center line and the face center line tend to match). In this embodiment, when the yaw angle is less than 50 degrees, the line corresponding to the edge formed by the pixels color-coded with a luminance value of 220 or more is taken as the face center line. On the other hand, when the yaw angle is 50 degrees or more, a line corresponding to an edge formed by pixels color-coded with luminance values of 160 or more and less than 220 is taken as the face center line.

図９に戻り、制御部３１１は、ピッチ角判定処理を行う（ステップＳ１６）。 Returning to FIG. 9, the control unit 311 performs pitch angle determination processing (step S16).

ここで、図１２を用いて、ピッチ角判定処理について説明する。 Here, the pitch angle determination processing will be described with reference to FIG. 12 .

まず、制御部３１１は、全ピッチ角（下２０度、下１０度、０度、上１０度、上２０度）についてマスク上端の傾きを記録済みであるか否かを判定する（ステップＳ５１）。このとき、制御部３１１は、全ピッチ角についてマスク上端の傾きを記録済みではないと判定した場合には（ステップＳ５１：ＮＯ）、マスク左右端の特徴と顔中心線（マスク上端付近）の特徴に基づいてピッチ角を判定する（ステップＳ５３）。具体的には、図１３（Ａ）、（Ｂ）に示すように、マスク左右端の特徴と顔中心線の特徴は、ピッチ角に応じて異なることから、事前にピッチ角毎に基準となるマスク左右端の特徴と顔中心線を記憶部３１２に記録しておき、今回取得した画像におけるマスク左右端の特徴と顔中心線を比較して最も類似するマスク左右端の特徴と顔中心線に対応付けられているピッチ角を、画像に写る顔のピッチ角と判定する。なお、本実施例では、マスク左右端の特徴としてマスク上紐の傾きを記録しておき、顔中心線の特徴として、マスク上端付近の傾きを記録しておくこととする。 First, the control unit 311 determines whether or not the tilt of the mask upper end has been recorded for all pitch angles (down 20 degrees, down 10 degrees, 0 degrees, up 10 degrees, up 20 degrees) (step S51). At this time, if the controller 311 determines that the inclination of the upper edge of the mask has not been recorded for all pitch angles (step S51: NO), the controller 311 determines the pitch angle based on the features of the left and right edges of the mask and the features of the center line of the face (near the upper edge of the mask) (step S53). Specifically, as shown in FIGS. 13A and 13B, since the features of the left and right edges of the mask and the features of the center line of the face differ depending on the pitch angle, the features of the left and right edges of the mask and the center line of the face, which serve as references for each pitch angle, are recorded in advance in a storage unit 312, and the features of the left and right edges of the mask and the center line of the face in the currently acquired image are compared, and the pitch angle associated with the most similar feature of the left and right edges of the mask and the center line of the face is determined as the pitch angle of the face in the image. In this embodiment, the inclination of the mask upper cord is recorded as the characteristic of the right and left edges of the mask, and the inclination near the upper edge of the mask is recorded as the characteristic of the center line of the face.

以下、具体的に説明する。
・記憶部３１２に記録されているピッチ０度時（水平時）のマスク上紐の傾き：ｍ０
・記憶部３１２に記録されているピッチ０度時（水平時）の顔中心線の傾き：ｖ０
・記憶部３１２に記録されているピッチ上１０度時のマスク上紐の傾き：ｍ１
・記憶部３１２に記録されているピッチ上１０度時の顔中心線の傾き：ｖ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上紐の傾き：ｍ２
・記憶部３１２に記録されているピッチ上２０度時の顔中心線の傾き：ｖ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上紐の傾き：ｍ３
・記憶部３１２に記録されているピッチ下１０度時の顔中心線の傾き：ｖ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上紐の傾き：ｍ４
・記憶部３１２に記録されているピッチ下２０度時の顔中心線の傾き：ｖ４
・今回取得した画像のマスク上紐の傾き：ｍＡ
・今回取得した画像の顔中心線の傾き：ｖＡ
上記の通りマスク上紐の傾き（「マスク左右端の特徴」の一例）及び顔中心線の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。 A specific description will be given below.
・Inclination of the mask upper cord when the pitch is 0 degrees (when horizontal) recorded in the storage unit 312: m0
・Inclination of the center line of the face when the pitch is 0 degrees (when horizontal) recorded in the storage unit 312: v0
・Inclination of the mask upper string at 10 degrees above the pitch recorded in the storage unit 312: m1
・Inclination of face center line at 10 degrees above pitch recorded in storage unit 312: v1
・Inclination of the mask upper string at 20 degrees above the pitch recorded in the storage unit 312: m2
・Inclination of face center line at 20 degrees above pitch recorded in storage unit 312: v2
・Inclination of mask upper cord at 10 degrees below pitch recorded in storage unit 312: m3
・Inclination of face center line at 10 degrees below pitch recorded in storage unit 312: v3
・Inclination of mask upper strap at 20 degrees below pitch recorded in storage unit 312: m4
・Inclination of the face center line when the pitch is 20 degrees below the pitch recorded in the storage unit 312: v4
・Inclination of the strap on the mask in the image acquired this time: mA
・Inclination of the face center line of the image acquired this time: vA
When the inclination of the mask upper strap (an example of the “characteristics of the left and right edges of the mask”) and the inclination of the center line of the face are defined as described above, the control unit 331 determines the pitch angle as follows.

（１）[（ｖ３＋ｖ０）／２＜ｖＡ＜（ｖ０＋ｖ１）／２] or／and
[（ｍ３＋ｍ０）／２＜ｍＡ＜（ｍ０＋ｍ１）／２] → ピッチ角：０度 (1) [(v3+v0)/2<vA<(v0+v1)/2] or/and
[(m3+m0)/2<mA<(m0+m1)/2] → pitch angle: 0 degrees

（２）[（ｖ０＋ｖ１）／２＜ｖＡ＜（ｖ１＋ｖ２）／２] or／and
[（ｍ０＋ｍ１）／２＜ｍＡ＜（ｍ１＋ｍ２）／２] → ピッチ角：上１０度 (2) [(v0+v1)/2<vA<(v1+v2)/2] or/and
[(m0+m1)/2<mA<(m1+m2)/2] → pitch angle: upward 10 degrees

（３）[（ｖ１＋ｖ２）／２＜ｖＡ] or／and
[（ｍ１＋ｍ２）／２＜ｍＡ] → ピッチ角：上２０度 (3) [(v1+v2)/2<vA] or/and
[(m1+m2)/2<mA] → pitch angle: 20 degrees upward

（４）[（ｖ３＋ｖ４）／２＜ｖＡ＜（ｖ０＋ｖ３）／２] or／and
[（ｍ３＋ｍ４）／２＜ｍＡ＜（ｍ０＋ｍ３）／２] → ピッチ角：下１０度 (4) [(v3+v4)/2<vA<(v0+v3)/2] or/and
[(m3+m4)/2<mA<(m0+m3)/2] → pitch angle: downward 10 degrees

（５）[ｖＡ＜（ｖ３＋ｖ４）／２] or／and
[ｍＡ＜（ｍ３＋ｍ４）／２] → ピッチ角：下２０度 (5) [vA<(v3+v4)/2] or/and
[mA<(m3+m4)/2] → Pitch angle: downward 20 degrees

次に、制御部３１１は、マスク上端（図２の上境界２１３）を検出し、ステップＳ５３の処理で判定したピッチ角とマスク上端の傾きを対応付けて記憶部３１２に記録し（ステップＳ５４）、ピッチ角判定処理を終了する。 Next, the control unit 311 detects the upper edge of the mask (the upper boundary 213 in FIG. 2), associates the pitch angle determined in the process of step S53 with the inclination of the upper edge of the mask, and records them in the storage unit 312 (step S54), and ends the pitch angle determination process.

一方、制御部３１１は、ステップＳ５１の処理において、全ピッチ角についてマスク上端の傾きを記録済みであると判定した場合には（ステップＳ５１：ＹＥＳ）、記録済のマスク上端の傾きと、今回取得した画像のマスク上端の傾きを比較し、ピッチ角を判定し（ステップＳ５２）、ピッチ角判定処理を終了する。ここで、記録済のマスク上端の傾きと、画像のマスク上端の傾きを比較し、ピッチ角を判定する場合について具体的に説明する。 On the other hand, if the control unit 311 determines in the process of step S51 that the inclination of the mask upper edge has been recorded for all pitch angles (step S51: YES), the recorded inclination of the mask upper edge is compared with the inclination of the mask upper edge of the image acquired this time to determine the pitch angle (step S52), and the pitch angle determination process ends. Here, a specific description will be given of a case where the pitch angle is determined by comparing the inclination of the upper edge of the printed mask with the inclination of the upper edge of the mask of the image.

・記憶部３１２に記録されているピッチ０度時（水平時）のマスク上端の傾き：ｇ０
・記憶部３１２に記録されているピッチ上１０度時のマスク上端の傾き：ｇ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上端の傾き：ｇ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上端の傾き：ｇ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上端の傾き：ｇ４
・今回取得した画像のマスク上端の傾き：ｇＡ
上記の通りマスク上端の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。 ・Inclination of the top edge of the mask when the pitch is 0 degrees (when horizontal) recorded in the storage unit 312: g0
・Inclination of the upper edge of the mask at 10 degrees above the pitch recorded in the storage unit 312: g1
・Inclination of the upper edge of the mask at 20 degrees above the pitch recorded in the storage unit 312: g2
・Inclination of the upper edge of the mask at 10 degrees below the pitch recorded in the storage unit 312: g3
・Inclination of the upper edge of the mask when the pitch is 20 degrees below the pitch recorded in the storage unit 312: g4
・Inclination of the top edge of the mask of the image acquired this time: gA
When the inclination of the upper end of the mask is defined as described above, the control section 331 determines the pitch angle as follows.

（１）[（ｇ３＋ｇ０）／２＜ｇＡ＜（ｇ０＋ｇ１）／２] → ピッチ角：０度 (1) [(g3+g0)/2<gA<(g0+g1)/2] → pitch angle: 0 degrees

（２）[（ｇ０＋ｇ１）／２＜ｇＡ＜（ｇ１＋ｇ２）／２] → ピッチ角：上１０度 (2) [(g0+g1)/2<gA<(g1+g2)/2] → pitch angle: upward 10 degrees

（３）[（ｇ１＋Ｇ２）／２＜ｇＡ] → ピッチ角：上２０度 (3) [(g1+G2)/2<gA] → pitch angle: 20 degrees upward

（４）[（ｇ３＋ｇ４）／２＜ｇＡ＜（ｇ０＋ｇ３）／２] → ピッチ角：下１０度 (4) [(g3+g4)/2<gA<(g0+g3)/2] → pitch angle: downward 10 degrees

（５）[ｇＡ＜（ｇ３＋ｇ４）／２] → ピッチ角：下２０度 (5) [gA<(g3+g4)/2] → Pitch angle: 20 degrees below

図９に戻り、制御部３１１は、顔向き判定処理を継続するか否かを判定する（ステップＳ１７）。このとき、制御部３１１は、顔向き判定処理を継続しないと判定したときには（ステップＳ１７：ＮＯ）、顔向き判定処理を終了する。一方、制御部３１１は、顔向き判定処理を継続すると判定したときには（ステップＳ１７：ＹＥＳ）、次の画像を取得し（ステップＳ１８）、ステップＳ１５の処理に移行する。 Returning to FIG. 9, the control unit 311 determines whether or not to continue the face orientation determination process (step S17). At this time, when the control unit 311 determines not to continue the face orientation determination process (step S17: NO), it ends the face orientation determination process. On the other hand, when determining to continue the face orientation determination process (step S17: YES), the control section 311 obtains the next image (step S18), and proceeds to the process of step S15.

以上説明したように、本実施例に係る認識装置Ｄの制御部３１１（「取得手段」、「検出手段」、「認識手段」の一例）は、マスク（「被覆部材」の一例）により被覆された顔（「対象」の一例）を照射部Ｌ（「照射手段」の一例）により光を照射した状態で撮影した画像を取得し、当該取得した画像に含まれる画素の輝度値に基づいて、顔中心線２１２（「対象の表面における正面縦方向の中心線」の一例）を検出し、当該検出結果に基づいて、対象の向きを認識する。 As described above, the control unit 311 (an example of an “acquisition unit”, a “detection unit”, or a “recognition unit”) of the recognition device D according to the present embodiment acquires an image of a face (an example of a “target”) covered with a mask (an example of a “covering member”) while being irradiated with light from an irradiation unit L (an example of an “irradiation unit”), and based on the brightness values of pixels included in the acquired image, the face center line 212 (an example of the “center line in the front vertical direction on the surface of the target”). ) is detected, and the orientation of the object is recognized based on the detection result.

したがって、本実施例に係る認識装置Ｄによれば、画像に含まれる画素の輝度値に基づく顔中心線２１２の検出結果に基づいて顔の向きを認識することから、顔がマスクにより被覆されている場合であっても顔の向きを正確に認識することができる。また、パターンマッチングのような処理負荷の高い処理をせずに顔の向きを認識できる。さらに、パターンマッチングのためのパターン画像も記憶しておく必要がないので、記憶部３１２を小容量の記憶装置とすることができる。 Therefore, according to the recognition device D according to the present embodiment, since the orientation of the face is recognized based on the detection result of the face center line 212 based on the luminance values of the pixels included in the image, the orientation of the face can be accurately recognized even when the face is covered with a mask. In addition, it is possible to recognize the orientation of the face without performing processing with a high processing load such as pattern matching. Furthermore, since it is not necessary to store pattern images for pattern matching, the storage unit 312 can be a small-capacity storage device.

また、本実施例に係る認識装置Ｄの制御部３１１は、顔中心線２１２の傾きに基づいて、顔の縦方向の向き（ピッチ角）を認識する。 Also, the control unit 311 of the recognition device D according to the present embodiment recognizes the vertical orientation (pitch angle) of the face based on the inclination of the face center line 212 .

更に、本実施例に係る認識装置Ｄの制御部３１１（「検出手段」、「記憶制御手段」、「認識手段」の一例）は、顔の縦方向の向きを認識した際の、マスクの上側の境界である上境界２１３を更に検出し、上境界２１３の傾きを、認識した対象の縦方向の向きと対応付けて記憶部３１２（「記憶手段」の一例）に記憶させ、縦方向の向きを認識していない顔の画像が新たに取得された際に、当該画像について検出されたマスクの上境界２１３の傾きと略同一の傾きが対応付けられている縦方向の向きを、当該画像に写る顔の縦方向の向きとして認識する。これにより、一度、顔の縦方向の向きを認識しておけば、それ以降の画像については、上境界２１３を検出して、記憶部３１２に記憶された上境界２１３と比較することにより、縦方向の向きを認識することができる。すなわち、縦方向の向きを認識するための処理負担が軽減される。 Furthermore, the control unit 311 (an example of a “detection unit”, a “storage control unit”, and a “recognition unit”) of the recognition device D according to the present embodiment further detects an upper boundary 213 that is the upper boundary of the mask when the vertical orientation of the face is recognized, and stores the inclination of the upper boundary 213 in the storage unit 312 (an example of the “storage unit”) in association with the vertical orientation of the recognized target. , the vertical direction associated with the tilt substantially the same as the tilt of the upper boundary 213 of the mask detected for the image is recognized as the vertical direction of the face in the image. Thus, once the vertical orientation of the face is recognized, the vertical orientation of the subsequent images can be recognized by detecting the upper boundary 213 and comparing it with the upper boundary 213 stored in the storage unit 312.例文帳に追加That is, the processing load for recognizing the vertical orientation is reduced.

更にまた、本実施例に係る認識装置Ｄの制御部３１１（「認識手段」の一例）は、顔の横幅における、上境界線２１３と顔中心線２１２との交点の位置に基づいて（すなわち、手前側顔幅ＷＡと奥側顔幅ＷＢに基づいて）、顔の横方向の向き（ヨー角）を認識する。 Furthermore, the control unit 311 (an example of the “recognition means”) of the recognition device D according to the present embodiment recognizes the horizontal orientation (yaw angle) of the face based on the position of the intersection of the upper boundary line 213 and the face center line 212 in the width of the face (that is, based on the front side face width WA and the back side face width WB).

なお、本実施例に係る認識装置Ｄは、車載カメラ（顔向き検出によるドライバーの安全確認）、監視カメラ（マスク着用時の顔向き検出、人の興味や行動検出等）、医療カメラ（マスク着用時の顔向き検出、医者や患者の行動検出等）等に組み込むことにより活用することができる。 Note that the recognition device D according to the present embodiment can be utilized by being incorporated into an in-vehicle camera (detecting the driver's safety by detecting face orientation), a surveillance camera (detecting face orientation when wearing a mask, detecting people's interests and actions, etc.), a medical camera (detecting face orientation when wearing a mask, detecting actions of doctors and patients, etc.).

［４．変形例］
次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。 [4. Modification]
Next, a modification of the above embodiment will be described. Note that the modifications described below can be combined as appropriate.

［４．１．変形例１］
上記実施例では、図１３（Ａ）、（Ｂ）に示すように、基準となるマスク上紐の傾き（「マスク左右端の特徴」の一例）と顔中心線（マスク上端付近）の傾き（「顔中心線の特徴」の一例）をピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク上紐の傾きと顔中心線の傾きを比較してピッチ角を判定する構成としているが、これに代えて、例えば、図１４（Ａ）、（Ｂ）に示すように、マスク左右端の特徴（形状）と顔中心線（マスクにかかる部分）の特徴（形状）をそのままピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク左右端の特徴（形状）と顔中心線の特徴（形状）を比較し、最も類似度の高いものと対応付けられているピッチ角を取得し、当該画像に写る顔Ｆのピッチ角と判定する構成としてもよい。 [4.1. Modification 1]
In the above-described embodiment, as shown in FIGS. 13A and 13B, the inclination of the reference mask upper strap (an example of a "characteristic of the left and right edges of the mask") and the inclination of the center line of the face (near the upper edge of the mask) (an example of the "feature of the center line of the mask") are associated with the pitch angle and recorded in the storage unit 312, and the pitch angle is determined by comparing the inclination of the mask upper strap and the inclination of the center line of the face in a newly acquired image. As shown in B), the feature (shape) of the left and right edges of the mask and the feature (shape) of the center line of the face (the portion that overlaps the mask) may be directly associated with the pitch angle and recorded in the storage unit 312, and the feature (shape) of the left and right edges of the mask and the feature (shape) of the center line of the face in a newly acquired image may be compared, the pitch angle associated with the one with the highest degree of similarity may be obtained, and the pitch angle may be determined as the pitch angle of the face F captured in the image.

［４．２．変形例２］
上記実施例では、カメラＣと照射部Ｌが略同じ方向から対象に向いていることとしたが、カメラＣと照射部Ｌが異なる方向から対象に向いている場合についても本発明を適用することができる。すなわち、カメラＣと照射部Ｌが対象からみて異なる方向に位置する場合であっても、照射部Ｌの位置が決まっており、マスク着用時の顔に光がどのように照射され、画像が撮像されるかが予め分かっていれば、上記実施例と同様に、口領域を判定し、マスク着用判定し、マスク特徴と顔特徴を検出することによって、顔向き方向の推定が可能である。 [4.2. Modification 2]
In the above embodiment, the camera C and the illuminating unit L face the target in substantially the same direction, but the present invention can also be applied when the camera C and the illuminating unit L face the target in different directions. That is, even if the camera C and the irradiation unit L are positioned in different directions as viewed from the object, the position of the irradiation unit L is determined, and if it is known in advance how the face is irradiated with light when the mask is worn and how the image is captured, it is possible to estimate the direction of the face by determining the mouth region, determining whether the mask is worn, and detecting mask features and facial features, as in the above embodiment.

図１５は、カメラＣと照射部Ｌを対象からみて異なる方向に配置し、顔の横方向から光を照射した状態で撮影した画像の一例である。顔の横から光を照射した場合は、顔向きがカメラ正面付近を向いたときに、顔の中心線６０１を検出できる。光が照射されている方向を向くと、顔の輪郭や光の方向に面しているマスクの特徴６０２や顔の前面領域が検出できるようになる。これらを検出し、同様にヨー角１０度毎の判定をすることができる。但し、顔横方向から光を照射する場合は、顔向きが光の照射と反対方向に向いてしまうと、光照射によるマスク特徴や顔前面の特徴が検出できなくなってしまうことから、より広範囲に顔向き角度を検出したい場合は、上記実施例のように、カメラＣと照射部Ｌを顔からみて同じ方向に設置することが望ましい。応用や環境の違いにより、顔横方向から光を照射して、マスクの特徴６０２等を検出して、顔向き方向を判定してもよい。 FIG. 15 shows an example of an image captured by arranging the camera C and the illuminating unit L in different directions as viewed from the subject and illuminating the face from the lateral direction. When the face is irradiated with light from the side, the center line 601 of the face can be detected when the face faces near the front of the camera. Looking in the direction of the light allows detection of the contours of the face, mask features 602 facing the direction of the light, and the front region of the face. By detecting these, similarly, determination can be made for each yaw angle of 10 degrees. However, in the case of irradiating light from the lateral direction of the face, if the face is oriented in the opposite direction to the light irradiation, the mask feature and the front face feature due to light irradiation cannot be detected. Therefore, if it is desired to detect the face orientation angle in a wider range, it is desirable to install the camera C and the irradiation unit L in the same direction as viewed from the face as in the above embodiment. Depending on the application or environment, light may be emitted from the lateral direction of the face to detect the mask feature 602 or the like to determine the orientation of the face.

このように、カメラＣと照射部Ｌを対象からみて異なる方向に配置した場合であっても、マスク特徴や顔前面特徴を明瞭に検出することができるので、カメラＣと照射部Ｌの設置条件等で、カメラＣから位置を離して照射部Ｌを配置して、光の照射を顔横方向から行いたい場合や、カメラＣの横方向から支配的な光（例えば、太陽光等）が照射される場合であっても、同様な処理で顔向き判定を行うことができる。 In this way, even when the camera C and the irradiation unit L are arranged in different directions from the object, the mask feature and the face front surface feature can be clearly detected. Therefore, even if the installation conditions of the camera C and the irradiation unit L are such that the irradiation unit L is positioned away from the camera C and the irradiation unit L is desired to be irradiated from the lateral direction of the face, or the dominant light (for example, sunlight) is irradiated from the lateral direction of the camera C, the face orientation can be determined by the same processing.

［４．３．変形例３］
顔の口領域の判定や、顔向き角度の判定において、過去の撮影画像で判定した結果を利用して、上記判定に用いることとしてもよい。例えば、一度口領域を推定したら、次の時間で撮影した画像では、過去推定領域の周辺で口領域を探索する処理が考えられる。また、顔向き方向の判定においては、例えば、顔向き上１０度左２０度と判定した場合は、次の時間で撮影した画像では、過去推定顔向き周辺向きである可能性が高いので、顔向き上２０度左２０度、顔向き上１０度左１０度、顔向き上１０度左３０度、顔向き左２０度の特徴を優先的に検出する処理を行うことが考えられる。すなわち、近い時刻に撮影された画像では顔の向きは大幅に変化しないことを想定し、新たに顔向きを判定する場合には、直近に判定した顔向きに近い方向から判定処理を行うことができる。この変形例のように、時系列にデータを処理して、判定処理を有効に行うことにより、口領域の判定や、顔向き角度の判定についての処理負担を軽減することができる。 [4.3. Modification 3]
In the determination of the mouth area of the face and the determination of the face orientation angle, the results of determination using previously captured images may be used for the above determination. For example, once the mouth region is estimated, a process of searching for the mouth region around the past estimation region in an image captured at the next time can be considered. In determining the face direction, for example, when it is determined that the face direction is 10 degrees upward and 20 degrees to the left, it is highly possible that the image captured at the next time is the past estimated face direction to the periphery. Therefore, it is possible to preferentially detect the features of 20 degrees upward and 20 degrees left, 10 degrees upward and 10 degrees left, 10 degrees upward and 30 degrees left, and 20 degrees left. That is, assuming that the face orientation does not change significantly in images shot at close times, when a new face orientation is determined, the determination processing can be performed from a direction close to the most recently determined face orientation. As in this modified example, by processing data in chronological order and performing determination processing effectively, it is possible to reduce the processing load for determination of the mouth region and determination of the face orientation angle.

［４．４．変形例４］
本願発明者が実施したところ、多くのマスクは、赤外撮像画像において、マスク領域が、肌に比べて輝度値が大きくなることが判明した。しかし、マスクの素材によって、例えば赤外線を吸収するような素材を使っている場合は、赤外撮像画像で、マスク領域が肌に比べ暗く（輝度値が低く）撮像される場合がある。そのような場合は、肌領域と比較して、口領域の輝度値が小さいことを判定して、マスクを検出することとしてもよい。なお、この場合は、マスク検出した後、マスクエッジを検出する処理等は上述の実施例と同様に行うことができる。 [4.4. Modification 4]
When the inventors of the present application carried out the method, it was found that, in an infrared captured image, the luminance value of the mask region was larger than that of the skin in many masks. However, depending on the material of the mask, for example, if a material that absorbs infrared rays is used, the mask area may appear darker (lower in brightness) than the skin in the infrared captured image. In such a case, the mask may be detected by determining that the luminance value of the mouth region is smaller than that of the skin region. In this case, after the mask detection, the process of detecting the mask edge can be performed in the same manner as in the above embodiment.

１ 認識装置
１１１Ａ 取得手段
１１１Ｂ 検出手段
１１１Ｃ 認識手段
１１１Ｄ 記憶制御手段
１１１Ｅ 記憶手段
Ｄ 顔向き認識装置Ｄ
３１１ 制御部
３１２ 記憶部
３１３ 通信部
３１４ 表示部
３１５ 操作部 1 Recognition Device 111A Acquisition Means 111B Detection Means 111C Recognition Means 111D Memory Control Means 111E Storage Means D Face Orientation Recognition Device D
311 control unit 312 storage unit 313 communication unit 314 display unit 315 operation unit

Claims (1)

被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段と、
前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段と、
を備える認識装置。 Acquisition means for acquiring an image photographed while an object covered by the covering member is irradiated with light by the irradiation means;
detection means for detecting a center line in the front vertical direction on the surface of the object based on the luminance values of the pixels included in the image;
recognition means for recognizing the orientation of the target based on the detection result of the detection means;
recognition device.