JP7279892B2

JP7279892B2 - FACE POSITION DETECTION DEVICE, FACE POSITION DETECTION METHOD, AND PROGRAM

Info

Publication number: JP7279892B2
Application number: JP2019024017A
Authority: JP
Inventors: 忠関原; 安利深谷; 将城榊原; 佑記名和; 圭吾多田; 久光原田
Original assignee: NEC Solution Innovators Ltd; Tokai Rika Co Ltd
Current assignee: NEC Solution Innovators Ltd; Tokai Rika Co Ltd
Priority date: 2019-02-13
Filing date: 2019-02-13
Publication date: 2023-05-23
Anticipated expiration: 2039-02-13
Also published as: JP2020135076A

Description

本発明は、画像から人の顔の向きを検出するための、顔向き検出装置、及び顔向き検出方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to a face orientation detection device and a face orientation detection method for detecting the orientation of a person's face from an image, and further to a program for realizing these.

近年、映像監視、自動車といった種々の分野において、画像から人の顔を検出する顔検出処理が行われている。特に、映像監視の分野では、侵入者を特定するために、顔検出処理が行われている。また、自動車の分野においては、運転手の状態を監視して、安全運転を支援するために、顔検出処理が行われている。 2. Description of the Related Art In recent years, face detection processing for detecting a person's face from an image has been performed in various fields such as video surveillance and automobiles. In particular, in the field of video surveillance, face detection processing is used to identify intruders. Also, in the field of automobiles, face detection processing is performed to monitor the driver's condition and assist safe driving.

例えば、特許文献１は、顔検出処理を行う装置を開示している。特許文献１に開示された装置は、まず、映像データから人物の領域を検出し、検出した領域の特徴量と、予め登録されている顔の特徴量とを比較することで、顔の領域を特定する。また、特許文献１に開示された装置は、顔の領域に、予め登録されている顔の各部品のテンプレートをマッチングすることで、顔の各部品を特定する。更に、特許文献１に開示された装置は、特定した部品の画面上での位置関係から、実空間における顔の向きを推定する。 For example, Patent Literature 1 discloses an apparatus that performs face detection processing. The apparatus disclosed in Patent Document 1 first detects a person's area from video data, and compares the feature amount of the detected area with a pre-registered face feature amount to detect the face area. Identify. Further, the apparatus disclosed in Patent Document 1 identifies each part of the face by matching templates of each part of the face registered in advance with the region of the face. Furthermore, the device disclosed in Patent Literature 1 estimates the orientation of the face in real space from the positional relationship of the specified parts on the screen.

特開２００６－２２８０６１号公報JP 2006-228061 A

ところで、特許文献１に開示された装置では、このように顔の部品の画面上での位置関係によって実空間における顔の向きを推定することから、顔の向きを正確に推定するためには、カメラを人の顔の正面に配置する必要がある。 By the way, in the apparatus disclosed in Patent Document 1, since the orientation of the face in the real space is estimated based on the positional relationship of the parts of the face on the screen, in order to accurately estimate the orientation of the face, The camera should be placed in front of the person's face.

しかしながら、実際には、カメラを人の顔の正面に配置することは難しく、特に、自動車の分野では、カメラの位置は車内の形状に制約を受けるため、極めて困難である。このため、特許文献１に開示された装置では、カメラの位置が制約される場合に、顔の向きを正確に推定できないという問題がある。 However, in practice, it is difficult to place a camera in front of a person's face, and in particular in the field of automobiles, the position of the camera is restricted by the shape of the interior of the vehicle, making it extremely difficult. For this reason, the apparatus disclosed in Patent Document 1 has a problem that the orientation of the face cannot be accurately estimated when the position of the camera is restricted.

本発明の目的の一例は、上記問題を解消し、カメラの取り付け位置が制約を受ける場合であっても、顔の向きを検出し得る、顔向き検出装置、顔向き検出方法、及びプログラムを提供することにある。 An example of an object of the present invention is to provide a face orientation detection device, a face orientation detection method, and a program capable of solving the above problem and detecting the orientation of the face even when the mounting position of the camera is restricted. to do.

上記目的を達成するため、本発明の一側面における顔向き検出装置は、
人の顔を含む部分の３次元点群データを取得する、データ取得部と、
取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、部品特定部と、
特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、仮平面設定部と、
設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、仮平面選択部と、
選択された前記仮平面の法線の方向を前記顔の向きとして検出する、顔向き検出部と、
を備えている、
ことを特徴とする。 In order to achieve the above object, a face orientation detection device according to one aspect of the present invention includes:
a data acquisition unit that acquires three-dimensional point cloud data of a portion that includes a human face;
a parts identification unit that identifies areas corresponding to the parts of the face from the acquired three-dimensional point cloud data;
a provisional plane setting unit that extracts any three or more points from the entire identified region and sets a provisional plane that includes the extracted points each time they are extracted;
For each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and one provisional plane is determined based on the score value of each of the calculated provisional planes. a temporary plane selection unit for selecting a
a face orientation detection unit that detects the direction of the normal to the selected provisional plane as the orientation of the face;
is equipped with
It is characterized by

また、上記目的を達成するため、本発明の一側面における顔向き検出方法は、
（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を有する、
ことを特徴とする。 Further, in order to achieve the above object, a face orientation detection method according to one aspect of the present invention includes:
(a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal of the selected virtual plane as the orientation of the face;
It is characterized by

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を実行させる、ことを特徴とする。 Furthermore, in order to achieve the above object, the program in one aspect of the present invention is
to the computer,
(a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal to the selected provisional plane as the orientation of the face;

以上のように、本発明によれば、カメラの取り付け位置が制約を受ける場合であっても、顔の向きを検出することができる。 As described above, according to the present invention, the orientation of the face can be detected even when the mounting position of the camera is restricted.

図１は、本発明の実施の形態における顔向き検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a face orientation detection device according to an embodiment of the present invention. 図２は、本発明の実施の形態における顔向き検出装置を用いたシステムの一例を示す図である。FIG. 2 is a diagram showing an example of a system using the face orientation detection device according to the embodiment of the present invention. 図３は、本発明の実施の形態において利用される３次元点群データの一例を示す図である。FIG. 3 is a diagram showing an example of three-dimensional point cloud data used in the embodiment of the present invention. 図４は、本発明の実施の形態において選択された仮平面の一例を３次元点群データと共に示す図である。FIG. 4 is a diagram showing an example of a temporary plane selected in the embodiment of the present invention together with three-dimensional point cloud data. 図５（ａ）～（ｃ）は、本実施の形態における顔向き検出装置が行う処理を説明する図であり、それぞれ一連の処理を示している。FIGS. 5(a) to 5(c) are diagrams for explaining the processing performed by the face orientation detection device according to the present embodiment, and each show a series of processing. 図６は、本発明の実施の形態における顔向き検出装置の動作を示すフロー図である。FIG. 6 is a flow diagram showing the operation of the face orientation detection device according to the embodiment of the present invention. 図７は、本発明の実施の形態における顔向き検出装置を実現するコンピュータの一例を示すブロック図である。FIG. 7 is a block diagram showing an example of a computer that implements the face orientation detection device according to the embodiment of the present invention.

（実施の形態）
以下、本発明の実施の形態における、顔向き検出装置、顔向き検出方法、及びプログラムについて、図１～図７を参照しながら説明する。 (Embodiment)
A face orientation detection device, a face orientation detection method, and a program according to embodiments of the present invention will be described below with reference to FIGS. 1 to 7. FIG.

［装置構成］
最初に、図１を用いて、本発明の実施の形態における顔向き検出装置の構成について説明する。図１は、本発明の実施の形態における顔向き検出装置の構成を示すブロック図である。 [Device configuration]
First, with reference to FIG. 1, the configuration of the face orientation detection device according to the embodiment of the present invention will be described. FIG. 1 is a block diagram showing the configuration of a face orientation detection device according to an embodiment of the present invention.

図１に示す本実施の形態における顔向き検出装置１０は、人の顔を含む部分の３次元点群データから、顔の向きを検出するための装置である。図１に示すように、本実施の形態における顔向き検出装置１０は、データ取得部１１と、部品特定部１２と、仮平面設定部１３と、仮平面選択部１４と、顔向き検出部１５とを備えている。 A face direction detection apparatus 10 according to the present embodiment shown in FIG. 1 is a device for detecting the direction of a face from three-dimensional point cloud data of a portion including a human face. As shown in FIG. 1, the face orientation detection device 10 according to the present embodiment includes a data acquisition unit 11, a component identification unit 12, a temporary plane setting unit 13, a temporary plane selection unit 14, and a face orientation detection unit 15. and

データ取得部１１は、顔向き検出装置１０の外部から、３次元点群データを取得する。部品特定部１２は、データ取得部１１によって取得された３次元点群データから、顔の部品（目、鼻、口等）に対応する領域を特定する。 The data acquisition unit 11 acquires three-dimensional point cloud data from outside the face orientation detection device 10 . The parts identification unit 12 identifies regions corresponding to facial parts (eyes, nose, mouth, etc.) from the three-dimensional point cloud data acquired by the data acquisition unit 11 .

仮平面設定部１３は、部品特定部１２によって特定された領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する。 The provisional plane setting unit 13 extracts arbitrary three or more points from the entire region specified by the part specifying unit 12, and sets a provisional plane including the extracted points each time the points are extracted.

仮平面選択部１４は、まず、仮平面設定部１３によって設定された仮平面それぞれ毎に、各仮平面が顔の面に相当する可能性を示すスコアを算出する。続いて、仮平面選択部１４は、算出した仮平面それぞれのスコアの値に基づいて、１つの仮平面を選択する。なお、本明細書では、選択された１つの仮平面を「顔平面」と表記する。 The provisional plane selection unit 14 first calculates, for each of the provisional planes set by the provisional plane setting unit 13, a score indicating the possibility that each provisional plane corresponds to the surface of the face. Subsequently, the provisional plane selection unit 14 selects one provisional plane based on the calculated score value of each provisional plane. In this specification, one selected provisional plane is referred to as a "face plane".

顔向き検出部１５は、仮平面選択部１４によって選択された仮平面の法線の方向を顔の向きとして検出する。 The face orientation detection unit 15 detects the direction of the normal line of the provisional plane selected by the provisional plane selection unit 14 as the orientation of the face.

このように、本実施の形態では、顔の部品の位置関係ではなく、顔の正面に相当する面から顔の向きを検出することができる。このため、本実施の形態によれば、カメラの取り付け位置が制約を受ける場合であっても、顔の向きを検出することができる。 As described above, in the present embodiment, the orientation of the face can be detected from the plane corresponding to the front of the face rather than from the positional relationship of the parts of the face. Therefore, according to the present embodiment, it is possible to detect the orientation of the face even when the mounting position of the camera is restricted.

続いて、図２～図５を用いて、本実施の形態における顔向き検出装置１０の構成及び機能についてより具体的に説明する。図２は、本発明の実施の形態における顔向き検出装置を用いたシステムの一例を示す図である。 Next, the configuration and functions of the face orientation detection device 10 according to the present embodiment will be described more specifically with reference to FIGS. 2 to 5. FIG. FIG. 2 is a diagram showing an example of a system using the face orientation detection device according to the embodiment of the present invention.

図２の例では、顔向き検出装置１０は、車両２１に搭載される安全運転支援システム２０の一部を構成している。安全運転支援システム２０は、顔向き検出装置１０によって検出された運転手の顔の向きに基づいて、運転手の状態を監視して、安全運転を支援するシステムである。例えば、安全運転支援システム２０は、運転手の顔の向きが下向きであり、その状態が一定時間続くと、運転手が居眠りをしていると判定し、運転手を覚醒させるための処理を行う。 In the example of FIG. 2 , the face orientation detection device 10 constitutes a part of a safe driving support system 20 mounted on a vehicle 21 . The safe driving support system 20 is a system that monitors the driver's condition based on the direction of the driver's face detected by the face direction detection device 10 and supports safe driving. For example, the safe driving support system 20 determines that the driver is dozing off when the driver's face is facing downward and this state continues for a certain period of time, and performs processing to awaken the driver. .

また、顔向き検出装置１０は、本実施の形態では、撮像装置３０に接続されている。撮像装置３０は、被写体までの距離を画素毎に測定可能な装置である。撮像装置３０の具体例としては、ＴＯＦ（Time-of-Flight）カメラが挙げられる。ＴＯＦカメラは、被写体に向けて、近赤外光等の光を照射し、照射した光が被写体で反射されて戻ってくるまでの時間を計測して、画素毎に、被写体までの距離を測定し、測定した画素毎の距離を特定するデータを出力する。本実施の形態では、この出力されたデータが、３次元点群データとな
る。 Moreover, the face orientation detection device 10 is connected to the imaging device 30 in this embodiment. The imaging device 30 is a device capable of measuring the distance to a subject for each pixel. A specific example of the imaging device 30 is a TOF (Time-of-Flight) camera. A TOF camera irradiates a subject with light such as near-infrared light, measures the time it takes for the irradiated light to be reflected by the subject and returns, and measures the distance to the subject for each pixel. and outputs data specifying the measured pixel-by-pixel distance. In this embodiment, this output data becomes three-dimensional point cloud data.

データ取得部１１は、本実施の形態では、撮像装置（ＴＯＦカメラ）３０が出力したデータを、３次元点群データとして取得する。図３は、本発明の実施の形態において利用される３次元点群データの一例を示す図である。図３の例では、被写体は運転手であり、撮像装置３０は車内に取り付けられている。また、図３の例では、３次元点群データは、運転手の斜め上方から撮影することによって得られている。 In this embodiment, the data acquisition unit 11 acquires the data output by the imaging device (TOF camera) 30 as three-dimensional point cloud data. FIG. 3 is a diagram showing an example of three-dimensional point cloud data used in the embodiment of the present invention. In the example of FIG. 3, the subject is the driver, and the imaging device 30 is installed inside the vehicle. Also, in the example of FIG. 3, the three-dimensional point cloud data is obtained by capturing an image obliquely above the driver.

部品特定部１２は、本実施の形態では、図３に示すように、３次元点群データにおいて、顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域、それぞれを特定する。図３において、目に対応する領域は○印で示され、鼻に対応する領域は△印で示され、口に対応する領域は□印で示されている。なお、図３において、各領域を示す印は、説明の便宜上付与したものであり、各領域の形状は任意である。 In this embodiment, as shown in FIG. 3, the part identifying unit 12 identifies a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face in the three-dimensional point cloud data. do. In FIG. 3, the region corresponding to the eyes is indicated by ◯, the region corresponding to the nose is indicated by Δ, and the region corresponding to the mouth is indicated by □. In FIG. 3, the marks indicating each region are provided for convenience of explanation, and the shape of each region is arbitrary.

なお、３次元点群データに、目、鼻、及び口の全てが存在していない場合もある。このため、部品特定部１２は、目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定できれば良い。 Note that the 3D point cloud data may not include all of the eyes, nose, and mouth. Therefore, it is sufficient for the part identifying unit 12 to identify at least one of the region corresponding to the eyes, the region corresponding to the nose, and the region corresponding to the mouth.

具体的には、部品特定部１２は、例えば、Viola & Jones法に沿って、予め登録されている「目」、「鼻」、「口」の特徴量を用いたラスタスキャンによって、目、鼻、口の特徴量を持った点群が存在しているボクセル群を特定する。ボクセルは、被写体である運転手が存在する空間を複数個に区切ることで得られる立方体である。よって、上記のボクセル群の特定により、目に対応する領域、鼻に対応する領域、及び口に対応する領域、それぞれが特定される。なお、Viola & Jones法は、下記の参照文献に開示されている。 Specifically, the component identification unit 12 performs raster scanning using pre-registered feature amounts of “eyes”, “nose”, and “mouth” according to the Viola & Jones method, for example. , specify the voxel group in which the point group with the mouth features exists. A voxel is a cube obtained by partitioning the space in which the subject, the driver, exists. Therefore, by specifying the voxel group described above, a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth are each specified. The Viola & Jones method is disclosed in the following references.

参照文献：
Viola, P and Jones, M,"Rapid object detection using a boosted cascade of simple features", CVPR,vol.1,pp.511-518 References:
Viola, P and Jones, M, "Rapid object detection using a boosted cascade of simple features", CVPR, vol.1, pp.511-518

仮平面設定部１３は、本実施の形態では、これらの特定された３つの領域を合わせた領域から、任意の３点を抽出し、この３点を抽出する度に、抽出した３点を含む仮平面を設定する。即ち、仮平面設定部１３は、特定された３つの領域を合わせた領域から、一度に一組の点群として３点を抽出し、抽出した点群毎に仮平面を設定する。なお、任意の３点は、目に対応する領域、鼻に対応する領域、口に対応する領域それぞれから１点ずつ抽出されている必要はない。 In the present embodiment, the provisional plane setting unit 13 extracts arbitrary three points from a region obtained by combining these specified three regions, and each time the three points are extracted, the extracted three points are included. Set a temporary plane. That is, the provisional plane setting unit 13 extracts three points as one set of point groups at a time from the combined region of the specified three regions, and sets a provisional plane for each extracted point group. Note that the arbitrary three points need not be extracted one by one from each of the regions corresponding to the eyes, the nose, and the mouth.

仮平面選択部１４は、本実施の形態では、仮平面毎に、仮平面とそれに含まれない点との距離に基づいて、この仮平面に含まれない点それぞれに、距離が小さい程、値が小さくなるようにスコアを付加し、各点のスコアを合計して、この仮平面の合計スコアを算出する。このスコアが小さい程、その仮平面が、顔の正面に近似していることになる。そして、仮平面選択部１４は、算出した各仮平面の合計スコアの値が最も小さい１つの仮平面（顔平面）を選択する。 In the present embodiment, the provisional plane selection unit 14 assigns a value to each point not included in the provisional plane based on the distance between the provisional plane and a point not included in the provisional plane. Scores are added so as to decrease , and the scores of each point are summed to calculate the total score of this virtual plane. The smaller the score, the closer the provisional plane is to the front of the face. Then, the provisional plane selection unit 14 selects one provisional plane (face plane) having the smallest calculated total score of the provisional planes.

図４は、本発明の実施の形態において選択された仮平面の一例を３次元点群データと共に示す図である。図４に示すように、選択された仮平面（顔平面）Ａは、顔の正面を最も近似した面となっている。なお、図４の例では、３次元点群データは、図３の例と異なり、運転手の上方から撮影して得られている。 FIG. 4 is a diagram showing an example of a temporary plane selected in the embodiment of the present invention together with three-dimensional point cloud data. As shown in FIG. 4, the selected temporary plane (face plane) A is the plane that most approximates the front of the face. Note that in the example of FIG. 4, unlike the example of FIG. 3, the three-dimensional point cloud data is obtained by photographing from above the driver.

また、顔向き検出部１５は、本実施の形態では、図４に示すように、仮平面選択部１４によって選択された仮平面（顔平面）Ａの法線の方向を顔の向きとして検出する。 Further, in the present embodiment, as shown in FIG. 4, the face orientation detection unit 15 detects the direction of the normal line of the provisional plane (face plane) A selected by the provisional plane selection unit 14 as the orientation of the face. .

ここで、部品特定部１２、仮平面設定部１３、仮平面選択部１４、及び顔向き検出部１５による処理について、図５を用いて説明する。図５（ａ）～（ｃ）は、本実施の形態における顔向き検出装置が行う処理を説明する図であり、それぞれ一連の処理を示している。なお、仮平面は、実際は、３次元空間において設定されるが、図５（ａ）～（ｃ）においては、説明のため、２次元座標上で示されている。 Here, processing by the component identification unit 12, the temporary plane setting unit 13, the temporary plane selection unit 14, and the face orientation detection unit 15 will be described using FIG. FIGS. 5(a) to 5(c) are diagrams for explaining the processing performed by the face orientation detection device according to the present embodiment, and each show a series of processing. Although the virtual plane is actually set in a three-dimensional space, it is shown on two-dimensional coordinates in FIGS. 5A to 5C for the sake of explanation.

図５（ａ）に示すように、部品特定部１２は、３次元点群データ４０において、目に対応する領域４１、鼻に対応する領域４２、及び口に対応する領域（図４においては図示せず）を特定する。 As shown in FIG. 5( a ), the part identifying unit 12 generates an area 41 corresponding to the eyes, an area 42 corresponding to the nose, and an area corresponding to the mouth (in FIG. (not shown).

そして、図５（ａ）に示すように、仮平面設定部１３は、各領域を合わせた領域から、任意の３点を抽出する。また、図５（ｂ）に示すように、仮平面設定部１３は、抽出した点を含む仮平面４３を設定する。図５（ａ）～（ｃ）では、抽出された点は○で示され、抽出されなかった点は●で示されている。 Then, as shown in FIG. 5(a), the temporary plane setting unit 13 extracts arbitrary three points from the combined area. Further, as shown in FIG. 5B, the provisional plane setting unit 13 sets a provisional plane 43 including the extracted points. In FIGS. 5A to 5C, points that are extracted are indicated by ◯, and points that are not extracted are indicated by ●.

続いて、図５（ｃ）に示すように、仮平面選択部１４は、仮平面毎に、それに含まれる３点以外の点群について、平面との距離、即ち、平面との誤差を算出し、各点についての誤差の合計値を求め、これを、その仮平面のスコアとする。 Subsequently, as shown in FIG. 5(c), the temporary plane selection unit 14 calculates the distance from the plane, that is, the error from the plane, for point groups other than the three points included in each temporary plane. , the sum of the errors for each point is calculated, and this is the score of the virtual plane.

また、仮平面選択部１４は、スコアの算出において、算出した距離（誤差）に応じて、Biweight推定法による重みを適用することによって、外れ値の影響を小さくすることができる。具体的には、この場合、仮平面から遠距離にある点を外れ値と仮定し、誤差０ｍｍの点の重みを１．０、許容誤差より誤差の大きな点の重みを０．０とする。つまり、誤差が小さい点の重みを強く、誤差が大きい点の重みを弱くする。仮平面選択部１４は、下記の数１及び数２に基づいて、スコアを算出する。 In calculating the score, the temporary plane selection unit 14 can reduce the influence of outliers by applying weights according to the biweight estimation method according to the calculated distance (error). Specifically, in this case, a point far away from the virtual plane is assumed to be an outlier, a point with an error of 0 mm is weighted 1.0, and a point with an error larger than the allowable error is weighted 0.0. In other words, the weight of points with small errors is increased, and the weight of points with large errors is decreased. The provisional plane selection unit 14 calculates a score based on Equations 1 and 2 below.

下記の数１及び数２において、「ｅ_ｉ」は、ｉ番目の点の誤差［ｍｍ］を示し、「ｗ（ｅ_ｉ）」は、誤差ｅ_ｉでの重みを示している。また、「ａＥ」は、許容誤差［ｍｍ］である。 In Equations 1 and 2 below, "e _i " indicates the error [mm] of the i-th point, and "w(e _i )" indicates the weight at the error e _i . Also, "aE" is the allowable error [mm].

［装置動作］
次に、本発明の実施の形態における顔向き検出装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における顔向き検出装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、本実施の形態では、顔向き検出装置１０を動作させることによって、顔向き検出方法が実施される。よって、本実
施の形態における顔向き検出方法の説明は、以下の顔向き検出装置の動作説明に代える。 [Device operation]
Next, the operation of face orientation detection device 10 according to the embodiment of the present invention will be described with reference to FIG. FIG. 6 is a flow diagram showing the operation of the face orientation detection device according to the embodiment of the present invention. 1 to 5 will be referred to as appropriate in the following description. Further, in the present embodiment, the face orientation detection method is implemented by operating the face orientation detection device 10 . Therefore, the description of the face direction detection method in the present embodiment is replaced with the description of the operation of the face direction detection device below.

図６に示すように、最初に、データ取得部１１は、本実施の形態では、撮像装置（ＴＯＦカメラ）３０が出力したデータを、３次元点群データとして取得する（ステップＡ１）。 As shown in FIG. 6, first, in the present embodiment, the data acquisition unit 11 acquires data output from the imaging device (TOF camera) 30 as three-dimensional point cloud data (step A1).

次に、部品特定部１２は、３次元点群データにおいて、顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域、それぞれを特定する（ステップＡ２）。 Next, the part identification unit 12 identifies, in the three-dimensional point cloud data, an area corresponding to the eyes, an area corresponding to the nose, and an area corresponding to the mouth (step A2).

次に、仮平面設定部１３は、ステップＡ２で特定された３つの領域を合わせた領域から、ランダムに３点を抽出し、抽出した３点を含む仮平面を設定する（ステップＡ３）。 Next, the provisional plane setting unit 13 randomly extracts three points from the combined region of the three regions specified in step A2, and sets a provisional plane including the extracted three points (step A3).

次に、仮平面設定部１３は、設定した仮平面の数が設定値に到達したかどうかを判定する（ステップＡ４）。ステップＡ４の判定の結果、仮平面の数が設定値に到達していない場合は、仮平面設定部１３は、再度ステップＡ３を実行する。 Next, the provisional plane setting unit 13 determines whether or not the number of set provisional planes has reached a set value (step A4). If the number of provisional planes has not reached the set value as a result of the determination in step A4, the provisional plane setting unit 13 executes step A3 again.

一方、ステップＡ４の判定の結果、仮平面の数が設定値に到達している場合は、仮平面設定部１３は、仮平面の設定を終了する。これにより、ステップＡ５が実行される。 On the other hand, if the number of provisional planes has reached the set value as a result of the determination in step A4, the provisional plane setting unit 13 finishes setting the provisional planes. Thereby, step A5 is executed.

ステップＡ５では、仮平面選択部１４が、ステップＡ３で設定された仮平面毎に、この仮平面とそれに含まれない点との距離に基づいて、この仮平面に含まれない点それぞれに、スコアを付加し、各点のスコアを合計して、この仮平面の合計スコアを算出する。 In step A5, the provisional plane selection unit 14 assigns a score to each point not included in the provisional plane based on the distance between the provisional plane set in step A3 and points not included in the provisional plane. and sum the score of each point to calculate the total score of this virtual plane.

次に、仮平面選択部１４は、ステップＡ５で算出した各仮平面の合計スコアの値が最も小さい１つの仮平面（顔平面）を選択する（ステップＡ６）。 Next, the provisional plane selection unit 14 selects one provisional plane (face plane) having the smallest total score value of the provisional planes calculated in step A5 (step A6).

次に、顔向き検出部１５は、仮平面選択部１４によって選択された仮平面（顔平面）Ａの法線の方向を検出し、検出した法線の方向を顔の向きとする（ステップＡ７）。 Next, the face direction detection unit 15 detects the direction of the normal to the provisional plane (face plane) A selected by the provisional plane selection unit 14, and sets the direction of the detected normal to the direction of the face (step A7). ).

その後、顔向き検出部１５は、検出した顔の向きを特定する情報を、安全運転支援システム２０に出力する。これにより、安全運転支援システム２０は、検出された運転手の顔の向きに基づいて、運転手の状態を監視して、安全運転を支援する。 After that, the face orientation detection unit 15 outputs information specifying the detected orientation of the face to the safe driving support system 20 . Thus, the safe driving support system 20 monitors the driver's condition based on the detected orientation of the driver's face to support safe driving.

［実施の形態における効果］
このように、本実施の形態では、顔の部品の位置関係ではなく、顔の正面に相当する面から顔の向きを検出することができるので、カメラの取り付け位置が制約を受ける場合であっても、顔の向きを検出することができる。 [Effects of Embodiment]
As described above, in this embodiment, the orientation of the face can be detected from the plane corresponding to the front of the face rather than from the positional relationship of the parts of the face. can also detect the orientation of the face.

また、本実施の形態では、顔の正面に相当する面は、目、鼻、口の領域に存在する点群との距離が最も近くなるように選ばれる。更に、面の選択においては、点群データのノイズが除去されるように、点と面との距離に応じた重みも設定される。このため、選択された面と顔の正面との一致性は高く、本実施の形態によれば、精度良く顔の向きを検出できる。 Also, in this embodiment, the plane corresponding to the front of the face is selected so that it is closest to the point cloud existing in the eye, nose, and mouth regions. Furthermore, when selecting a surface, a weight is set according to the distance between the point and the surface so as to eliminate noise in the point cloud data. Therefore, the selected plane and the front of the face are highly matched, and according to the present embodiment, the orientation of the face can be detected with high accuracy.

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における顔向き検出装置１０と顔向き検出方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、部品特定部１２、仮平面設定部１３、仮平面選択部１４、及び顔向き検出部１５として機
能し、処理を行なう。また、コンピュータは、汎用のコンピュータであっても良いし、車両に搭載されたコンピュータであっても良い。 [program]
The program in this embodiment may be any program that causes a computer to execute steps A1 to A7 shown in FIG. By installing this program in a computer and executing it, the face direction detecting device 10 and the face direction detecting method according to the present embodiment can be realized. In this case, the processor of the computer functions as a data acquisition unit 11, a part identification unit 12, a temporary plane setting unit 13, a temporary plane selection unit 14, and a face orientation detection unit 15, and performs processing. Also, the computer may be a general-purpose computer or a computer mounted on a vehicle.

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、部品特定部１２、仮平面設定部１３、仮平面選択部１４、及び顔向き検出部１５のいずれかとして機能しても良い。 Also, the program in this embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as one of the data acquisition unit 11, the part identification unit 12, the temporary plane setting unit 13, the temporary plane selection unit 14, and the face orientation detection unit 15, respectively.

ここで、本実施の形態におけるプログラムを実行することによって、顔向き検出装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における顔向き検出装置を実現するコンピュータの一例を示すブロック図である。 Here, a computer that implements the face orientation detection device 10 by executing the program according to the present embodiment will be described with reference to FIG. FIG. 7 is a block diagram showing an example of a computer that implements the face orientation detection device according to the embodiment of the present invention.

図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。 As shown in FIG. 7, a computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader/writer 116, and a communication interface 117. and These units are connected to each other via a bus 121 so as to be able to communicate with each other. Further, the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or instead of the CPU 111 .

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。 The CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various calculations. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory). Also, the program in the present embodiment is provided in a state stored in computer-readable recording medium 120 . It should be noted that the program in this embodiment may be distributed on the Internet connected via communication interface 117 .

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 Further, as a specific example of the storage device 113, in addition to a hard disk drive, a semiconductor storage device such as a flash memory can be cited. Input interface 114 mediates data transmission between CPU 111 and input devices 118 such as a keyboard and mouse. The display controller 115 is connected to the display device 119 and controls display on the display device 119 .

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 Data reader/writer 116 mediates data transmission between CPU 111 and recording medium 120 , reads programs from recording medium 120 , and writes processing results in computer 110 to recording medium 120 . Communication interface 117 mediates data transmission between CPU 111 and other computers.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。 Specific examples of the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital); magnetic recording media such as flexible disks; An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be used.

なお、本実施の形態における顔向き検出装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、顔向き検出装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。 The face direction detection apparatus 10 according to the present embodiment can also be realized by using hardware corresponding to each part instead of a computer in which a program is installed. Furthermore, the face orientation detection device 10 may be partly implemented by a program and the rest by hardware.

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によ
って表現することができるが、以下の記載に限定されるものではない。 Some or all of the above-described embodiments can be expressed by (Appendix 1) to (Appendix 15) described below, but are not limited to the following descriptions.

（付記１）
人の顔を含む部分の３次元点群データを取得する、データ取得部と、
取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、部品特定部と、
特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、仮平面設定部と、
設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、仮平面選択部と、
選択された前記仮平面の法線の方向を前記顔の向きとして検出する、顔向き検出部と、を備えている、
ことを特徴とする顔向き検出装置。 (Appendix 1)
a data acquisition unit that acquires three-dimensional point cloud data of a portion that includes a human face;
a parts identification unit that identifies areas corresponding to the parts of the face from the acquired three-dimensional point cloud data;
a provisional plane setting unit that extracts any three or more points from the entire identified region and sets a provisional plane that includes the extracted points each time they are extracted;
For each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and one provisional plane is determined based on the score value of each of the calculated provisional planes. a temporary plane selection unit for selecting a
a face orientation detection unit that detects the direction of the normal to the selected provisional plane as the orientation of the face;
A face orientation detection device characterized by:

（付記２）
付記１に記載の顔向き検出装置であって、
前記仮平面選択部が、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
ことを特徴とする顔向き検出装置。 (Appendix 2)
The face orientation detection device according to appendix 1,
The provisional plane selection unit selects each point not included in the provisional plane based on the distance between the provisional plane and a point not included in the provisional plane for each provisional plane. Add scores so that the select a virtual plane,
A face orientation detection device characterized by:

（付記３）
付記２に記載の顔向き検出装置であって、
前記仮平面選択部が、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とする顔向き検出装置。 (Appendix 3)
The face orientation detection device according to appendix 2,
The temporary plane selection unit applies a weight according to the distance when adding a score to each point not included in the temporary plane for each of the temporary planes.
A face orientation detection device characterized by:

（付記４）
付記１から３のいずれかに記載の顔向き検出装置であって、
前記部品特定部が、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記仮平面設定部が、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とする顔向き検出装置。 (Appendix 4)
The face direction detection device according to any one of Appendices 1 to 3,
the part identifying unit identifies at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
The provisional plane setting unit extracts arbitrary three points from the specified region where each region is combined, and sets the provisional plane.
A face orientation detection device characterized by:

（付記５）
付記１から４のいずれかに記載の顔向き検出装置であって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とする顔向き検出装置。 (Appendix 5)
The face orientation detection device according to any one of appendices 1 to 4,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A face orientation detection device characterized by:

（付記６）
（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を有する、
ことを特徴とする顔向き検出方法。 (Appendix 6)
(a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal of the selected virtual plane as the orientation of the face;
A face orientation detection method characterized by:

（付記７）
付記６に記載の顔向き検出方法であって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
ことを特徴とする顔向き検出方法。 (Appendix 7)
The face orientation detection method according to appendix 6,
In the step (d), for each of the virtual planes, based on the distance between the virtual plane and a point not included in the virtual plane, each point not included in the virtual plane has a value that increases as the distance decreases. A score is added so as to be smaller, and the scores of each point not included in the provisional plane are totaled to calculate the total score of the provisional plane, and based on the calculated total score value, one selecting the virtual plane;
A face orientation detection method characterized by:

（付記８）
付記７に記載の顔向き検出方法であって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とする顔向き検出方法。 (Appendix 8)
The face orientation detection method according to appendix 7,
In the step (d), for each of the virtual planes, when adding a score to each point not included in the virtual plane, a weight according to the distance is applied.
A face orientation detection method characterized by:

（付記９）
付記６から８のいずれかに記載の顔向き検出方法であって、
前記（ｂ）のステップにおいて、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記（ｃ）のステップにおいて、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とする顔向き検出方法。 (Appendix 9)
The face orientation detection method according to any one of appendices 6 to 8,
In step (b), identifying at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
In step (c) above, extracting any three points from the specified area combined with each area to set the temporary plane;
A face orientation detection method characterized by:

（付記１０）
付記６から９のいずれかに記載の顔向き検出方法であって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とする顔向き検出方法。 (Appendix 10)
The face orientation detection method according to any one of Appendixes 6 to 9,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A face orientation detection method characterized by:

（付記１１）
コンピュータに、
（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を実行させる、プログラム。 (Appendix 11)
to the computer,
(a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal to the selected virtual plane as the orientation of the face.

（付記１２）
付記１１に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
ことを特徴とするプログラム。 (Appendix 12)
The program according to Supplementary Note 11,
In the step (d), for each of the virtual planes, based on the distance between the virtual plane and a point not included in the virtual plane, each point not included in the virtual plane has a value that increases as the distance decreases. A score is added so as to be smaller, and the scores of each point not included in the provisional plane are totaled to calculate the total score of the provisional plane, and based on the calculated total score value, one selecting the virtual plane;
A program characterized by

（付記１３）
付記１２に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とするプログラム。 (Appendix 13)
The program according to Appendix 12,
In the step (d), for each of the virtual planes, when adding a score to each point not included in the virtual plane, a weight according to the distance is applied.
A program characterized by

（付記１４）
付記１１から１３のいずれかに記載のプログラムであって、
前記（ｂ）のステップにおいて、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記（ｃ）のステップにおいて、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とするプログラム。 (Appendix 14)
The program according to any one of Appendices 11 to 13,
In step (b), identifying at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
In step (c) above, extracting any three points from the specified area combined with each area to set the temporary plane;
A program characterized by

（付記１５）
付記１１から１４のいずれかに記載のプログラムであって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とするプログラム。 (Appendix 15)
15. The program according to any one of appendices 11 to 14,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A program characterized by

以上のように、本発明によれば、カメラの取り付け位置が制約を受ける場合であっても、顔の向きを検出することができる。本発明は、顔の向きの検出が求められる、映像監視システム、車両用のシステム等に有用である。 As described above, according to the present invention, the orientation of the face can be detected even when the mounting position of the camera is restricted. INDUSTRIAL APPLICABILITY The present invention is useful for image monitoring systems, vehicle systems, and the like, which require face direction detection.

１０顔向き検出装置
１１データ取得部
１２部品特定部
１３仮平面設定部
１４仮平面選択部
１５顔向き検出部
２０安全運転支援システム
３０撮像装置
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス REFERENCE SIGNS LIST 10 face orientation detection device 11 data acquisition unit 12 component identification unit 13 provisional plane setting unit 14 provisional plane selection unit 15 face orientation detection unit 20 safe driving support system 30 imaging device 110 computer 111 CPU
112 main memory 113 storage device 114 input interface 115 display controller 116 data reader/writer 117 communication interface 118 input device 119 display device 120 recording medium 121 bus

Claims

人の顔を含む部分の３次元点群データを取得する、データ取得部と、
取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、部品特定部と、
特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、仮平面設定部と、
設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、仮平面選択部と、
選択された前記仮平面の法線の方向を前記顔の向きとして検出する、顔向き検出部と、を備え、
前記仮平面選択部が、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
ことを特徴とする顔向き検出装置。 a data acquisition unit that acquires three-dimensional point cloud data of a portion that includes a human face;
a parts identification unit that identifies areas corresponding to the parts of the face from the acquired three-dimensional point cloud data;
a provisional plane setting unit that extracts any three or more points from the entire identified region and sets a provisional plane that includes the extracted points each time they are extracted;
For each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and one provisional plane is determined based on the score value of each of the calculated provisional planes. a temporary plane selection unit for selecting a
a face orientation detection unit that detects the direction of the normal to the selected provisional plane as the orientation of the face ,
The provisional plane selection unit selects each point not included in the provisional plane based on the distance between the provisional plane and a point not included in the provisional plane for each provisional plane. Add scores so that the select a virtual plane,
A face orientation detection device characterized by:

請求項１に記載の顔向き検出装置であって、
前記仮平面選択部が、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とする顔向き検出装置。 The face direction detection device according to claim 1 ,
The temporary plane selection unit applies a weight according to the distance when adding a score to each point not included in the temporary plane for each of the temporary planes.
A face orientation detection device characterized by:

請求項１に記載の顔向き検出装置であって、
前記部品特定部が、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記仮平面設定部が、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とする顔向き検出装置。 The face direction detection device according to claim 1 ,
the part identifying unit identifies at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
The provisional plane setting unit extracts arbitrary three points from the specified region where each region is combined, and sets the provisional plane.
A face orientation detection device characterized by:

請求項１に記載の顔向き検出装置であって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とする顔向き検出装置。 The face direction detection device according to claim 1 ,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A face orientation detection device characterized by:

（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を有し、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
ことを特徴とする顔向き検出方法。 (a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal of the selected virtual plane as the orientation of the face ;
In the step (d), for each of the virtual planes, based on the distance between the virtual plane and a point not included in the virtual plane, each point not included in the virtual plane has a value that increases as the distance decreases. A score is added so as to be smaller, and the scores of each point not included in the provisional plane are totaled to calculate the total score of the provisional plane, and based on the calculated total score value, one selecting the virtual plane;
A face orientation detection method characterized by:

請求項５に記載の顔向き検出方法であって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とする顔向き検出方法。 The face orientation detection method according to claim 5 ,
In the step (d), for each of the virtual planes, when adding a score to each point not included in the virtual plane, a weight according to the distance is applied.
A face orientation detection method characterized by:

請求項５に記載の顔向き検出方法であって、
前記（ｂ）のステップにおいて、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記（ｃ）のステップにおいて、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とする顔向き検出方法。 The face orientation detection method according to claim 5 ,
In step (b), identifying at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
In step (c) above, extracting any three points from the specified area combined with each area to set the temporary plane;
A face orientation detection method characterized by:

請求項５に記載の顔向き検出方法であって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とする顔向き検出方法。 The face orientation detection method according to claim 5 ,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A face orientation detection method characterized by:

コンピュータに、
（ａ）人の顔を含む部分の３次元点群データを取得する、ステップと、
（ｂ）取得された前記３次元点群データから、前記顔の部品に対応する領域を特定する、ステップと、
（ｃ）特定された前記領域全体から、任意の３つ以上の点を抽出し、抽出する度に、抽出した点を含む仮平面を設定する、ステップと、
（ｄ）設定された前記仮平面それぞれ毎に、当該仮平面が前記顔の面に相当する可能性を示すスコアを算出し、算出した前記仮平面それぞれの前記スコアの値に基づいて、１つの前記仮平面を選択する、ステップと、
（ｅ）選択された前記仮平面の法線の方向を前記顔の向きとして検出する、ステップと、を実行させ、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面とそれに含まれない点との距離に基づいて、当該仮平面に含まれない点それぞれに、前記距離が小さい程、値が小さくなるようにスコアを付加し、更に、当該仮平面に含まれない点それぞれのスコアを合計して、当該仮平面の合計スコアを算出し、算出した前記合計スコアの値に基づいて、１つの前記仮平面を選択する、
プログラム。 to the computer,
(a) acquiring 3D point cloud data of a portion containing a human face;
(b) identifying regions corresponding to the facial parts from the acquired three-dimensional point cloud data;
(c) extracting arbitrary three or more points from the entire identified region, and setting a temporary plane containing the extracted points each time they are extracted;
(d) for each of the set provisional planes, a score indicating the possibility that the provisional plane corresponds to the surface of the face is calculated, and based on the score value of each of the calculated provisional planes, one selecting the virtual plane;
(e) detecting the direction of the normal to the selected virtual plane as the orientation of the face ;
In the step (d), for each of the provisional planes, based on the distance between the provisional plane and a point not included in the provisional plane, each point not included in the provisional plane has a value as the distance is smaller. A score is added so as to be smaller, and the scores of each point not included in the provisional plane are totaled to calculate the total score of the provisional plane, and based on the calculated total score value, one selecting the virtual plane;
program.

請求項９に記載のプログラムであって、
前記（ｄ）のステップにおいて、前記仮平面それぞれ毎に、当該仮平面に含まれない点それぞれに、スコアを付加する際に、前記距離に応じた重みを適用する、
ことを特徴とするプログラム。 The program according to claim 9 ,
In the step (d), for each of the virtual planes, when adding a score to each point not included in the virtual plane, a weight according to the distance is applied.
A program characterized by

請求項９に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記顔の目に対応する領域、鼻に対応する領域、及び口に対応する領域のうちの少なくとも１つを特定し、
前記（ｃ）のステップにおいて、特定された、各領域を合わせた領域から、任意の３点を抽出して、前記仮平面を設定する、
ことを特徴とするプログラム。 The program according to claim 9 ,
In step (b), identifying at least one of a region corresponding to the eyes, a region corresponding to the nose, and a region corresponding to the mouth of the face;
In step (c) above, extracting any three points from the specified area combined with each area to set the temporary plane;
A program characterized by

請求項９に記載のプログラムであって、
前記３次元点群データが、被写体までの距離を画素毎に測定可能な撮像装置を用いて得られたデータである、
ことを特徴とするプログラム。
The program according to claim 9 ,
The three-dimensional point cloud data is data obtained using an imaging device capable of measuring the distance to the subject for each pixel,
A program characterized by