JP5396287B2 - Face orientation detection device - Google Patents
Face orientation detection device Download PDFInfo
- Publication number
- JP5396287B2 JP5396287B2 JP2010005808A JP2010005808A JP5396287B2 JP 5396287 B2 JP5396287 B2 JP 5396287B2 JP 2010005808 A JP2010005808 A JP 2010005808A JP 2010005808 A JP2010005808 A JP 2010005808A JP 5396287 B2 JP5396287 B2 JP 5396287B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- sunglasses
- determination
- luminance
- outputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、顔向き検知装置に関する。 The present invention relates to a face orientation detection device.
従来、例えばサングラスを着用している運転者の顔画像からサングラスの位置を検出し、この検出結果に基づいて運転者の眼の位置を推定し、この推定結果に基づいて顔の中心位置(顔中心位置)を検出する顔中心位置検出装置が知られている(例えば、特許文献1参照)。 Conventionally, for example, the position of sunglasses is detected from the face image of a driver wearing sunglasses, the position of the driver's eyes is estimated based on the detection result, and the center position of the face (face 2. Description of the Related Art A face center position detection device that detects a center position) is known (see, for example, Patent Document 1).
ところで、上記従来技術に係る顔中心位置検出装置によれば、検出したサングラスの位置から眼の位置を推定していることから、例えば運転者の顔向き角度に応じてサングラスの位置と眼の位置との対応関係が変動する場合には、所望の精度を確保して眼の位置を推定することができず、顔の中心位置(顔中心位置)の検出精度を向上させることができないという問題が生じる。 By the way, according to the face center position detection device according to the above-described prior art, since the position of the eye is estimated from the detected position of the sunglasses, for example, the position of the sunglasses and the position of the eye according to the driver's face orientation angle. When the correspondence relationship with fluctuates, there is a problem that it is impossible to estimate the position of the eye while ensuring the desired accuracy, and it is not possible to improve the detection accuracy of the face center position (face center position). Arise.
本発明は上記事情に鑑みてなされたもので、演算負荷が増大してしまうことを抑制しつつ、サングラスを着用したひとの顔の中心位置(顔中心位置)の検出精度を向上させることが可能な顔向き検知装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and it is possible to improve the detection accuracy of the center position (face center position) of a person wearing sunglasses while suppressing an increase in calculation load. An object of the present invention is to provide a simple face orientation detection device.
上記課題を解決して係る目的を達成するために、本発明の第1態様に係る顔向き検知装置は、ひとの顔を撮像して顔画像を出力する撮像手段(例えば、実施の形態での乗員カメラ12)と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段(例えば、実施の形態での位置検出部28)と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段(例えば、実施の形態での顔向き検知部29)とを備える顔向き検知装置であって、前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段(例えば、実施の形態でのサングラス着用判定部27)と、前記ひとが存在する方向に向かって光を照射可能に配置された光源(例えば、実施の形態での撮像用光源14)と、前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段(例えば、実施の形態での反射点抽出部21)と、前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる1対の前記反射点を選択して選択結果を出力する反射点選択手段(例えば、実施の形態での反射点選択部22)と、前記反射点選択手段から出力された前記選択結果に基づき、前記1対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段(例えば、実施の形態での中心座標算出部23)とを備え、前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出する。
In order to solve the above-described problems and achieve the object, the face orientation detection device according to the first aspect of the present invention is an imaging means that images a human face and outputs a face image (for example, in the embodiment) Crew camera 12) and position detection means for detecting the face center position and face edge position of the person based on the face image output from the imaging means and outputting detection results (for example, position detection in the embodiment) Unit 28) and a face direction detecting unit (for example, face
さらに、本発明の第2態様に係る顔向き検知装置は、前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段(例えば、実施の形態でのヒストグラム算出部24)と、前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段(例えば、実施の形態での領域設定部25)と、前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段(例えば、実施の形態での輝度算出部26)とを備え、前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定する。
Further, the face orientation detection device according to the second aspect of the present invention is a histogram calculation unit that calculates a histogram of luminance values in the vertical direction and the horizontal direction of the face image output from the imaging unit and outputs a calculation result. (For example, a
本発明の第1態様に係る顔向き検知装置によれば、ひとがサングラスを着用している場合であっても、このサングラスの左右のレンズ上の1対の反射点間の中心座標に基づいてひとの顔中心位置を精度良く検出することができる。これにより、例えばひとがサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する手段との併用によって、演算負荷が増大してしまうことを抑制しつつ顔中心位置に基づく顔向き検知のロバスト性を向上させることができる。 According to the face direction detection device of the first aspect of the present invention, even when a person is wearing sunglasses, based on the center coordinates between a pair of reflection points on the left and right lenses of the sunglasses. The human face center position can be detected with high accuracy. Thereby, for example, when the person is not wearing sunglasses, the face is suppressed while increasing the calculation load by using together with the means for detecting the face center position based on the center position of both eyes that can be directly detected. The robustness of face orientation detection based on the center position can be improved.
さらに、本発明の第2態様に係る顔向き検知装置によれば、輝度値のヒストグラムに基づきサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、ひとがサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。 Furthermore, according to the face direction detection device according to the second aspect of the present invention, since it is determined whether or not sunglasses are worn based on a histogram of luminance values, for example, a part of the sunglasses is shielded temporarily. Even when the image is not picked up, it is possible to accurately determine whether or not a person is wearing sunglasses while suppressing an increase in calculation load.
以下、本発明の顔向き検知装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による顔向き検知装置10は、例えば図1に示すように、撮像制御装置11と、乗員カメラ12と、光源制御装置13と、撮像用光源14と、処理装置15とを備えて構成され、さらに、処理装置15は、反射点抽出部21と、反射点選択部22と、中心座標算出部23と、ヒストグラム算出部24と、領域設定部25と、輝度算出部26と、サングラス着用判定部27と、位置検出部28と、顔向き検知部29とを備えて構成されている。
Hereinafter, an embodiment of a face direction detection device of the present invention will be described with reference to the accompanying drawings.
As shown in FIG. 1, for example, the face
撮像制御装置11により制御される乗員カメラ12は、例えば図2(A)〜(D)に示すように、車室内のインスツルメントパネルに配置され、少なくとも車両の運転席に着座した運転者Dの顔を撮像対象として撮像領域A内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
光源制御装置13により制御される撮像用光源14は、例えば車室内のインスツルメントパネルにおいて乗員カメラ12から左右にずれた位置に配置され、少なくとも車両の運転席に着座した運転者Dに向かい、例えば可視光線または赤外線などの光を照射可能である。
The
The
処理装置12の反射点抽出部21は、例えば図3に示すように、乗員カメラ12から出力された顔画像(例えば図3に示す顔画像FP)に基づき、例えば2値化処理などの画像処理を行なうことによって、撮像用光源14から照射された光の反射領域(例えば図3に示す運転者が着用しているサングラスでの反射領域RA)を抽出し、各反射領域毎に重心位置などからなる反射点を抽出する。
反射点抽出部21は、例えば、反射領域として、撮像用光源14から照射された光の明るさに応じた所定輝度以上、かつ、撮像用光源14の配置位置及び撮像用光源14から照射された光の収束性及び所定の照射対象(例えば、サングラスのレンズ表面など)の形状などに応じた所定面積範囲の領域を抽出したり、さらに、所定のパターンマッチングの処理の併用などによって所定形状の領域を抽出する。
The reflection
The reflection
反射点選択部22は、反射点抽出部21により抽出された複数の反射領域のうちから、例えば面積が最大となる1対の反射領域であって反射点間の距離が所定距離範囲(例えば、所定の閾距離以上の範囲など)である反射領域(例えば図3に示す運転者が着用しているサングラスGのレンズ上での反射領域RPA)を選択する。
中心座標算出部23は、反射点選択部22により選択された1対の反射領域の各反射点に基づき、1対の反射領域間の中心座標(例えば図3に示す水平方向座標XA)を算出する。
The reflection
The center
ヒストグラム算出部24は、乗員カメラ12から出力された顔画像(例えば図4に示す顔画像FP)に基づき、顔画像の横方向(水平方向)及び縦方向(鉛直方向)での画素の輝度値によるヒストグラム(例えば図4に示す横方向ヒストグラムHY及び縦方向ヒストグラムHX)を算出する。
なお、横方向ヒストグラムHYは、例えば、乗員カメラ12から出力された顔画像(例えば図4に示す顔画像FP)の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる。
また、縦方向ヒストグラムHXは、例えば、乗員カメラ12から出力された顔画像(例えば図4に示す顔画像FP)において、後述する所定の高さ幅領域での所定の横位置毎において縦方向の全画素の輝度値を積算して得られる。
The
The horizontal histogram HY is obtained, for example, by integrating the luminance values of all the pixels in the horizontal direction for each predetermined vertical position of the face image (for example, the face image FP shown in FIG. 4) output from the
In addition, the vertical histogram HX is, for example, in the vertical direction at each predetermined horizontal position in a predetermined height-width region described later in the face image output from the occupant camera 12 (for example, the face image FP shown in FIG. 4). It is obtained by integrating the luminance values of all pixels.
領域設定部25は、例えば図4に示すように、ヒストグラム算出部24により算出されたヒストグラム(例えば図4に示す横方向ヒストグラムHY及び縦方向ヒストグラムHX)に基づき、所定の判定領域DAを設定する。
例えば、領域設定部25は、先ず、横方向ヒストグラムHYにおいて、極大及び極小を抽出し、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ(例えば図4に示す極大Ma1と極小Mb1と極大Ma2)を抽出する。
そして、抽出した組み合わせ(例えば図4に示す極大Ma1と極小Mb1と極大Ma2)の極小の位置(例えば図4に示す極小Mb1の位置)をサングラス探索領域の探索領域縦位置Yaに設定する。さらに、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方(例えば図4に示す極大Ma1と極小Mb1との間の縦方向距離h)をサングラス探索領域の高さに設定する。
As shown in FIG. 4, for example, the
For example, the
Then, the minimum position (for example, the position of the minimum Mb1 shown in FIG. 4) of the extracted combination (for example, the maximum Ma1, the minimum Mb1 and the maximum Ma2 shown in FIG. 4) is set as the search area vertical position Ya of the sunglasses search area. Further, the shorter one (for example, the vertical distance h between the maximum Ma1 and the minimum Mb1 shown in FIG. 4) of the extracted combinations between the maximum and minimum is set as the height of the sunglasses search region. To do.
そして、領域設定部25は、探索領域縦位置Yaを中心としてサングラス探索領域の高さに応じた所定の高さ幅(例えば、サングラス探索領域の高さの2倍:2hなど)を有する領域(高さ幅領域)での縦方向ヒストグラムHXにおいて、極大及び極小を抽出する。
そして、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ(例えば図4に示す極小Md1と極大Mc1と極小Md2)を抽出する。
そして、抽出した組み合わせ(例えば図4に示す極小Md1と極大Mc1と極小Md2)の極大の位置(例えば図4に示す極大Mc1の位置)をサングラス探索領域の探索領域横位置Xaに設定する。さらに、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方(例えば図4に示す極大Mc1と極小Md2との間の横方向距離w)をサングラス探索領域の幅に設定する。
Then, the
Then, a combination (for example, the minimum Md1, the maximum Mc1, and the minimum Md2 shown in FIG. 4) that extracts the maximum difference between the maximum and the minimum is extracted from the combinations of the continuous minimum, the maximum, and the minimum.
Then, the maximum position (for example, the position of the maximum Mc1 shown in FIG. 4) of the extracted combination (for example, the minimum Md1, the maximum Mc1 and the minimum Md2 shown in FIG. 4) is set as the search area lateral position Xa of the sunglasses search area. Further, the shorter one (for example, the lateral distance w between the maximum Mc1 and the minimum Md2 shown in FIG. 4) among the horizontal distances between the maximum and minimum of the extracted combination is set as the width of the sunglasses search region. .
そして、領域設定部25は、サングラス探索領域の探索領域縦位置Yaと探索領域横位置Xaとの交点をサングラス探索領域の中心Cとして、この中心Cから横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた1対の対称な位置を、左右の判定領域の中心位置とする。そして、各中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左右の判定領域DAとして設定する。
Then, the
輝度値算出部26は、領域設定部25により設定された所定の左右の判定領域DA内の全画素の輝度値に基づき、左右の判定領域DA毎に所定輝度以上の領域を除外した後の各判定領域DA内での輝度値の中央値(輝度中央値)を算出する。
サングラス着用判定部27は、輝度値算出部26により算出された各判定領域DA毎の輝度中央値に基づき、例えば、左右の判定領域DA毎に、輝度中央値が所定の第1輝度未満の場合、あるいは、輝度中央値が所定の第1輝度以上かつ第2輝度(>第1輝度)未満であって判定領域DAに対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度よりも大きい場合には、運転者が着用しているサングラスが有ると判定する。そして、これら以外の場合には、サングラスが無いと判定する。
The luminance
The sunglasses wearing
位置検出部28は、乗員カメラ12から出力された顔画像に基づき、運転者の顔の幅方向(横方向)の中心位置(顔中心位置FC)および顔の幅方向(横方向)の端の位置(左右の顔端位置FE1,FE2)を検出する。
例えば、位置検出部28は、サングラス着用判定部27により運転者が着用しているサングラスが有ると判定された場合には、中心座標算出部23により算出された中心座標(例えば図3に示す水平方向座標XAからなる中心座標)の輝度を検出し、この検出結果による輝度が所定の閾輝度以上であれば、この中心座標を、顔中心位置FCとして設定する。
また、位置検出部28は、乗員カメラ12から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置FE1,FE2を検出する。
The
For example, when it is determined by the sunglasses wearing
Further, the
顔向き検知部29は、位置検出部28により検出された顔中心位置FC及び左右の顔端位置FE1,FE2に基づき、例えばひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
顔向き検知部29は、例えば図5に示すように、左右の顔端位置FE1,FE2間の中央位置COと顔中心位置FCとの間の左右方向での距離を顔中心のずれrとし、左右の顔端位置FE1,FE2間の距離を顔の幅2Rとし、中央位置COから乗員カメラ12に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれrと顔の幅2Rとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β=90−αとして、正弦定理による下記数式(1)を変形して下記数式(2)が得られ、この下記数式(2)から角度θが下記数式(3)に示すように記述される。
The
For example, as shown in FIG. 5, the face
なお、顔向き検知部29は、例えば左右の顔端位置FE1,FE2から反射点選択部22により選択された1対の反射領域の各反射点までの距離の比(つまり、左側の顔端位置FE1から左側の反射点までの距離と右側の顔端位置FE2から右側の反射点までの距離との比)などに基づいて顔向き方向を検知してもよい。
Note that the face
この実施の形態による顔向き検知装置10は上記構成を備えており、次に、この顔向き検知装置10の動作について説明する。
The face
先ず、以下に顔中心位置FCを検出する処理について説明する。
例えば図6に示すステップS01においては、後述するサングラス検出処理の検出結果において運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「NO」の場合には、ステップS02に進み、このステップS02においては、顔中心位置FCが検出されない(顔中心不検出)として、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS03に進む。
そして、ステップS03においては、乗員カメラ12から出力された顔画像に基づき、撮像用光源14から照射された光の反射領域のうち、運転者が着用しているサングラスのレンズ上での反射領域(例えば、所定輝度以上かつ所定面積範囲かつ所定形状の反射領域)を検出し、反射領域の重心位置などからなる反射点を抽出する。
First, processing for detecting the face center position FC will be described below.
For example, in step S01 shown in FIG. 6, it is determined whether or not it is detected that the driver is wearing sunglasses in the detection result of the sunglasses detection process described later.
If this determination is “NO”, the flow proceeds to step S 02, and in this step S 02, the face center position FC is not detected (face center not detected), and the flow proceeds to END.
On the other hand, if the determination is “YES”, the flow proceeds to step S03.
In step S03, based on the face image output from the
次に、ステップS04においては、運転者が着用しているサングラスのレンズ上で複数の反射領域を検出したか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS05に進む。
次に、ステップS05においては、複数の反射領域のうちから反射領域の距離(例えば、反射領域の反射点間の距離)が閾距離以上であって、面積が最大となる1対の反射領域が存在するか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS06に進む。
Next, in step S04, it is determined whether or not a plurality of reflection areas are detected on the lens of the sunglasses worn by the driver.
If this determination is “NO”, the flow proceeds to step S 02 described above.
On the other hand, if this determination is “YES”, the flow proceeds to step S 05.
Next, in step S05, a pair of reflection regions in which the distance between the reflection regions (for example, the distance between the reflection points of the reflection region) is equal to or greater than the threshold distance among the plurality of reflection regions and the area is the maximum. Determine if it exists.
If this determination is “NO”, the flow proceeds to step S 02 described above.
On the other hand, if this determination is “YES”, the flow proceeds to step S 06.
次に、ステップS06においては、反射領域の距離が閾距離以上であって、面積が最大となる1対の反射領域の重心(例えば、反射点間の中心座標)を算出する。
次に、ステップS07においては、重心の輝度を検出する。
次に、ステップS08においては、重心の輝度が所定の閾輝度以上であるか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS09に進む。
そして、ステップS09においては、重心を、顔中心位置FCとして設定し、エンドに進む。
Next, in step S06, the center of gravity (for example, center coordinates between the reflection points) of the pair of reflection regions where the distance between the reflection regions is equal to or greater than the threshold distance and the area is maximum is calculated.
Next, in step S07, the brightness of the center of gravity is detected.
Next, in step S08, it is determined whether the brightness of the center of gravity is equal to or higher than a predetermined threshold brightness.
If this determination is “NO”, the flow proceeds to step S 02 described above.
On the other hand, if this determination is “YES”, the flow proceeds to step S 09.
In step S09, the center of gravity is set as the face center position FC, and the process proceeds to the end.
以下に、顔向きを検出する処理について説明する。
例えば図7に示すステップS11においては、乗員カメラ12から出力された顔画像を取得する。
次に、ステップS12においては、前回の処理にて運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS16に進む。
一方、この判定結果が「NO」の場合には、ステップS13に進む。
次に、ステップS13においては、例えば撮像用光源14から照射された光の運転者の角膜での反射などを用いた所定の視線検出の処理を実行する。
次に、ステップS14においては、運転者の視線を検出したか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS16に進む。
一方、この判定結果が「YES」の場合には、ステップS15に進む。
Hereinafter, processing for detecting the face orientation will be described.
For example, in step S11 shown in FIG. 7, the face image output from the
Next, in step S12, it is determined whether or not it is detected in the previous process that the driver is wearing sunglasses.
If this determination is “YES”, the flow proceeds to step S 16 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step
Next, in step S13, a predetermined line-of-sight detection process using, for example, reflection of the light emitted from the
Next, in step S14, it is determined whether or not the driver's line of sight has been detected.
If this determination is “NO”, the flow proceeds to step S 16 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S15.
次に、ステップS15においては、運転者の視線を出力し、エンドに進む。
また、ステップS16においては、後述するサングラス検出処理を実行する。
次に、ステップS17においては、乗員カメラ12から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置FE1,FE2を検出する。そして、上述したステップS01〜ステップS09の処理によって検出された顔中心位置FCと、左右の顔端位置FE1,FE2とに基づき、例えばシリンダー法などによって、運転者の顔向きの方向を検出する。
次に、ステップS18においては、運転者の顔向きを出力し、エンドに進む。
Next, in step S15, the driver's line of sight is output and the process proceeds to the end.
In step S16, a sunglasses detection process described later is executed.
Next, in step S17, the left and right face edge positions FE1, FE2 are detected by performing predetermined image processing on the face image output from the
Next, in step S18, the driver's face orientation is output and the process proceeds to the end.
以下に、顔向きを検出する処理について説明する。
例えば図8に示すステップS21においては、後述するサングラス探索領域の縦位置算出の処理を実行する。
次に、ステップS22においては、後述するサングラス探索領域の横位置算出の処理を実行する。
次に、ステップS23においては、サングラス探索領域の探索領域縦位置Yaと探索領域横位置Xaとの交点をサングラス探索領域の中心として算出する。
Hereinafter, processing for detecting the face orientation will be described.
For example, in step S21 shown in FIG. 8, a process for calculating the vertical position of the sunglasses search area, which will be described later, is executed.
Next, in step S <b> 22, a process for calculating the lateral position of the sunglasses search area described later is executed.
Next, in step S23, the intersection of the search region vertical position Ya and the search region horizontal position Xa of the sunglasses search region is calculated as the center of the sunglasses search region.
次に、ステップS24においては、サングラス探索領域の中心から横方向の左側にずれた位置での左側の判定領域を設定する。
次に、ステップS25においては、左側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップS26においては、左側の判定領域に対する輝度中央値が所定の第1輝度未満であるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS30に進む。
一方、この判定結果が「NO」の場合には、ステップS27に進む。
Next, in step S24, a determination area on the left side at a position shifted to the left side in the horizontal direction from the center of the sunglasses search area is set.
Next, in step S25, the process of calculating the luminance median value of the determination area, which will be described later, is executed for the determination area on the left side.
Next, in step S26, it is determined whether or not the median luminance for the left determination area is less than a predetermined first luminance.
If this determination is “YES”, the flow proceeds to step S 30 described later.
On the other hand, if this determination is “NO”, the flow proceeds to step
次に、ステップS27においては、左側の判定領域に対する輝度中央値が所定の第1輝度よりも大きい第2輝度未満であるか否かを判定する。
この判定結果が「NO」の場合には、ステップS28に進み、このステップS28においては、運転者がサングラスを着用していないと判断して、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS29に進む。
そして、ステップS29においては、左側の判定領域に対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度(例えば、第2輝度よりも大きい輝度など)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS30に進む。
Next, in step S27, it is determined whether or not the median luminance for the left determination area is less than the second luminance greater than the predetermined first luminance.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S29.
In step S29, the luminance (for example, average luminance) of the predetermined upper and lower regions in both vertical directions with respect to the left determination region is greater than the predetermined third luminance (for example, luminance greater than the second luminance). It is determined whether or not it is larger.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S30.
次に、ステップS30においては、サングラス探索領域の中心から横方向の右側にずれた位置での右側の判定領域を設定する。
次に、ステップS31においては、右側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップS32においては、右側の判定領域に対する輝度中央値が所定の第1輝度未満であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS33に進み、このステップS33においては、運転者がサングラスを着用していると判断して、リターンに進む。
一方、この判定結果が「NO」の場合には、ステップS34に進む。
Next, in step S30, a determination region on the right side at a position shifted to the right in the horizontal direction from the center of the sunglasses search region is set.
Next, in step S31, a process for calculating the luminance median value of the determination area, which will be described later, is executed for the determination area on the right side.
Next, in step S32, it is determined whether or not the median luminance for the right determination region is less than a predetermined first luminance.
If this determination is “YES”, the flow proceeds to step S33, and in this step S33, it is determined that the driver is wearing sunglasses, and the flow proceeds to return.
On the other hand, if this determination is “NO”, the flow proceeds to step S 34.
次に、ステップS34においては、右側の判定領域に対する輝度中央値が所定の第1輝度よりも大きい第2輝度未満であるか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS35に進む。
そして、ステップS35においては、右側の判定領域に対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度(例えば、第2輝度よりも大きい輝度など)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、上述したステップS33に進む。
Next, in step S34, it is determined whether or not the median luminance for the determination region on the right side is less than the second luminance greater than the predetermined first luminance.
If this determination is “NO”, the flow proceeds to step
On the other hand, if the determination is “YES”, the flow proceeds to step S35.
In step S35, the luminance (for example, average luminance) of the predetermined upper and lower regions in both vertical directions with respect to the determination region on the right side is larger than the predetermined third luminance (for example, luminance larger than the second luminance). It is determined whether or not it is larger.
If this determination is “NO”, the flow proceeds to step
On the other hand, if this determination is “YES”, the flow proceeds to step S 33 described above.
以下に、サングラス探索領域の縦位置算出の処理について説明する。
例えば図9に示すステップS41においては、乗員カメラ12から出力された顔画像の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる横方向ヒストグラムHYを作成する。
次に、ステップS42においては、横方向ヒストグラムHYにおいて、極大及び極小を抽出する。
Hereinafter, the process for calculating the vertical position of the sunglasses search area will be described.
For example, in step S41 shown in FIG. 9, a horizontal histogram HY obtained by integrating the luminance values of all the pixels in the horizontal direction for each predetermined vertical position of the face image output from the
Next, in step S42, a maximum and a minimum are extracted from the horizontal histogram HY.
次に、ステップS43においては、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップS44においては、抽出した組み合わせの極小の位置をサングラス探索領域の探索領域縦位置Yaに設定する。
次に、ステップS45においては、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方をサングラス探索領域の高さに設定し、リターンに進む。
Next, in step S43, the combination that maximizes the sum of the differences between the local maximum and the local minimum is extracted from the combinations of continuous local maximum, local minimum, and local maximum.
Next, in step S44, the minimum position of the extracted combination is set as the search area vertical position Ya of the sunglasses search area.
Next, in step S45, the shorter one of the vertical distances between the maximum and minimum of the extracted combination is set as the height of the sunglasses search area, and the process proceeds to return.
以下に、サングラス探索領域の横位置算出の処理について説明する。
例えば図10に示すステップS51においては、乗員カメラ12から出力された顔画像の所定の横位置毎において縦方向の全画素の輝度値を積算して得られる縦方向ヒストグラムHXを作成する。
次に、ステップS52においては、縦方向ヒストグラムHXにおいて、極大及び極小を抽出する。
Hereinafter, a process for calculating the lateral position of the sunglasses search area will be described.
For example, in step S51 shown in FIG. 10, a vertical histogram HX obtained by integrating the luminance values of all the pixels in the vertical direction for each predetermined horizontal position of the face image output from the
Next, in step S52, a maximum and a minimum are extracted from the vertical histogram HX.
次に、ステップS53においては、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせを抽出する。
次に、ステップS54においては、抽出した組み合わせの極大の位置をサングラス探索領域の探索領域横位置Xaに設定する。
次に、ステップS55においては、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方をサングラス探索領域の幅に設定し、リターンに進む。
Next, in step S53, the combination that maximizes the sum of the differences between the local maximum and the local minimum is extracted from the combinations of continuous local minimum, local maximum, and local minimum.
Next, in step S54, the maximum position of the extracted combination is set as the search area lateral position Xa of the sunglasses search area.
Next, in step S55, the shorter one of the lateral distances between the maximum and minimum of the extracted combination is set as the width of the sunglasses search area, and the process proceeds to return.
以下に、判定領域の輝度中央値算出の処理について説明する。
例えば図11に示すステップS61においては、サングラス探索領域の中心から横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた1対の対称な位置を、左右の判定領域の中心位置とする。
次に、ステップS62においては、左右の中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左側及び右側の判定領域とする。
Hereinafter, the process of calculating the luminance median value of the determination area will be described.
For example, in step S61 shown in FIG. 11, a pair of symmetrical positions shifted by a predetermined distance according to the width of the sunglasses search area in both directions in the horizontal direction from the center of the sunglasses search area are defined as the center positions of the left and right determination areas. To do.
Next, in step S62, a region having a predetermined width according to the width of the sunglasses search region in both the horizontal direction from the center position on the left and right and a predetermined height according to the height of the sunglasses search region in both the vertical directions, The determination areas are the left side and the right side.
次に、ステップS63においては、判定領域内に所定輝度以上の領域が存在するか否かを判定する。
この判定結果が「YES」の場合には、ステップS64に進み、このステップS64においては、判定領域内から所定輝度以上の領域を除外して、ステップS65に進む。
一方、この判定結果が「NO」の場合には、ステップS65に進む。
そして、ステップS65においては、判定領域内の輝度の中央値を算出して、エンドに進む。
Next, in step S63, it is determined whether or not an area having a predetermined luminance or higher exists in the determination area.
If this determination result is "YES", the process proceeds to step S64, and in this step S64, an area having a predetermined luminance or higher is excluded from the determination area, and the process proceeds to step S65.
On the other hand, if this determination is “NO”, the flow proceeds to step S65.
In step S65, the median value of the luminance in the determination area is calculated, and the process proceeds to the end.
上述したように、本実施の形態による顔向き検知装置10によれば、運転者がサングラスを着用している場合であっても、このサングラスの左右のレンズ上の1対の反射領域(例えば図3に示す運転者が着用しているサングラスGのレンズ上での反射領域RPA)の反射点間の中心座標に基づいて、運転者の顔中心位置FCを精度良く検出することができる。これにより、例えば運転者がサングラスを着用していない場合に直接検出可能な両眼の中心位置に基づき顔中心位置を検出する方法との併用によって、演算負荷が増大してしまうことを抑制しつつ運転者の顔中心位置FCに基づく顔向き検知のロバスト性を向上させることができる。
さらに、顔画像の画素の輝度値のヒストグラムに基づき運転者がサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、運転者がサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
As described above, according to the face
Furthermore, since it is determined whether or not the driver is wearing sunglasses based on the histogram of the luminance values of the pixels of the face image, for example, when a part of the sunglasses is shielded and is not temporarily captured. However, it is possible to accurately determine whether or not the driver is wearing sunglasses while suppressing an increase in calculation load.
10 顔向き検知装置
12 乗員カメラ(撮像手段)
14 撮像用光源(光源)
21 反射点抽出部(反射点抽出手段)
22 反射点選択部(反射点選択手段)
23 中心座標算出部(中心座標算出手段)
24 ヒストグラム算出部(ヒストグラム算出手段)
25 領域設定部(領域設定手段)
26 輝度算出部(輝度算出手段)
27 サングラス着用判定部(サングラス着用判定手段)
28 位置検出部(位置検出手段)
29 顔向き検知部(顔向き検知手段)
DESCRIPTION OF
14 Light source for imaging (light source)
21 Reflection point extraction unit (reflection point extraction means)
22 Reflection point selection unit (reflection point selection means)
23 Center coordinate calculation unit (center coordinate calculation means)
24 Histogram calculation unit (histogram calculation means)
25 Area setting section (area setting means)
26 Luminance calculation unit (luminance calculation means)
27 Sunglasses wear determination part (Sunglasses wear determination means)
28 Position detection unit (position detection means)
29 Face orientation detection unit (face orientation detection means)
Claims (2)
前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段と、
前記ひとが存在する方向に向かって光を照射可能に配置された光源と、
前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段と、
前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる1対の前記反射点を選択して選択結果を出力する反射点選択手段と、
前記反射点選択手段から出力された前記選択結果に基づき、前記1対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段とを備え、
前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出することを特徴とする顔向き検知装置。 Image pickup means for picking up an image of a human face and outputting a face image, and position detection means for detecting a face center position and face edge position of the person based on the face image output from the image pickup means and outputting a detection result And a face orientation detection device for detecting the face orientation direction of the person based on the detection result output from the position detection means,
Sunglasses wearing determination means for determining whether the person is wearing sunglasses and outputting a determination result;
A light source arranged to irradiate light in the direction in which the person exists;
Reflection point extraction means for extracting a reflection point of the light emitted from the light source and outputting an extraction result from the face image output from the imaging means;
Reflection point selection means for selecting a pair of reflection points that maximize the area of the reflection point from the extraction results output from the reflection point extraction means and outputting the selection result;
Center coordinate calculation means for calculating a center coordinate between the pair of reflection points based on the selection result output from the reflection point selection means, and outputting a calculation result;
When the position detection means determines that the person is wearing sunglasses in the determination result output from the sunglasses wear determination means, the position detection means is based on the center coordinates output from the center coordinate calculation means. A face direction detecting device for detecting the center position of the face of the person.
前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段と、
前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段とを備え、
前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定することを特徴とする請求項1に記載の顔向き検知装置。 Histogram calculation means for calculating a histogram of luminance values in the vertical and horizontal directions of the face image output from the imaging means and outputting a calculation result;
An area setting means for setting a predetermined determination area in the face image and outputting a setting result based on the calculation result output from the histogram calculation means;
Luminance calculation means for calculating a luminance value of each pixel in the determination area of the setting result output from the area setting means and outputting a calculation result;
The sunglasses wearing determination means determines that the person is wearing sunglasses when the median of the luminance values of the calculation result output from the luminance calculating means is equal to or less than a predetermined value. The face orientation detection device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005808A JP5396287B2 (en) | 2010-01-14 | 2010-01-14 | Face orientation detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005808A JP5396287B2 (en) | 2010-01-14 | 2010-01-14 | Face orientation detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145863A JP2011145863A (en) | 2011-07-28 |
JP5396287B2 true JP5396287B2 (en) | 2014-01-22 |
Family
ID=44460661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005808A Expired - Fee Related JP5396287B2 (en) | 2010-01-14 | 2010-01-14 | Face orientation detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5396287B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11694449B2 (en) | 2020-07-02 | 2023-07-04 | Toyota Jidosha Kabushiki Kaisha | Driver monitor and method for monitoring driver |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5367037B2 (en) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | Face orientation detection device |
JP6597467B2 (en) * | 2016-04-20 | 2019-10-30 | 株式会社デンソー | Face orientation measuring device |
DE102019209950B4 (en) * | 2019-07-05 | 2021-02-04 | Continental Automotive Gmbh | Method for sunglasses analysis and display adjustment |
CN112825145B (en) * | 2019-11-20 | 2022-08-23 | 上海商汤智能科技有限公司 | Human body orientation detection method and device, electronic equipment and computer storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4825473B2 (en) * | 2005-09-05 | 2011-11-30 | アイシン精機株式会社 | Face orientation discrimination device |
JP4895874B2 (en) * | 2007-03-15 | 2012-03-14 | アイシン精機株式会社 | Eye state determination device, eye state determination method, and eye state determination program |
-
2010
- 2010-01-14 JP JP2010005808A patent/JP5396287B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11694449B2 (en) | 2020-07-02 | 2023-07-04 | Toyota Jidosha Kabushiki Kaisha | Driver monitor and method for monitoring driver |
Also Published As
Publication number | Publication date |
---|---|
JP2011145863A (en) | 2011-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6013884B2 (en) | Object detection apparatus and object detection method | |
JP6036065B2 (en) | Gaze position detection device and gaze position detection method | |
JP5396287B2 (en) | Face orientation detection device | |
JP4592744B2 (en) | Image processing method, image processing system, image processing apparatus, and computer program | |
CN107169403B (en) | Face image processing apparatus | |
JP6704607B2 (en) | Imaging system, image processing system, moving body control system, moving body device, light projecting device, object detection method, object detection program | |
JP2008130087A (en) | Target area division method and target area division device | |
JP2014089548A (en) | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device | |
US10778882B2 (en) | Focusing position adjustment device, focusing position adjustment system, program, and focusing position adjustment method | |
JP6737212B2 (en) | Driver state estimating device and driver state estimating method | |
KR101720679B1 (en) | Lane recognition system using light fied camera and method therefor | |
JP6477348B2 (en) | Self-position estimation apparatus and self-position estimation method | |
JP2005296382A (en) | Visual line detector | |
JP5396298B2 (en) | Face orientation detection device | |
JP2019142714A (en) | Image processing device for fork lift | |
JP2009294781A (en) | Device for deciding object presence | |
JP4451195B2 (en) | Gaze detection device | |
JP2009193130A (en) | Vehicle surrounding monitoring device, vehicle, program for vehicle surrounding monitoring and vehicle surrounding monitoring method | |
JP2008040965A (en) | Road surface estimation device | |
JP6072508B2 (en) | Road surface step detection method, road surface step detection device, and vehicle equipped with road surface step detection device | |
JP6169446B2 (en) | Gaze detection device | |
JP6597467B2 (en) | Face orientation measuring device | |
JP4376685B2 (en) | Gaze detection device | |
JP2015215235A (en) | Object detection device and object detection method | |
JP5822866B2 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5396287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |