JP5092663B2 - Vehicle control device - Google Patents
Vehicle control device Download PDFInfo
- Publication number
- JP5092663B2 JP5092663B2 JP2007259969A JP2007259969A JP5092663B2 JP 5092663 B2 JP5092663 B2 JP 5092663B2 JP 2007259969 A JP2007259969 A JP 2007259969A JP 2007259969 A JP2007259969 A JP 2007259969A JP 5092663 B2 JP5092663 B2 JP 5092663B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- feature point
- facial expression
- face
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、車両の乗員の表情に応じた車両制御等の処理に適用して好適な、対象人物の顔の表情を推定する技術に関する。 The present invention relates to a technique for estimating a facial expression of a target person, which is suitable for processing such as vehicle control in accordance with the facial expression of an occupant of a vehicle.
従来より、カメラにより撮像された対象人物の実写顔画像と予め記憶されている表情毎の顔画像データとを照合し、実写顔画像に最も類似している顔画像データを特定することにより、対象人物の顔の表情を判定する技術が知られている（特許文献１参照）。
従来技術では、実写顔画像と照合される表情毎の顔画像データは複数の顔画像を表情毎に平均化することにより生成されるが、目、鼻等の形状は対象人物によって大きく異なる。このため従来技術によれば、実写顔画像と顔画像データの照合精度（類似度）が低下し、対象人物の顔の表情を誤って判定することがある。 In the prior art, facial image data for each facial expression that is collated with a live-action facial image is generated by averaging a plurality of facial images for each facial expression, but the shapes of eyes, nose, etc. vary greatly depending on the target person. For this reason, according to the prior art, the matching accuracy (similarity) between the real face image and the face image data is lowered, and the facial expression of the target person may be erroneously determined.
本発明は、このような課題を解決するためになされたものであり、その目的は、対象人物の顔の表情を精度高く判定可能な表情推定技術を提供することにある。 The present invention has been made to solve such a problem, and an object of the present invention is to provide a facial expression estimation technique capable of accurately determining the facial expression of a target person.
本発明は、目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、目の縦横比の特徴量パラメータの平常時からの変化量と、目と口端間の縦方向距離の特徴量パラメータの平常時からの変化量と、目と眉間の縦方向距離の特徴量パラメータの平常時からの変化量との要素を含み、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定し、特徴ベクトルの各要素と、特徴ベクトルの各要素毎に予め設定された重み付け係数とを対応する各要素毎に乗算し、得られた各要素毎の乗算値を積算した値と予め設定された閾値との大小を比較し、比較結果に応じて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定し、特徴ベクトルにおける目と口端間の縦方向距離の特徴パラメータの要素に対応した重み付け係数の値を大きくする設定と、特徴ベクトルにおける目の縦横比の特徴量パラメータの要素に対応する重み付け係数、ならびに特徴ベクトルにおける目と眉の間の縦方向距離の特徴量パラメータの要素に対応する重み付け係数の値を負値にする設定との少なくともいずれか一方の設定を行う。
The present invention, eye aspect ratio, eyes and longitudinal distance between the mouth end and the eyes and eyebrows of the longitudinal distance calculating a plurality of feature quantity parameters including at least a normal state of the feature parameters of the eye of the aspect ratio The amount of change from the normal, the amount of change in the feature parameter of the vertical distance between the eyes and mouth edge from the normal, and the amount of change from the normal of the feature parameter of the vertical distance between the eyes and the eyebrows Based on a facial expression model that defines a feature vector whose element is the amount of change from the normal of multiple feature parameters, and forms a region of feature vector groups labeled in the feature space in the feature space By mapping the defined feature vector to the feature space and determining which class the feature vector belongs to, the facial expression of the target person is estimated, and for each element of the feature vector and each element of the feature vector Forecast Multiplying each element corresponding to the set weighting factors, resulting comparing large and small of the preset threshold value obtained by integrating the multiplication values of the respective elements, the driver in accordance with the comparison result Is set to increase the value of the weighting coefficient corresponding to the element of the feature parameter of the longitudinal distance between the eyes and the mouth edge in the feature vector, The weighting coefficient corresponding to the element of the feature amount parameter of the aspect ratio of the eye in the feature vector and the value of the weighting coefficient corresponding to the element of the feature amount parameter of the vertical distance between the eye and the eyebrows in the feature vector are set to negative values. Set at least one of the settings .
本発明によれば、対象人物ごとに異なる特徴点の形状に依存することなく、対象人物の顔の表情を推定するため、対象人物の顔の表情を精度高く判定することができる。 According to the present invention, the facial expression of the target person's face is estimated without depending on the shape of the feature point that differs for each target person, so that the facial expression of the target person's face can be determined with high accuracy.
以下、図面を参照して、本発明の実施形態となる表情推定装置の構成及びその動作について説明する。 Hereinafter, the configuration and operation of a facial expression estimation apparatus according to an embodiment of the present invention will be described with reference to the drawings.
〔表情推定装置の構成〕
始めに、図１乃至図３を参照して、本発明の実施形態となる表情推定装置の構成について説明する。
[Configuration of facial expression estimation device]
First, the configuration of a facial expression estimation apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3.
本発明の実施形態となる表情推定装置１は、図示しない車両に搭載され、図１に示すように、車両の運転者（乗員）２の顔に向けて照明光Ｌを照射する照明器具３と、照明光Ｌによって照明された運転者２の顔を含む映像Ｇを撮影する撮像装置４と、撮像装置４によって撮影された映像Ｇから運転者２の顔の表情とその強度（度合い）を示す信号を生成，出力するマイクロコンピュータ５とを主な構成要素として備える。 A facial expression estimation device 1 according to an embodiment of the present invention is mounted on a vehicle (not shown), and as shown in FIG. 1, a lighting fixture 3 that irradiates illumination light L toward the face of a driver (occupant) 2 of the vehicle, The imaging device 4 that captures the image G including the face of the driver 2 illuminated by the illumination light L, and the facial expression of the driver 2 from the image G captured by the imaging device 4 and the intensity (degree) thereof are shown. The microcomputer 5 which produces | generates and outputs a signal is provided as a main component.
マイクロコンピュータ５は、ＣＰＵ（Central Processing Unit）等の演算処理部と各種データを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部６を備え、記憶部６内に予め記憶されたコンピュータプログラムを演算処理部が実行することにより、顔画像取得部７，特徴点出力部８，表情推定部９，及び表情信号出力部１０として機能する。また特徴点出力部８は図２に示すように顔特徴検出部１１と顔特徴点追跡部１２を備え、表情推定部９は図３に示すように顔特徴点正規化部２１，特徴計算部２２，表情クラス分け部２３，及び表情強度計算部２４を備える。マイクロコンピュータ５内のこれら各部の機能（動作）の詳細については後述する。 The microcomputer 5 includes an arithmetic processing unit such as a CPU (Central Processing Unit) and a storage unit 6 such as a ROM (Read Only Memory) and a RAM (Random Access Memory) that store various data, and is stored in the storage unit 6 in advance. When the computer processing unit executes the computer program, the facial image acquisition unit 7, the feature point output unit 8, the facial expression estimation unit 9, and the facial expression signal output unit 10 function. The feature point output unit 8 includes a face feature detection unit 11 and a face feature point tracking unit 12 as shown in FIG. 2, and the facial expression estimation unit 9 includes a face feature point normalization unit 21 and a feature calculation unit as shown in FIG. 22, a facial expression classification unit 23, and a facial expression strength calculation unit 24. Details of functions (operations) of these units in the microcomputer 5 will be described later.
照明器具３は、出来る限り影ができないように運転者２の顔に照明光Ｌを照射する。照明光Ｌとしては、運転者２に眩しさを感じさせないようにするために可視光よりも近赤外光を用いることが望ましい。撮像装置４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた小型のものにより構成され、撮影された映像Ｇをフレーム単位で時系列的に順次出力する。照明器具３及び撮像装置４は、表情推定装置１専用に備えられたものである必要はなく、他の用途のために予め車室内に設けられている場合にはそれを代用してもよい。 The luminaire 3 irradiates the driver 2 with the illumination light L so as not to shadow as much as possible. As the illumination light L, it is desirable to use near infrared light rather than visible light so that the driver 2 does not feel dazzling. The imaging device 4 is constituted by a small device using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and sequentially outputs the captured video G in a time series in units of frames. The lighting fixture 3 and the imaging device 4 do not need to be provided exclusively for the facial expression estimation device 1, and may be used in the case where they are provided in advance in the vehicle interior for other purposes.
〔表情推定処理〕
このような構成を有する表情推定装置１は、以下に示す表情推定処理を実行することにより運転者２の顔の表情を推定する。以下、図４乃至図１９を参照して、この表情推定処理を実行する際の表情推定装置１の動作について説明する。なお本実施形態の表情推定処理は、特徴点検出処理，特徴点追跡処理，特徴点正規化処理，特徴計算処理，表情クラス分け処理，及び表情強度計算処理に大別される。そこで以下では本実施形態の表情推定処理をこれらの処理に分けて順に説明する。
[Expression estimation processing]
The facial expression estimation apparatus 1 having such a configuration estimates the facial expression of the driver 2 by executing facial expression estimation processing described below. Hereinafter, with reference to FIG. 4 to FIG. 19, the operation of the facial expression estimation apparatus 1 when executing this facial expression estimation process will be described. The facial expression estimation process of this embodiment is roughly divided into a feature point detection process, a feature point tracking process, a feature point normalization process, a feature calculation process, a facial expression classification process, and a facial expression strength calculation process. Therefore, hereinafter, the facial expression estimation process of the present embodiment will be described in order by dividing it into these processes.
〔特徴点検出処理〕
始めに、図４に示すフローチャートを参照して、運転者２の顔画像から運転者の顔の特徴点を複数検出する特徴点検出処理を実行する際の表情推定装置１の動作について説明する。
[Feature point detection processing]
First, with reference to the flowchart shown in FIG. 4, the operation of the facial expression estimation apparatus 1 when executing a feature point detection process for detecting a plurality of feature points of the driver's face from the face image of the driver 2 will be described.
図４に示すフローチャートは、車両のイグニッションスイッチがオフ状態からオン状態に切り換えられ、表情推定装置１に電力が供給されたタイミングで開始となり、特徴点検出処理はステップＳ１の処理に進む。なおこの特徴点検出処理は各フレームの顔画像毎に繰り返し実行される。 The flowchart shown in FIG. 4 starts when the ignition switch of the vehicle is switched from the off state to the on state and power is supplied to the facial expression estimation device 1, and the feature point detection process proceeds to step S1. This feature point detection process is repeatedly executed for each face image of each frame.
ステップＳ１の処理では、顔画像取得部７が、撮像装置４を介して運転者２の顔を含む映像Ｇを取得し、取得した映像Ｇの中から運転者２の顔画像（縦２４０画素×横３２０画素）をフレーム画像毎に抽出する。そして顔特徴検出部１１が、顔画像取得部７により抽出された運転者２の顔画像を構成する画素の濃度分布に基づいて、図５（ａ）に示すような横エッジ画像を検出する。この横エッジ画像は、顔画像の縦の各列について画素濃度の極小値（眉，瞳等の黒い部分，図５（ａ）に示す白色領域）を抽出することにより検出できる。これにより、ステップＳ１の処理は完了し、特徴点検出処理はステップＳ２の処理に進む。 In the process of step S <b> 1, the face image acquisition unit 7 acquires a video G including the face of the driver 2 via the imaging device 4, and from the acquired video G, the face image of the driver 2 (vertical 240 pixels × (320 pixels wide) is extracted for each frame image. Then, the face feature detection unit 11 detects a horizontal edge image as shown in FIG. 5A based on the density distribution of the pixels constituting the face image of the driver 2 extracted by the face image acquisition unit 7. This horizontal edge image can be detected by extracting the minimum value of the pixel density (black area such as eyebrows and pupils, white area shown in FIG. 5A) for each vertical column of the face image. Thereby, the process of step S1 is completed and the feature point detection process proceeds to the process of step S2.
ステップＳ２の処理では、特徴点検出部１１が、図５（ｂ）に示すようにステップＳ１の処理により検出された横エッジ画像からノイズ成分を除去する。ノイズ成分は、濃度の極小値を示す画素のうち、濃度変化が設定値未満の画素と８近傍（上下，左右，各斜め方向の各上下）に濃度の極小値を示す画素がない画素（独立点）とをエッジ画像から削除することにより除去できる。これにより、ステップＳ２の処理は完了し、特徴点検出処理はステップＳ３の処理に進む。 In the process of step S2, the feature point detector 11 removes noise components from the horizontal edge image detected by the process of step S1, as shown in FIG. Among the pixels showing the minimum density value, the noise component is a pixel whose density change is less than the set value and a pixel having no minimum density value in the vicinity of 8 (up and down, left and right, and up and down in each diagonal direction) (independent Can be removed from the edge image. Thereby, the process of step S2 is completed, and the feature point detection process proceeds to the process of step S3.
ステップＳ３の処理では、特徴点検出部１１が、ノイズ成分が除去されたエッジ画像を構成する各画素の８近傍での連接状態を分析することにより、傾きが所定値以上のエッジ画像を削除する。また特徴点検出部１１は、横方向への繋がり長さが所定値以上のエッジ画像については、濃度変化が最も小さい画素を削除することにより、横方向への繋がり長さが所定値以下の複数のエッジ画像に分割する。そして特徴点検出部１１は、図５（ｃ）に示すようなこれらの処理後の各エッジ画像を運転者２の顔の特徴点（以下、顔特徴点と略記）の候補として設定する。なお本明細書中において“顔特徴点”とは運転者２の顔の表情を特徴付ける目，鼻，口，眉等を意味する。これにより、ステップＳ３の処理は完了し、特徴点検出処理はステップＳ４の処理に進む。 In the process of step S3, the feature point detection unit 11 deletes an edge image having a slope greater than or equal to a predetermined value by analyzing a connection state in the vicinity of 8 of each pixel constituting the edge image from which the noise component is removed. . The feature point detection unit 11 deletes a pixel having the smallest density change for an edge image having a horizontal connection length of a predetermined value or more, thereby removing a plurality of horizontal connection lengths of the predetermined value or less. Is divided into edge images. Then, the feature point detection unit 11 sets each of the processed edge images as shown in FIG. 5C as a candidate for the facial feature point of the driver 2 (hereinafter abbreviated as a facial feature point). In the present specification, “face feature points” mean eyes, nose, mouth, eyebrows and the like that characterize the facial expression of the driver 2. Thereby, the process of step S3 is completed, and the feature point detection process proceeds to the process of step S4.
ステップＳ４の処理では、特徴点検出部１１が、ステップＳ３の処理により設定された顔特徴点の候補数が所定値以下であるか否かを判別する。判別の結果、顔特徴点の候補数が所定値未満である場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、顔特徴点の候補数が所定値未満でない場合には、特徴点検出部１１は特徴点検出処理をステップＳ５の処理に進める。 In the process of step S4, the feature point detection unit 11 determines whether or not the number of face feature point candidates set by the process of step S3 is equal to or less than a predetermined value. If the number of face feature point candidates is less than the predetermined value as a result of the discrimination, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the process of step S10, and ends the series of feature point detection processes. To do. On the other hand, when the number of face feature point candidates is not less than the predetermined value, the feature point detection unit 11 advances the feature point detection process to the process of step S5.
ステップＳ５の処理では、特徴点検出部１１が、各顔特徴点を識別できるように図６（ａ）に示すように各顔特徴点に対し固有の番号（ラベル）を付与することにより顔特徴点のラベリングを行う。これにより、ステップＳ５の処理は完了し、特徴点検出処理はステップＳ６の処理に進む。 In the process of step S5, the feature point detection unit 11 assigns a unique number (label) to each face feature point as shown in FIG. 6A so that each face feature point can be identified. Do point labeling. Thereby, the process of step S5 is completed, and the feature point detection process proceeds to the process of step S6.
ステップＳ６の処理では、特徴点検出部１１が、図６（ｂ）に示すように、ラベリングされた顔特徴点の全ての組み合わせと、記憶部６に予め記憶されている顔特徴点（ノード）と顔特徴点間の位置関係（ブランチ）を示すデータとを照合する。具体的には特徴点検出部１１は、３つの顔特徴点の組み合わせを作成し、図７に示すような運転者２の右目の位置を示す顔特徴点EyeRを基準位置とする３つの顔特徴点の位置関係に近似する位置関係を有する顔特徴点の組み合わせが作成した組み合わせの中にあるか否かを照合する。なお、各顔特徴点は一定の距離範囲を有し、照合処理は顔特徴点の距離範囲内に記憶部６に記憶されている顔特徴点が何個存在するか計数することにより行う。これにより、ステップＳ６の処理は完了し、特徴点検出処理はステップＳ７の処理に進む。 In the process of step S6, the feature point detection unit 11 performs all combinations of the labeled face feature points and face feature points (nodes) stored in advance in the storage unit 6 as shown in FIG. And data indicating the positional relationship (branch) between the facial feature points. Specifically, the feature point detection unit 11 creates a combination of three face feature points, and three face features having the face feature point EyeR indicating the position of the right eye of the driver 2 as shown in FIG. 7 as a reference position. It is checked whether or not a combination of face feature points having a positional relationship that approximates the positional relationship of the points is within the created combination. Each face feature point has a certain distance range, and the matching process is performed by counting the number of face feature points stored in the storage unit 6 within the distance range of the face feature points. Thereby, the process of step S6 is completed, and the feature point detection process proceeds to the process of step S7.
ステップＳ７の処理では、特徴点検出部１１が、照合数が所定値以上であるか否かを判別する。判別の結果、照合数が所定値以上でない場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、照合数が所定値以上である場合には、特徴点検出部１１は特徴点検出処理をステップＳ８の処理に進める。 In the process of step S7, the feature point detection unit 11 determines whether or not the number of collations is a predetermined value or more. As a result of the determination, if the number of collations is not equal to or greater than the predetermined value, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the process of step S10, and ends the series of feature point detection processes. On the other hand, when the number of collations is equal to or greater than the predetermined value, the feature point detection unit 11 advances the feature point detection process to the process of step S8.
ステップＳ８の処理では、特徴点検出部１１が、図６（ｃ）に示すように、ラベリングされた顔特徴点の組み合わせのうち、記憶部６に記憶されている顔特徴点間の位置関係を示すデータに一致又は最も近似している組み合わせ（図６（ｃ）中、直線により結ばれた顔特徴点の組み合わせ）を選択する。これにより、ステップＳ８の処理は完了し、特徴点検出処理はステップＳ９の処理に進む。 In the process of step S8, as shown in FIG. 6C, the feature point detection unit 11 determines the positional relationship between the facial feature points stored in the storage unit 6 among the combinations of the labeled facial feature points. A combination (a combination of facial feature points connected by straight lines in FIG. 6C) that matches or most closely approximates the data shown is selected. Thereby, the process of step S8 is completed, and the feature point detection process proceeds to the process of step S9.
ステップＳ９の処理では、特徴点検出部１１が、ステップＳ８の処理により選択された顔特徴点の組み合わせについて、記憶部６に記憶されている顔特徴点間の位置関係を示すデータとの一致度合いを示す評価値を算出し、算出された評価値が最小評価値未満であるか否かを判別する。そして判別の結果、評価値が最小評価値未満である場合、特徴点検出部１１は、ステップＳ１０の処理として顔特徴点を精度高く検出できないと判断し、一連の特徴点検出処理を終了する。一方、評価値が最小評価値未満でない場合には、特徴点検出部１１はステップＳ１１の処理として顔特徴点を検出できたと判断し、一連の顔特徴点検出処理を終了する。なお各顔特徴点間には重み付けの係数が予め設定されており、顔特徴点の重み付けの係数を積算した値を評価値とする。また重み付けの係数は、距離関係が重要な顔特徴点間ほど大きく設定され、逆に距離関係の重要性が低い顔特徴点間ほど小さく設定されている。具体的には、右目と左目間の重み付けの係数をＡ，鼻と顎間の重み付けの係数をＢとした場合、距離関係の重要度が相対的に高い係数Ａの方が距離関係の重要度が相対的に低い係数Ｂよりも大きな値に設定される。 In the process of step S9, the degree of coincidence between the feature point detection unit 11 and the data indicating the positional relationship between the face feature points stored in the storage unit 6 for the combination of the face feature points selected in the process of step S8. Is calculated, and it is determined whether or not the calculated evaluation value is less than the minimum evaluation value. If the evaluation value is less than the minimum evaluation value as a result of the determination, the feature point detection unit 11 determines that the face feature point cannot be detected with high accuracy as the processing in step S10, and ends the series of feature point detection processing. On the other hand, if the evaluation value is not less than the minimum evaluation value, the feature point detection unit 11 determines that the face feature point has been detected as the process of step S11, and ends the series of face feature point detection processing. A weighting coefficient is set in advance between the face feature points, and a value obtained by integrating the weighting coefficients of the face feature points is used as an evaluation value. The weighting coefficient is set to be larger between the facial feature points where the distance relationship is important, and conversely, the weighting coefficient is set to be smaller between the facial feature points where the distance relationship is less important. Specifically, when the weighting coefficient between the right eye and the left eye is A, and the weighting coefficient between the nose and chin is B, the coefficient A having a relatively high distance relationship is more important for the distance relationship. Is set to a value larger than the relatively low coefficient B.
この一連の特徴点検出処理によれば、例えば図８に示すように、右目(EyeR），左目(EyeL)，右眉(BrowR)，左眉(BrowL)，右鼻孔(NoseR)，左鼻孔(NoseL)，口又は唇(Lip)，顎(Chin)，右上眼鏡フレーム(GlasUR)，左上眼鏡フレーム(GlasUL)，右下眼鏡フレーム(GlasBR)，左下眼鏡フレーム(GlasBL)，眼鏡フレーム(GlasC)という１３個の顔特徴点を運転者２の顔画像から検出することができる。なお運転者２の鼻の位置については、右鼻孔の位置と左鼻孔の位置の中点位置としてもよい。以下では鼻の位置を単一として運転者２の顔特徴点の数を合計１２点として説明する。 According to this series of feature point detection processing, for example, as shown in FIG. 8, the right eye (EyeR), left eye (EyeL), right eyebrow (BrowR), left eyebrow (BrowL), right nostril (NoseR), left nostril ( NoseL), mouth or lips (Lip), chin (Chin), upper right eyeglass frame (GlasUR), upper left eyeglass frame (GlasUL), lower right eyeglass frame (GlasBR), lower left eyeglass frame (GlasBL), eyeglass frame (GlasC) Thirteen face feature points can be detected from the face image of the driver 2. The nose position of the driver 2 may be a midpoint position between the right nostril position and the left nostril position. In the following description, it is assumed that the position of the nose is single and the number of facial feature points of the driver 2 is 12 in total.
〔特徴点追跡処理〕
次に、図９に示すフローチャートを参照して、前回の顔画像から検出された顔特徴点の今回の顔画像内における位置（座標値）を検出する特徴点追跡処理を実行する際の表情推定装置１の動作について説明する。
(Feature point tracking process)
Next, referring to the flowchart shown in FIG. 9, facial expression estimation when executing a feature point tracking process for detecting the position (coordinate value) in the current face image of the face feature point detected from the previous face image The operation of the device 1 will be described.
図９に示すフローチャートは、上記ステップＳ１１の処理において顔特徴点を検出できたと判断された後に顔画像取得部７から顔画像のデータが入力されたタイミングで開始となり、特徴点追跡処理はステップＳ２１の処理に進む。 The flowchart shown in FIG. 9 starts at the timing when face image data is input from the face image acquisition unit 7 after it is determined that the face feature point has been detected in the process of step S11, and the feature point tracking process is performed in step S21. Proceed to the process.
ステップＳ２１の処理では、顔特徴点追跡部１２が、各顔特徴点を検出する際に基準点として利用する顔特徴点（以下、基準特徴点と略記）が今回の顔画像について設定されているか否かを判別することにより、この処理が最初の処理ステップであるか否かを判別する。判別の結果、この処理が最初の処理ステップである場合、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２４の処理に進める。一方、この処理が最初の処理ステップではない場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２２の処理に進める。 In the process of step S21, is the face feature point (hereinafter abbreviated as the reference feature point) used as the reference point when the face feature point tracking unit 12 detects each face feature point set for the current face image? By determining whether or not, it is determined whether or not this process is the first processing step. If it is determined that this process is the first process step, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S24. On the other hand, if this process is not the first process step, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S22.
ステップＳ２２の処理では、顔特徴点追跡部１２が、顔特徴点の中に左目に対応する顔特徴点EyeLがあるか否かを判別する。なおこの処理の詳細については右目に対応する顔特徴点の検出方法を例として後述する。判別の結果、左目に対応する顔特徴点EyeLがない場合、顔特徴点追跡部１２は、ステップＳ２７の処理として顔特徴点の追跡処理が失敗したと判断した後、一連の特徴点追跡処理を終了する。一方、左目に対応する顔特徴点EyeLがある場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２３の処理に進める。なお本実施形態では、左目及び右目に対応する顔特徴点EyeL, EyeRが検出されない場合に特徴点追跡処理を終了したが、左目及び右目に対応する顔特徴点EyeL, EyeRにその他の顔特徴点を検出対象として加えても良い。 In step S22, the face feature point tracking unit 12 determines whether or not there is a face feature point EyeL corresponding to the left eye among the face feature points. The details of this process will be described later using a method for detecting a face feature point corresponding to the right eye as an example. If the face feature point EyeL corresponding to the left eye is not found as a result of the determination, the face feature point tracking unit 12 determines that the face feature point tracking process has failed as the process of step S27, and then performs a series of feature point tracking processes. finish. On the other hand, when there is a face feature point EyeL corresponding to the left eye, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S23. In the present embodiment, the feature point tracking process is terminated when the face feature points EyeL and EyeR corresponding to the left eye and the right eye are not detected, but other face feature points are added to the face feature points EyeL and EyeR corresponding to the left eye and the right eye. May be added as a detection target.
ステップＳ２３の処理では、顔特徴点追跡部１２が、左目EyeLに対応する顔特徴点を基準特徴点に設定する。これにより、ステップＳ２３の処理は完了し、特徴点追跡処理はステップＳ２６の処理に進む。 In the process of step S23, the face feature point tracking unit 12 sets a face feature point corresponding to the left eye EyeL as a reference feature point. Thereby, the process of step S23 is completed, and the feature point tracking process proceeds to the process of step S26.
ステップＳ２４の処理では、顔特徴点追跡部１２が、図１１（ａ）に示すように、特徴点検出処理又は前回の特徴点追跡処理により検出された右目に対応する顔特徴点EyeRの近傍領域Ｒ０から右目に対応する顔特徴点を探索し、右目に対応する顔特徴点EyeRがあるか否かを判別する。判別の結果、右目に対応する顔特徴点EyeRがない場合、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２１の処理に戻す。一方、右目に対応する顔特徴点EyeRがある場合には、顔特徴点追跡部１２は特徴点追跡処理をステップＳ２５の処理に進める。 In the process of step S24, as shown in FIG. 11A, the face feature point tracking unit 12 is a neighborhood region of the face feature point EyeR corresponding to the right eye detected by the feature point detection process or the previous feature point tracking process. A face feature point corresponding to the right eye is searched from R 0 to determine whether or not there is a face feature point EyeR corresponding to the right eye. If there is no face feature point EyeR corresponding to the right eye as a result of the discrimination, the face feature point tracking unit 12 returns the feature point tracking process to the process of step S21. On the other hand, when there is a face feature point EyeR corresponding to the right eye, the face feature point tracking unit 12 advances the feature point tracking process to the process of step S25.
ステップＳ２５の処理では、顔特徴点追跡部１２が、右目に対応する顔特徴点EyeRを基準特徴点に設定する。これにより、ステップＳ２５の処理は完了し、特徴点追跡処理はステップＳ２６の処理に進む。 In the process of step S25, the face feature point tracking unit 12 sets the face feature point EyeR corresponding to the right eye as a reference feature point. Thereby, the process of step S25 is completed, and the feature point tracking process proceeds to the process of step S26.
ステップＳ２６の処理では、顔特徴点追跡部１２が、設定された基準特徴点に基づいて基準特徴点として設定された顔特徴点以外の顔特徴点（次の顔特徴点）を検出する。具体的には、顔特徴点追跡部１２は、図１１（ｂ）に示すように、前回の顔特徴点追跡処理により基準顔特徴点として検出された前回基準特徴点とこの前回基準特徴点に隣接して前回検出された他の前回顔特徴点（例えば左目）との間の距離（重心位置間の距離）等の相対的な位置関係を算出し、その算出された相対的な位置関係がそのまま今回既に検出された座標値が既知の基準特徴点EyeRと検出対象となっている隣接した座標値が不明の他の顔特徴点との位置関係に対応すると仮定し、隣接した他の顔特徴点が存在するであろうと推定される位置の近傍範囲を探索範囲Ｒ１として設定する。そして顔特徴点追跡部１２は、設定された探索範囲Ｒ１内で他の顔特徴点を探索する。このような処理によれば、他の顔特徴点の探索範囲を狭い範囲に絞ることができるので、検出処理時間を短縮できると同時に検出対象でないノイズ等を顔特徴点として誤って検出することを抑制できる。そして他の顔特徴点が検出できた場合、顔特徴点追跡部１２は一連の顔特徴点追跡処理を終了する。一方、他の顔特徴点が検出できない場合には、顔特徴点追跡部１２は顔特徴点追跡処理をステップＳ２８の処理に進める。 In the process of step S26, the face feature point tracking unit 12 detects a face feature point (next face feature point) other than the face feature point set as the reference feature point based on the set reference feature point. Specifically, as shown in FIG. 11B, the face feature point tracking unit 12 uses the previous reference feature point detected as the reference face feature point by the previous face feature point tracking process and the previous reference feature point. The relative positional relationship such as the distance (distance between the center of gravity positions) between the adjacent previous detected facial feature points (for example, the left eye) adjacent to the previous one is calculated, and the calculated relative positional relationship is Assuming that the reference feature point EyeR whose coordinate value has already been detected this time corresponds to the positional relationship between the target coordinate point EyeR and the other target feature point whose unknown coordinate value is unknown, A range near the position where a point is estimated to exist is set as a search range R 1 . The face feature point tracking unit 12 searches for other facial feature points in the search range R 1 that has been set. According to such processing, the search range of other facial feature points can be narrowed down to a narrow range, so that the detection processing time can be shortened, and at the same time, noise that is not a detection target can be erroneously detected as facial feature points. Can be suppressed. If another face feature point can be detected, the face feature point tracking unit 12 ends the series of face feature point tracking processing. On the other hand, when other face feature points cannot be detected, the face feature point tracking unit 12 advances the face feature point tracking process to the process of step S28.
ステップＳ２８の処理では、顔特徴点追跡部１２が、前回の基準特徴点の座標値と現在設定されている基準特徴点の座標値を用いて基準特徴点の移動量を算出し、前回の顔特徴点の座標値を算出された移動量だけ移動させた座標値を顔特徴点の座標値として算出する。これにより、ステップＳ２８の処理は完了し、一連の特徴点追跡処理は終了する。 In the process of step S28, the face feature point tracking unit 12 calculates the movement amount of the reference feature point using the coordinate value of the previous reference feature point and the coordinate value of the currently set reference feature point, and the previous face A coordinate value obtained by moving the coordinate value of the feature point by the calculated movement amount is calculated as the coordinate value of the face feature point. Thereby, the process of step S28 is completed and a series of feature point tracking processes are completed.
この特徴点追跡処理によれば、右目に対応する顔特徴点EyeRを基準特徴点に設定した場合には図１１（ａ）に示すような顔特徴点の座標値（位置関係）の情報が得られ、左目に対応する顔特徴点EyeLを基準特徴点に設定した場合には図１１（ｂ）に示すような顔特徴点の座標値（位置関係）の情報が得られる。なお図１１（ａ），（ｂ）は本実施形態における顔画像の大きさを１０分の１の大きさに縮小した状態の座標値を示す。また本実施形態において基準特徴点となる右目に対応する顔特徴点EyeRの座標は、図１２に示すように、右目付近の濃淡画像信号に対し各画素列（縦方向）の画素列に反った濃淡信号値（画素値）の分布を調べ、淡（白）→濃（黒）と変化する点（濃度の立ち上がりエッジ部，図中○記号で表記）と濃（黒）→淡（白）と変化する点（濃度の立ち下がりエッジ部，図中×記号で表記）を検出し、立ち上がりエッジ部の横方向に反った連続状態（繋がり状態）を調べることにより右目の左端ELと右端ERを検出し、立ち上がりエッジ部のうち縦方向の最も上方にあるエッジ部の画素点を目の上端EUとし、この上端EUが属する画素列中における立ち下がりエッジ部の画素点を目の下端EBとし、目の上端EUと下端EBの中点を顔特徴点EyeRとしての右目の座標（代表位置）とする。 According to this feature point tracking process, when the face feature point EyeR corresponding to the right eye is set as the reference feature point, information on the coordinate value (positional relationship) of the face feature point as shown in FIG. When the face feature point EyeL corresponding to the left eye is set as the reference feature point, information on the coordinate value (positional relationship) of the face feature point as shown in FIG. 11B is obtained. 11A and 11B show coordinate values in a state where the size of the face image in the present embodiment is reduced to 1/10. Further, in this embodiment, the coordinates of the face feature point EyeR corresponding to the right eye serving as the reference feature point are warped in the pixel columns (vertical direction) for the grayscale image signal near the right eye, as shown in FIG. Examine the distribution of light and dark signal values (pixel values), and change from light (white) to dark (black) (rising edge of the density, indicated by a circle in the figure) and dark (black) to light (white). Detects the changing point (concentration falling edge, indicated by x in the figure), and detects the left end EL and right end ER of the right eye by examining the continuous state (connected state) of the rising edge in the horizontal direction Then, the pixel point of the edge portion at the uppermost edge in the vertical direction among the rising edge portions is the upper end EU of the eye, the pixel point of the falling edge portion in the pixel column to which the upper end EU belongs is the lower end EB of the eye, The coordinates of the right eye as the facial feature point EyeR, with the midpoint of the top EU and bottom EB ( And table position).
〔特徴点正規化処理〕
次に、図１２に示すフローチャートを参照して、特徴点正規化処理を実行する際の表情推定装置１の動作について説明する。
[Feature point normalization]
Next, the operation of the facial expression estimation apparatus 1 when executing the feature point normalization process will be described with reference to the flowchart shown in FIG.
図１２に示すフローチャートは、初回の特徴点検出処理又は特徴点追跡処理が終了する度毎に開始となり、特徴点正規化処理はステップＳ３１の処理に進む。 The flowchart shown in FIG. 12 is started every time the first feature point detection process or feature point tracking process ends, and the feature point normalization process proceeds to the process of step S31.
ステップＳ３１の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点の座標中心位置を重心位置（ｘ，ｙ）として算出する。これにより、ステップＳ３１の処理は完了し、特徴点正規化処理はステップＳ３２の処理に進む。 In the process of step S31, the face feature point normalization unit 21 calculates the coordinate center position of the face feature points corresponding to the left and right eyes as the barycentric position (x, y). Thereby, the process of step S31 is completed, and the feature point normalization process proceeds to the process of step S32.
ステップＳ３２の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点を結ぶ直線を定義し、定義された直線の水平軸に対する傾き角度θを算出する。これにより、ステップＳ３の処理は完了し、特徴点正規化処理はステップＳ３２の処理に進む。 In step S32, the face feature point normalization unit 21 defines a straight line connecting the face feature points corresponding to the left and right eyes, and calculates an inclination angle θ of the defined straight line with respect to the horizontal axis. Thereby, the process of step S3 is completed, and the feature point normalization process proceeds to the process of step S32.
ステップＳ３３の処理では、顔特徴点正規化部２１が、左右の目に対応する顔特徴点を結ぶ直線が水平になるようにステップＳ１の処理により算出された重心位置（ｘ，ｙ）を中心として各顔特徴点を傾き角度−θだけ回転移動させる。これにより、ステップＳ３３の処理は完了し、特徴点正規化処理はステップＳ３４の処理に進む。 In the process of step S33, the face feature point normalization unit 21 centers the centroid position (x, y) calculated by the process of step S1 so that the straight line connecting the face feature points corresponding to the left and right eyes is horizontal. Each facial feature point is rotated and moved by an inclination angle −θ. Thereby, the process of step S33 is completed, and the feature point normalization process proceeds to the process of step S34.
ステップＳ３４の処理では、顔特徴点正規化部２１が、左右の目のうち一方の目の目尻と重心位置（ｘ，ｙ）間の水平方向距離が単位長さ１になるように顔特徴点の座標値を変換する。これにより、ステップＳ３４の処理は完了し、一連の特徴点検出処理は終了する。 In the process of step S34, the face feature point normalizing unit 21 sets the face feature point so that the horizontal distance between the eye corner of one eye and the center of gravity (x, y) of the left and right eyes is unit length 1. Convert the coordinate value of. Thereby, the process of step S34 is completed, and a series of feature point detection processes ends.
この特徴点正規化処理によれば、複数の顔画像間で向きや傾き又は長さ等の空間的な位置関係を統一することができるので、複数の顔画像間で個人差（顔立ち自体の差異や姿勢の差に基づく差異等）が生じても、顔特徴点の位置関係を容易に比較することができると共に、個人差により誤検出を抑制できる。 According to this feature point normalization processing, spatial positional relationships such as orientation, inclination, or length can be unified among a plurality of face images, so individual differences (differences in facial features themselves) between a plurality of face images. Even if a difference or the like based on a difference in posture occurs, the positional relationship between facial feature points can be easily compared, and erroneous detection can be suppressed due to individual differences.
〔特徴計算処理〕
次に、図１５を参照して、正規化された顔特徴点の位置情報に基づいて顔画像毎に運転者２の顔の特徴を計算する特徴計算処理を実行する際の表情推定装置１の動作について説明する。
[Feature calculation processing]
Next, referring to FIG. 15, the facial expression estimation apparatus 1 performs a feature calculation process for calculating the facial feature of the driver 2 for each facial image based on the normalized facial feature point position information. The operation will be described.
特徴計算処理では、始めに特徴計算部２２が、図１５に示すように正規化された顔特徴点の座標値に基づいて顔特徴点間の距離や向き，方向，顔特徴点付近での濃度変化等を特徴量パラメータとして算出する。本実施形態では、特徴計算部２２は、目の縦横比ａ１，目と口端の間の縦方向距離ａ２，目と眉の間の縦方向距離ａ３等のｎ個の特徴量パラメータを算出し、特徴量Ｐ｛ａ１，ａ２，ａ３，…，ａｎ｝を得る。次に特徴計算部２２は、運転者２の特徴量パラメータの平均値（平常時の運転者の表情を示す特徴量パラメータ）を算出し、平均特徴量Ｑ｛ａ１ＡＶ，ａ２ＡＶ，ａ３ＡＶ，…，ａｎＡＶ｝を得る。運転者２の特徴量パラメータの平均値は、直近の一定時間内の各特徴量パラメータの平均値を算出したり、直近の一定時間内の各特徴量パラメータの度数分布から最頻度の値を抽出したりすることにより算出できる。そして最後に特徴計算部２２は、特徴量Ｐ｛ａ１，ａ２，ａ３，…，ａｎ｝と平均特徴量Ｑ｛ａ１ＡＶ，ａ２ＡＶ，ａ３ＡＶ，…，ａｎＡＶ｝の各特徴量パラメータの差分値を特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝として算出する。特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素は０〜１の間の実数値に正規化されている。このように特徴計算処理では、運転者２の平常時の表情からの顔特徴点の位置変化量を特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝として算出する。 In the feature calculation process, first, the feature calculation unit 22 performs distances, directions, directions, and densities near the face feature points between the face feature points based on the normalized coordinate values of the face feature points as shown in FIG. A change or the like is calculated as a feature amount parameter. In the present embodiment, the feature calculation unit 22 includes n feature parameter parameters such as the aspect ratio a 1 of the eye, the vertical distance a 2 between the eyes and the mouth edge, and the vertical distance a 3 between the eyes and the eyebrows. , And a feature amount P {a 1 , a 2 , a 3 ,..., A n } is obtained. Next, the feature calculation unit 22 calculates an average value of the feature amount parameters of the driver 2 (a feature amount parameter indicating a driver's expression during normal times), and calculates an average feature amount Q {a 1AV , a 2AV , a 3AV , ..., a nAV }. For the average value of the feature parameter of driver 2, the average value of each feature parameter within the latest fixed time is calculated, or the most frequent value is extracted from the frequency distribution of each feature parameter within the latest fixed time It can be calculated by doing. Finally feature calculation unit 22, feature amount P {a 1, a 2, a 3, ..., a n} and average feature quantity Q {a 1AV, a 2AV, a 3AV, ..., a nAV} each feature The difference value of the quantity parameter is calculated as a feature vector X {x 1 , x 2 , x 3 ,..., X n }. Each element of the feature vector X {x 1 , x 2 , x 3 ,..., X n } is normalized to a real value between 0 and 1. In this way, in the feature calculation process, the position change amount of the facial feature point from the normal expression of the driver 2 is calculated as the feature vector X {x 1 , x 2 , x 3 ,..., X n }.
〔表情クラス分け処理〕
次に、図１６を参照して、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝を用いて運転者２の顔の表情を顔画像毎に判定する表情クラス分け処理を実行する際の表情推定装置１の動作について説明する。
[Facial expression classification processing]
Next, referring to FIG. 16, facial expression classification processing for determining facial expressions of driver 2 for each facial image using feature vectors X {x 1 , x 2 , x 3 ,..., X n }. The operation of the facial expression estimation apparatus 1 when executed will be described.
表情クラス分け処理では、始めに表情クラス分け部２３が、喜び（Happy），怒り（Anger），驚き（Surprise）等の各表情を示す表情クラス毎にラベリングされた特徴ベクトル群の領域を特徴空間（原点は平均特徴量）内に形成した表情モデルを記憶部６から読み出し、読み出された表情モデルを利用して特徴計算処理により算出された特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝を特徴空間にマッピングする。そして最後に表情クラス分け部２３は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝と各表情クラスの位置関係を求め、特徴ベクトルがどの表情クラスに属するのかを判定することにより、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝により表される運転者２の顔の表情を特定する。 In the facial expression classification process, first, the facial expression classification unit 23 displays a feature vector group labeled for each facial expression class indicating each facial expression such as happiness, anger, and surprise. The facial expression model formed within (the origin is the average feature amount) is read from the storage unit 6, and the feature vector X {x 1 , x 2 , x 3 , calculated by the feature calculation processing using the read facial expression model is used. .., X n } are mapped to the feature space. Finally, the facial expression classifying unit 23 obtains the positional relationship between the feature vectors X {x 1 , x 2 , x 3 ,..., X n } and each facial expression class, and determines which facial expression class the feature vector belongs to. Thus, the facial expression of the driver 2 represented by the feature vector X {x 1 , x 2 , x 3 ,..., X n } is specified.
具体的には図１６に示す例では、特徴ベクトルＸ１は表情クラスＡに属するので、表情クラス分け部２３は運転者２の表情は表情クラスＡが示す表情であると判定する。また同様に、特徴ベクトルＸ２は表情クラスＢに属するので、表情クラス分け部２３は運転者２の表情は表情クラスＢが示す表情であると判定する。一方、特徴ベクトルＸ３はどの表情クラスにも属さないので特徴ベクトルＸ３のクラスは該当無しとなるが、この場合表情クラス分け部２３は、特徴ベクトルＸの終点位置と各表情クラスＡ，Ｂの中心位置Ａｃ，Ｂｃとの各距離の比に基づいて各表情クラスへの帰属割合を算出し、特徴ベクトルＸが属する表情クラスを決定することが望ましい。 Specifically, in the example shown in FIG. 16, the feature vector X1 belongs to the expression class A, so the expression classification unit 23 determines that the expression of the driver 2 is the expression indicated by the expression class A. Similarly, since the feature vector X2 belongs to the expression class B, the expression classification unit 23 determines that the expression of the driver 2 is the expression indicated by the expression class B. On the other hand, since the feature vector X3 does not belong to any expression class, the class of the feature vector X3 is not applicable. In this case, the expression classifying unit 23 determines the end point position of the feature vector X and the center of each of the expression classes A and B. It is desirable to calculate the attribution ratio to each facial expression class based on the ratio of each distance to the positions Ac and Bc, and determine the facial expression class to which the feature vector X belongs.
〔表情強度計算処理〕
次に、図１７，１８を参照して、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝とその特徴ベクトルが属する表情クラスの情報を用いて運転者２の顔の表情の強度（度合い）を顔画像毎に判定する表情強度計算処理を実行する際の表情推定装置１の動作について説明する。
[Facial expression strength calculation processing]
Next, referring to FIGS. 17 and 18, the facial expression of the driver 2 using the feature vector X {x 1 , x 2 , x 3 ,..., X n } and information on the facial expression class to which the feature vector belongs. The operation of the facial expression estimation apparatus 1 when executing facial expression strength calculation processing for determining the strength (degree) of each facial image will be described.
表情強度計算処理では、始めに表情強度計算部２４が、記憶部６に予め記憶されている図１７に示すような特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素の重み付け係数（特徴重み）Ｗとオフセット値Offsetを表情クラス毎に示すテーブルを参照して、表情クラス分け処理により判定された表情クラスに対応する各要素の重み付け係数Ｗとオフセット値Offsetを決定する。次に、表情強度計算部２４は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝の各要素に対応する重み付け係数Ｗを乗算した後、得られた乗算値とオフセット値Offsetを加算することにより運転者の顔の表情２の強度（０〜１の値）を算出する。そして最後に表情強度計算部２４は、特徴ベクトルＸ｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝が属する表情クラスが示す表情とその強度の情報を出力する。例えば出力先が車室内の表示画面に各種情報を表示する表示制御部である場合、表示制御部は図１９に示すように１軸の棒グラフで運転者２の表情とその強度を表示画面上に表示する。これにより運転者２は自身の現在の状態を視覚的に認識することができる。 In the expression intensity calculation process, first, the expression intensity calculation unit 24 stores each of feature vectors X {x 1 , x 2 , x 3 ,..., X n } as shown in FIG. Referring to the table showing the element weighting factor (feature weight) W and offset value Offset for each expression class, the weighting factor W and offset value Offset of each element corresponding to the expression class determined by the expression classifying process are determined. To do. Next, the facial expression strength calculation unit 24 multiplies the weighting coefficient W corresponding to each element of the feature vector X {x 1 , x 2 , x 3 ,..., X n }, and then obtains the multiplied value and the offset value. The intensity of the facial expression 2 (value of 0 to 1) of the driver is calculated by adding Offset. Finally, the facial expression strength calculation unit 24 outputs the facial expression and the strength information indicated by the facial expression class to which the feature vector X {x 1 , x 2 , x 3 ,..., X n } belongs. For example, when the output destination is a display control unit that displays various types of information on the display screen in the passenger compartment, the display control unit displays the facial expression of the driver 2 and its intensity on the display screen as a one-axis bar graph as shown in FIG. indicate. As a result, the driver 2 can visually recognize his current state.
なお、例えば出力先が車両の走行状態を制御する車両制御装置である場合には、車両制御装置は出力情報に基づいて例えば表示装置，空調装置，乗員が着座しているシートの状態，車両の走行状態等を制御して運転者２の状態が肯定的側（詳しくは後述）になるように車両制御を行っても良い。 For example, when the output destination is a vehicle control device that controls the traveling state of the vehicle, the vehicle control device, based on the output information, for example, the display device, the air conditioner, the state of the seat on which the occupant is seated, The vehicle control may be performed such that the driving state is controlled so that the state of the driver 2 is on the positive side (described later in detail).
表情の強度は０．５を中心として１に近い方が車両の運転に対して肯定的（Positive）、０に近い方が車両の運転に対して否定的（Negative）となるように設定されている。車両の運転に対して肯定的とは、運転者２が、運転においていらいらや不安，心配，退屈，眠気を感じでなく、車両の運転を積極的に楽しんでいる，車両状態が完全に制御できている、又はリラックスしている状態を示す。この場合、運転者２の表情は活き活きとしており、場合によっては微笑みや幸せ（Happy）に似た表情を見せる。例えば幸せの表情では、運転者２の口の端が上がり、目尻が下がるので、特徴量パラメータの一つである目と口端の間の縦方向距離ａ２は短くなる傾向にある。そこで縦方向距離ａ２に対応する重み付け係数ｗ２の値を大きく設定することにより、表情の強度が０．５以上、すなわち運転者２が車両の運転に対し肯定的と判定されるように設定されている。 The intensity of facial expression is set so that the value closer to 1 around 0.5 is positive for driving the vehicle, and the one close to 0 is negative for driving the vehicle. Yes. Positive for driving the vehicle is that the driver 2 is actively enjoying driving the vehicle without feeling frustrated, anxious, worried, bored or drowsy in driving. Indicates a state of being relaxed or relaxed. In this case, the expression of the driver 2 is lively, and in some cases, the expression is similar to a smile or happiness. For example, in the happy expression, a raised edge of the driver 2 of the mouth, since the outer corner of the eye drops, longitudinal distance a 2 between the eyes and the mouth end, which is one of the feature parameters tends to be shorter. Therefore, by setting the weighting coefficient w 2 corresponding to the longitudinal distance a 2 to be large, the facial expression strength is set to 0.5 or more, that is, the driver 2 is determined to be positive for driving the vehicle. Has been.
一方、車両の運転に対して否定的とは、運転者２が周囲環境や技量等によって車両を思った通りに制御できない状態を示し、運転者はいらいらや不安，心配，退屈，眠気を感じる。また急激な周囲環境の変化のために運転者２が驚き（Surprise）や硬直により車両を制御できていない状態である場合もある。そして例えば驚きの表情では、運転者２は目を大きく見開き、眉が上に上がり、場合によっては口が開くために、特徴量パラメータである目の縦横比ａ１と目と眉の間の縦方向距離ａ３が大きくなる傾向にある。そこで縦横比ａ１及び縦方向距離ａ３に対応する重み付け係数ｗ１，ｗ３の値を負値に設定することにより、表情の強度が０．５以下、すなわち運転者２が所領の運転に対し否定的と判定されるように設定されている。 On the other hand, negative for driving the vehicle indicates a state in which the driver 2 cannot control the vehicle as expected by the surrounding environment and skill, and the driver feels annoyed, anxious, anxious, bored and sleepy. Further, the driver 2 may not be able to control the vehicle due to surprise or rigidity due to a sudden change in the surrounding environment. For example, in a surprised expression, the driver 2 widens his eyes, raises his eyebrows upward, and sometimes opens his mouth, so that the aspect ratio a 1 of the eye, which is a feature parameter, and the length between the eyes and the eyebrows. tends direction distance a 3 increases. Therefore, by setting the values of the weighting factors w 1 and w 3 corresponding to the aspect ratio a 1 and the vertical distance a 3 to negative values, the intensity of the facial expression is 0.5 or less, that is, the driver 2 can drive in the area. On the other hand, it is set to be determined as negative.
本発明の実施形態となる表情推定装置１によれば、撮像装置４が、運転者２の顔画像を撮像し、特徴点出力部８が、撮像装置４により撮像された顔画像の中から顔の特徴点を複数抽出し、表情推定部９が、対象人物の平常時の顔画像から抽出された複数の特徴点の位置から抽出された特徴点の位置への特徴点の変化に応じて、対象人物の顔の表情を推定するので、運転者毎に異なる目や鼻等の形状に基づいて運転者の顔の表情を推定するのではなく、形状に依存しない目や鼻等の位置関係に基づいて運転者の顔の表情を推定することができるので、運転者の顔の表情を精度高く判定できる。 According to the facial expression estimation device 1 according to the embodiment of the present invention, the imaging device 4 captures the face image of the driver 2, and the feature point output unit 8 detects the face from the face images captured by the imaging device 4. A plurality of feature points are extracted, and the facial expression estimation unit 9 changes the feature points to the extracted feature point positions from the plurality of feature point positions extracted from the normal face image of the target person, Since the facial expression of the target person is estimated, the facial expression of the driver is not estimated based on the shape of the eyes and nose that differs for each driver. Since the facial expression of the driver can be estimated based on this, the facial expression of the driver can be determined with high accuracy.
また、特徴点検出処理において、特に目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離に対して重み付けを大きくすることで、目、口及び眉以外に対して検出される特徴点の影響を受けにくくすることができる。 In addition, in the feature point detection process, particularly for the aspect ratio of the eyes, the vertical distance between the eyes and the mouth edge, and the vertical distance between the eyes and the eyebrows, the weight is increased, so that It is possible to reduce the influence of the detected feature points.
〔実験例〕
最後に、従来の表情推定装置を用いて運転者２の表情を推定した実験結果と本発明の実施形態となる表情推定装置１を用いて運転者２の表情を推定した実験結果とをそれぞれ図２０，２１に示す。図２０に示すように、従来の表情推定装置によれば、運転者は実際にはSleepyと表記されているタイミングにおいてのみ眠そうな表情を表しているのにも係わらず、その他のタイミングにおいても眠そうな表情と誤って判定しまう誤判定（破線の枠内で示すプロット）が頻繁に生じている。すなわち認識した表情クラスと正しい表情クラスとが一致しないタイミングが多い。これに対して、本発明の実施形態となる表情推定装置１によれば、図２１に示すように、ほぼ運転者が実際に眠そうな表情を表しているタイミングにおいてのみ眠そうな表情であると判定している。すなわち認識した表情クラスと正しい表情クラスの一致精度が高いという結果が得られた。 以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
[Experimental example]
Finally, an experimental result of estimating the facial expression of the driver 2 using the conventional facial expression estimation device and an experimental result of estimating the facial expression of the driver 2 using the facial expression estimation device 1 according to the embodiment of the present invention are respectively shown. 20 and 21. As shown in FIG. 20, according to the conventional facial expression estimation device, the driver actually expresses a sleepy expression only at the timing described as Sleepy, but also at other timings. There are frequent misjudgments (plots shown in broken lines) that are misjudged as sleepy expressions. That is, there are many timings when the recognized facial expression class does not match the correct facial expression class. On the other hand, according to the facial expression estimation apparatus 1 according to the embodiment of the present invention, as shown in FIG. 21, the facial expression is likely to sleep only at the timing when the driver actually expresses the facial expression that is likely to sleep. It is determined. In other words, the result was that the accuracy of matching the recognized facial expression class with the correct facial expression class was high. As mentioned above, although embodiment which applied the invention made by the present inventors was described, this invention is not limited by description and drawing which make a part of indication of this invention by this embodiment. That is, it is needless to say that other embodiments, examples, operation techniques, and the like made by those skilled in the art based on the present embodiment are all included in the scope of the present invention.
１：表情推定装置
２：運転者
３：照明器具
４：撮像装置
５：マイクロコンピュータ
６：記憶部
７：顔画像取得部
８：特徴点出力部
９：表情推定部
１０：表情信号出力部
１１：顔特徴検出部
１２：顔特徴点追跡部１２
２１：顔特徴点正規化部
２２：特徴計算部
２３：表情クラス分け部
２４：表情強度計算部
1: facial expression estimation device 2: driver 3: lighting fixture 4: imaging device 5: microcomputer 6: storage unit 7: face image acquisition unit 8: feature point output unit 9: facial expression estimation unit 10: facial expression signal output unit 11: Face feature detection unit 12: Face feature point tracking unit 12
21: Face feature point normalization unit 22: Feature calculation unit 23: Expression classification unit 24: Expression intensity calculation unit
Claims (1)
前記取得手段により取得された顔画像の中から顔の特徴点を複数抽出する抽出手段と、
前記対象人物の平常時の顔画像から抽出された複数の特徴点の位置関係に応じた特徴量パラメータにしたがって対象人物の顔の表情を推定する推定手段と、
前記推定手段により推定された運転者の顔の表情に基づいて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定する判定手段と、
前記判定手段の判定結果を運転者に提示する提示手段と、
を備え、
前記抽出手段は、前記対象人物の目、口、及び眉に対応する位置を前記特徴点として抽出し、
前記推定手段は、目の縦横比、目と口端間の縦方向距離、及び目と眉間の縦方向距離を少なくとも含む複数の特徴量パラメータを算出し、目の縦横比の特徴量パラメータの平常時からの変化量と、目と口端間の縦方向距離の特徴量パラメータの平常時からの変化量と、目と眉間の縦方向距離の特徴量パラメータの平常時からの変化量との要素を含み、複数の特徴量パラメータの平常時からの変化量を要素とする特徴ベクトルを定義し、表情を示すクラス毎にラベリングされた特徴ベクトル群の領域を特徴空間内に形成した表情モデルに基づいて定義された特徴ベクトルを特徴空間にマッピングし、特徴ベクトルがどのクラスに属するのかを判定することにより、対象人物の顔の表情を推定し、
前記判定手段は、特徴ベクトルの各要素と、特徴ベクトルの各要素毎に予め設定された重み付け係数とを対応する各要素毎に乗算し、得られた各要素毎の乗算値を積算した値と予め設定された閾値との大小を比較し、比較結果に応じて運転者が車両の運転に対し肯定的又は否定的であるか否かを判定し、特徴ベクトルにおける目と口端間の縦方向距離の特徴パラメータの要素に対応した重み付け係数の値を大きくする設定と、特徴ベクトルにおける目の縦横比の特徴量パラメータの要素に対応する重み付け係数、ならびに特徴ベクトルにおける目と眉の間の縦方向距離の特徴量パラメータの要素に対応する重み付け係数の値を負値にする設定との少なくともいずれか一方の設定を行う
ことを特徴とする車両制御装置。 An acquisition means for acquiring a face image of the target person;
Extraction means for extracting a plurality of facial feature points from the face image acquired by the acquisition means;
And estimating means for estimating a facial expression of the face of the target person in accordance with the feature quantity parameters corresponding to the position relationship between a plurality of feature points extracted from normal times the face image of the target person,
Determining means for determining whether the driver is positive or negative for driving the vehicle based on the facial expression of the driver estimated by the estimating means;
Presenting means for presenting the determination result of the determining means to the driver;
With
The extraction means extracts the positions corresponding to the eyes, mouth, and eyebrows of the target person as the feature points,
The estimation means calculates a plurality of feature amount parameters including at least the aspect ratio of the eyes, the longitudinal distance between the eyes and the mouth edge, and the longitudinal distance between the eyes and the eyebrows, and normality of the feature amount parameters of the aspect ratio of the eyes is calculated. Factors of the amount of change from time, the amount of change in the feature parameter of the vertical distance between the eyes and the mouth edge from the normal, and the amount of change in the feature parameter of the vertical distance between the eyes and the eyebrows from the normal Based on a facial expression model that defines a feature vector that includes the amount of change from the normal of multiple feature parameters as elements, and forms a region of feature vector groups labeled for each class representing facial expressions in the feature space The facial expression of the target person is estimated by mapping the feature vector defined above to the feature space and determining which class the feature vector belongs to,
The determining means includes each element of the feature vector, a value multiplied for each element, obtained by integrating the multiplied value of each obtained element corresponding with a preset weighting factors for each element of the feature vector comparing the large and small of the preset threshold, the vertical between the comparison result the driver determines whether the positive or negative with respect to operation of the vehicle in response to the eye in the feature vector and the mouth end Setting to increase the value of the weighting coefficient corresponding to the feature parameter element of the direction distance, the weighting coefficient corresponding to the feature parameter element of the aspect ratio of the eye in the feature vector, and the vertical distance between the eyes and the eyebrows in the feature vector A vehicle control device that performs at least one of setting of setting a weighting coefficient value corresponding to an element of a feature parameter of direction distance to a negative value .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007259969A JP5092663B2 (en) | 2007-10-03 | 2007-10-03 | Vehicle control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007259969A JP5092663B2 (en) | 2007-10-03 | 2007-10-03 | Vehicle control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009087303A JP2009087303A (en) | 2009-04-23 |
| JP5092663B2 true JP5092663B2 (en) | 2012-12-05 |
Family
ID=40660604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007259969A Expired - Fee Related JP5092663B2 (en) | 2007-10-03 | 2007-10-03 | Vehicle control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5092663B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5594015B2 (en) * | 2010-09-21 | 2014-09-24 | 富士通株式会社 | Image processing program and image processing apparatus |
| JP5879188B2 (en) * | 2012-04-25 | 2016-03-08 | 日本放送協会 | Facial expression analysis apparatus and facial expression analysis program |
| JP2014119879A (en) * | 2012-12-14 | 2014-06-30 | Nippon Hoso Kyokai <Nhk> | Face expression evaluation result smoothing device and face expression evaluation result smoothing program |
| KR101787255B1 (en) * | 2016-05-11 | 2017-11-15 | 이화여자대학교 산학협력단 | Facial expression recognition method based on ratio of facial ladnmark's distance |
| CN114771545A (en) * | 2022-04-19 | 2022-07-22 | 青岛大学 | Intelligent safe driving system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2573126B2 (en) * | 1992-06-22 | 1997-01-22 | 正重 古川 | Expression coding and emotion discrimination device |
| JP4612806B2 (en) * | 2003-07-18 | 2011-01-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
-
2007
- 2007-10-03 JP JP2007259969A patent/JP5092663B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009087303A (en) | 2009-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104081757B (en) | Image processing equipment, image processing method, image processing system | |
| US8837773B2 (en) | Apparatus which detects moving object from image and method thereof | |
| US7593552B2 (en) | Gesture recognition apparatus, gesture recognition method, and gesture recognition program | |
| JP4137969B2 (en) | Eye detection device, eye detection method, and program | |
| US8435188B2 (en) | Eye opening detection system and method of detecting eye opening | |
| US9939909B2 (en) | Gesture manipulation device and method, program, and recording medium | |
| US20130279756A1 (en) | Computer vision based hand identification | |
| JP4445454B2 (en) | Face center position detection device, face center position detection method, and program | |
| KR101510798B1 (en) | Portable Facial Expression Training System and Methods thereof | |
| JP2017033469A (en) | Image identification method, image identification device and program | |
| JP2007257043A (en) | Occupant state estimating device and occupant state estimating method | |
| JP4912206B2 (en) | Image processing method, image processing apparatus, image processing system, and computer program | |
| KR101903127B1 (en) | Gaze estimation method and apparatus | |
| JP5092663B2 (en) | Vehicle control device | |
| JP2014093023A (en) | Object detection device, object detection method and program | |
| JP5737399B2 (en) | Red-eye determination device | |
| JP4992823B2 (en) | Face detection apparatus and face detection method | |
| JP2013206259A (en) | Region estimation device, region estimation method and region estimation program | |
| KR20100138202A (en) | System and method of tracking object using different kind camera | |
| JP4534700B2 (en) | Person detection apparatus and method | |
| JP2021503139A (en) | Image processing equipment, image processing method and image processing program | |
| CN101383005A (en) | Method for separating passenger target image and background by auxiliary regular veins | |
| US20130329964A1 (en) | Image-processing device and image-processing program | |
| JPH08287216A (en) | In-face position recognizing method | |
| JP2009205283A (en) | Image processing apparatus, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120903 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |