JP2009199417A - Face tracking device and face tracking method - Google Patents
Face tracking device and face tracking method Download PDFInfo
- Publication number
- JP2009199417A JP2009199417A JP2008041355A JP2008041355A JP2009199417A JP 2009199417 A JP2009199417 A JP 2009199417A JP 2008041355 A JP2008041355 A JP 2008041355A JP 2008041355 A JP2008041355 A JP 2008041355A JP 2009199417 A JP2009199417 A JP 2009199417A
- Authority
- JP
- Japan
- Prior art keywords
- face
- tracking
- template
- area
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡する顔追跡装置及び顔追跡方法に関するものである。 The present invention relates to a face tracking device and a face tracking method for tracking a change in human face orientation using a template updating face model.
近年、人間の顔を撮像した撮像画像に基づいて顔の特徴点を追跡し、顔向き変化や特徴点位置の変化を検出する顔追跡方法が提案されている。そして、このような顔追跡方法に基づく処理を行う顔追跡装置を自動車に搭載することで、運転者の脇見判定や顔特徴点の位置変化から生理・心理状態を推定し、自動車の安全・利便・快適性を向上させるような運転支援システムが提案されている（例えば特許文献１参照）。 In recent years, a face tracking method has been proposed in which feature points of a face are tracked based on a captured image obtained by capturing a human face, and changes in face orientation and feature point positions are detected. By installing a face tracking device that performs processing based on such a face tracking method on a car, the physiological and psychological state is estimated from the driver's side-tracking judgment and the position change of the facial feature points, and the safety and convenience of the car A driving support system that improves comfort has been proposed (see, for example, Patent Document 1).
また、顔追跡方法としては、カメラで撮像した撮像画像から現在の追跡結果を計算の初期パラメータとして最適化問題を解くことで顔モデル（人間の顔部品テンプレート（目や口など）の集合をモデル化したもの）を動的に更新し、顔領域に顔モデルを収束させることで顔部品を追跡する技術がある（非特許文献１，２参照）。これらの技術（テンプレート更新型顔モデルを用いた技術）は、照明変化や顔部品の形状変化等に関してロバスト性が高く、従来のテンプレートマッチング法に比べて検出精度及び追跡精度が高いことが特徴である。 As a face tracking method, a model of a face model (a set of human face part templates (eyes, mouth, etc.) is obtained by solving an optimization problem using the current tracking result from an image captured by a camera as an initial parameter for calculation. There is a technique for tracking a face part by dynamically updating a face model and converging the face model on the face area (see Non-Patent Documents 1 and 2). These technologies (techniques using template update type face models) are highly robust with respect to changes in illumination, shape changes of facial parts, etc., and are characterized by higher detection accuracy and tracking accuracy than conventional template matching methods. is there.
なお、様々な顔向きにおいても追跡の成否を判定するために、複数の顔部品テンプレートを辞書として格納しておき比較する技術も提案されている（特許文献２参照）。
しかしながら、テンプレート更新型顔モデルを用いた顔領域の追跡手法（非特許文献１，２）では、顔部品テンプレートを適切な状況で更新しなければ、誤った追跡をしてしまうという本質的な問題がある。また、これらの手法では、顔モデルと顔モデルの存在する撮像画像の領域との画素値誤差が最小及び類似度が最大になることを目的として最適化問題を反復計算で解くため、現在の追跡が成功しているか否かをアルゴリズム自体では判定することができない。すなわち、現在の顔モデルが顔以外の領域にある場合であっても更新が継続されてしまう。また、更新手法として最適化問題を反復計算で解くことから、追跡が失敗した場合には局所解に収束して追跡が終了してしまい、自動復帰できないという性質がある。 However, in the face region tracking method using the template update type face model (Non-patent Documents 1 and 2), an essential problem is that if the face part template is not updated in an appropriate situation, an incorrect tracking is performed. There is. In addition, these methods solve the optimization problem by iterative calculation for the purpose of minimizing the pixel value error and maximizing the similarity between the face model and the captured image area where the face model exists. Whether the algorithm is successful cannot be determined by the algorithm itself. In other words, the update is continued even when the current face model is in a region other than the face. Further, since the optimization problem is solved by iterative calculation as an update method, if tracking fails, it converges to a local solution and the tracking ends, and automatic recovery cannot be performed.
なお、特許文献２に記載のように、様々な顔向きにおいても追跡の成否を判定するために、複数の顔部品テンプレートを辞書として格納しておき比較する技術があるが、メモリ量が増大するとともに判定が複雑になるため効率的ではない。 As described in Patent Document 2, there is a technique for storing and comparing a plurality of face component templates as a dictionary in order to determine the success or failure of tracking even in various face orientations, but the amount of memory increases. At the same time, the determination becomes complicated, so it is not efficient.
本発明は、こうした問題にかんがみてなされたものであり、顔向きが正面以外であっても顔モデルが顔領域の追跡に失敗したことを簡易な方法で判定することができ、顔モデルの誤った更新を防止することのできる顔追跡装置及び顔追跡方法を提供することを目的としている。 The present invention has been made in view of these problems. Even if the face orientation is other than the front, it is possible to determine that the face model has failed to track the face area by a simple method, and the face model is erroneous. It is an object of the present invention to provide a face tracking device and a face tracking method that can prevent renewal.
上記目的を達成するためになされた本発明の請求項１に記載の顔追跡装置は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡するものである。
具体的には、この顔追跡装置において、撮像画像取得手段が、人間の顔を撮像した撮像画像を取得し、顔領域抽出手段が、撮像画像取得手段により取得された撮像画像から顔領域を抽出する。そして、顔追跡手段が、顔領域抽出手段により抽出された顔領域の位置から顔の追跡を開始する。さらに、判定手段が、顔追跡手段による追跡の開始後に取得された撮像画像におけるテンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔追跡手段による追跡の成否を判定する。
In order to achieve the above object, a face tracking apparatus according to claim 1 of the present invention tracks changes in the human face orientation using a template updating face model.
Specifically, in this face tracking device, the captured image acquisition means acquires a captured image obtained by capturing a human face, and the face area extraction means extracts a face area from the captured image acquired by the captured image acquisition means. To do. Then, the face tracking means starts tracking the face from the position of the face area extracted by the face area extracting means. Further, the determination unit generates a deformed image obtained by deforming an area where the template update type face model exists in the captured image acquired after the tracking by the face tracking unit is started, and whether the generated deformed image is a face. By determining whether or not, the success or failure of the tracking by the face tracking means is determined.
このような顔追跡装置によれば、実際の顔向きが正面以外になっている場合であっても、顔であるか否かを常に正面顔を基準として判定することができる。
すなわち、テンプレート更新型顔モデルが正確に顔領域に追従している場合は、顔向きがどのように変化していても、変形画像は正面顔となる。一方、追跡に失敗した場合には、変形画像には顔が存在しないか、又は歪んだ顔が存在することになる。このため、変形画像が顔であるか否かを判定するだけで、追跡の確からしさを容易に調べることができる。例えば、変形画像における水平方向及び垂直方向のそれぞれについて輝度を累積加算し、水平方向及び垂直方向の各累積加算値の谷位置を観察する。この谷位置から目やまゆなどの顔部品があらかじめ定義した所定の位置に存在するか否かを容易に判定することができるため、顔部品が所定の位置にあるときは正面顔であると判定することができる。したがって、顔向きが正面以外であっても、テンプレート更新型顔モデルが顔領域の追跡に失敗したことを、複数の顔向きの異なる判定用テンプレートやアルゴリズムを用意することなく、簡易な方法で判定することができる。
According to such a face tracking device, it is possible to always determine whether or not the face is a face with reference to the front face even when the actual face orientation is other than the front face.
That is, when the template update type face model accurately follows the face area, the deformed image becomes a front face no matter how the face orientation changes. On the other hand, when tracking fails, the deformed image has no face or a distorted face. Therefore, it is possible to easily check the probability of tracking only by determining whether or not the deformed image is a face. For example, the luminance is cumulatively added in each of the horizontal direction and the vertical direction in the deformed image, and the valley positions of the cumulative addition values in the horizontal direction and the vertical direction are observed. Since it is possible to easily determine whether a face part such as eyes or eyebrows is present at a predetermined position defined in advance from the valley position, it is determined that the face part is a front face when the face part is at the predetermined position. can do. Therefore, even if the face orientation is other than front, it is possible to easily determine that the template update face model has failed to track the face area without preparing multiple determination templates and algorithms with different face orientations. can do.
ところで、変形画像が顔であるか否かの判定は、例えば請求項２に記載のように、登録されている正面顔テンプレートとの比較に基づき行うようにしてもよい。具体的には、例えば、複数の人間が正面を向いたときの画像を取得しておき、それら複数の正面顔画像の平均画像を正面顔テンプレートとしてあらかじめ生成しておく。このようにすれば、正面顔テンプレートをあらかじめ１つ用意しておくだけで、顔向きが変化した場合においてもテンプレートマッチングのような単純なアルゴリズムで顔追跡の確からしさを判定することができる。特に、正面顔テンプレートをあらかじめ用意しておく構成のため、変形画像が顔であるか否かを精度良く判定することができる。 By the way, the determination as to whether or not the deformed image is a face may be made based on a comparison with a registered front face template, for example, as described in claim 2. Specifically, for example, an image when a plurality of persons face the front is acquired, and an average image of the plurality of front face images is generated in advance as a front face template. In this way, just by preparing one front face template in advance, the likelihood of face tracking can be determined with a simple algorithm such as template matching even when the face orientation changes. In particular, since the front face template is prepared in advance, it can be accurately determined whether or not the deformed image is a face.
ここで、正面顔テンプレートは、例えば請求項３に記載のように、テンプレート更新型顔モデルが有する正面顔テンプレートとしてもよい。このようにすれば、テンプレート更新型顔モデルの正面顔を判定用の正面顔テンプレートとして利用することができるため、判定用の正面顔テンプレートをあらかじめ用意しておく必要がないという利点がある。なお、一般に、テンプレート更新型顔モデルは、非特許文献１，２に記載されているように、追跡時の基準となる顔テンプレートとして、正面顔のテンプレートをモデルの内部に所持している場合が多い。例えば、非特許文献１に記載の手法では、顔モデルの平均顔として正面顔が存在し、これに主成分分析で獲得された特徴点変位、テンプレートアピアランスの変動成分が線形結合としてテンプレート更新型顔モデルが定義されている。 Here, the front face template may be a front face template included in the template updating face model, for example, as described in claim 3. In this way, since the front face of the template update type face model can be used as a front face template for determination, there is an advantage that it is not necessary to prepare a front face template for determination in advance. In general, as described in Non-Patent Documents 1 and 2, the template update type face model may have a front face template inside the model as a reference face template at the time of tracking. Many. For example, in the method described in Non-Patent Document 1, a front face exists as an average face of a face model, and a feature update and a template appearance variation component obtained by principal component analysis are linearly combined with the template update type face. A model is defined.
一方、例えば請求項４に記載のように、撮像画像から抽出した顔領域を正面顔テンプレートとして取得するようにしてもよい。具体的には、例えば、音声によるガイダンスなどで人間に正面を向くことを促し、正面を向いたときの撮像画像から顔領域をテンプレートとして取得するようにすればよい。このようにすれば、判定用の正面顔テンプレートをあらかじめ用意しておく必要がないという利点がある。しかも、判定用の正面顔テンプレートが追跡対象者自身の正面顔であることから、判定精度を高くすることができる。 On the other hand, for example, as described in claim 4, a face region extracted from a captured image may be acquired as a front face template. Specifically, for example, it is possible to prompt the person to face the front by voice guidance or the like, and acquire the face area as a template from the captured image when facing the front. In this way, there is an advantage that it is not necessary to prepare a front face template for determination in advance. In addition, since the front face template for determination is the front face of the person to be tracked, determination accuracy can be increased.
また、請求項５に記載の顔追跡装置は、判定手段により判定された顔追跡手段による追跡の成否の判定結果を報知する報知手段を備える。このような顔追跡装置によれば、追跡の成否を判定した場合に、その判定結果を人間に知らせることができる。例えば、テンプレート更新型顔モデルが顔領域への追従に失敗した場合に、失敗したことを聴覚や視覚的効果によって伝達する。ここで、具体的な報知方法としては、例えば、音声やパイロットランプの点滅などが挙げられる。このようにすれば、追跡の成否を人間が確認できる。 According to a fifth aspect of the present invention, the face tracking device includes notification means for notifying a determination result of success or failure of tracking by the face tracking means determined by the determination means. According to such a face tracking device, when the success or failure of the tracking is determined, the determination result can be notified to a person. For example, when the template update type face model fails to follow the face area, the failure is transmitted by an auditory or visual effect. Here, as a specific notification method, for example, voice or pilot lamp blinking can be cited. In this way, a human can confirm success or failure of tracking.
次に、請求項６に記載の顔追跡方法は、人間の顔向きの変化をテンプレート更新型顔モデルを用いて追跡するためのものである。
そして、この顔追跡方法は、人間の顔を撮像した撮像画像を取得する撮像画像取得ステップと、撮像画像取得ステップで取得した撮像画像から顔領域を抽出する顔領域抽出ステップと、顔領域抽出ステップで抽出した顔領域の位置から顔の追跡を開始する顔追跡ステップと、顔追跡ステップによる追跡の開始後に取得した撮像画像におけるテンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔の追跡の成否を判定する判定ステップとを備える。
Next, a face tracking method according to a sixth aspect is for tracking a change in human face orientation using a template updating face model.
The face tracking method includes a captured image acquisition step for acquiring a captured image obtained by capturing a human face, a face region extraction step for extracting a face region from the captured image acquired in the captured image acquisition step, and a face region extraction step. A face tracking step that starts tracking a face from the position of the face area extracted in step (3), and a deformed image obtained by transforming the area where the template update type face model exists in the captured image obtained after the tracking by the face tracking step into a front face And a determination step of determining whether the tracking of the face is successful by determining whether the generated deformed image is a face.
このような顔追跡方法によれば、請求項１に記載の顔追跡装置と同様の効果を得ることができる。 According to such a face tracking method, an effect similar to that of the face tracking device according to claim 1 can be obtained.
以下、本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
図１は、第１実施形態の顔追跡装置の概略構成を示すブロック図である。
Embodiments to which the present invention is applied will be described below with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram illustrating a schematic configuration of the face tracking device according to the first embodiment.
本実施形態の顔追跡装置は、車両に搭載されて用いられるものであり、制御部１００と、カメラ２００と、画像キャプチャボード３００と、照明部４００と、音声出力部（スピーカ）５００とを備えている。 The face tracking device of this embodiment is used by being mounted on a vehicle, and includes a control unit 100, a camera 200, an image capture board 300, an illumination unit 400, and an audio output unit (speaker) 500. ing.
カメラ２００は、運転者の顔を撮像するためのものであり、イメージセンサとして例えばＣＣＤ又はＣＭＯＳを備えるとともに、運転者の顔が明瞭に撮像できるような焦点距離のレンズが装着されている。 The camera 200 is for imaging the driver's face, and includes, for example, a CCD or CMOS as an image sensor, and a lens with a focal length that allows the driver's face to be clearly imaged.
画像キャプチャボード３００は、カメラ２００で撮像した顔画像をキャプチャし、制御部１００に提供する機能を持つ。
照明部４００は、カメラ２００からシャッター信号を受信し、ストロボ発光する。また、画像キャプチャボード３００から取得した顔画像の輝度情報を制御部１００から受け取り、照明の光量を調整する。なお、本実施形態の顔追跡装置は、顔画像を暗室下でも明瞭に撮像可能とするために照明部４００を備えているが、照明部４００を備えない構成とすることも可能である。
The image capture board 300 has a function of capturing a face image captured by the camera 200 and providing it to the control unit 100.
The illumination unit 400 receives a shutter signal from the camera 200 and emits strobe light. Also, the luminance information of the face image acquired from the image capture board 300 is received from the control unit 100, and the amount of illumination light is adjusted. The face tracking device according to the present embodiment includes the illumination unit 400 in order to clearly capture a face image even in a dark room, but may be configured without the illumination unit 400.
一方、制御部１００は、コンピュータのようなプロセッサユニットを実装した処理装置であり、顔抽出部１１０と、顔追跡部１２０と、顔判定部１３０と、メモリ１４０と、状態認識部１５０とを備えている。 On the other hand, the control unit 100 is a processing device in which a processor unit such as a computer is mounted, and includes a face extraction unit 110, a face tracking unit 120, a face determination unit 130, a memory 140, and a state recognition unit 150. ing.
顔抽出部１１０は、画像キャプチャボード３００から取得した顔画像において、顔領域を抽出する機能を有している。例えば、「Paul Viola and Michael Jones “Robust Real-time Object Detection”, SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION ？MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.」（以下「参考文献」という。）に記載のAdaBoosting手法により事前に学習された顔識別器１４１をメモリ１４０に登録しておき、この顔識別器１４１を呼び出すことで図２に示すように顔領域の画像空間上の位置と顔の大きさを取得することができる。また、このとき、メモリ１４０には事前学習によって生成されたテンプレート更新型顔モデル１４２もあらかじめ登録されている。 The face extraction unit 110 has a function of extracting a face area from the face image acquired from the image capture board 300. For example, “Paul Viola and Michael Jones“ Robust Real-time Object Detection ”, SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION? MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER, CANADA, JULY 13, 2001.” The face discriminator 141 learned in advance by the AdaBoosting method described in “Literature” is registered in the memory 140, and by calling this face discriminator 141, as shown in FIG. Position and face size can be acquired. At this time, a template update type face model 142 generated by prior learning is also registered in the memory 140 in advance.
顔追跡部１２０は、このテンプレート更新型顔モデル１４２をメモリ１４０から呼び出し、顔の追跡を行う。
状態認識部１５０は、顔追跡部１２０で追跡された顔から、顔向きや目や口などの顔部品の特徴点位置を抽出し、これらの情報から、現在の運転者の状態を認識する。例えば、顔追跡部１２０で得られた顔向き変化情報を用い、あらかじめ設定した所定の範囲外に顔向きが変化したときに、脇見をしたと運転者の状態を判定する。また、このとき、制御部１００からスピーカである音声出力部５００に、脇見をしたことによる警報を出力するように指示する。また、追跡対象者に顔を正面に向けるように促す音声を音声出力部５００に出力するように指示することもできる。
The face tracking unit 120 calls the template update type face model 142 from the memory 140 and performs face tracking.
The state recognition unit 150 extracts the feature point positions of face parts such as the face direction and eyes and mouth from the face tracked by the face tracking unit 120, and recognizes the current driver state from these pieces of information. For example, using the face direction change information obtained by the face tracking unit 120, when the face direction changes outside a predetermined range set in advance, the driver's state is determined to have looked aside. Further, at this time, the control unit 100 instructs the audio output unit 500 that is a speaker to output an alarm for looking aside. In addition, it is possible to instruct the audio output unit 500 to output a voice prompting the person to be tracked to turn his face to the front.
以下、顔追跡部１２０、テンプレート更新型顔モデル１４２及び顔判定部１３０について詳細に説明する。
前述したように、顔追跡部１２０は、テンプレート更新型顔モデル１４２をメモリ１４０から呼び出し、顔領域の追跡を行う。
Hereinafter, the face tracking unit 120, the template update type face model 142, and the face determination unit 130 will be described in detail.
As described above, the face tracking unit 120 calls the template update type face model 142 from the memory 140 and tracks the face area.
ここで、テンプレート更新型顔モデル１４２は、正面顔を三角形状の複数のメッシュで表現した基本形状（ｂａｓｅ ｓｈａｐｅ）ｓ0（図３（ａ）参照）と、基本形状ｓ0からの顔向きを示すｎ個（ｎは自然数）の形状ベクトル（ｓｈａｐｅ ｖｅｃｔｏｒ）ｓi（ｉ＝１，２，３，…，ｎ）（図３（ｂ），（ｃ）参照）からなる形状モデルを持つ。これら基本形状ｓ0及びｎ個の形状ベクトルｓiを用いて式（１）により計算することで、人間の顔の形状ｓを表現する。なお、式（１）のｐi（ｉ＝１，２，３，…）は、重ね合わせ係数である。 Here, the template update type face model 142 has a basic shape (base shape) s 0 (see FIG. 3A) in which the front face is expressed by a plurality of triangular meshes, and a face orientation from the basic shape s 0. shape vector of n shown (n is a natural number) (shape vector) s i ( i = 1,2,3, ..., n) ( FIG. 3 (b), (c) refer) having a shape model consisting of. By using these basic shapes s 0 and n shape vectors s i to calculate according to the equation (1), the shape s of the human face is expressed. Note that p i (i = 1, 2, 3,...) In Expression (1) is a superposition coefficient.
このような基本形状ｓ0や形状ベクトルｓiを生成するためには、顔向きの異なる複数の顔画像を学習セットとし、各画像における顔特徴点位置（メッシュ頂点の位置）を入力として、主成分分析を用いて導出する。基本形状ｓ0は学習セットにおける顔特徴点位置の平均値となる。このとき、この基本形状ｓ0が正面顔形状になるように学習セットを選択しておく。 In order to generate such a basic shape s 0 or shape vector s i , a plurality of face images with different face orientations are used as a learning set, and face feature point positions (mesh vertex positions) in each image are input, Derived using component analysis. The basic shape s 0 is an average value of the face feature point positions in the learning set. At this time, the learning set is selected so that the basic shape s 0 becomes the front face shape.
また、テンプレート更新型顔モデル１４２は、前述の基本形状ｓ0や形状ベクトルｓiとともに、基本アピアランスＡ0（図３（ｄ）参照）と、ｍ個（ｍは自然数）のアピアランス変動Ａj（ｊ＝１，２，３，…，ｍ）（図３（ｅ），（ｆ）参照）から構成されるアピアランスモデルを持つ。アピアランスモデルは、これら基本アピアランスＡ0及びｍ個のアピアランス変動Ａjを用いて式（２）により計算することで、人間の顔のアピアランスＡを表現する。なお、式（２）のλj（ｊ＝１，２，３，…）は重ね合わせ係数である。 Further, the template update type face model 142, with the basic shape s 0 and the shape vector s i of the foregoing, the basic appearance A 0 (FIG. 3 (d) refer) and, m pieces (m is a natural number) Appearance change A j of ( j = 1, 2, 3,..., m) (see FIGS. 3E and 3F). The appearance model expresses the appearance A of the human face by calculating by the equation (2) using the basic appearance A 0 and the m appearance fluctuations A j . In Equation (2), λ j (j = 1, 2, 3,...) Is a superposition coefficient.
このようにすることで、テンプレート更新型顔モデル１４２は顔領域に収束し、顔を追跡することができる（図４（ａ），（ｂ）参照）。すなわち、現在の撮像画像における顔領域の追跡は、前フレームでの追跡結果の影響を受けるため、一度追跡が失敗すると追跡に復帰することはできない。また、追跡は２つのテンプレート間の輝度誤差が最小になるように求められるため、追跡失敗時にもテンプレート更新型顔モデル１４２の更新は行われる。 In this way, the template update type face model 142 can converge on the face area and track the face (see FIGS. 4A and 4B). That is, the tracking of the face area in the current captured image is affected by the tracking result in the previous frame, and therefore cannot be returned to tracking once tracking fails. In addition, since tracking is required so that the luminance error between the two templates is minimized, the template update type face model 142 is updated even when tracking fails.
また、状態認識部１５０に受け渡す顔向き情報も顔追跡部１２０で導出される。テンプレート更新型顔モデル１４２には、図５で示すような３次元形状モデルが含まれる。これらは、前述の形状モデルを３次元に拡張したものである。顔追跡部１２０における顔追跡時に、顔特徴点の２次元座標上の位置が求まるため、これら顔特徴点の２次元座標上の位置と３次元モデルを２次元座標上に投影し、対応している各顔特徴点の位置誤差が小さくなるように３次元モデルを３次元空間の３軸で回転させる。この回転量が顔向きになる。 Further, the face direction information passed to the state recognition unit 150 is also derived by the face tracking unit 120. The template update type face model 142 includes a three-dimensional shape model as shown in FIG. These are three-dimensional extensions of the shape model described above. At the time of face tracking by the face tracking unit 120, the positions of the face feature points on the two-dimensional coordinates are obtained. Therefore, the positions of the face feature points on the two-dimensional coordinates and the three-dimensional model are projected onto the two-dimensional coordinates, and correspondingly The three-dimensional model is rotated around the three axes of the three-dimensional space so that the position error of each face feature point is small. This amount of rotation becomes the face orientation.
顔判定部１３０は、顔追跡部１２０から追跡結果である顔特徴点の２次元座標を受け取り、各特徴点で囲まれた画像を抽出し（図６（ａ），（ｂ）参照）、抽出後の顔画像（図６（ｂ））を正面顔に変形する（図６（ｃ）参照）。このとき、図６（ｂ）に示す顔画像の形状は式（１）の形状ｓに該当する。形状ｓの正面顔形状への変換は、基本形状ｓ0になるように特徴点群で構成される三角形をアフィン変換することで作成することができる。なぜなら、基本形状ｓ0は前述のとおり正面顔形状になるように学習されているからであり、アフィン変換後の形状ｓ（図６（ｃ））は正面顔形状となる。 The face determination unit 130 receives the two-dimensional coordinates of the face feature points as the tracking result from the face tracking unit 120, extracts an image surrounded by each feature point (see FIGS. 6A and 6B), and extracts the images. The later face image (FIG. 6B) is transformed into a front face (see FIG. 6C). At this time, the shape of the face image shown in FIG. 6B corresponds to the shape s of Expression (1). The transformation of the shape s into the front face shape can be created by affine transformation of a triangle composed of the feature points so as to become the basic shape s 0 . This is because the basic shape s 0 is learned to be a front face shape as described above, and the shape s after affine transformation (FIG. 6C) is a front face shape.
また、顔判定部１３０は、この変形された変形画像（図６（ｃ））が顔であるか否かを判定する。例えば、図７に示すように、画像の上半分における水平方向及び垂直方向のそれぞれについて輝度を累積加算し、水平方向及び垂直方向の各累積加算値の谷位置を観察する。この谷位置は目やまゆの位置に相当する。このため、画像が正面顔であれば、垂直方向累積輝度値及び水平方向累積輝度値のそれぞれにおいて、２つの大きな谷が存在する。これらの位置と累積輝度値を観察し、あらかじめ設定しておいた範囲と比較すれば、変形画像（図６（ｃ））が正面顔であるか否かを容易に判定することができる。 Further, the face determination unit 130 determines whether or not the deformed deformed image (FIG. 6C) is a face. For example, as shown in FIG. 7, the luminance is cumulatively added in each of the horizontal direction and the vertical direction in the upper half of the image, and the valley positions of the cumulative addition values in the horizontal direction and the vertical direction are observed. This valley position corresponds to the position of the eyes and eyebrows. For this reason, if the image is a front face, there are two large valleys in each of the vertical direction cumulative luminance value and the horizontal direction cumulative luminance value. If these positions and the accumulated luminance value are observed and compared with a preset range, it can be easily determined whether or not the deformed image (FIG. 6C) is a front face.
ここで、追跡が成功した場合（図６）と対比するため、追跡が失敗した場合の例を図８及び図９に示す。このような場合、変形画像（図８（ｃ）及び図９（ｃ））はいずれも正面顔画像にならない。また、顔抽出部１１０で正面顔を抽出したときに用いた顔識別器（例えば、前述した参考文献に記載のAdaBoosting手法）を変形画像（図６（ｃ）、図８（ｃ）及び図９（ｃ））に適用し、顔が発見できるか否かを調べてもよい。発見できない場合は、変形画像が正面顔ではないと判定する。 Here, in order to contrast with the case where the tracking is successful (FIG. 6), an example of the case where the tracking fails is shown in FIGS. In such a case, neither of the deformed images (FIG. 8C and FIG. 9C) becomes a front face image. Further, the face discriminator (for example, the AdaBoosting method described in the above-mentioned reference document) used when the front face is extracted by the face extraction unit 110 is transformed into a modified image (FIGS. 6C, 8C, and 9). It may be applied to (c)) to check whether a face can be found. If it cannot be found, it is determined that the deformed image is not a front face.
次に、顔追跡装置の制御部１００が実行する具体的処理手順について、図１０のフローチャートを用いて説明する。
制御部１００は、まずＳ１０１で、ボイスガイダンスの処理を行う。具体的には、追跡対象者である運転者に対し、正面方向に顔を向けるように促す音声を音声出力部５００から出力させる。
Next, a specific processing procedure executed by the control unit 100 of the face tracking device will be described with reference to the flowchart of FIG.
First, in step S101, the control unit 100 performs voice guidance processing. Specifically, the voice output unit 500 outputs a voice prompting the driver who is the tracking target to turn his face in the front direction.
続いて、Ｓ１０２では、カメラ２００により撮像された１つの撮像画像（正面顔画像）を取得する。
続いて、Ｓ１０３では、Ｓ１０２で取得した撮像画像から顔領域を抽出する処理（顔抽出部１１０の処理）を行う。
Subsequently, in S102, one captured image (front face image) captured by the camera 200 is acquired.
Subsequently, in S103, processing for extracting a face region from the captured image acquired in S102 (processing of the face extraction unit 110) is performed.
続いて、Ｓ１０４では、Ｓ１０３で抽出した顔領域の位置及び大きさ情報をテンプレート更新型顔モデル１４２の追跡開始の初期パラメータとして設定する。
続いて、Ｓ１０５では、顔領域の追跡を行う追従処理（顔追跡部１２０の処理）を行う。
Subsequently, in S104, the position and size information of the face area extracted in S103 is set as an initial parameter for starting tracking of the template update type face model 142.
Subsequently, in S105, follow-up processing (processing of the face tracking unit 120) for tracking the face area is performed.
続いて、Ｓ１０６では、追従領域の顔画像を正面顔に変形する処理（顔判定部１３０の処理）を行う。
続いて、Ｓ１０７では、Ｓ１０６で得られた変形画像が正面顔であるか否かを判定する。
Subsequently, in S106, a process of transforming the face image in the tracking area into a front face (process of the face determination unit 130) is performed.
Subsequently, in S107, it is determined whether or not the deformed image obtained in S106 is a front face.
そして、Ｓ１０７で、変形画像が正面顔でないと判定した場合（追跡が失敗したと判定した場合）には、Ｓ１０２へ戻り、再度顔領域の抽出処理を行い、追従の初期パラメータ（位置及び大きさ）を再設定して再度追跡を行う。このとき、Ｓ１０２へ戻るのではなくＳ１０４へ戻り、追従の初期パラメータ（位置及び大きさ）を再設定してもよい。 If it is determined in step S107 that the deformed image is not a front face (when it is determined that tracking has failed), the process returns to step S102, the face area is extracted again, and the initial parameters for tracking (position and size) are obtained. ) To reset and track again. At this time, instead of returning to S102, the process may return to S104, and the initial parameters (position and size) for tracking may be reset.
一方、Ｓ１０７で、変形画像が正面顔であると判定した場合には、Ｓ１０８へ移行し、運転者の顔向き角が、あらかじめ設定されている脇見判定用のしきい値以内であるか否かを判定する処理（状態認識部１５０の処理）を行う。 On the other hand, if it is determined in S107 that the deformed image is a front face, the process proceeds to S108, and whether or not the driver's face angle is within a preset threshold for looking aside. Is performed (processing of the state recognition unit 150).
そして、Ｓ１０８で、顔向き角がしきい値以内でないと判定した場合（脇見をしていると判定した場合）には、Ｓ１０９へ移行し、音声出力部５００から警報を出力させる。その後、Ｓ１１０へ移行する。 When it is determined in S108 that the face angle is not within the threshold value (when it is determined that the person is looking aside), the process proceeds to S109, and the sound output unit 500 outputs an alarm. Thereafter, the process proceeds to S110.
一方、Ｓ１０８で、顔向き角がしきい値以内であると判定した場合（脇見をしていないと判定した場合）には、そのままＳ１１０へ移行する。
Ｓ１１０では、図１０に示す一連の処理を終了するか否かを判定する。具体的には、例えば、運転者により処理終了操作が行われたか否かを判定する。
On the other hand, if it is determined in S108 that the face direction angle is within the threshold value (when it is determined not to look aside), the process proceeds to S110 as it is.
In S110, it is determined whether or not to end the series of processes shown in FIG. Specifically, for example, it is determined whether or not a processing end operation has been performed by the driver.
そして、Ｓ１１０で、処理を終了しないと判定した場合には、Ｓ１１１へ移行し、顔画像を取得した後、Ｓ１０５へ戻る。
一方、Ｓ１１０で、処理を終了すると判定した場合には、そのまま処理を終了する。
If it is determined in S110 that the process is not terminated, the process proceeds to S111, and after acquiring a face image, the process returns to S105.
On the other hand, if it is determined in S110 that the process is to be terminated, the process is terminated as it is.
以上説明したように、第１実施形態の顔追跡装置は、運転者の顔向きの変化をテンプレート更新型顔モデル１４２を用いて追跡するものであり、運転者の正面を向いた顔の撮像画像を取得し（Ｓ１０１，Ｓ１０２）、その撮像画像から顔領域を抽出して（Ｓ１０３）、その顔領域の位置から顔の追跡を開始する（Ｓ１０４，Ｓ１０５）。そして、追跡の開始後に取得された撮像画像におけるテンプレート更新型顔モデル１４２が存在する領域を正面顔に変形した変形画像を生成し（Ｓ１０６）、生成した変形画像が顔であるか否かを判定することで追跡の成否を判定する（Ｓ１０７）。 As described above, the face tracking device according to the first embodiment tracks changes in the driver's face orientation using the template updating face model 142, and the captured image of the face facing the front of the driver. (S101, S102), a face area is extracted from the captured image (S103), and tracking of the face is started from the position of the face area (S104, S105). Then, a deformed image is generated by deforming a region where the template update type face model 142 exists in the captured image acquired after the start of tracking into a front face (S106), and it is determined whether or not the generated deformed image is a face. Thus, the success or failure of the tracking is determined (S107).
このため、第１実施形態の顔追跡装置によれば、変形画像が顔であるか否かを判定するだけで、追跡が成功しているか否かを容易に判定することができる。
なお、本実施形態の顔追跡装置では、Ｓ１０２の処理を実行する制御部１００が、撮像画像取得手段に相当し、Ｓ１０３の処理を実行する制御部１００が、顔領域抽出手段に相当し、Ｓ１０４，Ｓ１０５の処理を実行する制御部１００が、顔追跡手段に相当し、Ｓ１０６，Ｓ１０７の処理を実行する制御部１００が、判定手段に相当する。
For this reason, according to the face tracking device of the first embodiment, it is possible to easily determine whether or not the tracking is successful only by determining whether or not the deformed image is a face.
In the face tracking device of the present embodiment, the control unit 100 that executes the process of S102 corresponds to a captured image acquisition unit, the control unit 100 that executes the process of S103 corresponds to a face region extraction unit, and S104. , S105 that executes the processing of S105 corresponds to a face tracking unit, and the control unit 100 that executes the processing of S106 and S107 corresponds to a determination unit.
［第２実施形態］
次に、請求項２に対応する第２実施形態の顔追跡装置について説明する。
図１１に示すように、第２実施形態の顔追跡装置は、第１実施形態の顔追跡装置と対比すると、メモリ１４０に正面顔形状テンプレート１４３が付加されている点が異なる。その他、各部の機能及び動作内容は、正面顔形状テンプレート１４３及び顔判定部１３０を除いて第１実施形態と同様である。このため、正面顔形状テンプレート１４３及び顔判定部１３０について第１実施形態との相違点を中心に説明する。
[Second Embodiment]
Next, a face tracking device according to a second embodiment corresponding to claim 2 will be described.
As shown in FIG. 11, the face tracking device of the second embodiment differs from the face tracking device of the first embodiment in that a front face shape template 143 is added to the memory 140. In addition, the functions and operation contents of each unit are the same as those in the first embodiment except for the front face shape template 143 and the face determination unit 130. Therefore, the front face shape template 143 and the face determination unit 130 will be described with a focus on differences from the first embodiment.
正面顔形状テンプレート１４３は、図１２に示すように、あらかじめ作成しておいた人間の正面顔の画像である。この正面顔形状テンプレート１４３は、複数の人間の正面顔画像を平均して生成されたものであり、テンプレート更新型顔モデル１４２における基本形状ｓ0と同じ大きさになるように調整されている。すなわち、図１２における水平方向の画素数Ｗと垂直方向の画素数Ｈは図７と同じである。なお、正面顔形状テンプレート１４３は追跡対象者自身の顔テンプレートでもよいし、第三者の正面顔テンプレートであってもよく、テンプレートが顔全体ではなくてもよい。 The front face shape template 143 is an image of a human front face prepared in advance as shown in FIG. The front face shape template 143 is generated by averaging a plurality of human front face images, and is adjusted to have the same size as the basic shape s 0 in the template update type face model 142. That is, the number of pixels W in the horizontal direction and the number of pixels H in the vertical direction in FIG. 12 are the same as those in FIG. The front face shape template 143 may be the face template of the person to be tracked, or may be a front face template of a third party, and the template may not be the entire face.
顔判定部１３０は、この正面顔形状テンプレート１４３をメモリ１４０から呼び出し、テンプレート更新型顔モデル１４２が抽出した顔領域を正面顔に変形した変形画像（図６（ｃ））とテンプレートマッチングを行う。このテンプレートマッチングでは、正面顔形状テンプレート１４３と変形画像（図６（ｃ））との正規化相関値を計算する（式（３）、式（４）参照）。なお、画素値間の平均二乗誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を計算してあらかじめ設定したしきい値から判定してもよい。 The face determination unit 130 calls the front face shape template 143 from the memory 140, and performs template matching with a deformed image (FIG. 6C) obtained by transforming the face area extracted by the template update face model 142 into a front face. In this template matching, a normalized correlation value between the front face shape template 143 and the deformed image (FIG. 6C) is calculated (see Expressions (3) and (4)). Note that a mean square error between pixel values (Root Mean Square Error) may be calculated and determined from a preset threshold value.
式（３）は正規化相関値を計算する一般的な式である。本実施形態では、テンプレート更新型顔モデル１４２が抽出した顔領域を正面顔に変形した画像と正面顔形状テンプレート１４３の大きさはともに基本形状ｓ0であり、水平方向の画素数Ｗと垂直方向の画素数Ｈは同じになるため、本実施形態では式（４）で示す計算式を用いる。 Expression (3) is a general expression for calculating the normalized correlation value. In the present embodiment, both the image obtained by transforming the face area extracted by the template updating face model 142 into a front face and the size of the front face shape template 143 are the basic shape s 0 , the number of pixels W in the horizontal direction and the vertical direction. In this embodiment, the calculation formula shown by Formula (4) is used.
ここで、式（３）及び式（４）について解説する。
図１３に一般的な正規化相関を用いたテンプレートマッチングの概要図を示す。ここでＩ（ｘ，ｙ）は探索画像である。（ｘ，ｙ）は水平方向及び垂直方向のそれぞれの画素位置を示す。また、Ｔ（ｉ，ｊ）はテンプレートを示す。探索画像のときと同様に（ｉ，ｊ）は水平方向及び垂直方向のそれぞれの画素位置を示す。
Here, the expressions (3) and (4) will be described.
FIG. 13 shows a schematic diagram of template matching using general normalized correlation. Here, I (x, y) is a search image. (X, y) indicates respective pixel positions in the horizontal direction and the vertical direction. T (i, j) represents a template. As in the case of the search image, (i, j) indicates the respective pixel positions in the horizontal direction and the vertical direction.
計算領域は大きさがテンプレートＴ（ｉ，ｊ）となる探索画像Ｉ（ｘ，ｙ）中の領域になる。走査領域は（ｘ，ｙ）の取り得る範囲を示す。すなわち、計算領域の左上の座標（ｘ，ｙ）を走査領域で走査し、Ｔ（ｉ，ｊ）との相関を計算することになる。式（３）の＜Ｉ＞は計算領域におけるＩ（ｘ，ｙ）の画素値の平均、＜Ｔ＞はテンプレートＴ（ｉ，ｊ）の画素値の平均である。 The calculation area is an area in the search image I (x, y) whose size is the template T (i, j). The scanning area indicates a possible range of (x, y). That is, the upper left coordinate (x, y) of the calculation area is scanned in the scanning area, and the correlation with T (i, j) is calculated. In formula (3), <I> is the average of the pixel values of I (x, y) in the calculation region, and <T> is the average of the pixel values of the template T (i, j).
次に、本実施形態で用いる正規化相関値を用いたテンプレートマッチングの概要を図１４に示す。前述のとおり、本実施形態ではテンプレートＴ（ｉ，ｊ）が探索画像Ｉ（ｘ，ｙ）と同じ大きさとなるため、計算領域は探索画像Ｉ（ｘ，ｙ）全体になり、走査領域は（０，０）の一点になる。 Next, FIG. 14 shows an outline of template matching using normalized correlation values used in this embodiment. As described above, in the present embodiment, the template T (i, j) has the same size as the search image I (x, y), so the calculation area is the entire search image I (x, y), and the scan area is ( 0,0).
以上説明したように、第２実施形態の顔追跡装置では、変形画像が顔であるか否かの判定を、あらかじめ登録されている正面顔形状テンプレート１４３との比較に基づき行う。このため、正面顔形状テンプレート１４３をあらかじめ１つ用意しておくだけで、顔向きが変化した場合においてもテンプレートマッチングのような単純なアルゴリズムで顔追跡の確からしさを判定することができる。特に、正面顔形状テンプレート１４３をあらかじめ用意しておく構成のため、変形画像が顔であるか否かを精度良く判定することができる。 As described above, in the face tracking device according to the second embodiment, the determination as to whether or not the deformed image is a face is performed based on a comparison with the front face shape template 143 registered in advance. Therefore, just by preparing one front face shape template 143 in advance, even when the face orientation changes, the likelihood of face tracking can be determined by a simple algorithm such as template matching. In particular, since the front face shape template 143 is prepared in advance, it can be accurately determined whether or not the deformed image is a face.
［第３実施形態］
次に、請求項３に対応する第３実施形態の顔追跡装置について説明する。
第３実施形態の顔追跡装置は、第２実施形態の顔追跡装置と対比すると、テンプレート更新型顔モデル１４２の持つ正面顔を正面顔形状テンプレート１４３とする点が異なる。この正面顔とは、形状が形状モデルの基本形状ｓ0で、テンプレートがアピアランスモデルの基本アピアランスＡ0によって構成されるテンプレートである（図３（ａ），（ｄ）参照）。このテンプレートと追跡によって得られた領域を正面顔形状に変換した変形画像（図６（ｃ），図８（ｃ），図９（ｃ））とを前述の式（４）を使って正規化相関値から正面顔であるか否かを判定する。
[Third Embodiment]
Next, a face tracking device according to a third embodiment corresponding to claim 3 will be described.
The face tracking device of the third embodiment is different from the face tracking device of the second embodiment in that the front face of the template updating face model 142 is a front face shape template 143. The front face is a template whose shape is a basic shape s 0 of a shape model and whose template is a basic appearance A 0 of an appearance model (see FIGS. 3A and 3D). This template and the deformed images (FIGS. 6C, 8C, and 9C) obtained by converting the region obtained by tracking into the front face shape are normalized using the above-described equation (4). It is determined from the correlation value whether or not the face is a front face.
このような第３実施形態の顔追跡装置によれば、テンプレート更新型顔モデル１４２が有する正面顔テンプレートを正面顔形状テンプレート１４３としているため、テンプレート更新型顔モデル１４２の正面顔を判定用の正面顔形状テンプレート１４３として利用することができる。このため、判定用の正面顔形状テンプレート１４３をあらかじめ用意しておく必要がないという利点がある。 According to the face tracking device of the third embodiment as described above, the front face template included in the template update type face model 142 is the front face shape template 143. Therefore, the front face of the template update type face model 142 is the front for determination. It can be used as the face shape template 143. Therefore, there is an advantage that it is not necessary to prepare the front face shape template 143 for determination in advance.
［第４実施形態］
次に、請求項４に対応する第４実施形態の顔追跡装置について説明する。
第４実施形態の顔追跡装置は、第２実施形態の顔追跡装置と対比すると、撮像画像におけるテンプレート更新型顔モデル１４２が存在する領域を正面形状に変換した画像（図６（ｃ），図８（ｃ），図９（ｃ）参照）を正面顔形状テンプレート１４３とする点が異なる。つまり、顔抽出部１１０によって得られた正面顔画像を探索画像Ｉ（ｘ，ｙ）とする。このときの正規化相関値を計算し、あるしきい値（例えば、０．８）以上になったときに、顔判定部１３０が追跡が成功したと判定する。
[Fourth Embodiment]
Next, a face tracking device according to a fourth embodiment corresponding to claim 4 will be described.
Compared with the face tracking device of the second embodiment, the face tracking device of the fourth embodiment is an image obtained by converting the area where the template update type face model 142 exists in the captured image into a front shape (FIG. 6C, FIG. 8 (c), FIG. 9 (c)) is a front face shape template 143. That is, the front face image obtained by the face extraction unit 110 is set as a search image I (x, y). The normalized correlation value at this time is calculated, and the face determination unit 130 determines that the tracking has been successful when a certain threshold value (for example, 0.8) or more is reached.
このような第４実施形態の顔追跡装置によれば、撮像画像から抽出した顔領域を正面顔形状テンプレート１４３として取得するようにしているため、判定用の正面顔形状テンプレート１４３をあらかじめ用意しておく必要がないという利点がある。しかも、判定用の正面顔形状テンプレート１４３が運転者自身の正面顔であることから、判定精度を高くすることができる。 According to the face tracking device of the fourth embodiment, the face area extracted from the captured image is acquired as the front face shape template 143. Therefore, the front face shape template 143 for determination is prepared in advance. There is an advantage that there is no need to keep. Moreover, since the determination front face shape template 143 is the driver's own front face, the determination accuracy can be increased.
［第５実施形態］
次に、請求項５に対応する第５実施形態の顔追跡装置について説明する。
第５実施形態の顔追跡装置の構成は、第１〜第４実施形態のいずれを基礎としてもよく（図１、図１１参照）、顔判定部１３０の判定手法は第１〜第４実施形態に記載の手法をすべて取り得る。第５実施形態の顔追跡装置が第１〜第４実施形態の顔追跡装置と異なるのは、顔判定部１３０により追跡が失敗したと判定した場合に、顔判定部１３０から音声出力部５００に音声信号を出力する点である。ここで、音声信号は、メッセージ等の音声を表すものであってもよく、単純なビープ音などであってもよい。また、図１５に示すように、別途、パイロットランプ６００を用意し、点灯と消灯によって運転者に伝達するようにしてもよい。
[Fifth Embodiment]
Next, a face tracking device according to a fifth embodiment corresponding to claim 5 will be described.
The configuration of the face tracking device of the fifth embodiment may be based on any of the first to fourth embodiments (see FIGS. 1 and 11), and the determination method of the face determination unit 130 is the first to fourth embodiments. All the methods described in can be taken. The face tracking device according to the fifth embodiment is different from the face tracking devices according to the first to fourth embodiments. When the face determination unit 130 determines that the tracking has failed, the face determination unit 130 sends the voice output unit 500 to the voice output unit 500. It is a point that outputs an audio signal. Here, the audio signal may represent a voice such as a message, or may be a simple beep sound. Further, as shown in FIG. 15, a pilot lamp 600 may be separately prepared and transmitted to the driver by turning on and off.
ここで、このような処理を実現するために顔追跡装置の制御部１００が実行する具体的処理手順について、図１６のフローチャートを用いて説明する。
図１６の処理は、前述した図１０の処理に代えて実行されるものであり、Ｓ１１２の処理が追加されている点のみが異なる。すなわち、Ｓ１０７で変形画像が正面顔でないと判定した場合（追跡が失敗したと判定した場合）に、Ｓ１１２へ移行し、追跡が失敗したことを運転者に知らせるための音声を音声出力部５００から出力させた後、Ｓ１０２へ戻る。
Here, a specific processing procedure executed by the control unit 100 of the face tracking device in order to realize such processing will be described with reference to a flowchart of FIG.
The process of FIG. 16 is executed in place of the process of FIG. 10 described above, and is different only in that the process of S112 is added. That is, when it is determined in S107 that the deformed image is not a front face (when it is determined that tracking has failed), the process proceeds to S112, and a voice for notifying the driver that tracking has failed is output from the audio output unit 500. After outputting, the process returns to S102.
このような第５実施形態の顔追跡装置によれば、追跡の成否を判定した場合に、その判定結果を運転者に知らせることができるため、追跡の成否を運転者が確認できる。また、運転者に追跡の失敗を音声又は視覚的効果により伝達できることから、追跡対象者以外の第三者が顔領域の位置や大きさなどの初期パラメータをマウス等の入力デバイスによって再設定することができるようになる。加えて、初期パラメータの再設定等の追跡復帰処理を運転者自身が適切なタイミングで行うといったことも可能となる。 According to the face tracking device of the fifth embodiment, when the success or failure of the tracking is determined, the determination result can be notified to the driver, so that the driver can confirm the success or failure of the tracking. In addition, since the tracking failure can be communicated to the driver by voice or visual effect, a third party other than the tracking target can reset the initial parameters such as the position and size of the face area with an input device such as a mouse. Will be able to. In addition, it is possible for the driver himself to perform tracking return processing such as resetting of initial parameters at an appropriate timing.
なお、本実施形態の顔追跡装置では、Ｓ１１２の処理を実行する制御部１００が、報知手段に相当する。
［他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
In the face tracking device of the present embodiment, the control unit 100 that executes the process of S112 corresponds to a notification unit.
[Other forms]
As mentioned above, although embodiment of this invention was described, it cannot be overemphasized that this invention can take a various form, without being limited to the said embodiment.
例えば、上記実施形態では、車両に搭載されて用いられる顔追跡装置を例示したが、これに限定されるものではなく、本発明の顔追跡装置は車両以外でも利用することができる。 For example, in the above-described embodiment, the face tracking device used by being mounted on a vehicle has been exemplified. However, the present invention is not limited to this, and the face tracking device of the present invention can be used other than the vehicle.
１００…制御部、１１０…顔抽出部、１２０…顔追跡部、１３０…顔判定部、１４０…メモリ、１４１…顔識別器、１４２…テンプレート更新型顔モデル、１４３…正面顔形状テンプレート、１５０…状態認識部、２００…カメラ、３００…画像キャプチャボード、４００…照明部、５００…音声出力部、６００…パイロットランプ DESCRIPTION OF SYMBOLS 100 ... Control part 110 ... Face extraction part 120 ... Face tracking part 130 ... Face determination part 140 ... Memory, 141 ... Face discriminator, 142 ... Template update type face model, 143 ... Front face shape template, 150 ... State recognition unit 200 ... Camera 300 Image capture board 400 Illumination unit 500 Sound output unit 600 Pilot lamp
Claims (6)
人間の顔を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された撮像画像から顔領域を抽出する顔領域抽出手段と、
前記顔領域抽出手段により抽出された顔領域の位置から顔の追跡を開始する顔追跡手段と、
前記顔追跡手段による追跡の開始後に取得された撮像画像における前記テンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで前記顔追跡手段による追跡の成否を判定する判定手段と、
を備えることを特徴とする顔追跡装置。 A face tracking device that tracks changes in human face orientation using a template-updated face model,
A captured image acquisition means for acquiring a captured image of a human face;
Face area extraction means for extracting a face area from the captured image acquired by the captured image acquisition means;
Face tracking means for starting face tracking from the position of the face area extracted by the face area extracting means;
A deformed image is generated by deforming an area where the template update type face model exists in a captured image acquired after the tracking by the face tracking unit is started into a front face, and it is determined whether the generated deformed image is a face. Determination means for determining success or failure of tracking by the face tracking means,
A face tracking device comprising:
を特徴とする請求項１に記載の顔追跡装置。 The face tracking device according to claim 1, wherein the determination unit determines whether or not the deformed image is a face based on a comparison with a registered front face template.
を特徴とする請求項２に記載の顔追跡装置。 The face tracking device according to claim 2, wherein the front face template is a front face template included in the template updating face model.
を特徴とする請求項２に記載の顔追跡装置。 The face tracking device according to claim 2, wherein the face area extracting unit acquires a face area extracted from the captured image as the front face template.
を特徴とする請求項１から請求項４までのいずれか１項に記載の顔追跡装置。 5. The face tracking device according to claim 1, further comprising a notification unit that notifies a determination result of success or failure of tracking by the face tracking unit determined by the determination unit.
人間の顔を撮像した撮像画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップで取得した撮像画像から顔領域を抽出する顔領域抽出ステップと、
前記顔領域抽出ステップで抽出した顔領域の位置から顔の追跡を開始する顔追跡ステップと、
前記顔追跡ステップによる追跡の開始後に取得した撮像画像における前記テンプレート更新型顔モデルが存在する領域を正面顔に変形した変形画像を生成し、生成した変形画像が顔であるか否かを判定することで顔の追跡の成否を判定する判定ステップと、
を備えることを特徴とする顔追跡方法。 A face tracking method for tracking changes in human face orientation using a template-updated face model,
A captured image acquisition step of acquiring a captured image of a human face;
A face area extraction step of extracting a face area from the captured image acquired in the captured image acquisition step;
A face tracking step for starting face tracking from the position of the face area extracted in the face area extraction step;
A deformed image is generated by deforming an area where the template update type face model exists in the captured image acquired after the tracking is started in the face tracking step into a front face, and it is determined whether the generated deformed image is a face. A determination step for determining success or failure of face tracking,
A face tracking method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008041355A JP2009199417A (en) | 2008-02-22 | 2008-02-22 | Face tracking device and face tracking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008041355A JP2009199417A (en) | 2008-02-22 | 2008-02-22 | Face tracking device and face tracking method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009199417A true JP2009199417A (en) | 2009-09-03 |
Family
ID=41142834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008041355A Pending JP2009199417A (en) | 2008-02-22 | 2008-02-22 | Face tracking device and face tracking method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009199417A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011128966A (en) * | 2009-12-18 | 2011-06-30 | Denso Corp | Face feature point detection device and sleepiness detection device |
| CN102640185A (en) * | 2009-10-20 | 2012-08-15 | 全浸公司 | Method, computer program, and device for hybrid tracking of real-time representations of objects in image sequence |
| JP2016058085A (en) * | 2014-09-05 | 2016-04-21 | 株式会社リコー | Method and device for detecting shielding of object |
| WO2018008184A1 (en) * | 2016-07-08 | 2018-01-11 | オムロン株式会社 | Image processing device and image processing method |
| JP2018530017A (en) * | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
| WO2020175144A1 (en) * | 2019-02-25 | 2020-09-03 | いすゞ自動車株式会社 | Control device and photographing system |
| WO2020255645A1 (en) * | 2019-06-20 | 2020-12-24 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional data updating device, face orientation estimation device, three-dimensional data updating method, and computer-readable recording medium |
| KR20210038482A (en) * | 2020-04-17 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for training face fusion model and electronic device |
| JP2021524957A (en) * | 2018-07-23 | 2021-09-16 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image processing methods and their devices, terminals and computer programs |
| US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004094491A (en) * | 2002-08-30 | 2004-03-25 | Nec Corp | Face orientation estimation device and method and its program |
| JP2004234367A (en) * | 2003-01-30 | 2004-08-19 | Fujitsu Ltd | Device and method for detecting direction of face and computer program |
| JP2005115544A (en) * | 2003-10-06 | 2005-04-28 | Fuji Xerox Co Ltd | Operation identification apparatus and object posture identification apparatus |
| WO2006090449A1 (en) * | 2005-02-23 | 2006-08-31 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
| JP2006227739A (en) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | Image processing device and image processing method |
| JP2006228061A (en) * | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | Face tracing program and face tracing method |
-
2008
- 2008-02-22 JP JP2008041355A patent/JP2009199417A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004094491A (en) * | 2002-08-30 | 2004-03-25 | Nec Corp | Face orientation estimation device and method and its program |
| JP2004234367A (en) * | 2003-01-30 | 2004-08-19 | Fujitsu Ltd | Device and method for detecting direction of face and computer program |
| JP2005115544A (en) * | 2003-10-06 | 2005-04-28 | Fuji Xerox Co Ltd | Operation identification apparatus and object posture identification apparatus |
| JP2006227739A (en) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | Image processing device and image processing method |
| JP2006228061A (en) * | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | Face tracing program and face tracing method |
| WO2006090449A1 (en) * | 2005-02-23 | 2006-08-31 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102640185A (en) * | 2009-10-20 | 2012-08-15 | 全浸公司 | Method, computer program, and device for hybrid tracking of real-time representations of objects in image sequence |
| JP2013508844A (en) * | 2009-10-20 | 2013-03-07 | トタル・イメルジヨン | Method, computer program, and apparatus for hybrid tracking of real-time representations of objects in a sequence of images |
| JP2011128966A (en) * | 2009-12-18 | 2011-06-30 | Denso Corp | Face feature point detection device and sleepiness detection device |
| US11595617B2 (en) | 2012-04-09 | 2023-02-28 | Intel Corporation | Communication using interactive avatars |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| JP2016058085A (en) * | 2014-09-05 | 2016-04-21 | 株式会社リコー | Method and device for detecting shielding of object |
| US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
| JP2018530017A (en) * | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
| US10776980B2 (en) | 2015-07-30 | 2020-09-15 | Intel Corporation | Emotion augmented avatar animation |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
| US10497133B2 (en) | 2016-07-08 | 2019-12-03 | Omron Corporation | Object tracking apparatus and object tracking method |
| JP2018005839A (en) * | 2016-07-08 | 2018-01-11 | オムロン株式会社 | Image processing apparatus and image processing method |
| WO2018008184A1 (en) * | 2016-07-08 | 2018-01-11 | オムロン株式会社 | Image processing device and image processing method |
| JP2021524957A (en) * | 2018-07-23 | 2021-09-16 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image processing methods and their devices, terminals and computer programs |
| JP7058760B2 (en) | 2018-07-23 | 2022-04-22 | テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド | Image processing methods and their devices, terminals and computer programs |
| US11631275B2 (en) | 2018-07-23 | 2023-04-18 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, terminal, and computer-readable storage medium |
| CN113491101A (en) * | 2019-02-25 | 2021-10-08 | 五十铃自动车株式会社 | Control device and imaging system |
| US20220182518A1 (en) * | 2019-02-25 | 2022-06-09 | Isuzu Motors Limited | Control device and photographing system |
| WO2020175144A1 (en) * | 2019-02-25 | 2020-09-03 | いすゞ自動車株式会社 | Control device and photographing system |
| US11956525B2 (en) | 2019-02-25 | 2024-04-09 | Isuzu Motors Limited | Control device and photographing system |
| JPWO2020255645A1 (en) * | 2019-06-20 | 2021-11-25 | Ｎｅｃソリューションイノベータ株式会社 | 3D data update device, face orientation estimation device, 3D data update method and program |
| WO2020255645A1 (en) * | 2019-06-20 | 2020-12-24 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional data updating device, face orientation estimation device, three-dimensional data updating method, and computer-readable recording medium |
| JP7276968B2 (en) | 2019-06-20 | 2023-05-18 | Ｎｅｃソリューションイノベータ株式会社 | 3D DATA UPDATE DEVICE, FACE POSITION ESTIMATION DEVICE, 3D DATA UPDATE METHOD AND PROGRAM |
| KR20210038482A (en) * | 2020-04-17 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for training face fusion model and electronic device |
| KR102410328B1 (en) | 2020-04-17 | 2022-06-22 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Method and apparatus for training face fusion model and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009199417A (en) | Face tracking device and face tracking method | |
| JP4865517B2 (en) | Head position / posture detection device | |
| JP4469275B2 (en) | System and method for estimating pose angle | |
| JP5873442B2 (en) | Object detection apparatus and object detection method | |
| JP6973258B2 (en) | Image analyzers, methods and programs | |
| JP5001930B2 (en) | Motion recognition apparatus and method | |
| JP4951498B2 (en) | Face image recognition device, face image recognition method, face image recognition program, and recording medium recording the program | |
| JP6077655B2 (en) | Shooting system | |
| JP2007310707A (en) | Apparatus and method for estimating posture | |
| CN112911393B (en) | Method, device, terminal and storage medium for identifying part | |
| JP5087037B2 (en) | Image processing apparatus, method, and program | |
| JP4860289B2 (en) | Robot equipment | |
| JP2003150942A (en) | Eye position tracing method | |
| CN109274883A (en) | Posture antidote, device, terminal and storage medium | |
| JPWO2009004916A1 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
| KR20190119212A (en) | System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method | |
| JP3823760B2 (en) | Robot equipment | |
| CN109986553B (en) | Active interaction robot, system, method and storage device | |
| JP2019185556A (en) | Image analysis device, method, and program | |
| JP2015011404A (en) | Motion-recognizing and processing device | |
| JP2006215743A (en) | Image processing apparatus and image processing method | |
| JP2019012497A (en) | Portion recognition method, device, program, and imaging control system | |
| JP2010056720A (en) | Network camera, and network camera system | |
| JP5419777B2 (en) | Face image synthesizer | |
| KR102039164B1 (en) | Apparatus for performing virtual fitting using multi-level artificial neural network, method thereof and computer recordable medium storing program to perform the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120214 |