JP7259648B2 - 顔向き推定装置及び方法 - Google Patents
顔向き推定装置及び方法 Download PDFInfo
- Publication number
- JP7259648B2 JP7259648B2 JP2019158651A JP2019158651A JP7259648B2 JP 7259648 B2 JP7259648 B2 JP 7259648B2 JP 2019158651 A JP2019158651 A JP 2019158651A JP 2019158651 A JP2019158651 A JP 2019158651A JP 7259648 B2 JP7259648 B2 JP 7259648B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- fitting
- reference value
- face model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本開示は、画像データ中の人の顔に関して、安定して精度よく顔器官点の位置及び顔向きの角度を推定する顔向き推定装置及び方法に関する。
画像データの中から人の顔を検出し、更に検出した顔について顔器官点の位置及び顔向きの角度を推定する様々な技術が知られている。例えば、特許文献1は、人の顔における、顔器官点を含む複数の特徴点に対応する、複数の3次元位置を定める3次元顔モデルを、画像中の顔にフィッティングすることにより、顔器官点の位置及び画像中の顔向きの角度を推定する、3次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。
しかしながら、従来技術に係る3次元顔モデルフィッティングアルゴリズムに拠ると、顔器官点の位置推定が時間的に安定しないことがある。そうすると、顔器官点の位置推定に基づく処理の一つである目開閉検出における精度に、影響を及ぼす可能性が生じる。
更に、従来技術に拠ると、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象も生じ得る。そうすると、3次元顔モデルが顔画像としっかりとフィットしないままで安定化してしまい、顔向き推定結果がずれ続けてしまうことになる。
特許文献2に開示される開眼度特定装置は、前のフレームにおける各顔器官点位置を中心とした所定の範囲について、テンプレートマッチング等の方法で各顔器官点のトラッキング探索をしている。また、特許文献3に開示される顔部品探索装置は、前のフレームにおける各顔器官点の位置を大まかな位置とみなし、その位置からの各顔器官点のトラッキングにより詳細位置を探索している。しかしながら、特許文献2に開示される開眼度特定装置や特許文献3に開示される顔部品探索装置であっても、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引っ張られた場合や、眼鏡等のフレームによって目の器官点推定位置が引き込まれた場合に、推定位置が誤った位置で安定してしまうおそれがある。
本開示は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定するアルゴリズム、及び同アルゴリズムを利用する顔向き推定装置及び方法を提供する。
本開示の顔向き推定装置は、
画像データから人の顔画像データを検出する顔検出部と、及び、
検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部と
を備える顔向き推定装置である。
前記顔向き推定部は、前記顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値を求める推定基準値算出処理と、
(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
を実行するものであり、
前記(2)トラッキング処理は、補正処理を含み、
前記補正処理は、
前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、前記(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、
前記顔向き推定部は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。
画像データから人の顔画像データを検出する顔検出部と、及び、
検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部と
を備える顔向き推定装置である。
前記顔向き推定部は、前記顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値を求める推定基準値算出処理と、
(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
を実行するものであり、
前記(2)トラッキング処理は、補正処理を含み、
前記補正処理は、
前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、前記(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、
前記顔向き推定部は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。
本開示に係る顔向き推定装置及び方法は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定することができる。
以下、適宜図面を参照しながら、本発明に係る実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
[本開示に至る経緯]
画像データの中から人の顔を検出し、更に検出した顔について顔器官点の位置及び顔向きの角度を推定する様々な技術が知られている。特許文献1は、人の顔における、顔器官点を含む複数の特徴点に対応する、複数の3次元位置を定める3次元顔モデルを、画像中の顔にフィッティングすることにより、顔器官点の位置及び画像中の顔向きの角度を推定する、3次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。
画像データの中から人の顔を検出し、更に検出した顔について顔器官点の位置及び顔向きの角度を推定する様々な技術が知られている。特許文献1は、人の顔における、顔器官点を含む複数の特徴点に対応する、複数の3次元位置を定める3次元顔モデルを、画像中の顔にフィッティングすることにより、顔器官点の位置及び画像中の顔向きの角度を推定する、3次元顔モデルフィッティングアルゴリズム、及び、同アルゴリズムを利用する検出装置を、開示している。
しかしながら、顔器官点の位置推定が時間的に安定しない場合、例えば、顔器官点位置に基づく処理の一つである目開閉検出の精度に、影響を及ぼす可能性が生じる。図5(a-1)(a-2)(a-3)(a-4)は、顔画像データにおける顔器官点の位置推定が時間的に安定しないために、目のための位置推定の実際の対象が、目(a-1)→眉(a-2)→目(a-3)→眉(a-4)と変動してしまう様子を模式的に示す図である。これに対して、図5(b-1)(b-2)(b-3)(b-4)は、図5(a-1)~(a-4)のように目のための位置推定の実際の対象が変動してしまうために、目開閉検出処理が、実際には目が開かれ続けているにもかかわらず、開→閉→開→閉という誤出力をしてしまう様子を模式的に示す図である。このように、時間的に安定しない顔器官点の位置推定は、目開閉検出の精度に影響し得る。
そこで、フレームレートが15フレーム/秒、又は30フレーム/秒である動画においては顔器官点位置の1フレーム毎の動きが一般に微小であることを利用して、顔器官点の位置をトラッキング処理により推定していくことが、考えられる。つまり、前のフレームでの顔器官点位置推定結果(即ち、3次元顔モデルフィッティング結果)を起点として、その周囲で顔器官点を探索(即ち、フィッティング処理)するということが考えられる。
しかしながら、トラッキング処理を組み合わせることで顔器官点位置推定結果やその後段処理の目開閉検出が時間的に安定する一方で、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象も生じ得る。そうすると、3次元顔モデルが顔画像としっかりとフィットしないままで安定化してしまい、顔向き推定結果がずれ続けてしまうことになる。
本開示は、このような問題点を解決するために、発明者により考案された技術である。図6は、本開示に係る顔器官の位置及び顔向きの角度を推定するアルゴリズムの概要を説明する図である。図6に示すように、3次元顔モデルフィッティングのトラッキング処理(局所探索フィッティング処理)((A1)-(A2)、(B1)-(B2))と、大局探索フィッティング処理((C1)-(C2))とが、並行して行われる。
フレーム毎に、大局探索フィッティング処理((C1)-(C2))から推定基準値が算出される。
トラッキング処理では、前フレームのフィッティング結果である3次元顔モデルが顔画像上に配置され、続いて、前フレームのフィッティング結果である3次元顔モデルにおける顔向き角度と、顔向き推定基準値(推定基準値における顔向き角度)とが比較されて差分が計算される((A1)、(B1))。差分Diffの算出には、例えば、ヨー角を用いる。ここで差分が所定の閾値より小さい場合(A1)には、配置された、前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理が行われる(A2)。差分が所定の閾値以上である場合(B1)には、前フレームのフィッティング結果である3次元顔モデルではなく、推定基準値の3次元顔モデルが顔画像上に配置され直され(B1’)、配置され直された推定基準値の3次元顔モデルに基づいて、局所探索フィッティング処理が行われる(B2)。
このようにすることで、時間的に安定し、且つ、誤った推定位置で安定してしまうこと無く、精度良く顔器官点の位置および顔向きを推定するアルゴリズムが実現される。
本開示に係る技術では、3次元顔モデルフィッティングのトラッキング処理をベースとするため、顔器官点位置推定結果や、その後段処理の目開閉検出が、時間的に安定する。更に、本開示に係る技術では、トラッキング処理結果を、大局探索フィッティング処理結果から算出される推定基準値と常時比較して、所定の閾値以上のずれがある場合には、トラッキング処理結果を補正する(即ち、推定基準値の3次元顔モデルと置き換える)。そのため、例えば、顔を手で掻くなどの動作によって顔全体の器官点推定位置が耳等の顔の横側に引き込まれた場合や、眼鏡等のフレームによって目の器官点推定位置が引っ張られた場合に、推定位置が誤った位置で安定する事象が生じ、結果として3次元顔モデルが顔画像としっかりとフィットしないまま安定化し、顔向き推定結果がずれ続ける、ということを抑制することができる。
従って、本開示に係る技術により、顔画像において、時間的に安定し、且つ、誤った推定位置で安定してしまうこと無く、精度良く顔器官点の位置および顔向きを推定することができる。更に、大局探索フィッティング処理は、推定位置が誤った位置で安定する事象が生じることを抑制するためのものであるから、凡そのフィッティングを行うもので十分であり、またこれにより、リアルタイム性も維持することができる。
[本開示で利用する3次元顔モデルフィッティング]
本開示で利用する3次元顔モデルフィッティングのアルゴリズムについて説明する。3次元顔モデルフィッティングのアルゴリズムは、様々存在する。特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムは、リアルタイム性及び高精度が求められる車載モニタリングセンサの技術分野で用いられる、一つの例である。本開示で利用する3次元顔モデルフィッティングのアルゴリズムは、特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムであってもよいし、別の3次元顔モデルフィッティングのアルゴリズムであってもよい。
本開示で利用する3次元顔モデルフィッティングのアルゴリズムについて説明する。3次元顔モデルフィッティングのアルゴリズムは、様々存在する。特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムは、リアルタイム性及び高精度が求められる車載モニタリングセンサの技術分野で用いられる、一つの例である。本開示で利用する3次元顔モデルフィッティングのアルゴリズムは、特許文献1に開示される3次元顔モデルフィッティングのアルゴリズムであってもよいし、別の3次元顔モデルフィッティングのアルゴリズムであってもよい。
本開示で利用する3次元顔モデルフィッティングのアルゴリズムは、概略以下のようなものである。学習画像を用いて、モデルの各ノードが顔特徴点の正しい位置に配置された正解モデルと、いずれかのノードが誤った位置に配置された誤差モデルとの差、及び誤差モデルに基づいて取得されたノード特徴量、についての相関関係の情報を、予め取得しておく。入力画像から顔特徴点を検出する際には、複数のノードの3次元位置を定めた3次元モデルを作成し、各ノードを入力画像上に投影し、投影点からノード特徴量を取得し、このノード特徴量と学習した相関関係の情報に基づいて、現在の各ノードの位置と対応する特徴点の位置とのずれを示す誤差推定量を取得する。更に、この誤差推定量と現在の各ノードの位置に基づいて、入力画像における各顔特徴点の3次元位置を推定し、それに合わせて各ノードを動かす。
なお、本開示で利用する「ラフフィッティング」では、相関関係を取得するための学習段階で用いる学習画像において、正解モデルと誤差モデルの差が比較的大きいものが用いられ、これにより相関関係が形成される。
一方、本開示で利用する「詳細フィッティング」では、相関関係を取得するための学習段階で用いる学習画像において、正解モデルと誤差モデルの差が比較的小さいものが用いられ、これにより相関関係が形成される。
本開示で利用する3次元顔モデルフィッティングのアルゴリズムは、上記以外のものであってもよい。
[適用例]
本開示に係る顔向き推定装置が適用可能な一例について、図2を用いて説明する。図2は、本開示に係る顔向き推定装置14の適用例を説明するための図である。
本開示に係る顔向き推定装置が適用可能な一例について、図2を用いて説明する。図2は、本開示に係る顔向き推定装置14の適用例を説明するための図である。
図2は、いずれも自動車に搭載される、車両制御部4と、及びドライバモニタリングセンサ12との、内部構成を示すブロック図である。車両制御部4は、ECU(electronic control unit:電子制御ユニット)6と、アクチュエータ8を含む。ECU6は、複数のものであってもよいし、アクチュエータ8も複数のものであってもよい。
ドライバモニタリングセンサ12は、運転者の表情を中心にリアルタイムでモニタリングを行う装置であり、撮像装置であるカメラ16と、及び、顔向き推定装置である画像処理部14とを、含む。顔向き推定装置である画像処理部14は、ハードウェアプロセッサに相当するCPU18と、メモリに相当するROM(Read Only Memory)20と、メモリに相当するRAM(Random Access Memory)22とを有する。これら各構成は、適宜のバスを介して相互にデータ送受信可能に接続される。
更に、ドライバモニタリングセンサ12のCPU18と、車両制御部4のECU6とは、CAN(Control Area Network)10を介して接続する。
更に、ドライバモニタリングセンサ12のCPU18と、車両制御部4のECU6とは、CAN(Control Area Network)10を介して接続する。
CPU18は、ROM20又はRAM22に記憶されたプログラムの実行に関する制御やデータの演算、加工を行う。CPU18は、様々なプログラム(例えば、3次元顔モデルフィッティングアルゴリズムのためのプログラム)を実行する演算装置である。CPU18は、カメラ16や、車両制御部4のECU6から種々の入力データを受け取り、入力データの演算結果を、CAN10を介して車両制御部4のECU6に出力したり、RAM22に格納したりする。
ROM20は、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ROM20は、例えばCPU18が実行するアプリケーション等のプログラムやデータ等を記憶する。
RAM22は、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。RAM22は、例えばカメラ16からの入力画像等を記憶する。
以上のような、車両制御部4及びドライバモニタリングセンサ12において、顔向き推定装置は、画像処理部14により実現される。
[構成例]
以下、顔向き推定装置14の構成例としての実施の形態を説明する。
以下、顔向き推定装置14の構成例としての実施の形態を説明する。
1.実施の形態1
1.1.構成
実施の形態1に係る顔向き推定装置14の構成について、図1を用いて説明する。図1は、本実施の形態に係る顔向き推定装置14の機能構成を示すブロック図である。
1.1.構成
実施の形態1に係る顔向き推定装置14の構成について、図1を用いて説明する。図1は、本実施の形態に係る顔向き推定装置14の機能構成を示すブロック図である。
顔向き推定装置14は、顔検出部23、顔向き推定部24、目開閉検出部40、及び、視線推定部42により、構成される。顔検出部23は、カメラ16等により撮像される画像データから人の顔画像データを検出する。顔向き推定部24は、検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する。目開閉検出部40は、検出された人の顔画像データ、並びに、推定された顔器官点の位置及び顔向きの角度のデータに基づいて、目の開閉を検出する。視線推定部42は、検出された人の顔画像データ、推定された顔器官点の位置及び顔向きの角度のデータ、並びに、検出された目の開閉のデータに基づいて、視線の方向を推定する。なお、顔向き推定装置14は、視線推定部42を備えなくてもよい。更に、顔向き推定装置14は、目開閉検出部40を備えなくてもよい。
顔向き推定部24は、第1の3次元顔モデル配置部26、大局探索3次元顔モデルフィッティング部28、推定基準値算出部30、局所探索3次元顔モデルフィッティング部32、第2の3次元顔モデル配置部34、比較判定部36、及び、3次元顔モデルフィッティング結果補正部38を、含む。
第1の3次元顔モデル配置部26は、顔画像データに対して、3次元顔モデルを初期配置する。
大局探索3次元顔モデルフィッティング部28は、初期配置された3次元顔モデルに基づいて、顔画像データに対して、凡その位置に3次元顔モデルをフィッティングする。つまり、大局探索3次元顔モデルフィッティング部28は、大局探索フィッティング処理(図4・ステップS34参照)を行う。大局探索フィッティング処理は、顔全体を探索して凡そフィッティングする処理である。なお、大局探索3次元顔モデルフィッティング部28によって大局探索フィッティング処理にて行われるフィッティングは、上述の「ラフフィッティング」である。
大局探索3次元顔モデルフィッティング部28は、初期配置された3次元顔モデルに基づいて、顔画像データに対して、凡その位置に3次元顔モデルをフィッティングする。つまり、大局探索3次元顔モデルフィッティング部28は、大局探索フィッティング処理(図4・ステップS34参照)を行う。大局探索フィッティング処理は、顔全体を探索して凡そフィッティングする処理である。なお、大局探索3次元顔モデルフィッティング部28によって大局探索フィッティング処理にて行われるフィッティングは、上述の「ラフフィッティング」である。
推定基準値算出部30は、直近数フレーム分の、例えば直近5フレーム分の、大局探索フィッティング処理(図4・ステップS34参照)で得られた結果から、推定基準値の3次元顔モデルを、即ち、例えば、推定基準値としての顔器官点の位置及び顔向きの角度を、算出する。
局所探索3次元顔モデルフィッティング部32は、大局探索フィッティング処理(図4・ステップS34参照)を経由した3次元顔モデル、前フレームのフィッティング結果である3次元顔モデル、又は、最新の推定基準値の3次元顔モデルに、基づいて、顔画像データに対して、局所探索フィッティング処理(図4・ステップS40、ステップS52参照)を行う。局所探索フィッティング処理は、顔における局所を探索して詳細にフィッティングする処理である。局所探索3次元顔モデルフィッティング部32が行う局所探索フィッティング処理については後で説明する。
第2の3次元顔モデル配置部34は、顔画像データに対して、前フレームのフィッティング結果である3次元顔モデルを配置する。
比較判定部36は、第2の3次元顔モデル配置部34により配置される3次元顔モデル(即ち、前フレームのフィッティング結果である3次元顔モデル)における顔向きの角度と、推定基準値算出部30により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分Diffを算出し、差分Diffが所定の閾値より小さいか否かを判別する。ここで、差分Diffの算出には、例えば、ヨー角を用いる。
比較判定部36は、第2の3次元顔モデル配置部34により配置される3次元顔モデル(即ち、前フレームのフィッティング結果である3次元顔モデル)における顔向きの角度と、推定基準値算出部30により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分Diffを算出し、差分Diffが所定の閾値より小さいか否かを判別する。ここで、差分Diffの算出には、例えば、ヨー角を用いる。
3次元顔モデルフィッティング結果補正部38は、比較判定部36が、差分Diffが所定の閾値以上である、と判別した場合に、前フレームのフィッティング結果である3次元顔モデルではなく、最新の推定基準値の3次元顔モデルを、顔画像データ上に、配置し直す。
顔向き推定部24は、局所探索3次元顔モデルフィッティング部32による局所探索フィッティング処理(図4・ステップS40、ステップS52参照)に基づいて、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する。
1.2.動作
以上のように構成される顔向き推定装置14の動作について、以下説明する。
以上のように構成される顔向き推定装置14の動作について、以下説明する。
1.2.1.全体動作
図3は、実施の形態1に係る顔向き推定装置14の全体動作を示すフローチャートである。顔向き推定装置14の動作開始(ステップS02)後、トラッキングフラグ「TrackingFlag」を「FALSE」にセットし(ステップS04)、「t」の初期化処理を行う(ステップS06)。なお、トラッキングフラグ「TrackingFlag」は、連続するフレームにおいて、顔検出ができれば1つ目のフレームに関する処理の終わりにて「TRUE」にセットされ、顔検出ができないフレームに到れば「FALSE」にセットされる。
図3は、実施の形態1に係る顔向き推定装置14の全体動作を示すフローチャートである。顔向き推定装置14の動作開始(ステップS02)後、トラッキングフラグ「TrackingFlag」を「FALSE」にセットし(ステップS04)、「t」の初期化処理を行う(ステップS06)。なお、トラッキングフラグ「TrackingFlag」は、連続するフレームにおいて、顔検出ができれば1つ目のフレームに関する処理の終わりにて「TRUE」にセットされ、顔検出ができないフレームに到れば「FALSE」にセットされる。
次に、tフレーム目の画像データに関して、顔検出部23が顔画像データ検出処理を行う(ステップS08)。顔検出ができれば(ステップS10・YES)、顔向き推定部24が顔器官点の位置及び顔向きの角度を推定して(ステップS14)、「t」をインクリメントする(ステップS16)。顔検出ができなければ(ステップS10・NO)、トラッキングフラグ「TrackingFlag」を「FALSE」にセットし(ステップS12)、「t」をインクリメントする(ステップS16)。
「t」が終了値でなければ(ステップS18・NO)、次のフレームに関して顔検出処理から顔向き推定処理が行われる(ステップS08~)。
「t」が終了値となれば(ステップS18・YES)、顔向き推定装置14の動作を終了する(ステップS20)。
1.2.2.顔向き推定処理
図4は、実施の形態1に係る顔向き推定装置14における、顔向き推定部24の顔向き推定処理(図3・ステップS14)の内容を示すフローチャートである。
図4は、実施の形態1に係る顔向き推定装置14における、顔向き推定部24の顔向き推定処理(図3・ステップS14)の内容を示すフローチャートである。
顔向き推定処理開始(ステップS30)後、先ず、推定基準値算出処理(ステップS32~ステップS36)が実行される。初めに、第1の3次元顔モデル配置部26が、顔画像データに対して3次元顔モデルを初期配置する(ステップS32)。次に、大局探索3次元顔モデルフィッティング部28が、初期配置された3次元顔モデルに基づいて、顔画像データに対して、凡その位置に3次元顔モデルをフィッティングする(ステップS34)。大局探索3次元顔モデルフィッティング部28によって大局探索フィッティング処理にて行われるフィッティングは、上述の「ラフフィッティング」である。
次に、推定基準値算出部30が、直近の所定の数フレーム分の、例えば直近5フレーム分の、大局探索フィッティング処理(ステップS34)で得られた結果から、推定基準値の3次元顔モデルを、即ち、例えば、推定基準値としての顔器官点の位置及び顔向きの角度を、算出(更新)する(ステップS36)。直近5フレーム分のデータは、例えば以下のように用いられる。所定の値、例えば、顔向きの角度を基準にして、5フレームのうち、所定の値が最大であるフレームのデータと、所定の値が最小であるフレームのデータを除いて、3フレームのデータの平均値を算出して、推定基準値の3次元顔モデルとする。
なお、直近フレームが1フレームのみである場合には、それを推定基準値とする。直近フレームが2フレームのみである場合には、それら2フレームの平均値を推定基準値とする。直近フレームが3又は4フレームのみである場合には、所定の値が最大であるフレームのデータと所定の値が最小であるフレームのデータを除いて、残りのフレームの平均値を推定基準値とする。
推定基準値を求めるのは以下のような理由による。まず、フィッティング失敗などによる大きな誤差による、影響の発生を抑制するためである。また、15フレーム/秒若しくは30フレーム/秒などの動画においては、5フレーム間の動きは非常に小さいと見做せることを利用するためである。
推定基準値算出処理(ステップS32~ステップS36)の後、トラッキングフラグ「TrackingFlag」が「TRUE」であるか否か、即ち、前フレームでも顔検出されていたか否か、判断される(ステップS38)。トラッキングフラグ「TrackingFlag」が「TRUE」で無ければ(ステップS38・NO)、静止画処理(顔検出1フレーム目の処理)(ステップS40~S42)が実行される。トラッキングフラグ「TrackingFlag」が「TRUE」であれば(ステップS38・YES)、トラッキング処理(ステップS44~S52)が実行される。
静止画処理(顔検出1フレーム目の処理)(ステップS40~S42)では、初めに、局所探索3次元顔モデルフィッティング部32が、大局探索フィッティング処理(ステップS34)を経由した3次元顔モデルに基づいて、顔画像データに対して、(後で説明する)局所探索フィッティング処理を行う(ステップS40)。次に、トラッキングフラグ「TrackingFlag」が「TRUE」にセットされる(ステップS42)。静止画処理(顔検出1フレーム目の処理)後、顔向き推定部24が、局所探索フィッティング処理(ステップS40)の結果から、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する(ステップS54)。
トラッキング処理(ステップS44~S52)では、初めに、第2の3次元顔モデル配置部34が、顔画像データに対して、前フレームのフィッティング結果である3次元顔モデルを配置する(ステップS44)。次に、比較判定部36が、第2の3次元顔モデル配置部34により配置される3次元顔モデル(即ち、前フレームのフィッティング結果である3次元顔モデル)における顔向きの角度と、推定基準値算出部30により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分Diffを算出する(ステップS46)。ここで、差分Diffの算出には、例えば、ヨー角を用いる。
差分Diffが所定の閾値以上である(ステップS48・NO)場合は、3次元顔モデルフィッティング結果補正部38が、前フレームのフィッティング結果である3次元顔モデルではなく、最新の推定基準値の3次元顔モデルを、顔画像データ上に配置し直す(ステップS50)。これを受けて、局所探索3次元顔モデルフィッティング部32が、最新の推定基準値の3次元顔モデルに基づいて、顔画像データに対して、(後で説明する)局所探索フィッティング処理を行う(ステップS52)。差分Diffが所定の閾値未満(ステップS48・YES)である場合は、3次元顔モデルフィッティング結果補正部38は何らの処理も行わず、続いて、局所探索3次元顔モデルフィッティング部32が、前フレームのフィッティング結果である3次元顔モデルに基づいて、顔画像データに対して、(後で説明する)局所探索フィッティング処理を行う(ステップS52)。
このように、ステップS46、ステップS48、及びステップS50は、補正処理を構成する。
トラッキング処理(ステップS44~S52)後、顔向き推定部24が、局所探索フィッティング処理(ステップS52)の結果から、当該フレームにおける顔器官点の位置及び顔向きの角度を出力する(ステップS54)。
顔器官点の位置及び顔向きの角度の出力処理(ステップS54)の後、顔向き推定処理は終了する(ステップS56)。
1.2.3.局所探索フィッティング処理
図4に示す顔向き推定処理における局所探索フィッティング処理(ステップS40、ステップS52)について説明する。局所探索フィッティング処理としては、様々なものが想定され得る。以下はその一例である。
図4に示す顔向き推定処理における局所探索フィッティング処理(ステップS40、ステップS52)について説明する。局所探索フィッティング処理としては、様々なものが想定され得る。以下はその一例である。
基になる3次元顔モデルを設定する。本例では、前述のように、基になる3次元モデルは以下の三つである。
(1)大局探索フィッティング処理(即ち、上述の「ラフフィッティング処理」)(図4・ステップS34)を経由した3次元顔モデル
(2)前フレームのフィッティング結果である3次元顔モデル
(3)最新の推定基準値の3次元顔モデル
(1)大局探索フィッティング処理(即ち、上述の「ラフフィッティング処理」)(図4・ステップS34)を経由した3次元顔モデル
(2)前フレームのフィッティング結果である3次元顔モデル
(3)最新の推定基準値の3次元顔モデル
次に、基になる3次元顔モデルの位置を左右又は上下等にずらしつつ、基になる3次元顔モデルの位置を含む複数方向から、上述の「詳細フィッティング」を行う。ここでのずらし量は、例えば、口幅の約半分である。更に、基になる3次元顔モデルの位置を含む複数方向からのフィッティングの結果を統合する。この統合の際には、「詳細フィッティング」直後に算出されるフィッティングスコアが所定の閾値(即ち、所定の第1閾値)以上となる結果について、フィッティングスコアで重み付けして統合する。
(基になる、又は)統合処理を経た3次元顔モデルの位置を左右又は上下等にずらしつつ、(基になる、又は)統合処理を経た3次元顔モデルの位置を含む複数方向から、詳細フィッティングを行うことと、(基になる、又は)統合処理を経た3次元顔モデルの位置を含む複数方向からのフィッティングの結果を統合することは、例えば、以下の条件をいずれも満たすまでイタレーションする(繰り返す)。
(条件1)統合されたフィッティングスコアが所定の第2閾値より大きい。
(条件2)顔向き角度の変動量が所定の第3閾値より小さい。ここで「顔向き角度の変動量」とは、前のイタレーションでの処理フローの際に算出された顔向き角度からの変動値である。
なお、処理を終了する(打ち切る)ためのイタレーション回数の上限を設ける。
(条件1)統合されたフィッティングスコアが所定の第2閾値より大きい。
(条件2)顔向き角度の変動量が所定の第3閾値より小さい。ここで「顔向き角度の変動量」とは、前のイタレーションでの処理フローの際に算出された顔向き角度からの変動値である。
なお、処理を終了する(打ち切る)ためのイタレーション回数の上限を設ける。
以上を経て、局所探索フィッティングの結果を得る。このようして得られる結果は、安定して精度良く顔向きを推定するものである。
また、局所探索フィッティング処理(ステップS40、ステップS52)として、上述の「詳細フィッティング」がそのまま用いられてもよい。
1.3.まとめ
以上のように、本実施の形態に係る顔向き推定装置14は、画像データから人の顔画像データを検出する顔検出部23と、及び、検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部24とを備える。顔向き推定部24は、顔検出部23が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理とを実行するものであり、(2)トラッキング処理は、補正処理を含み、補正処理は、 前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、顔向き推定部24は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。
以上のように、本実施の形態に係る顔向き推定装置14は、画像データから人の顔画像データを検出する顔検出部23と、及び、検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部24とを備える。顔向き推定部24は、顔検出部23が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理とを実行するものであり、(2)トラッキング処理は、補正処理を含み、補正処理は、 前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、顔向き推定部24は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する。
以上の、本実施の形態に係る顔向き推定装置は、画像データ中の人の顔に関して、時間的に安定し、且つ、誤った推定位置で安定してしまうことなく、精度良く顔器官点の位置及び顔向きの角度を推定することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
実施の形態1に係る顔向き推定装置は、自動車に搭載されるドライバモニタリングセンサに適用されることが想定されるが、適用例はドライバモニタリングセンサに限定されない。例えば、工場における作業者の表情をモニタするモニタリングシステムや、カメラを駅や広場等に設置した上で特定の人物を検出してその人物の表情を検出する検出システム等に適用され得る。
また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
4・・・車両制御部、6・・・ECU、8・・・アクチュエータ、10・・・CAN、12・・・ドライバモニタリングセンサ、14・・・顔向き推定装置(画像処理部)、16・・・カメラ、18・・・CPU、20・・・ROM、22・・・RAM、23・・・顔検出部、24・・・顔向き推定部、26・・・第1の3次元顔モデル配置部、28・・・大局探索3次元顔モデルフィッティング部、30・・・推定基準値算出部、32・・・局所探索3次元顔モデルフィッティング部、34・・・第2の3次元顔モデル配置部、36・・・比較判定部、38・・・3次元顔モデルフィッティング結果補正部、40・・・目開閉検出部、42・・・視線推定部。
Claims (4)
- 画像データから人の顔画像データを検出する顔検出部と、及び、
検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定する顔向き推定部と
を備える顔向き推定装置において、
前記顔向き推定部は、前記顔検出部が検出する顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、
(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
を実行するものであり、
前記(2)トラッキング処理は、補正処理を含み、
前記補正処理は、
前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、前記(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、
前記顔向き推定部は、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度を出力する、
顔向き推定装置。 - 前記推定基準値は、直近の所定の数フレームにおける大局探索フィッティング処理で得られた結果から算出される、
請求項1に記載の顔向き推定装置。 - コンピュータが実行する顔向き推定方法であって、
画像データから人の顔画像データを検出するステップと、
検出された人の顔画像データに関して顔器官点の位置及び顔向きの角度を推定するステップと、並びに、
顔画像データにおける顔器官点の位置及び顔向きの角度を出力するステップと
を含み、
前記推定するステップは、前記検出するステップにて検出される顔画像が複数のフレームにおいて連続する場合、フレーム毎に、
(1)大局探索フィッティング処理から推定基準値を求める推定基準値算出処理と、
(2)前フレームのフィッティング結果である3次元顔モデルに基づいて、局所探索フィッティング処理を行うトラッキング処理と
を含むものであり、
前記(2)トラッキング処理は、補正処理を含み、
前記補正処理は、
前フレームのフィッティング結果である3次元顔モデルにおける顔向きの角度と、前記(1)推定基準値算出処理により算出される推定基準値の3次元顔モデルにおける顔向きの角度との差分を算出し、該差分が所定の閾値以上である場合には、前フレームのフィッティング結果である3次元顔モデルに代えて、最新の推定基準値の3次元顔モデルを、局所探索フィッティング処理の基になる3次元顔モデルとし、
前記出力するステップでは、局所探索フィッティング処理の結果から、フレーム毎に顔器官点の位置及び顔向きの角度が出力される、
顔向き推定方法。 - 前記推定基準値は、直近の所定の数フレームにおける大局探索フィッティング処理で得られた結果から算出される、
請求項3に記載の顔向き推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158651A JP7259648B2 (ja) | 2019-08-30 | 2019-08-30 | 顔向き推定装置及び方法 |
PCT/JP2020/030696 WO2021039403A1 (ja) | 2019-08-30 | 2020-08-12 | 顔向き推定装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019158651A JP7259648B2 (ja) | 2019-08-30 | 2019-08-30 | 顔向き推定装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039420A JP2021039420A (ja) | 2021-03-11 |
JP7259648B2 true JP7259648B2 (ja) | 2023-04-18 |
Family
ID=74684816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019158651A Active JP7259648B2 (ja) | 2019-08-30 | 2019-08-30 | 顔向き推定装置及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7259648B2 (ja) |
WO (1) | WO2021039403A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014112346A1 (ja) | 2013-01-15 | 2014-07-24 | 日本電気株式会社 | 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6304999B2 (ja) * | 2013-10-09 | 2018-04-04 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
JP2018091656A (ja) * | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法 |
-
2019
- 2019-08-30 JP JP2019158651A patent/JP7259648B2/ja active Active
-
2020
- 2020-08-12 WO PCT/JP2020/030696 patent/WO2021039403A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014112346A1 (ja) | 2013-01-15 | 2014-07-24 | 日本電気株式会社 | 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021039420A (ja) | 2021-03-11 |
WO2021039403A1 (ja) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
US8879850B2 (en) | Image stabilization method and image stabilization device | |
US20150139534A1 (en) | Image processing apparatus, imaging apparatus and distance correction method | |
US20140037212A1 (en) | Image processing method and device | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
JP4957711B2 (ja) | 検出装置および方法、並びに、プログラム | |
Tarel et al. | Using robust estimation algorithms for tracking explicit curves | |
US9904843B2 (en) | Information processing device, information processing method, and program | |
WO2018008184A1 (ja) | 画像処理装置および画像処理方法 | |
TWI360353B (en) | Method for auto-white-balance control | |
WO2017094140A1 (ja) | 物体検出装置及び物体検出方法 | |
JP7259648B2 (ja) | 顔向き推定装置及び方法 | |
WO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2008021266A (ja) | 顔向き検出装置、顔向き検出方法、および顔向き検出プログラム | |
US20220327728A1 (en) | Information processing apparatus, information processing method, learning method, and storage medium | |
JP2021033938A (ja) | 顔向き推定装置及び方法 | |
JP7336223B2 (ja) | 自己位置推定方法 | |
WO2017010268A1 (ja) | 推定装置及び推定プログラム | |
JP6867487B2 (ja) | 撮像装置 | |
WO2009096208A1 (ja) | 物体認識システム,物体認識方法および物体認識用プログラム | |
WO2022123786A1 (ja) | 信頼度推定装置、位置推定装置、及び信頼度推定方法 | |
JP6602089B2 (ja) | 画像処理装置及びその制御方法 | |
US12013980B2 (en) | Information processing apparatus, information processing method, learning method, and storage medium | |
JP2022023643A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7259648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |