JP5012690B2 - 顔面の覆体及び顔面部位特定方法 - Google Patents

Description

本発明は、顔面の所定の部位を覆う顔面の覆体、及び顔面の部位の位置を特定する顔面部位特定方法に関する。

従来、顔画像中で顔面の部位の位置を特定する技術として、赤外線照射手段で赤外線を運転者の顔面に照射して撮影することによって顔面の顔画像を取得し、この顔画像を画像処理によりデジタル信号に変換して白レベル及び黒レベル二値化することにより、顔面の部位を特定するものが知られている（例えば、特許文献１）。このような方法で運転者の顔面の眼や口や鼻などの部位の位置を特定することによって、顔向きや瞬きや視線方向を演算して運転者の脇見や居眠りなどの運転に対する意識レベルを推定することができる。
特開平１１−３４２７６５号公報

しかしながら、このような顔面部位の特定方法にあっては、運転者がマスクなどをした場合は、口と鼻が覆われてしまうため、赤外光による顔画像中で、口と鼻を特定することができなくなる。これによって、運転者の運転に対する意識レベルを精度良く推定することができないという問題が生じていた。

本発明は、このような問題を解決するためになされたものであり、運転者の運転に対する注意レベルを精度良く推定することが可能となるような顔面の覆体及び顔面部位の特定方法を提供することを目的とする。

本発明に係る顔面の覆体は、赤外領域に感度を有する撮像手段の撮像対象となる運転者に取り付けられ、運転者の顔面の所定部位を覆う顔面の覆体であって、外表面の所定部位に対応する位置に、所定部位の位置を特定するためのマークが形成され、マークは、赤外光を発光または反射する塗料で描画されていることを特徴とする。

この顔面の覆体では、運転者の顔面の所定部位に対応する位置における外表面にマークが描画されている。このマークは、赤外光を発光または反射する塗料で描画されているため肉眼では確認することができず外観が損なわれることはないが、赤外領域に感度を有する撮像手段で取得された顔画像中では、顔面の所定部位の位置を正確に特定することができる。これによって、顔面の一部を覆った場合でも、運転者の運転に対する意識レベルを精度良く推定することができる。

本発明に係る顔面の覆体では、所定部位が顔面の口あるいは鼻であることが好ましい。顔画像中で口や鼻の位置を特定することにより、運転者の意識レベルを推定し易くすることができる。

本発明に係る顔面部位特定方法は、運転者の顔面の所定部位を覆うと共に、外表面の所定部位に対応する位置に、赤外光を発光または反射する塗料でマークが描画されている顔面の覆体を運転者に取り付け、赤外領域に感度を有する撮像手段で顔面の顔画像を取得し、マークに基づいて顔画像中における所定部位の位置を特定することを特徴とする。

この顔面部位特定方法では、外表面のうち、運転者の顔面の所定部位に対応する位置にマークが描画されている顔面の覆体を運転者に取り付けている。このマークは、赤外光を発光または反射する塗料で描画されているため肉眼では確認できず外観が損なわれることはないが、赤外領域に感度を有する撮像手段で顔画像を取得することにより、当該顔画像中では認識することができる。これにより、マークに基づいて顔面の所定部位の位置を正確に特定することによって、顔面の一部が覆われた場合でも、運転者の運転に対する意識レベルを精度良く推定することができる。

本発明によれば、運転者の運転に対する注意レベルを精度良く推定することが可能となる。

以下、図面を参照して、本発明に係る顔面の覆体及び顔面部位特定方法の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係るマスク（顔面の覆体）１を付けた運転者Ｄが車両を運転する様子を示した図である。

本実施形態では、運転者Ｄの顔面の口と鼻をマスク１で覆い、その運転者Ｄの顔面を顔画像撮像カメラ（撮像手段）２で撮像して赤外光による顔画像を取得し、ＥＣＵ（Electronic Control Unit）３で取得した顔画像の画像処理を行うことで口と鼻の位置を特定する場合について説明する。

マスク１は、運転者Ｄの顔面を覆うものであり、口と鼻（所定部位）を覆う本体部４と、本体部４の左右両端部に取り付けられ運転者Ｄの耳に掛けることによって本体部４を支持するゴム紐とを備えて構成されている。このマスク１の本体部４の外表面４ａの中央位置付近には、運転者Ｄの口に対応する位置で口の形状に沿うように水平方向に延びる直線状のマーク７が形成されると共に、運転者Ｄの鼻に対応する位置に一対の円形のマーク８が形成されている。このマーク７，８は肉眼では確認することができない。

マーク７，８は、赤外光を発光または反射する塗料で描画されている。マーク７，８の描画に用いられる塗料には、赤外光を反射するものとして、例えば、日本ペイント工業用コーティング株式会社製の「ＡＴＴＳＵ−９（登録商標）」、あるいは、日本ペイント工業用コーティング株式会社製の「ＡＴＴＳＵ−９ ＲＯＡＤ（登録商標）」が用いられる。これらの塗料によれば、７８０〜２１００ｎｍの近赤外線領域で高い反射率を得ることができる。このような塗料で描画されるマーク７，８は、肉眼では確認することができない一方、赤外領域に感度を有するカメラの顔画像中では映し出され確認することができる。なお、マーク７，８の描画に用いられる塗料として、赤外線を発生するものを用いても良い。

顔画像撮像カメラ２は、例えばコラムカバー１１の上面に設置され、運転者Ｄの顔画像を取得するものである。顔画像撮像カメラ２は、例えば、赤外領域に感度を有する近赤外線カメラであり、近赤外線投射装置（不図示）から照射されて物体（運転者Ｄの顔面）で反射した近赤外光を受光することによって、運転者Ｄの顔面を撮像する。顔画像撮像カメラ２では、例えば、毎秒３０フレームの顔画像を取得することができる。この顔画像撮像カメラ２は、マスク１のマーク７，８で反射した近赤外光、あるいはマーク７，８で発生した近赤外光も撮像することができる。図２は、顔画像撮像カメラ２で取得される顔画像である。図２に示すように、運転者Ｄの口と鼻を覆うマスク１の外表面には、口及び鼻に対応する位置にマーク７及びマーク８がそれぞれ映し出されている。顔画像撮像カメラ２は、ＥＣＵ３と接続されており、顔画像を取得したらＥＣＵ３へ送信する。

ＥＣＵ３は、例えば演算処理を行うＣＰＵを主体として構成され、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などを備えている。この顔画像処理ＥＣＵ３は、取得した顔画像をエッジ処理することによりエッジ画像を取得し、このエッジ画像に基づいて顔の輪郭や眼や口や鼻などの特徴点を検出し、位置を特定する機能を有している。また、ＥＣＵ３は、検出した特徴点の位置情報に基づいて、例えば、顔向きや瞬きや視線方向を演算して運転者の脇見や居眠りなどの運転に対する意識レベルを推定する機能を有している。図３はマスク１を付けていない運転者Ｄのエッジ画像及び検出される特徴点を示す図であり、（ａ）は縦エッジ画像を示し、（ｂ）は横エッジ画像を示し、（ｃ）は検出された特徴点を示す。顔画像撮像カメラ２でマスク１に覆われていない運転者Ｄの顔画像を取得した場合、図３（ａ），（ｂ）に示すように、顔面の輪郭、眼、鼻、及び口の位置でエッジが抽出される。また、図３（ｃ）に示すように、取得されたエッジ画像に基づいて両眼のそれぞれの端部を特徴点Ｐ１として、鼻の位置を特徴点Ｐ２として、及び口の両端部を特徴点Ｐ３として検出する。この特徴点Ｐ１〜Ｐ３に基づいて眼、鼻、及び口の位置が特定される。

次に、図４を参照して、ＥＣＵ３で実行される顔面部位特定処理について説明する、図４は、本実施形態に係るマスク１を用いて口と鼻の位置を特定する顔面部位特定処理を示すフローチャートである。この処理はＥＣＵ３において車両の走行中に所定のタイミングで繰り返し実行される。

図４に示すように、ＥＣＵ３は、運転者Ｄの赤外光による顔画像を取得する顔画像取得処理から処理を開始する（Ｓ１０）。Ｓ１０の処理は、顔画像撮像カメラ２から送信された顔画像、すなわち図２に示すような運転者Ｄの口及び鼻に対応するマーク７，８が映し出された顔画像を取得する処理である。Ｓ１０の処理が終了すると、エッジ画像取得処理へ移行する（Ｓ１２）。Ｓ１２の処理は、Ｓ１０で取得した顔画像に基づいてエッジ画像を取得する処理である。Ｓ１２の処理は、顔画像をエッジ処理することにより縦エッジ画像及び横エッジ画像を取得する（例えば、図３参照）。Ｓ１２の処理が終了すると、特徴点検出処理へ移行する（Ｓ１４）。

Ｓ１４の処理は、Ｓ１２で取得したエッジ画像に基づいて顔面の各部位の特徴点を検出する処理である。図５はＳ１４の処理によって検出された特徴点の位置を示す図である。図５に示すように、エッジ画像を処理することによって運転者Ｄの顔面のうち、両眼のそれぞれの両端部を特徴点Ｐ４として検出することができる。また、マスク１に設けられたマーク８も鼻に対応する特徴点Ｐ５として検出され、マーク７の両端部も口の両端部に対応する特徴点Ｐ６として検出される。Ｓ１４の処理が終了すると、位置情報取得処理へ移行する（Ｓ１６）。

Ｓ１６の処理は、Ｓ１４で検出された特徴点Ｐ４〜Ｐ６の位置に基づいて、運転者Ｄの眼の位置、鼻の位置、及び口の位置を特定し、各部位の位置情報として取得する処理である。取得された位置情報は、運転者Ｄの運転に対する意識レベルを推定するために用いられる。Ｓ１６の処理が終了すると図４の処理は終了し、再びＳ１０の処理へ戻る。

ここで、従来のマスクで運転者Ｄの顔面を覆った場合について説明する。図６は、従来のマスクを付けた運転者Ｄの顔面のエッジ画像及び特徴点を示す図であり、（ａ）は縦エッジ画像を示し、（ｂ）は横エッジ画像を示し、（ｃ）は検出された特徴点を示す。従来のマスク２０を付けた場合、顔画像中では真っ白なマスク２０が映し出されるだけであり、エッジ画像中においても図６（ａ），（ｂ）に示すように、マスク２０で覆われた部分は全て黒くなってしまい、鼻及び口のエッジを抽出することができない。エッジを抽出することができないため、図６（ｃ）に示すように、マスク２０で覆われていない眼の特徴点Ｐ７は検出されるが、鼻と口の特徴点を検出することができない。従って、鼻と口の位置情報を取得できないため、運転者Ｄの注意レベルを推定する際は、眼の位置情報のみに基づいて推定しなくてはならない。これによって、運転者Ｄの運転に対する意識レベルを精度良く推定することができない。特に、運転者Ｄの顔がピッチ方向に動いた（顔を上下方向に振る）場合は、著しく精度が低下していた。

一方、本実施形態に係るマスク１によれば、運転者Ｄの顔面の口及び鼻に対応する位置における外表面４ａにマーク７，８が描画されている。このマーク７，８は、赤外光を発光または反射する塗料で描画されているため肉眼では確認することができず外観が損なわれることはないが、赤外領域に感度を有する顔画像撮像カメラ２で取得された顔画像中では、顔面の口及び鼻の位置を正確に特定することができる。これによって、顔面の一部を覆った場合でも、運転者Ｄの運転に対する意識レベルを精度良く推定することができる。また、顔画像中で口や鼻の位置を特定することにより、運転者Ｄの意識レベルを推定し易くすることができる。また、運転者Ｄの顔がピッチ方向に動いた（顔を上下方向に振る）場合でも精度よく推定することができる。

このマスク１を付けた場合は、赤外光を発生または反射する塗料でマーク７，８が描画されているため、裸顔の鼻や口を直接特定する場合よりもはっきりと特徴点を検出するできるため、運転者Ｄの意識レベルを一層精度良く推定することができる。

また、本実施形態に係る顔面部位特定方法では、外表面４ａのうち、運転者Ｄの顔面の鼻及び口に対応する位置にマーク７，８が描画されているマスク１を運転者Ｄに取り付けている。このマーク７，８は、赤外光を発光または反射する塗料で描画されているため肉眼では確認できず外観が損なわれることはないが、赤外領域に感度を有する顔画像撮像カメラ２で顔画像を取得することにより、当該顔画像中では認識することができる。これにより、マーク７，８に基づいて顔面の鼻及び口の位置を正確に特定することによって、顔面の一部が覆われた場合でも、運転者Ｄの運転に対する意識レベルを精度良く推定することができる。

本発明は上述した実施形態に限定されるものではない。

例えば、本実施形態に係るマスク１では、口と鼻に対応する位置にマーク７，８が設けられているが、マーク７のみ、あるいはマーク８のみでもよく、少なくとも一方が設けられていればよい。また、マークの形状も上述の実施形態で示したものに限定されない。

本発明の実施形態に係る顔面の覆体を付けた運転者が車両を運転する様子を示した図である。 顔画像撮像カメラで取得される顔画像である。 マスクを付けていない運転者のエッジ画像及び検出される特徴点を示す図であり、（ａ）は縦エッジ画像を示し、（ｂ）は横エッジ画像を示し、（ｃ）は検出された特徴点を示す。 本実施形態に係るマスクを用いて口と鼻の位置を特定する顔面部位特定処理を示すフローチャートである。 図４に示す特徴点検出処理によって検出された特徴点の位置を示す図である。 従来のマスクを付けた運転者の顔面のエッジ画像及び特徴点を示す図であり、（ａ）は縦エッジ画像を示し、（ｂ）は横エッジ画像を示し、（ｃ）は検出された特徴点を示す。

符号の説明

１…マスク（顔面の覆体）、２…撮像手段、４ａ…外表面、７，８…マーク、Ｄ…運転者。

Claims (4)

1. 赤外領域に感度を有する撮像手段の撮像対象となる運転者に取り付けられ、前記運転者の顔面の所定部位を覆う顔面の覆体であって、
   外表面の前記所定部位に対応する位置に、前記所定部位の位置を特定するためのマークが形成され、
   前記マークは、赤外光を発光または反射する塗料で描画されていることを特徴とする顔面の覆体。
2. 前記所定部位は、前記顔面の口であることを特徴とする請求項１記載の顔面の覆体。
3. 前記所定部位は、前記顔面の鼻であることを特徴とする請求項１記載の顔面の覆体。
4. 運転者の顔面の所定部位を覆うと共に、外表面の前記所定部位に対応する位置に、赤外光を発光または反射する塗料でマークが描画されている顔面の覆体を運転者に取り付け、
   赤外領域に感度を有する撮像手段で前記顔面の顔画像を取得し、
   前記マークに基づいて前記顔画像中における前記所定部位の位置を特定することを特徴とする顔面部位特定方法。