JP7403729B2 - 覚醒度推定装置および覚醒度推定方法 - Google Patents

Description

本開示は、覚醒度推定装置および覚醒度推定方法に関するものである。

人は、眠気を催し覚醒度が低下すると、眉間にしわを寄せた顔をすることがある。そこで、従来、人の顔を撮像して得られた画像に基づいて検出した人の両目の目頭および眉頭をあらわす特徴点の距離が予め定められた閾値以下になったことから人が眉間にしわを寄せた状態を検出し、当該状態が検出された頻度から、人の眠気状態を推定する技術が知られている（例えば、特許文献１）。

特開２００８－２１２２９８号公報

人が眉間にしわを寄せた顔をするのは、眠気を催し覚醒度が低下した場合に限られない。人は、眩しいと感じた場合にも、眉間にしわを寄せることがある。したがって、人が眉間にしわを寄せたという表情からだけでは、人の覚醒度が低下したのか、人が眩しいと感じているのかの区別は困難である。
特許文献１に開示されている技術に代表される従来技術では、人が眉間にしわを寄せたという表情からだけでは人の覚醒度が低下したのか人が眩しいと感じているのかの区別が困難であることが考慮できていないため、人の覚醒度が低下したことを誤推定する可能性があった。

本開示は上記のような課題を解決するためになされたもので、人が眉間にしわを寄せた状態である場合に、周囲の状況は人が眩しいと感じると想定される状況であるかを考慮して人の覚醒度合いを推定することで、人の覚醒度低下の誤推定を防ぐ覚醒度推定装置を提供することを目的とする。

本開示に係る覚醒度推定装置は、人が眉間にしわを寄せた顔をしているか否かを示す顔判定情報を取得する顔判定情報取得部と、人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出する輝度検出部と、顔判定情報取得部が取得した顔判定情報と、輝度検出部が検出した輝度とに基づき、人の覚醒度合いを推定する推定部とを備えたものである。

本開示によれば、人が眉間にしわを寄せた状態である場合に、周囲の状況は人が眩しいと感じると想定される状況であるかを考慮して人の覚醒度合いを推定することで、人の覚醒度低下の誤推定を防ぐことができる。

実施の形態１に係る覚醒度推定装置の構成例を示す図である。 実施の形態１に係る覚醒度推定装置の動作について説明するためのフローチャートである。 図２のステップＳＴ５における、顔判定部による我慢顔判定処理の詳細を説明するためのフローチャートである。 図２のステップＳＴ８における、推定部による覚醒度推定処理の詳細を説明するためのフローチャートである。 実施の形態１における、基準距離算出部による基準特徴点間距離の算出動作について説明するためのフローチャートである。 図６Ａおよび図６Ｂは、実施の形態１に係る覚醒度推定装置のハードウェア構成の一例を示す図である。 実施の形態１において、個人認証機能を備えるようにした覚醒度推定装置の構成例を示す図である。 実施の形態１において、個人認証機能を備えるようにした覚醒度推定装置１の動作を説明するためのフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る覚醒度推定装置は、人の少なくとも顔が撮像された撮像画像に基づき、人の覚醒度合いを推定する。特に、覚醒度推定装置は、人が眉間にしわを寄せた顔をした場合に、当該顔は、人の覚醒度が低下したことによってなされた顔なのか、人が眩しいと感じたためになされた顔なのかを区別し、人の覚醒度合いを推定する。
実施の形態１において、眉間にしわを寄せた顔のことを、「我慢顔」という。「我慢顔」は、眉間にしわを寄せ、目を細めた、いわゆるしかめ顔である。
また、実施の形態１では、一例として、覚醒度推定装置が覚醒度合いを推定する対象となる人は、車両のドライバとする。
覚醒度推定装置が推定した、ドライバの覚醒度が低下したか、言い換えれば、ドライバが眠気を催しているかの推定結果は、例えば、ドライバの居眠り検出に用いられる。

図１は、実施の形態１に係る覚醒度推定装置１の構成例を示す図である。
覚醒度推定装置１は、顔判定装置２、顔判定情報取得部１１、輝度検出部１２、および、推定部１３を備える。
覚醒度推定装置１は、撮像装置３と接続される。撮像装置３は、車両（図示省略）に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。例えば、撮像装置３は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）と共用のものでもよい。撮像装置３は、可視光カメラ、または、赤外線カメラである。撮像装置３は、撮像した撮像画像を、覚醒度推定装置１が備える顔判定装置２に出力する。

顔判定装置２は、撮像画像を取得し、取得した撮像画像に基づき、ドライバが我慢顔をしているか否かを判定する。顔判定装置２は、ドライバが我慢顔をしているか否かを示す情報（以下「顔判定情報」という。）を、顔判定情報取得部１１に出力する。顔判定装置２の詳細な構成例については、後述する。

顔判定情報取得部１１は、顔判定装置２から顔判定情報を取得する。
顔判定情報取得部１１は、取得した顔判定情報を、推定部１３に出力する。

輝度検出部１２は、撮像装置３が撮像した撮像画像における輝度を検出する。輝度検出部１２は、撮像画像を、顔判定装置２を介して取得すればよい。
実施の形態１において、撮像画像における輝度とは、例えば、撮像画像における各画素の輝度値の平均値とする。なお、これは一例に過ぎず、輝度検出部１２は、例えば、撮像画像における各画素の輝度値の中央値を、撮像画像における輝度としてもよい。輝度検出部１２は、少なくとも、撮像画像上の、ドライバの顔が存在する領域（以下「顔領域」という。）を含む領域の輝度を検出するようになっていればよい。輝度検出部１２は、例えば、撮像画像から、公知の画像処理技術を用いて、ドライバの顔領域を特定すればよい。また、輝度検出部１２は、例えば、顔判定装置２の、後述する特徴点検出部２２から、ドライバの顔を示す特徴点に関する情報（以下「特徴点情報」という。）を取得してもよい。
輝度検出部１２は、検出した撮像画像における輝度に関する情報（以下「輝度情報」という。）を、推定部１３に出力する。輝度検出部１２は、撮像画像と検出した輝度とを対応付けた情報を輝度情報とする。

推定部１３は、顔判定情報取得部１１が取得した顔判定情報と、輝度検出部１２が検出した撮像画像における輝度とに基づき、ドライバの覚醒度合いを推定する。なお、推定部１３が推定する覚醒度合いは、例えば、覚醒度が高いか低いかであらわされる覚醒度合いであってもよいし、５段階等の段階であらわされる覚醒度合いであってもよい。
具体的には、推定部１３は、まず、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であるか否か、言い換えれば、顔判定装置２において、ドライバが我慢顔をしていると判定されたか否か、を判定する。
顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報である場合、推定部１３は、撮像画像における輝度が、予め設定された閾値（以下「輝度判定用閾値」という。）未満であるかを判定する。
推定部１３は、撮像画像における輝度が輝度判定用閾値未満であれば、ドライバの覚醒度が低下した、言い換えれば、ドライバは眠気を催していると推定する。
推定部１３は、撮像画像における輝度が輝度判定用閾値以上であれば、ドライバの覚醒度は低下していないと推定する。なお、ドライバの覚醒度が低下していない状態は、ドライバの覚醒度合いが上がった状態、および、ドライバの覚醒度合いが変化せず維持されている状態を含む。

ドライバが我慢顔をする状況としては、覚醒度が低下した状況と、周囲が明るく、ドライバが眩しいと感じた状況とが想定される。例えば、ドライバの周囲、ここでは車内に、日光が差し込んでいた場合、ドライバが眩しいと感じる状況であると想定される。眩しいと感じると、ドライバは、眠気を催していなくても、我慢顔をすることがある。すなわち、周囲が眩しいと感じると想定される状況でドライバが我慢顔をしたときは、ドライバは、眠気を催しているのではなく眩しいことにより我慢顔をしたと推定できる。これに対し、周囲が眩しいと感じるほどの明るさでない状況でドライバが我慢顔をしたときは、ドライバは、眠気を催していることにより我慢顔をしたと推定できる。

そこで、推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値未満であれば、当該我慢顔は、ドライバの覚醒度が低下したことによってなされた、すなわち、ドライバの覚醒度が低下した、と推定する。撮像画像における輝度が輝度判定用閾値未満であれば、ドライバの周囲は、ドライバが眩しいと感じるほどの明るさではないと判定できる。なお、輝度判定用閾値は、撮像範囲が、ドライバが眩しいと感じると想定される明るさのもと、管理者等によって撮像された撮像画像の輝度に基づいて、設定される。撮像範囲は、ここでは、少なくともドライバの顔が存在すべき範囲を含む車内である。
一方、推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値以上であれば、当該我慢顔は、ドライバの覚醒度が低下したことによってなされたものではない、すなわち、ドライバの覚醒度は低下していない、と推定する。言い換えれば、当該我慢顔は、眩しいと感じたことによってなされたと推定する。撮像画像における輝度が輝度判定用閾値以上であれば、ドライバの周囲は、ドライバが眩しいと感じるほどの明るさであると判定できる。
このように、推定部１３は、ドライバが我慢顔をしていると判定された場合、ドライバの周囲の明るさを判定することで、我慢顔はドライバの覚醒度が低下したことによるのか、ドライバの覚醒度が低下したのではなくドライバが眩しいと感じたことによるのかを区別する。

ただし、ドライバの周囲が、ドライバが眩しいと感じるほどの明るさであったとしても、ドライバの顔に影ができている等、ドライバの顔周辺が局所的に暗くなっている場合、ドライバは眩しいと感じないこともある。この場合、ドライバは、眩しいことによる我慢顔をしない。すなわち、ドライバの顔周辺が局所的に暗くなっている状況で、ドライバが我慢顔をしたのであれば、それは、眩しいと感じたことによるものではなく、覚醒度が低下したことによるものと推定できる。
よって、推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値以上であっても、撮像画像上の輝度分布に基づきドライバの顔周辺に影があると判定した場合は、ドライバの覚醒度が低下したと推定してもよい。なお、輝度検出部１２から推定部１３に出力される輝度情報には撮像画像が含まれる。推定部１３は、撮像画像上の各画素の輝度値から、撮像画像上の輝度分布を判定すればよい。また、推定部１３は、公知の画像処理技術を用いて、撮像画像上で、ドライバの顔領域を特定すればよい。顔領域は、例えば、ドライバの輪郭を示す特徴点を全て含む最小矩形領域とする。そして、推定部１３は、例えば、当該顔領域に含まれる画素の輝度値の平均値が、予め設定されている閾値（以下「影判定用閾値」という。）以下であれば、ドライバの顔周辺に影があると判定する。
推定部１３は、例えば、ドライバの顔周辺に影があるか否かを、ドライバの目が存在する領域（以下「目領域」という。）に含まれる画素の輝度値の平均値と影判定用閾値との比較によって判定してもよい。目領域は、例えば、目頭および目尻等、ドライバの目を示す特徴点を全て含む最小矩形領域である。

逆に、ドライバの周囲が、ドライバが眩しいと感じるほどの明るさでなかったとしても、ドライバの顔には影ができていない、または、ドライバの顔にのみ光が当たっている等、ドライバの顔周辺が局所的に明るくなっており、ドライバが眩しいと感じることもある。この場合、ドライバは、眩しいことによる我慢顔をする。すなわち、ドライバの顔周辺が局所的に明るくなっている状況で、ドライバが我慢顔をしたのであれば、それは、覚醒度が低下したことによるものではなく、眩しいと感じたことによるものと推定できる。
よって、推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値未満であっても、撮像画像上の輝度分布に基づきドライバの顔周辺が明るいと判定した場合は、ドライバの覚醒度は低下していないと推定してもよい。推定部１３は、例えば、撮像画像上で、ドライバの顔領域に含まれる画素の輝度値の平均値が、予め設定されている閾値（以下「明るさ判定用閾値」という。）以上であれば、ドライバの顔周辺が明るいと判定する。
推定部１３は、例えば、ドライバの顔周辺が明るいか否かを、ドライバの目領域に含まれる画素の輝度値の平均値と明るさ判定用閾値との比較によって判定してもよい。

推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であるか否かを判定した結果、当該顔判定情報が、ドライバが我慢顔をしていないことを示す顔判定情報であると判定した場合、言い換えれば、顔判定装置２において、ドライバが我慢顔をしていないと判定された場合は、公知の、画像に基づく覚醒度推定の技術を用いて、ドライバの覚醒度合いを推定する。例えば、推定部１３は、撮像画像に基づいて検出したドライバの開眼度が予め設定された閾値以下である場合に、ドライバの覚醒度が低下したと推定する。推定部１３は、ドライバの開眼度が予め設定された閾値より大きい場合は、ドライバの覚醒度は低下していないと推定する。

推定部１３は、ドライバの覚醒度が低下していると推定した場合、ドライバに注意喚起するための情報（以下「警告情報」という。）を出力する。例えば、推定部１３は、図示しない出力装置に対して、警告音を出力させる警告情報を出力する。出力装置は、例えば、車両に搭載されているスピーカを想定している。出力装置は、推定部１３から警告情報が出力されると、警告音を出力する。

推定部１３は、ドライバの覚醒度合いの推定結果を、推定を行った日時と対応付けて記憶部２６に記憶してもよい。この場合、推定部１３は、過去の推定結果に基づき、例えば、どれぐらいドライバの覚醒度合いが変化したか等、ドライバの覚醒度合いの傾向を判定することができる。

顔判定装置２の構成例について説明する。
図１に示すように、顔判定装置２は、画像取得部２１、特徴点検出部２２、距離算出部２３、基準距離算出部２４、顔判定部２５、および、記憶部２６を備える。顔判定部２５は、再計算指示部２５１を備える。

画像取得部２１は、撮像装置３から撮像画像を取得する。
画像取得部２１は、取得した撮像画像を、特徴点検出部２２、および、輝度検出部１２に出力する。

特徴点検出部２２は、画像取得部２１が取得した撮像画像に基づいて、撮像画像上の、ドライバの顔の複数の特徴点を検出する。
特徴点検出部２２が検出する複数の特徴点は、少なくとも、ドライバの両眉頭を示す特徴点を含む。実施の形態１では、一例として、特徴点検出部２２が検出する複数の特徴点は、ドライバの両眉頭を示す特徴点とする。
特徴点検出部２２は、検出した特徴点、具体的には、ドライバの両眉頭を示す特徴点に関する特徴点情報を、距離算出部２３に出力する。
なお、例えば、特徴点検出部２２は、ドライバの両目の上瞼および下瞼を示す特徴点を検出し、当該特徴点を示す特徴点情報を、推定部１３に出力してもよい。この場合、推定部１３は、例えば、特徴点検出部２２から出力された特徴点情報に基づいてドライバの開眼度を算出し、算出した開眼度からドライバの覚醒度合いを推定できる。

距離算出部２３は、特徴点検出部２２が検出した複数の特徴点の撮像画像上の座標を３次元座標に変換する。そして、距離算出部２３は、変換後の３次元座標から複数の特徴点の間の距離（以下「特徴点間距離」という。）を算出する。
具体的には、ここでは、距離算出部２３は、撮像画像上のドライバの両眉頭を示す特徴点の座標をそれぞれ３次元座標に変換し、変換後の３次元座標からドライバの両眉頭間の距離（以下「眉間距離」という。）を、特徴点間距離として算出する。
距離算出部２３は、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）等、２次元座標を３次元座標に変換する公知の技術を用いて、撮像画像上の特徴点の座標を３次元座標に変換すればよい。
距離算出部２３は、算出した特徴点間距離に関する情報（以下「距離情報」という。）を、顔判定部２５に出力する。
また、距離算出部２３は、距離情報を、記憶部２６に記憶させる。なお、距離算出部２３は、距離情報を、特徴点間距離の算出時刻と対応付けて、時系列で記憶させる。
記憶部２６に記憶される距離情報は、車両の電源がオフにされたときに削除されるものとする。

基準距離算出部２４は、記憶部２６に記憶されている距離情報を参照して、距離算出部２３が算出した特徴点間距離の、予め設定された期間（以下「基準算出対象期間」という。）分の履歴に基づき、基準特徴点間距離を算出する。基準特徴点間距離は、顔判定装置２において、ドライバが我慢顔をしているか否かを判定する際の基準となる特徴点間距離であり、ドライバが我慢顔をしていないときの特徴点間距離とみなす距離である。なお、我慢顔の判定は、顔判定部２５が行う。顔判定部２５の詳細は、後述する。
例えば、基準距離算出部２４は、基準算出対象期間分の特徴点間距離の最頻値を、基準特徴点間距離とする。なお、これは一例に過ぎず、基準距離算出部２４は、例えば、基準算出対象期間分の特徴点間距離の平均値または中央値を、基準特徴点間距離としてもよい。

基準距離算出部２４は、予め決められたタイミング（以下「基準算出タイミング」という。）で、基準特徴点間距離を算出する。詳細には、基準距離算出部２４は、基準算出タイミングになったと判定した時点から記憶部２６に記憶された、基準算出対象期間分の距離情報から、基準特徴点間距離を算出する。
実施の形態１において、基準算出タイミングは、車両の電源がオンにされたとき、および、再計算指示部２５１から基準特徴点間距離の再計算指示が出力されたとき、とする。再計算指示部２５１の詳細は、後述する。
なお、基準距離算出部２４は、記憶部２６に、基準算出タイミングになってから基準算出対象期間分の距離情報が記憶されていない場合、基準算出対象期間分の距離情報が記憶されるまで待機する。
基準距離算出部２４は、算出した基準特徴点間距離に関する情報（以下「基準距離情報」という。）を、記憶部２６に記憶させる。

顔判定部２５は、距離算出部２３が算出した特徴点間距離と基準特徴点間距離とを比較することで、ドライバが我慢顔をしているか否かを判定する。顔判定部２５は、基準特徴点間距離を、記憶部２６に記憶されている基準距離情報から特定できる。
具体的には、顔判定部２５は、特徴点間距離、ここでは、ドライバの眉間距離が、基準特徴点間距離よりも予め設定された閾値（以下「第１閾値」という。）以上小さい場合、言い換えれば、「基準特徴点間距離－特徴点間距離≧第１閾値」である場合、ドライバは我慢顔をしていると判定する。
一般に、人が眉間にしわを寄せた顔をすると、人が眉間にしわを寄せていない顔をしているときと比べ、眉間距離は短くなる。そこで、顔判定部２５は、ドライバの眉間距離が基準特徴点間距離よりも第１閾値以上小さい場合は、ドライバが眉間にしわを寄せた顔、すなわち、我慢顔をしていると判定する。
顔判定部２５は、特徴点間距離が基準特徴点間距離よりも第１閾値以上小さくなければ、言い換えれば、「基準特徴点間距離－特徴点間距離＜第１閾値」であれば、ドライバは我慢顔をしていないと判定する。

ここで、ドライバは我慢顔をしていないと判定した場合、顔判定部２５は、さらに、特徴点間距離が、基準特徴点間距離よりも予め設定された閾値（以下「第２閾値」という。）以上大きいか否か、言い換えれば、「特徴点間距離－基準特徴点間距離≧第２閾値」であるか否かを判定する。
特徴点間距離が基準特徴点間距離よりも第２閾値以上大きい場合、顔判定部２５は、その旨を再計算指示部２５１に通知する。再計算指示部２５１は、顔判定部２５から、特徴点間距離が基準特徴点間距離よりも第２閾値以上大きい旨が通知されると、基準距離算出部２４に対して、基準特徴点間距離の再計算を指示する。
特徴点間距離が基準特徴点間距離よりも第２閾値以上大きい場合、基準特徴点間距離は、ドライバが我慢顔をしているときの特徴点間距離に基づいて算出されたものと想定される。上述のとおり、基準特徴点間距離は、ドライバが我慢顔をしていないときの特徴点間距離（眉間距離）とみなす距離であるので、ドライバが我慢顔をしているときの特徴点間距離に基づいて算出された基準特徴点間距離は、基準特徴点間距離としてふさわしくない。そこで、顔判定部２５が特徴点間距離は基準特徴点間距離よりも第２閾値以上大きいと判定した場合は、再計算指示部２５１が、基準距離算出部２４に基準特徴点間距離の再計算を行わせる。

顔判定部２５は、ドライバが我慢顔をしていると判定したか否かを示す顔判定情報を、顔判定情報取得部１１に出力する。詳細には、顔判定部２５は、ドライバが我慢顔をしていると判定した場合、ドライバが我慢顔をしていることを示す顔判定情報を、顔判定情報取得部１１に出力する。顔判定部２５は、ドライバが我慢顔をしていないと判定した場合、ドライバが我慢顔をしていないことを示す顔判定情報を、顔判定情報取得部１１に出力する。

ただし、顔判定部２５は、基準特徴点間距離の再計算指示を行う必要があった場合、すなわち、特徴点間距離が基準特徴点間距離よりも第２閾値以上大きいと判定した場合、顔判定情報の出力は行わない。ドライバが我慢顔をしていないとの判定が、誤判定である可能性があるためである。

記憶部２６は、距離情報および基準距離情報を記憶する。
なお、実施の形態１では、記憶部２６は、顔判定装置２に備えられるようにしたが、これは一例に過ぎない。記憶部２６は、顔判定装置２の外部の、顔判定装置２が参照可能な場所に備えられてもよい。

実施の形態１に係る覚醒度推定装置１の動作について説明する。
図２は、実施の形態１に係る覚醒度推定装置１の動作について説明するためのフローチャートである。なお、図２において、ステップＳＴ１～ステップＳＴ５の処理は、覚醒度推定装置１が備える顔判定装置２によって行われる処理である。

画像取得部２１は、撮像装置３から撮像画像を取得する（ステップＳＴ１）。
画像取得部２１は、取得した撮像画像を、特徴点検出部２２、および、輝度検出部１２に出力する。

特徴点検出部２２は、ステップＳＴ１にて画像取得部２１が取得した撮像画像に基づいて、撮像画像上の、ドライバの顔の複数の特徴点を検出する（ステップＳＴ２）。実施の形態１では、特徴点検出部２２は、ドライバの両眉頭を示す特徴点を検出する。
特徴点検出部２２は、特徴点情報を、距離算出部２３に出力する。

距離算出部２３は、ステップＳＴ２にて特徴点検出部２２が検出した複数の特徴点の撮像画像上の座標を３次元座標に変換する（ステップＳＴ３）。そして、距離算出部２３は、変換後の３次元座標から複数の特徴点の間の特徴点間距離を算出する（ステップＳＴ４）。実施の形態１では、距離算出部２３は、撮像画像上のドライバの両眉頭を示す特徴点の座標をそれぞれ３次元座標に変換し、変換後の３次元座標からドライバの眉間距離を特徴点間距離として算出する。
距離算出部２３は、距離情報を、顔判定部２５に出力する。

顔判定部２５は、ステップＳＴ４にて距離算出部２３が算出した特徴点間距離と基準特徴点間距離とを比較することで、ドライバが我慢顔をしているか否かを判定する我慢顔判定処理を行う（ステップＳＴ５）。

顔判定情報取得部１１は、顔判定装置２から顔判定情報を取得する（ステップＳＴ６）。詳細には、顔判定情報取得部１１は、顔判定装置２の顔判定部２５がステップＳＴ５において我慢顔判定処理を行って出力した顔判定情報を取得する。
顔判定情報取得部１１は、取得した顔判定情報を、推定部１３に出力する。

輝度検出部１２は、撮像装置３が撮像した撮像画像における輝度を検出する（ステップＳＴ７）。具体的には、輝度検出部１２は、ステップＳＴ１にて顔判定装置２の画像取得部２１が取得した撮像画像を取得し、当該撮像画像における輝度を検出する。
輝度検出部１２は、輝度情報を、推定部１３に出力する。

推定部１３は、ステップＳＴ６にて顔判定情報取得部１１が取得した顔判定情報と、ステップＳＴ７にて輝度検出部１２が検出した撮像画像における輝度とに基づき、ドライバの覚醒度合いを推定する覚醒度推定処理を行う（ステップＳＴ８）。

なお、図２のフローチャートでは、ステップＳＴ６、ステップＳＴ７の順で処理が行われるものとしたが、ステップＳＴ６、ステップＳＴ７の処理の順番はこれに限らない。ステップＳＴ７、ステップＳＴ６の順で処理が行われてもよいし、ステップＳＴ６の処理とステップＳＴ７の処理とが並行して行われてもよい。ステップＳＴ７の処理は、ステップＳＴ１の後、ステップＳＴ８の処理が行われるまでの間であれば、どのタイミングで行われてもよい。

図３は、図２のステップＳＴ５における、顔判定部２５による我慢顔判定処理の詳細を説明するためのフローチャートである。

顔判定部２５は、特徴点間距離、ここではドライバの眉間距離が、基準特徴点間距離よりも第１閾値以上小さいか否か、言い換えれば、「基準特徴点間距離－特徴点間距離≧第１閾値」であるか否か判定する（ステップＳＴ２１）。
特徴点間距離が基準特徴点間距離よりも第１閾値以上小さい場合（ステップＳＴ２１の“ＹＥＳ”の場合）、顔判定部２５は、ドライバは我慢顔をしていると判定する（ステップＳＴ２２）。
特徴点間距離が基準特徴点距離よりも第１閾値以上小さくない場合、言い換えれば、「基準特徴点間距離－特徴点間距離＜第１閾値」である場合（ステップＳＴ２１の“ＮＯ”の場合）、顔判定部２５は、ドライバは我慢顔をしていないと判定する（ステップＳＴ２４）。

ステップＳＴ２４にて、ドライバは我慢顔をしていないと判定した場合、顔判定部２５は、特徴点間距離が基準特徴点間距離よりも第２閾値以上大きいか否か、言い換えれば、「特徴点間距離－基準特徴点間距離≧第２閾値」であるか否かを判定する（ステップＳＴ２５）。
特徴点間距離が基準特徴点間距離よりも第２閾値以上大きい場合（ステップＳＴ２５の“ＹＥＳ”の場合）、顔判定部２５は、その旨を再計算指示部２５１に通知する。そして、再計算指示部２５１は、基準距離算出部２４に対して、基準特徴点間距離の再計算を指示する（ステップＳＴ２６）。

特徴点間距離が基準特徴点間距離よりも第２閾値以上大きくない場合、言い換えれば、「特徴点間距離－基準特徴点間距離＜第２閾値」である場合（ステップＳＴ２５の“ＮＯ”の場合）、および、ステップＳＴ２２にてドライバは我慢顔をしていると判定すると、顔判定部２５は、顔判定情報を、顔判定情報取得部１１に出力する（ステップＳＴ２３）。
なお、顔判定部２５は、基準特徴点間距離の再計算指示を行う必要があった場合、すなわち、ステップＳＴ２５にて特徴点間距離が基準特徴点間距離よりも第２閾値以上大きいと判定した場合、顔判定情報の出力は行わない。ドライバが我慢顔をしていないとの判定（ステップＳＴ２４参照）が、誤判定である可能性があるためである。

図４は、図２のステップＳＴ８における、推定部１３による覚醒度推定処理の詳細を説明するためのフローチャートである。

推定部１３は、図２のステップＳＴ６にて顔判定情報取得部１１が取得した顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であるか否か、言い換えれば、顔判定装置２において、ドライバが我慢顔をしていると判定されたか否か、を判定する（ステップＳＴ３１）。

推定部１３は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報である場合（ステップＳＴ３１の“ＹＥＳ”の場合）、図２のステップＳＴ７にて輝度検出部１２が検出した撮像画像における輝度が輝度判定用閾値未満であるか否かを判定する（ステップＳＴ３２）。

ステップＳＴ３２にて、撮像画像における輝度が輝度判定用閾値未満であると判定した場合（ステップＳＴ３２の“ＹＥＳ”の場合）、推定部１３は、撮像画像上の輝度分布に基づきドライバの顔周辺が明るいか否かを判定する（ステップＳＴ３３）。

ステップＳＴ３３にて、ドライバの顔周辺が明るいと判定した場合（ステップＳＴ３３の“ＹＥＳ”の場合）、推定部１３は、ドライバの覚醒度は低下していないと推定する（ステップＳＴ３５）。推定部１３は、ドライバの覚醒度合いの推定結果を記憶部２６に記憶してもよい。
ステップＳＴ３３にて、ドライバの顔周辺が明るくないと判定した場合（ステップＳＴ３３の“ＮＯ”の場合）、推定部１３の処理はステップＳＴ３４に進む。

ステップＳＴ３２にて、撮像画像における輝度が輝度判定用閾値未満ではないと判定した場合、言い換えれば、撮像画像における輝度が輝度判定用閾値以上と判定した場合（ステップＳＴ３２の“ＮＯ”の場合）、推定部１３は、撮像画像上の輝度分布に基づきドライバの顔周辺に影があるか否かを判定する（ステップＳＴ３６）。

ステップＳＴ３６にて、ドライバの顔周辺に影があると判定した場合（ステップＳＴ３６の“ＹＥＳ”の場合）、および、ステップＳＴ３３にて、ドライバの顔周辺が明るくないと判定した場合（ステップＳＴ３３の“ＮＯ”の場合）、推定部１３は、ドライバの覚醒度が低下した、言い換えれば、ドライバは眠気を催していると推定する（ステップＳＴ３４）。そして、推定部１３は、警告情報を出力する。推定部１３は、ドライバの覚醒度合いの推定結果を記憶部２６に記憶してもよい。

ステップＳＴ３６にて、ドライバの顔周辺に影がないと判定した場合（ステップＳＴ３６の“ＮＯ”の場合）、推定部１３は、ドライバの覚醒度は低下していないと推定する（ステップＳＴ３７）。推定部１３は、ドライバの覚醒度合いの推定結果を記憶部２６に記憶してもよい。

一方、顔判定情報が、ドライバが我慢顔をしていないことを示す顔判定情報である場合（ステップＳＴ３１の“ＮＯ”の場合）、推定部１３は、公知の、画像に基づく覚醒度推定の技術を用いて、ドライバの覚醒度合いを推定する（ステップＳＴ３８）。推定部１３は、ドライバの覚醒度合いを推定した結果、ドライバの覚醒度は低下したと推定した場合、警告情報を出力する。推定部１３は、ドライバの覚醒度合いの推定結果を記憶部２６に記憶してもよい。

なお、図４に示すフローチャートにおいて、ステップＳＴ３３、ステップＳＴ３５、おおよび、ステップＳＴ３６の処理は省略可能である。ステップＳＴ３６の処理が省略された場合、ステップＳＴ３２にて、撮像画像における輝度が輝度判定用閾値未満ではないと判定すると（ステップＳＴ３２の“ＮＯ”の場合）、推定部１３は、ステップＳＴ３７の処理に進む。

図５は、実施の形態１における、基準距離算出部２４による基準特徴点間距離の算出動作について説明するためのフローチャートである。
図５のフローチャートで示す動作は、図２のフローチャートを用いて説明した顔判定装置２の動作と並行して行われる。

基準距離算出部２４は、基準算出タイミングになったか否かを判定する（ステップＳＴ４１）。詳細には、基準距離算出部２４は、車両の電源がオンにされたか、または、再計算指示部２５１から基準特徴点間距離の再計算指示が出力された（図３のステップＳＴ２６参照）か、を判定する。
基準算出タイミングになっていないと判定した場合（ステップＳＴ４１の“ＮＯ”の場合）、基準距離算出部２４は、基準算出タイミングになるまで待機する。

基準算出タイミングになったと判定した場合（ステップＳＴ４１の“ＹＥＳ”の場合）、基準距離算出部２４は、記憶部２６に記憶されている距離情報を参照して、基準算出対象期間分の特徴点間距離を取得し（ステップＳＴ４２）、取得した基準算出対象期間分の特徴点間距離に基づき、基準特徴点間距離を算出する（ステップＳＴ４３）。なお、基準距離算出部２４は、基準算出タイミングになったと判定した時点から記憶部２６に記憶された、基準算出対象期間分の距離情報から、特徴点間距離を取得する。記憶部２６に、基準算出タイミングになったと判定した時点から基準算出対象期間分の距離情報が記憶されていない場合、基準距離算出部２４は、基準算出対象期間分の距離情報が記憶されるまで待機した後、基準特徴点間距離を算出する。

基準距離算出部２４は、基準距離情報を、記憶部２６に記憶させる（ステップＳＴ４４）。

このように、基準距離算出部２４によって算出され、記憶部２６に記憶された基準距離情報に基づいて、顔判定部２５は、我慢顔判定処理（図２のステップＳＴ５参照）を行う。
ここで、基準算出タイミングとなった後、基準距離算出部２４が基準特徴点距離の算出を完了し、基準距離情報が記憶部２６に記憶されるまでの間、顔判定部２５は、我慢顔判定処理を行わない。例えば、基準距離算出部２４は、基準算出タイミングであると判定すると（図５のステップＳＴ４１の“ＹＥＳ”の場合）、基準算出中フラグ「１」を設定する。基準算出中フラグは、基準距離算出部２４および顔判定部２５が参照可能な場所に設定され、基準距離算出部２４が基準距離情報を記憶部２６に記憶すると（図５のステップＳＴ４４）、基準距離算出部２４によって初期値である「０」にされる。
例えば、基準算出中フラグに「１」が設定されている場合、顔判定部２５は、顔判定情報取得部１１に対して、待機中である旨の情報（以下「待機通知」という。）を出力する。顔判定情報取得部１１は、待機通知を取得すると、当該待機通知を推定部１３に出力する。推定部１３は、顔判定情報取得部１１から待機通知が出力された場合、顔判定情報取得部１１からドライバが我慢顔をしていないことを示す顔判定情報が出力された場合と同様の方法で、ドライバの覚醒度合いの推定を行う。すなわち、推定部１３は、公知の、画像に基づく覚醒度推定の技術を用いて、ドライバの覚醒度合いを推定する。
また、例えば、基準算出中フラグに「１」が設定されている場合、顔判定部２５は、予め記憶している、人が我慢顔をしていない場合の一般的な両眉頭間の距離を想定して設定された距離（以下「代替基準距離」という。）を基準特徴点間距離として、ドライバが我慢顔をしているか否かの判定を行ってもよい。代替基準距離は、予め、管理者等によって設定され、顔判定部２５に記憶される。

このように、覚醒度推定装置１は、顔判定装置２から、ドライバが我慢顔をしているか否かを示す顔判定情報を取得し、撮像画像における輝度を検出する。そして、覚醒度推定装置１は、取得した顔判定情報と、検出した輝度とに基づき、ドライバの覚醒度合いを推定する。
覚醒度推定装置１は、ドライバが我慢顔をしている場合に、周囲の状況はドライバが眩しいと感じると想定される状況であるかを考慮してドライバの覚醒度合いを推定することで、ドライバの覚醒度低下の誤推定を防ぐことができる。

詳細には、覚醒度推定装置１は、取得した顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、検出した撮像画像における輝度が輝度判定用閾値未満である場合、ドライバの覚醒度が低下したと推定する。覚醒度推定装置１は、顔判定情報と撮像画像における輝度とから、ドライバが我慢顔をした場合に、当該我慢顔が、ドライバの覚醒度が低下したことによってなされた顔なのか、ドライバが眩しいと感じたためになされた顔なのかを区別できる。これにより、覚醒度推定装置１は、ドライバの覚醒度が低下したことの誤推定を防ぐことができる。

また、覚醒度推定装置１は、取得した顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、検出した撮像画像における輝度が輝度判定用閾値以上である場合、ドライバの覚醒度が低下していないと推定する。言い換えれば、ドライバは眩しいと感じたため我慢顔をしたと推定する。覚醒度推定装置１は、顔判定情報と撮像画像における輝度とから、ドライバが我慢顔をした場合に、当該我慢顔が、ドライバの覚醒度が低下したことによってなされた顔なのか、ドライバが眩しいと感じたためになされた顔なのかを区別できる。これにより、覚醒度推定装置１は、ドライバの覚醒度が低下したことの誤推定を防ぐことができる。

また、覚醒度推定装置１は、取得した顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、検出した撮像画像における輝度が輝度判定用閾値未満であっても、撮像画像上の輝度分布に基づきドライバの顔周辺が明るいと判定した場合は、ドライバの覚醒度が低下していないと推定するようにしてもよい。これにより、覚醒度推定装置１は、周囲に影等ができていてドライバが眩しいと感じるほどの明るさでなくても、ドライバの顔周辺が局所的に明るくなり、ドライバが眩しいと感じる状況となっている場合を考慮して、ドライバの我慢顔が、ドライバの覚醒度が低下したことによってなされた顔なのか、ドライバが眩しいと感じたためになされた顔なのかを区別できる。覚醒度推定装置１は、より精度よく、ドライバの覚醒度が低下したことの誤推定を防ぐことができる。

また、覚醒度推定装置１は、取得した顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、検出した撮像画像における輝度が輝度判定用閾値以上であっても、撮像画像上の輝度分布に基づきドライバの顔周辺に影があると判定した場合は、ドライバの覚醒度が低下したと推定するようにしてもよい。これにより、覚醒度推定装置１は、周囲が、ドライバが眩しいと感じるほどの明るさであっても、ドライバの顔周辺が局所的に影になり、ドライバが眩しいと感じない状況となっている場合を考慮して、ドライバの我慢顔が、ドライバの覚醒度が低下したことによってなされた顔なのか、ドライバが眩しいと感じたためになされた顔なのかを区別できる。覚醒度推定装置１は、より精度よくドライバの覚醒度の低下を推定できる。

また、覚醒度推定装置１は、詳細には覚醒度推定装置１の顔判定装置２は、撮像画像から検出した、ドライバの顔の複数の特徴点（両眉頭）の撮像画像上の座標を３次元座標に変換し、変換後の３次元座標から複数の特徴点の間の特徴点間距離（眉間距離）を算出する。そして、覚醒度推定装置１は、特徴点間距離と基準特徴点間距離とを比較することでドライバが我慢顔をしているか否かを判定し、特徴点間距離が基準特徴点間距離よりも第１閾値以上小さい場合、ドライバが我慢顔をしていると判定する。
覚醒度推定装置１は、複数の特徴点の撮像画像上の座標を３次元座標に変換して特徴点間距離を算出することで、算出される特徴点間距離が、ドライバの顔の、前後または左右への傾きの影響を受けないようにできる。つまり、覚醒度推定装置１は、特徴点の撮像画像上の座標を３次元座標に変換することなく特徴点間距離を算出する場合と比べ、精度よく特徴点間距離を算出できる。その結果、覚醒度推定装置１は、精度よく、ドライバが我慢顔をしているか否かを判定できる。

また、覚醒度推定装置１は、算出した特徴点間距離の、基準算出対象期間分の履歴に基づき、基準特徴点間距離を算出し、特徴点間距離と基準特徴点間距離とを比較する。覚醒度推定装置１は、覚醒度合いを推定する対象となるドライバにあわせて、基準特徴点間距離を設定できる。
また、覚醒度推定装置１は、特徴点間距離と基準特徴点間距離とを比較した結果、特徴点間距離が基準特徴点間距離よりも第２閾値以上大きいと判定した場合は、基準特徴点間距離を再計算する。これにより、覚醒度推定装置１は、ドライバが我慢顔をしていないときの特徴点間距離とみなす基準特徴点間距離としてふさわしくない基準特徴点間距離に基づいて、ドライバが我慢顔をしているか否かを判定しないようにできる。

図６Ａおよび図６Ｂは、実施の形態１に係る覚醒度推定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５の機能は、処理回路１０１により実現される。すなわち、覚醒度推定装置１は、顔判定装置２が撮像画像に基づきドライバが我慢顔をしているか否かを判定した結果と撮像画像における輝度に基づき、ドライバの覚醒度合いを推定する制御を行うための処理回路１０１を備える。
処理回路１０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。

処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ１０４の場合、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５の機能を実行する。すなわち、覚醒度推定装置１は、プロセッサ１０４により実行されるときに、上述の図２のステップＳＴ１～ステップＳＴ８が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５の処理の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部２１については専用のハードウェアとしての処理回路１０１でその機能を実現し、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記憶部２６は、例えば、メモリで構成される。
また、覚醒度推定装置１は、撮像装置３または図示しない出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。

以上の実施の形態１では、特徴点検出部２２が検出する複数の特徴点は、ドライバの両眉頭を示す特徴点とし、距離算出部２３は、撮像画像上のドライバの両眉頭を示す特徴点の座標に基づいて、眉間距離を、特徴点間距離として算出した。そして、顔判定部２５は、距離算出部２３が算出した眉間距離と基準特徴点間距離とを比較して、ドライバが我慢顔をしているか否かを判定した。しかし、これは一例に過ぎない。
例えば、以上の実施の形態１において、特徴点検出部２２が検出する複数の特徴点は、ドライバの両眉頭およびドライバの両目頭を示す特徴点とし、距離算出部２３は、撮像画像上のドライバの両眉頭および両目頭を示す特徴点の座標に基づいて、眉間距離と両目頭間の距離とを、それぞれ特徴点間距離として算出してもよい。顔判定部２５は、眉間距離と両目頭間の距離とを、それぞれ基準特徴点間距離と比較して、ドライバが我慢顔をしているか否かを判定する。なお、この場合、基準距離算出部２４は、眉間距離に対応する基準特徴点間距離と、両目頭間の距離に対応する基準特徴点間距離とを算出する。
また、例えば、以上の実施の形態１において、特徴点検出部２２が検出する複数の特徴点は、ドライバの両目頭を示す特徴点とし、距離算出部２３は、撮像画像上のドライバの両目頭を示す特徴点の座標に基づいて、両目頭間の距離を特徴点間距離として算出してもよい。顔判定部２５は、両目頭間の距離を基準特徴点間距離と比較して、ドライバが我慢顔をしているか否かを判定する。なお、この場合、基準距離算出部２４は、両目頭間の距離に対応する基準特徴点間距離を算出する。
ただし、目に関する特徴点は、眉に関する特徴点に比べ、検出されない可能性が高い。例えば、ドライバがサングラスを装着している場合、特徴点検出部２２はドライバの目に関する特徴点を検出できない。したがって、覚醒度推定装置１，１ａにおいては、両眉頭を示す特徴点に基づいて算出した眉間距離と基準特徴点間距離とを比較してドライバが我慢顔をしているか否かを判定することが好ましい。覚醒度推定装置１，１ａは、両眉頭を示す特徴点に基づいて算出した眉間距離と基準特徴点間距離とを比較してドライバが我慢顔をしているか否かを判定することで、当該判定ができない事態に陥る可能性を低減できる。

また、以上の実施の形態１において、覚醒度推定装置が、個人認証機能を備えることもできる。個人認証機能を備えることで、覚醒度推定装置は、あるドライバの運転開始時に、基準特徴点間距離の算出を待たなくても、前回の運転時に算出済の基準特徴点間距離を用いて当該あるドライバが我慢顔をしているか否かを判定することができる。なお、この場合、覚醒度推定装置は、記憶部に記憶されている基準距離情報を、車両の電源がオフされた際に削除しなくてよい。以下、詳細に説明する。

図７は、実施の形態１において、個人認証機能を備えるようにした覚醒度推定装置１ａの構成例を示す図である。
図７において、図１を用いて説明した覚醒度推定装置１と同様の構成については、同じ符号を付して重複した説明を省略する。なお、ここでは、覚醒度推定装置１ａは、個人認証機能を、顔判定装置２ａに備えるものとする。
図７に示す顔判定装置２ａは、図１を用いて説明した顔判定装置２とは、個人認証部２７を備える点が異なる。また、図７に示す顔判定装置２ａにおける基準距離算出部２４および顔判定部２５の具体的な動作が、図１に示す顔判定装置２における基準距離算出部２４および顔判定部２５の具体的な動作とは異なる。

個人認証部２７は、ドライバの個人認証を行う。
例えば、個人認証部２７は、予めドライバの顔画像を記憶しておき、画像取得部２１から取得した撮像画像とパターンマッチングにより、ドライバの個人認証を行う。なお、これは一例に過ぎず、個人認証部２７は、公知の個人認証技術を用いて、ドライバの個人認証を行えばよい。
個人認証部２７は、個人認証の結果（以下「個人認証結果」という。）を、基準距離算出部２４および顔判定部２５に出力する。

基準距離算出部２４は、個人認証部２７による個人認証結果に基づき、個人毎の基準特徴点間距離を算出する。具体的には、基準距離算出部２４は、個人認証部２７が認証したドライバの基準特徴点間距離として、当該基準特徴点間距離を算出する。
基準距離算出部２４は、算出した基準特徴点間距離と、ドライバ個人を特定可能な情報とを対応付けた情報を、基準距離情報として、記憶部２６に記憶させる。なお、基準距離算出部２４は、ドライバ個人を特定可能な情報は、個人認証結果に含まれている。
また、顔判定部２５は、個人認証部２７による個人認証結果に基づき、ドライバが我慢顔をしているか否かの判定を行う。具体的には、顔判定部２５は、個人認証部２７による個人認証結果と、記憶部２６に記憶されている基準距離情報とをつきあわせ、ドライバの基準特徴点間距離を特定する。そして、顔判定部２５は、距離算出部２３が算出した特徴点間距離と、特定したドライバの基準特徴点間距離とを比較することで、ドライバが我慢顔をしているか否かを判定する。顔判定部２５は、特徴点間距離が基準特徴点間距離よりも第２閾値以上大きいと判定し、再計算指示部２５１にその旨の通知をする際には、ドライバ個人を特定可能な情報をあわせて通知する。再計算指示部２５１は、基準距離算出部２４に対して基準特徴点間距離の再計算を指示する際、ドライバ個人を特定可能な情報をあわせて出力する。基準距離算出部２４は、ドライバの基準特徴点間距離の再計算を行うと、記憶部２６に記憶されている、当該ドライバに対応する基準距離情報を更新する。

このように、基準距離算出部２４が、個人を特定可能な情報と基準特徴点間距離とが対応付けられた基準距離情報を記憶部２６に記憶しておくことで、顔判定部２５は、あるドライバの運転開始時に、基準特徴点間距離の算出を待たなくても、前回の運転時に算出済の基準特徴点間距離があれば、その基準特徴点間距離を用いて、当該あるドライバが我慢顔をしているか否かを判定することができる。

図８は、実施の形態１において、個人認証機能を備えるようにした覚醒度推定装置１ａの動作を説明するためのフローチャートである。
図８のステップＳＴ５１、ステップＳＴ５３～５５、ステップＳＴ５７～ステップＳＴ５９の具体的な動作は、それぞれ、図２のステップＳＴ１～ステップＳＴ４、ステップＳＴ６～８の具体的な動作と同様であるため、重複した説明を省略する。

個人認証部２７は、ドライバの個人認証を行う（ステップＳＴ５２）。
個人認証部２７は、個人認証結果を、基準距離算出部２４および顔判定部２５に出力する。

顔判定部２５は、ステップＳＴ５２における個人認証部２７による個人認証結果に基づき、ドライバが我慢顔をしているか否かの我慢顔判定処理を行う（ステップＳＴ５６）。
我慢顔判定処理において、顔判定部２５は、記憶部２６に、ドライバに対応する基準距離情報が記憶されている場合、当該基準距離情報に基づいてドライバの基準特徴点間距離を取得し、特徴点間距離との比較を行う。
また、我慢顔判定処理において、再計算指示部２５１は、基準距離算出部２４に対して、基準特徴点間距離の再計算を指示する場合、ドライバ個人を特定可能な情報をあわせて出力する。

なお、覚醒度推定装置１ａが図７に示すような構成である場合、基準距離算出部２４は、図５のステップＳＴ５２における個人認証部２７による個人認証結果に基づき、個人毎に、図５を用いて説明した処理を行い、個人毎の基準特徴点間距離を算出する。
そして、基準距離算出部２４は、算出した基準特徴点間距離と、ドライバ個人を特定可能な情報とを対応付けた情報を、基準距離情報として、記憶部２６に記憶させる。

覚醒度推定装置１ａが、図７に示すような構成であった場合のハードウェア構成の一例は、図６Ａおよび図６Ｂに示すとおりである。
顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、個人認証部２７の機能は、処理回路１０１により実現される。すなわち、覚醒度推定装置１ａは、顔判定装置２ａが撮像画像に基づきドライバが我慢顔をしているか否かを判定した結果と撮像画像における輝度に基づき、ドライバの覚醒度合いを推定するとともに、個人認証を行い、個人認証結果と基準距離情報とを対応付けて記憶させておく制御を行うための処理回路１０１を備える。
処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、個人認証部２７の機能を実行する。すなわち、覚醒度推定装置１ａは、処理回路１０１により実行されるときに、上述の図８のステップＳＴ５１～ステップＳＴ５９が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、個人認証部２７の処理の手順または方法をコンピュータに実行させるものであるとも言える。
覚醒度推定装置１ａは、撮像装置３または図示しない出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。

また、以上の実施の形態１では、覚醒度推定装置１が覚醒度合いを推定する対象となる人は、車両のドライバとし、覚醒度合いを推定する対象となる人は１人であることを前提としていたが、これは一例に過ぎない。覚醒度推定装置が覚醒度合いを推定する対象となる人は、複数であってもよい。例えば、覚醒度推定装置は、ドライバの他、助手席乗員または後席乗員を含む、車両の複数の乗員の覚醒度合いを推定してもよい。

覚醒度推定装置１が図１に示すような構成であり、個人認証機能を備えない場合、例えば、特徴点検出部２２は、撮像画像に基づいて、各乗員の座席位置を判定し、座席位置毎に複数の特徴点を検出する。そして、特徴点検出部２２は、各乗員を特定可能な情報と検出した複数の特徴点と対応付けた情報を特徴点情報として、距離算出部２３に出力する。ここでは、各乗員を特定可能な情報は、座席位置に関する情報とする。
距離算出部２３は、特徴点検出部２２が判定した座席位置に対応する乗員毎に、特徴点間距離を算出する。距離算出部２３は、各乗員を特定可能な情報と特徴点間距離とを対応付けた情報を距離情報として、記憶部２６に記憶させるとともに顔判定部２５に出力する。
基準距離算出部２４は、特徴点検出部２２が判定した座席位置に対応する乗員毎に、基準特徴点間距離を算出する。基準距離算出部２４は、各乗員を特定可能な情報と基準特徴点間距離とを対応付けた情報を基準距離情報として、記憶部２６に記憶させる。
顔判定部２５は、距離情報と基準距離情報とに基づき、乗員毎に、我慢顔をしているか否かを判定する。
顔判定部２５は、各乗員を特定可能な情報と我慢顔をしているか否かを示す情報とを対応付けた情報を顔判定情報として、顔判定情報取得部１１に出力する。
なお、再計算指示部２５１が、基準距離算出部２４に対して基準特徴点間距離の再計算を指示する際は、各乗員を特定可能な情報をあわせて出力する。基準距離算出部２４は、基準特徴点間距離の再計算を行うと、記憶部２６に記憶されている、対応する乗員の基準距離情報を更新する。
推定部１３は、乗員毎に、覚醒度合いを推定する。なお、推定部１３は、例えば、特徴点検出部２２から出力される特徴点情報と顔判定情報取得部１１から出力される顔判定情報とから、各乗員を判定できる。

例えば、覚醒度推定装置１ａが図７に示すような構成であり、個人認証機能を備えている場合は、顔判定装置２ａは、個人認証結果に基づいて、乗員毎に、我慢顔をしているか否かの判定を行えばよい。また、推定部１３は、個人認証結果に基づいて、乗員毎に、覚醒度合いの推定を行えばよい。
具体的には、特徴点検出部２２は、個人認証部２７による個人認証結果に基づき、乗員毎に複数の特徴点を検出する。なお、図７では、個人認証部２７から特徴点検出部２２への矢印は省略している。特徴点検出部２２は、検出した複数の特徴点と個人認証結果とを対応付けた情報を特徴点情報として、距離算出部２３に出力する。
距離算出部２３は、個人認証部２７による個人認証結果に基づき、乗員毎に特徴点間距離を算出する。距離算出部２３は、算出した特徴点間距離と個人認証結果とを対応付けた情報を距離情報として、記憶部２６に記憶させるとともに顔判定部２５に出力する。
基準距離算出部は、個人認証部２７による個人認証結果に基づき、乗員毎の基準特徴点間距離を算出する。基準距離算出部２４は、基準特徴点間距離と個人認証結果とを対応付けた情報を基準距離情報として、記憶部２６に記憶させる。
顔判定部２５は、個人認証部２７による個人認証結果に基づき、乗員毎に、我慢顔をしているか否かを判定する。顔判定部２５は、我慢顔をしているか否かを示す情報と個人認証結果とを対応付けた情報を顔判定情報として、顔判定情報取得部１１に出力する。
推定部１３は、個人認証部２７による個人認証結果に基づき、乗員毎に、覚醒度合いを推定する。なお、推定部１３は、例えば、特徴点検出部２２から出力される特徴点情報と顔判定情報取得部１１から出力される顔判定情報とから、各乗員を判定できる。

また、以上の実施の形態１では、覚醒度推定装置１，１ａは、車両に搭載される車載装置とし、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、覚醒度推定装置１ａが図７に示すような構成であった場合の個人認証部２７は、車載装置に備えられているものとした。
これに限らず、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、個人認証部２７のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで覚醒度推定システムを構成するようにしてもよい。
また、顔判定情報取得部１１と、輝度検出部１２と、推定部１３と、画像取得部２１と、特徴点検出部２２と、距離算出部２３と、基準距離算出部２４と、顔判定部２５と、個人認証部２７が全部サーバに備えられてもよい。

また、以上の実施の形態１では、顔判定装置２は覚醒度推定装置１に備えられ、顔判定装置２ａは覚醒度推定装置１ａに備えられていたが、これは一例に過ぎない。顔判定装置２は、覚醒度推定装置１の外部にて、覚醒度推定装置１と接続されていてもよい。また、顔判定装置２ａは、覚醒度推定装置１ａの外部にて、覚醒度推定装置１ａと接続されていてもよい。
また、顔判定装置２が備える各構成部のうちの一部が、覚醒度推定装置１に備えられてもよいし、顔判定装置２ａが備える各構成部のうちの一部が、覚醒度推定装置１ａに備えられてもよい。例えば、画像取得部２１、特徴点検出部２２、距離算出部２３、または、基準距離算出部２４が、覚醒度推定装置１に備えられてもよいし、画像取得部２１、特徴点検出部２２、距離算出部２３、基準距離算出部２４、または、個人認証部２７が、覚醒度推定装置１ａに備えられてもよい。

また、以上の実施の形態１では、覚醒度推定装置１，１ａが覚醒度合いを推定する対象となる人は車両のドライバ、または、当該ドライバを含む車両の乗員としたが、これは一例に過ぎない。覚醒度推定装置１，１ａは、車両の乗員に限らず、あらゆる人の覚醒度合いを推定するようにできる。例えば、覚醒度推定装置１，１ａは、車両以外の移動体、または、居室に存在する人の覚醒度合いを推定するようにできる。なお、この場合、撮像装置３も、車両に搭載されているものに限定されない。撮像装置３は、覚醒度推定装置１，１ａが覚醒度合いを推定する対象となる人の顔が存在すべき範囲を撮像可能な位置に設置されていればよい。

以上のように、実施の形態１によれば、覚醒度推定装置１，１ａは、人が眉間にしわを寄せた顔（我慢顔）をしているか否かを示す顔判定情報を取得する顔判定情報取得部１１と、人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出する輝度検出部１２と、顔判定情報取得部１１が取得した顔判定情報と、輝度検出部１２が検出した輝度とに基づき、人の覚醒度合いを推定する推定部１３とを備えるように構成した。そのため、覚醒度推定装置１は、人が眉間にしわを寄せた状態である場合に、周囲の状況は人が眩しいと感じると想定される状況であるかを考慮して人の覚醒度合いを推定することで、人の覚醒度低下の誤推定を防ぐことができる。

なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示の覚醒度推定装置は、人が眉間にしわを寄せた状態である場合に、周囲の状況は人が眩しいと感じると想定される状況であるかを考慮して人の覚醒度合いを推定するため、人の覚醒度低下の誤推定を防ぐことができる。

１，１ａ 覚醒度推定装置、１１ 顔判定情報取得部、１２ 輝度検出部、１３ 推定部、２，２ａ 顔判定装置、２１ 画像取得部、２２ 特徴点検出部、２３ 距離算出部、２４ 基準距離算出部、２５ 顔判定部、２５１ 再計算指示部、２６ 記憶部、２７ 個人認証部、３ 撮像装置、１０１ 処理回路、１０２ 入力インタフェース装置、１０３ 出力インタフェース装置、１０４ プロセッサ、１０５ メモリ。

Claims (13)

1. 人が眉間にしわを寄せた顔をしているか否かを示す顔判定情報を取得する顔判定情報取得部と、
   人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出する輝度検出部と、
   前記顔判定情報取得部が取得した前記顔判定情報と、前記輝度検出部が検出した前記輝度とに基づき、前記人の覚醒度合いを推定する推定部
   とを備えた覚醒度推定装置。
2. 前記推定部は、
   前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が輝度判定用閾値未満である場合、前記人の覚醒度が低下したと推定する
   ことを特徴とする請求項１記載の覚醒度推定装置。
3. 前記推定部は、
   前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が輝度判定用閾値以上である場合、前記人の覚醒度が低下していないと推定する
   ことを特徴とする請求項１記載の覚醒度推定装置。
4. 前記推定部は、
   前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が前記輝度判定用閾値未満であっても、前記撮像画像上の輝度分布に基づき前記人の顔周辺が明るいと判定した場合は、前記人の覚醒度が低下していないと推定する
   ことを特徴とする請求項２記載の覚醒度推定装置。
5. 前記推定部は、
   前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が前記輝度判定用閾値以上であっても、前記撮像画像上の輝度分布に基づき前記人の顔周辺に影があると判定した場合は、前記人の覚醒度が低下したと推定する
   ことを特徴とする請求項３記載の覚醒度推定装置。
6. 前記推定部は、
   前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていないことを示す前記顔判定情報である場合は、前記撮像画像に基づき、前記人の前記覚醒度合いを推定する
   ことを特徴とする請求項１記載の覚醒度推定装置。
7. 前記輝度検出部は、前記撮像画像上の画素の輝度値の平均値を、前記撮像画像の前記輝度とする
   ことを特徴とする請求項１記載の覚醒度推定装置。
8. 前記撮像画像を取得する画像取得部と、
   前記画像取得部が取得した前記撮像画像上の、前記人の顔の複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部が検出した前記複数の前記特徴点の前記撮像画像上の座標を３次元座標に変換し、変換後の前記３次元座標から前記複数の前記特徴点の間の特徴点間距離を算出する距離算出部と、
   前記距離算出部が算出した前記特徴点間距離と基準特徴点間距離とを比較することで前記人が眉間にしわを寄せた顔をしているか否かを判定し、前記特徴点間距離が前記基準特徴点間距離よりも第１閾値以上小さい場合、前記人が眉間にしわを寄せた顔をしていると判定する顔判定部
   とを備えた請求項１記載の覚醒度推定装置。
9. 前記距離算出部が算出した前記特徴点間距離の、基準算出対象期間分の履歴に基づき、前記基準特徴点間距離を算出する基準距離算出部を備え、
   前記顔判定部は、前記距離算出部が算出した前記特徴点間距離と前記基準距離算出部が算出した前記基準特徴点間距離とを比較する
   ことを特徴とする請求項８記載の覚醒度推定装置。
10. 前記顔判定部が前記特徴点間距離と前記基準特徴点間距離とを比較した結果、前記特徴点間距離が前記基準特徴点間距離よりも第２閾値以上大きいと判定した場合、前記基準距離算出部に対して前記基準特徴点間距離の再計算を指示する再計算指示部を備え、
    前記基準距離算出部は、前記再計算指示部から前記基準特徴点間距離の再計算を指示された場合、前記基準特徴点間距離を再算出する
    ことを特徴とする請求項９記載の覚醒度推定装置。
11. 前記人の個人認証を行う個人認証部を備え、
    前記基準距離算出部は、前記個人認証部による前記個人認証の結果に基づき、個人毎の前記基準特徴点間距離を算出し、
    前記顔判定部は、前記個人認証部による前記個人認証の結果と、前記基準距離算出部が算出した前記個人毎の前記基準特徴点間距離に基づき、前記特徴点間距離と比較する前記基準特徴点間距離を特定する
    ことを特徴とする請求項９記載の覚醒度推定装置。
12. 前記複数の前記特徴点は前記人の両眉頭であり、前記特徴点間距離は前記人の両眉頭間の距離である
    ことを特徴とする請求項８記載の覚醒度推定装置。
13. 顔判定情報取得部が、人が眉間にしわを寄せた顔をしているか否かを示す顔判定情報を取得するステップと、
    輝度検出部が、人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出するステップと、
    推定部が、前記顔判定情報取得部が取得した前記顔判定情報と、前記輝度検出部が検出した前記輝度とに基づき、前記人の覚醒度合いを推定するステップ
    とを備えた覚醒度推定方法。

Images