JP7403729B2 - 覚醒度推定装置および覚醒度推定方法 - Google Patents
覚醒度推定装置および覚醒度推定方法 Download PDFInfo
- Publication number
- JP7403729B2 JP7403729B2 JP2023561121A JP2023561121A JP7403729B2 JP 7403729 B2 JP7403729 B2 JP 7403729B2 JP 2023561121 A JP2023561121 A JP 2023561121A JP 2023561121 A JP2023561121 A JP 2023561121A JP 7403729 B2 JP7403729 B2 JP 7403729B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- distance
- unit
- brightness
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037007 arousal Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 35
- 230000036626 alertness Effects 0.000 claims description 123
- 238000001514 detection method Methods 0.000 claims description 89
- 210000004709 eyebrow Anatomy 0.000 claims description 60
- 230000003247 decreasing effect Effects 0.000 claims description 30
- 230000037303 wrinkles Effects 0.000 claims description 18
- 230000007423 decrease Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 206010062519 Poor quality sleep Diseases 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004313 glare Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
特許文献1に開示されている技術に代表される従来技術では、人が眉間にしわを寄せたという表情からだけでは人の覚醒度が低下したのか人が眩しいと感じているのかの区別が困難であることが考慮できていないため、人の覚醒度が低下したことを誤推定する可能性があった。
実施の形態1.
実施の形態1に係る覚醒度推定装置は、人の少なくとも顔が撮像された撮像画像に基づき、人の覚醒度合いを推定する。特に、覚醒度推定装置は、人が眉間にしわを寄せた顔をした場合に、当該顔は、人の覚醒度が低下したことによってなされた顔なのか、人が眩しいと感じたためになされた顔なのかを区別し、人の覚醒度合いを推定する。
実施の形態1において、眉間にしわを寄せた顔のことを、「我慢顔」という。「我慢顔」は、眉間にしわを寄せ、目を細めた、いわゆるしかめ顔である。
また、実施の形態1では、一例として、覚醒度推定装置が覚醒度合いを推定する対象となる人は、車両のドライバとする。
覚醒度推定装置が推定した、ドライバの覚醒度が低下したか、言い換えれば、ドライバが眠気を催しているかの推定結果は、例えば、ドライバの居眠り検出に用いられる。
覚醒度推定装置1は、顔判定装置2、顔判定情報取得部11、輝度検出部12、および、推定部13を備える。
覚醒度推定装置1は、撮像装置3と接続される。撮像装置3は、車両(図示省略)に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。例えば、撮像装置3は、車室内をモニタリングすることを目的に設置される、いわゆるDMS(Driver Monitoring System)と共用のものでもよい。撮像装置3は、可視光カメラ、または、赤外線カメラである。撮像装置3は、撮像した撮像画像を、覚醒度推定装置1が備える顔判定装置2に出力する。
顔判定情報取得部11は、取得した顔判定情報を、推定部13に出力する。
実施の形態1において、撮像画像における輝度とは、例えば、撮像画像における各画素の輝度値の平均値とする。なお、これは一例に過ぎず、輝度検出部12は、例えば、撮像画像における各画素の輝度値の中央値を、撮像画像における輝度としてもよい。輝度検出部12は、少なくとも、撮像画像上の、ドライバの顔が存在する領域(以下「顔領域」という。)を含む領域の輝度を検出するようになっていればよい。輝度検出部12は、例えば、撮像画像から、公知の画像処理技術を用いて、ドライバの顔領域を特定すればよい。また、輝度検出部12は、例えば、顔判定装置2の、後述する特徴点検出部22から、ドライバの顔を示す特徴点に関する情報(以下「特徴点情報」という。)を取得してもよい。
輝度検出部12は、検出した撮像画像における輝度に関する情報(以下「輝度情報」という。)を、推定部13に出力する。輝度検出部12は、撮像画像と検出した輝度とを対応付けた情報を輝度情報とする。
具体的には、推定部13は、まず、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であるか否か、言い換えれば、顔判定装置2において、ドライバが我慢顔をしていると判定されたか否か、を判定する。
顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報である場合、推定部13は、撮像画像における輝度が、予め設定された閾値(以下「輝度判定用閾値」という。)未満であるかを判定する。
推定部13は、撮像画像における輝度が輝度判定用閾値未満であれば、ドライバの覚醒度が低下した、言い換えれば、ドライバは眠気を催していると推定する。
推定部13は、撮像画像における輝度が輝度判定用閾値以上であれば、ドライバの覚醒度は低下していないと推定する。なお、ドライバの覚醒度が低下していない状態は、ドライバの覚醒度合いが上がった状態、および、ドライバの覚醒度合いが変化せず維持されている状態を含む。
一方、推定部13は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値以上であれば、当該我慢顔は、ドライバの覚醒度が低下したことによってなされたものではない、すなわち、ドライバの覚醒度は低下していない、と推定する。言い換えれば、当該我慢顔は、眩しいと感じたことによってなされたと推定する。撮像画像における輝度が輝度判定用閾値以上であれば、ドライバの周囲は、ドライバが眩しいと感じるほどの明るさであると判定できる。
このように、推定部13は、ドライバが我慢顔をしていると判定された場合、ドライバの周囲の明るさを判定することで、我慢顔はドライバの覚醒度が低下したことによるのか、ドライバの覚醒度が低下したのではなくドライバが眩しいと感じたことによるのかを区別する。
よって、推定部13は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値以上であっても、撮像画像上の輝度分布に基づきドライバの顔周辺に影があると判定した場合は、ドライバの覚醒度が低下したと推定してもよい。なお、輝度検出部12から推定部13に出力される輝度情報には撮像画像が含まれる。推定部13は、撮像画像上の各画素の輝度値から、撮像画像上の輝度分布を判定すればよい。また、推定部13は、公知の画像処理技術を用いて、撮像画像上で、ドライバの顔領域を特定すればよい。顔領域は、例えば、ドライバの輪郭を示す特徴点を全て含む最小矩形領域とする。そして、推定部13は、例えば、当該顔領域に含まれる画素の輝度値の平均値が、予め設定されている閾値(以下「影判定用閾値」という。)以下であれば、ドライバの顔周辺に影があると判定する。
推定部13は、例えば、ドライバの顔周辺に影があるか否かを、ドライバの目が存在する領域(以下「目領域」という。)に含まれる画素の輝度値の平均値と影判定用閾値との比較によって判定してもよい。目領域は、例えば、目頭および目尻等、ドライバの目を示す特徴点を全て含む最小矩形領域である。
よって、推定部13は、顔判定情報が、ドライバが我慢顔をしていることを示す顔判定情報であり、かつ、撮像画像における輝度が輝度判定用閾値未満であっても、撮像画像上の輝度分布に基づきドライバの顔周辺が明るいと判定した場合は、ドライバの覚醒度は低下していないと推定してもよい。推定部13は、例えば、撮像画像上で、ドライバの顔領域に含まれる画素の輝度値の平均値が、予め設定されている閾値(以下「明るさ判定用閾値」という。)以上であれば、ドライバの顔周辺が明るいと判定する。
推定部13は、例えば、ドライバの顔周辺が明るいか否かを、ドライバの目領域に含まれる画素の輝度値の平均値と明るさ判定用閾値との比較によって判定してもよい。
図1に示すように、顔判定装置2は、画像取得部21、特徴点検出部22、距離算出部23、基準距離算出部24、顔判定部25、および、記憶部26を備える。顔判定部25は、再計算指示部251を備える。
画像取得部21は、取得した撮像画像を、特徴点検出部22、および、輝度検出部12に出力する。
特徴点検出部22が検出する複数の特徴点は、少なくとも、ドライバの両眉頭を示す特徴点を含む。実施の形態1では、一例として、特徴点検出部22が検出する複数の特徴点は、ドライバの両眉頭を示す特徴点とする。
特徴点検出部22は、検出した特徴点、具体的には、ドライバの両眉頭を示す特徴点に関する特徴点情報を、距離算出部23に出力する。
なお、例えば、特徴点検出部22は、ドライバの両目の上瞼および下瞼を示す特徴点を検出し、当該特徴点を示す特徴点情報を、推定部13に出力してもよい。この場合、推定部13は、例えば、特徴点検出部22から出力された特徴点情報に基づいてドライバの開眼度を算出し、算出した開眼度からドライバの覚醒度合いを推定できる。
具体的には、ここでは、距離算出部23は、撮像画像上のドライバの両眉頭を示す特徴点の座標をそれぞれ3次元座標に変換し、変換後の3次元座標からドライバの両眉頭間の距離(以下「眉間距離」という。)を、特徴点間距離として算出する。
距離算出部23は、AAM(Active Appearance Model)等、2次元座標を3次元座標に変換する公知の技術を用いて、撮像画像上の特徴点の座標を3次元座標に変換すればよい。
距離算出部23は、算出した特徴点間距離に関する情報(以下「距離情報」という。)を、顔判定部25に出力する。
また、距離算出部23は、距離情報を、記憶部26に記憶させる。なお、距離算出部23は、距離情報を、特徴点間距離の算出時刻と対応付けて、時系列で記憶させる。
記憶部26に記憶される距離情報は、車両の電源がオフにされたときに削除されるものとする。
例えば、基準距離算出部24は、基準算出対象期間分の特徴点間距離の最頻値を、基準特徴点間距離とする。なお、これは一例に過ぎず、基準距離算出部24は、例えば、基準算出対象期間分の特徴点間距離の平均値または中央値を、基準特徴点間距離としてもよい。
実施の形態1において、基準算出タイミングは、車両の電源がオンにされたとき、および、再計算指示部251から基準特徴点間距離の再計算指示が出力されたとき、とする。再計算指示部251の詳細は、後述する。
なお、基準距離算出部24は、記憶部26に、基準算出タイミングになってから基準算出対象期間分の距離情報が記憶されていない場合、基準算出対象期間分の距離情報が記憶されるまで待機する。
基準距離算出部24は、算出した基準特徴点間距離に関する情報(以下「基準距離情報」という。)を、記憶部26に記憶させる。
具体的には、顔判定部25は、特徴点間距離、ここでは、ドライバの眉間距離が、基準特徴点間距離よりも予め設定された閾値(以下「第1閾値」という。)以上小さい場合、言い換えれば、「基準特徴点間距離-特徴点間距離≧第1閾値」である場合、ドライバは我慢顔をしていると判定する。
一般に、人が眉間にしわを寄せた顔をすると、人が眉間にしわを寄せていない顔をしているときと比べ、眉間距離は短くなる。そこで、顔判定部25は、ドライバの眉間距離が基準特徴点間距離よりも第1閾値以上小さい場合は、ドライバが眉間にしわを寄せた顔、すなわち、我慢顔をしていると判定する。
顔判定部25は、特徴点間距離が基準特徴点間距離よりも第1閾値以上小さくなければ、言い換えれば、「基準特徴点間距離-特徴点間距離<第1閾値」であれば、ドライバは我慢顔をしていないと判定する。
特徴点間距離が基準特徴点間距離よりも第2閾値以上大きい場合、顔判定部25は、その旨を再計算指示部251に通知する。再計算指示部251は、顔判定部25から、特徴点間距離が基準特徴点間距離よりも第2閾値以上大きい旨が通知されると、基準距離算出部24に対して、基準特徴点間距離の再計算を指示する。
特徴点間距離が基準特徴点間距離よりも第2閾値以上大きい場合、基準特徴点間距離は、ドライバが我慢顔をしているときの特徴点間距離に基づいて算出されたものと想定される。上述のとおり、基準特徴点間距離は、ドライバが我慢顔をしていないときの特徴点間距離(眉間距離)とみなす距離であるので、ドライバが我慢顔をしているときの特徴点間距離に基づいて算出された基準特徴点間距離は、基準特徴点間距離としてふさわしくない。そこで、顔判定部25が特徴点間距離は基準特徴点間距離よりも第2閾値以上大きいと判定した場合は、再計算指示部251が、基準距離算出部24に基準特徴点間距離の再計算を行わせる。
なお、実施の形態1では、記憶部26は、顔判定装置2に備えられるようにしたが、これは一例に過ぎない。記憶部26は、顔判定装置2の外部の、顔判定装置2が参照可能な場所に備えられてもよい。
図2は、実施の形態1に係る覚醒度推定装置1の動作について説明するためのフローチャートである。なお、図2において、ステップST1~ステップST5の処理は、覚醒度推定装置1が備える顔判定装置2によって行われる処理である。
画像取得部21は、取得した撮像画像を、特徴点検出部22、および、輝度検出部12に出力する。
特徴点検出部22は、特徴点情報を、距離算出部23に出力する。
距離算出部23は、距離情報を、顔判定部25に出力する。
顔判定情報取得部11は、取得した顔判定情報を、推定部13に出力する。
輝度検出部12は、輝度情報を、推定部13に出力する。
特徴点間距離が基準特徴点間距離よりも第1閾値以上小さい場合(ステップST21の“YES”の場合)、顔判定部25は、ドライバは我慢顔をしていると判定する(ステップST22)。
特徴点間距離が基準特徴点距離よりも第1閾値以上小さくない場合、言い換えれば、「基準特徴点間距離-特徴点間距離<第1閾値」である場合(ステップST21の“NO”の場合)、顔判定部25は、ドライバは我慢顔をしていないと判定する(ステップST24)。
特徴点間距離が基準特徴点間距離よりも第2閾値以上大きい場合(ステップST25の“YES”の場合)、顔判定部25は、その旨を再計算指示部251に通知する。そして、再計算指示部251は、基準距離算出部24に対して、基準特徴点間距離の再計算を指示する(ステップST26)。
なお、顔判定部25は、基準特徴点間距離の再計算指示を行う必要があった場合、すなわち、ステップST25にて特徴点間距離が基準特徴点間距離よりも第2閾値以上大きいと判定した場合、顔判定情報の出力は行わない。ドライバが我慢顔をしていないとの判定(ステップST24参照)が、誤判定である可能性があるためである。
ステップST33にて、ドライバの顔周辺が明るくないと判定した場合(ステップST33の“NO”の場合)、推定部13の処理はステップST34に進む。
図5のフローチャートで示す動作は、図2のフローチャートを用いて説明した顔判定装置2の動作と並行して行われる。
基準算出タイミングになっていないと判定した場合(ステップST41の“NO”の場合)、基準距離算出部24は、基準算出タイミングになるまで待機する。
ここで、基準算出タイミングとなった後、基準距離算出部24が基準特徴点距離の算出を完了し、基準距離情報が記憶部26に記憶されるまでの間、顔判定部25は、我慢顔判定処理を行わない。例えば、基準距離算出部24は、基準算出タイミングであると判定すると(図5のステップST41の“YES”の場合)、基準算出中フラグ「1」を設定する。基準算出中フラグは、基準距離算出部24および顔判定部25が参照可能な場所に設定され、基準距離算出部24が基準距離情報を記憶部26に記憶すると(図5のステップST44)、基準距離算出部24によって初期値である「0」にされる。
例えば、基準算出中フラグに「1」が設定されている場合、顔判定部25は、顔判定情報取得部11に対して、待機中である旨の情報(以下「待機通知」という。)を出力する。顔判定情報取得部11は、待機通知を取得すると、当該待機通知を推定部13に出力する。推定部13は、顔判定情報取得部11から待機通知が出力された場合、顔判定情報取得部11からドライバが我慢顔をしていないことを示す顔判定情報が出力された場合と同様の方法で、ドライバの覚醒度合いの推定を行う。すなわち、推定部13は、公知の、画像に基づく覚醒度推定の技術を用いて、ドライバの覚醒度合いを推定する。
また、例えば、基準算出中フラグに「1」が設定されている場合、顔判定部25は、予め記憶している、人が我慢顔をしていない場合の一般的な両眉頭間の距離を想定して設定された距離(以下「代替基準距離」という。)を基準特徴点間距離として、ドライバが我慢顔をしているか否かの判定を行ってもよい。代替基準距離は、予め、管理者等によって設定され、顔判定部25に記憶される。
覚醒度推定装置1は、ドライバが我慢顔をしている場合に、周囲の状況はドライバが眩しいと感じると想定される状況であるかを考慮してドライバの覚醒度合いを推定することで、ドライバの覚醒度低下の誤推定を防ぐことができる。
覚醒度推定装置1は、複数の特徴点の撮像画像上の座標を3次元座標に変換して特徴点間距離を算出することで、算出される特徴点間距離が、ドライバの顔の、前後または左右への傾きの影響を受けないようにできる。つまり、覚醒度推定装置1は、特徴点の撮像画像上の座標を3次元座標に変換することなく特徴点間距離を算出する場合と比べ、精度よく特徴点間距離を算出できる。その結果、覚醒度推定装置1は、精度よく、ドライバが我慢顔をしているか否かを判定できる。
また、覚醒度推定装置1は、特徴点間距離と基準特徴点間距離とを比較した結果、特徴点間距離が基準特徴点間距離よりも第2閾値以上大きいと判定した場合は、基準特徴点間距離を再計算する。これにより、覚醒度推定装置1は、ドライバが我慢顔をしていないときの特徴点間距離とみなす基準特徴点間距離としてふさわしくない基準特徴点間距離に基づいて、ドライバが我慢顔をしているか否かを判定しないようにできる。
実施の形態1において、顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25の機能は、処理回路101により実現される。すなわち、覚醒度推定装置1は、顔判定装置2が撮像画像に基づきドライバが我慢顔をしているか否かを判定した結果と撮像画像における輝度に基づき、ドライバの覚醒度合いを推定する制御を行うための処理回路101を備える。
処理回路101は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリに格納されるプログラムを実行するプロセッサ104であってもよい。
記憶部26は、例えば、メモリで構成される。
また、覚醒度推定装置1は、撮像装置3または図示しない出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置102および出力インタフェース装置103を備える。
例えば、以上の実施の形態1において、特徴点検出部22が検出する複数の特徴点は、ドライバの両眉頭およびドライバの両目頭を示す特徴点とし、距離算出部23は、撮像画像上のドライバの両眉頭および両目頭を示す特徴点の座標に基づいて、眉間距離と両目頭間の距離とを、それぞれ特徴点間距離として算出してもよい。顔判定部25は、眉間距離と両目頭間の距離とを、それぞれ基準特徴点間距離と比較して、ドライバが我慢顔をしているか否かを判定する。なお、この場合、基準距離算出部24は、眉間距離に対応する基準特徴点間距離と、両目頭間の距離に対応する基準特徴点間距離とを算出する。
また、例えば、以上の実施の形態1において、特徴点検出部22が検出する複数の特徴点は、ドライバの両目頭を示す特徴点とし、距離算出部23は、撮像画像上のドライバの両目頭を示す特徴点の座標に基づいて、両目頭間の距離を特徴点間距離として算出してもよい。顔判定部25は、両目頭間の距離を基準特徴点間距離と比較して、ドライバが我慢顔をしているか否かを判定する。なお、この場合、基準距離算出部24は、両目頭間の距離に対応する基準特徴点間距離を算出する。
ただし、目に関する特徴点は、眉に関する特徴点に比べ、検出されない可能性が高い。例えば、ドライバがサングラスを装着している場合、特徴点検出部22はドライバの目に関する特徴点を検出できない。したがって、覚醒度推定装置1,1aにおいては、両眉頭を示す特徴点に基づいて算出した眉間距離と基準特徴点間距離とを比較してドライバが我慢顔をしているか否かを判定することが好ましい。覚醒度推定装置1,1aは、両眉頭を示す特徴点に基づいて算出した眉間距離と基準特徴点間距離とを比較してドライバが我慢顔をしているか否かを判定することで、当該判定ができない事態に陥る可能性を低減できる。
図7において、図1を用いて説明した覚醒度推定装置1と同様の構成については、同じ符号を付して重複した説明を省略する。なお、ここでは、覚醒度推定装置1aは、個人認証機能を、顔判定装置2aに備えるものとする。
図7に示す顔判定装置2aは、図1を用いて説明した顔判定装置2とは、個人認証部27を備える点が異なる。また、図7に示す顔判定装置2aにおける基準距離算出部24および顔判定部25の具体的な動作が、図1に示す顔判定装置2における基準距離算出部24および顔判定部25の具体的な動作とは異なる。
例えば、個人認証部27は、予めドライバの顔画像を記憶しておき、画像取得部21から取得した撮像画像とパターンマッチングにより、ドライバの個人認証を行う。なお、これは一例に過ぎず、個人認証部27は、公知の個人認証技術を用いて、ドライバの個人認証を行えばよい。
個人認証部27は、個人認証の結果(以下「個人認証結果」という。)を、基準距離算出部24および顔判定部25に出力する。
基準距離算出部24は、算出した基準特徴点間距離と、ドライバ個人を特定可能な情報とを対応付けた情報を、基準距離情報として、記憶部26に記憶させる。なお、基準距離算出部24は、ドライバ個人を特定可能な情報は、個人認証結果に含まれている。
また、顔判定部25は、個人認証部27による個人認証結果に基づき、ドライバが我慢顔をしているか否かの判定を行う。具体的には、顔判定部25は、個人認証部27による個人認証結果と、記憶部26に記憶されている基準距離情報とをつきあわせ、ドライバの基準特徴点間距離を特定する。そして、顔判定部25は、距離算出部23が算出した特徴点間距離と、特定したドライバの基準特徴点間距離とを比較することで、ドライバが我慢顔をしているか否かを判定する。顔判定部25は、特徴点間距離が基準特徴点間距離よりも第2閾値以上大きいと判定し、再計算指示部251にその旨の通知をする際には、ドライバ個人を特定可能な情報をあわせて通知する。再計算指示部251は、基準距離算出部24に対して基準特徴点間距離の再計算を指示する際、ドライバ個人を特定可能な情報をあわせて出力する。基準距離算出部24は、ドライバの基準特徴点間距離の再計算を行うと、記憶部26に記憶されている、当該ドライバに対応する基準距離情報を更新する。
図8のステップST51、ステップST53~55、ステップST57~ステップST59の具体的な動作は、それぞれ、図2のステップST1~ステップST4、ステップST6~8の具体的な動作と同様であるため、重複した説明を省略する。
個人認証部27は、個人認証結果を、基準距離算出部24および顔判定部25に出力する。
我慢顔判定処理において、顔判定部25は、記憶部26に、ドライバに対応する基準距離情報が記憶されている場合、当該基準距離情報に基づいてドライバの基準特徴点間距離を取得し、特徴点間距離との比較を行う。
また、我慢顔判定処理において、再計算指示部251は、基準距離算出部24に対して、基準特徴点間距離の再計算を指示する場合、ドライバ個人を特定可能な情報をあわせて出力する。
そして、基準距離算出部24は、算出した基準特徴点間距離と、ドライバ個人を特定可能な情報とを対応付けた情報を、基準距離情報として、記憶部26に記憶させる。
顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25と、個人認証部27の機能は、処理回路101により実現される。すなわち、覚醒度推定装置1aは、顔判定装置2aが撮像画像に基づきドライバが我慢顔をしているか否かを判定した結果と撮像画像における輝度に基づき、ドライバの覚醒度合いを推定するとともに、個人認証を行い、個人認証結果と基準距離情報とを対応付けて記憶させておく制御を行うための処理回路101を備える。
処理回路101は、メモリ105に記憶されたプログラムを読み出して実行することにより、顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25と、個人認証部27の機能を実行する。すなわち、覚醒度推定装置1aは、処理回路101により実行されるときに、上述の図8のステップST51~ステップST59が結果的に実行されることになるプログラムを格納するためのメモリ105を備える。また、メモリ105に記憶されたプログラムは、顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25と、個人認証部27の処理の手順または方法をコンピュータに実行させるものであるとも言える。
覚醒度推定装置1aは、撮像装置3または図示しない出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置102および出力インタフェース装置103を備える。
距離算出部23は、特徴点検出部22が判定した座席位置に対応する乗員毎に、特徴点間距離を算出する。距離算出部23は、各乗員を特定可能な情報と特徴点間距離とを対応付けた情報を距離情報として、記憶部26に記憶させるとともに顔判定部25に出力する。
基準距離算出部24は、特徴点検出部22が判定した座席位置に対応する乗員毎に、基準特徴点間距離を算出する。基準距離算出部24は、各乗員を特定可能な情報と基準特徴点間距離とを対応付けた情報を基準距離情報として、記憶部26に記憶させる。
顔判定部25は、距離情報と基準距離情報とに基づき、乗員毎に、我慢顔をしているか否かを判定する。
顔判定部25は、各乗員を特定可能な情報と我慢顔をしているか否かを示す情報とを対応付けた情報を顔判定情報として、顔判定情報取得部11に出力する。
なお、再計算指示部251が、基準距離算出部24に対して基準特徴点間距離の再計算を指示する際は、各乗員を特定可能な情報をあわせて出力する。基準距離算出部24は、基準特徴点間距離の再計算を行うと、記憶部26に記憶されている、対応する乗員の基準距離情報を更新する。
推定部13は、乗員毎に、覚醒度合いを推定する。なお、推定部13は、例えば、特徴点検出部22から出力される特徴点情報と顔判定情報取得部11から出力される顔判定情報とから、各乗員を判定できる。
具体的には、特徴点検出部22は、個人認証部27による個人認証結果に基づき、乗員毎に複数の特徴点を検出する。なお、図7では、個人認証部27から特徴点検出部22への矢印は省略している。特徴点検出部22は、検出した複数の特徴点と個人認証結果とを対応付けた情報を特徴点情報として、距離算出部23に出力する。
距離算出部23は、個人認証部27による個人認証結果に基づき、乗員毎に特徴点間距離を算出する。距離算出部23は、算出した特徴点間距離と個人認証結果とを対応付けた情報を距離情報として、記憶部26に記憶させるとともに顔判定部25に出力する。
基準距離算出部は、個人認証部27による個人認証結果に基づき、乗員毎の基準特徴点間距離を算出する。基準距離算出部24は、基準特徴点間距離と個人認証結果とを対応付けた情報を基準距離情報として、記憶部26に記憶させる。
顔判定部25は、個人認証部27による個人認証結果に基づき、乗員毎に、我慢顔をしているか否かを判定する。顔判定部25は、我慢顔をしているか否かを示す情報と個人認証結果とを対応付けた情報を顔判定情報として、顔判定情報取得部11に出力する。
推定部13は、個人認証部27による個人認証結果に基づき、乗員毎に、覚醒度合いを推定する。なお、推定部13は、例えば、特徴点検出部22から出力される特徴点情報と顔判定情報取得部11から出力される顔判定情報とから、各乗員を判定できる。
これに限らず、顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25と、個人認証部27のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで覚醒度推定システムを構成するようにしてもよい。
また、顔判定情報取得部11と、輝度検出部12と、推定部13と、画像取得部21と、特徴点検出部22と、距離算出部23と、基準距離算出部24と、顔判定部25と、個人認証部27が全部サーバに備えられてもよい。
また、顔判定装置2が備える各構成部のうちの一部が、覚醒度推定装置1に備えられてもよいし、顔判定装置2aが備える各構成部のうちの一部が、覚醒度推定装置1aに備えられてもよい。例えば、画像取得部21、特徴点検出部22、距離算出部23、または、基準距離算出部24が、覚醒度推定装置1に備えられてもよいし、画像取得部21、特徴点検出部22、距離算出部23、基準距離算出部24、または、個人認証部27が、覚醒度推定装置1aに備えられてもよい。
Claims (13)
- 人が眉間にしわを寄せた顔をしているか否かを示す顔判定情報を取得する顔判定情報取得部と、
人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出する輝度検出部と、
前記顔判定情報取得部が取得した前記顔判定情報と、前記輝度検出部が検出した前記輝度とに基づき、前記人の覚醒度合いを推定する推定部
とを備えた覚醒度推定装置。 - 前記推定部は、
前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が輝度判定用閾値未満である場合、前記人の覚醒度が低下したと推定する
ことを特徴とする請求項1記載の覚醒度推定装置。 - 前記推定部は、
前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が輝度判定用閾値以上である場合、前記人の覚醒度が低下していないと推定する
ことを特徴とする請求項1記載の覚醒度推定装置。 - 前記推定部は、
前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が前記輝度判定用閾値未満であっても、前記撮像画像上の輝度分布に基づき前記人の顔周辺が明るいと判定した場合は、前記人の覚醒度が低下していないと推定する
ことを特徴とする請求項2記載の覚醒度推定装置。 - 前記推定部は、
前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていることを示す前記顔判定情報であり、かつ、前記輝度検出部が検出した前記輝度が前記輝度判定用閾値以上であっても、前記撮像画像上の輝度分布に基づき前記人の顔周辺に影があると判定した場合は、前記人の覚醒度が低下したと推定する
ことを特徴とする請求項3記載の覚醒度推定装置。 - 前記推定部は、
前記顔判定情報取得部が取得した前記顔判定情報が、前記人が眉間にしわを寄せた顔をしていないことを示す前記顔判定情報である場合は、前記撮像画像に基づき、前記人の前記覚醒度合いを推定する
ことを特徴とする請求項1記載の覚醒度推定装置。 - 前記輝度検出部は、前記撮像画像上の画素の輝度値の平均値を、前記撮像画像の前記輝度とする
ことを特徴とする請求項1記載の覚醒度推定装置。 - 前記撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像上の、前記人の顔の複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部が検出した前記複数の前記特徴点の前記撮像画像上の座標を3次元座標に変換し、変換後の前記3次元座標から前記複数の前記特徴点の間の特徴点間距離を算出する距離算出部と、
前記距離算出部が算出した前記特徴点間距離と基準特徴点間距離とを比較することで前記人が眉間にしわを寄せた顔をしているか否かを判定し、前記特徴点間距離が前記基準特徴点間距離よりも第1閾値以上小さい場合、前記人が眉間にしわを寄せた顔をしていると判定する顔判定部
とを備えた請求項1記載の覚醒度推定装置。 - 前記距離算出部が算出した前記特徴点間距離の、基準算出対象期間分の履歴に基づき、前記基準特徴点間距離を算出する基準距離算出部を備え、
前記顔判定部は、前記距離算出部が算出した前記特徴点間距離と前記基準距離算出部が算出した前記基準特徴点間距離とを比較する
ことを特徴とする請求項8記載の覚醒度推定装置。 - 前記顔判定部が前記特徴点間距離と前記基準特徴点間距離とを比較した結果、前記特徴点間距離が前記基準特徴点間距離よりも第2閾値以上大きいと判定した場合、前記基準距離算出部に対して前記基準特徴点間距離の再計算を指示する再計算指示部を備え、
前記基準距離算出部は、前記再計算指示部から前記基準特徴点間距離の再計算を指示された場合、前記基準特徴点間距離を再算出する
ことを特徴とする請求項9記載の覚醒度推定装置。 - 前記人の個人認証を行う個人認証部を備え、
前記基準距離算出部は、前記個人認証部による前記個人認証の結果に基づき、個人毎の前記基準特徴点間距離を算出し、
前記顔判定部は、前記個人認証部による前記個人認証の結果と、前記基準距離算出部が算出した前記個人毎の前記基準特徴点間距離に基づき、前記特徴点間距離と比較する前記基準特徴点間距離を特定する
ことを特徴とする請求項9記載の覚醒度推定装置。 - 前記複数の前記特徴点は前記人の両眉頭であり、前記特徴点間距離は前記人の両眉頭間の距離である
ことを特徴とする請求項8記載の覚醒度推定装置。 - 顔判定情報取得部が、人が眉間にしわを寄せた顔をしているか否かを示す顔判定情報を取得するステップと、
輝度検出部が、人の顔が存在すべき範囲が撮像された撮像画像における輝度を検出するステップと、
推定部が、前記顔判定情報取得部が取得した前記顔判定情報と、前記輝度検出部が検出した前記輝度とに基づき、前記人の覚醒度合いを推定するステップ
とを備えた覚醒度推定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/043119 WO2023095229A1 (ja) | 2021-11-25 | 2021-11-25 | 覚醒度推定装置および覚醒度推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2023095229A1 JPWO2023095229A1 (ja) | 2023-06-01 |
JP7403729B2 true JP7403729B2 (ja) | 2023-12-22 |
Family
ID=86539106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023561121A Active JP7403729B2 (ja) | 2021-11-25 | 2021-11-25 | 覚醒度推定装置および覚醒度推定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7403729B2 (ja) |
WO (1) | WO2023095229A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008212298A (ja) | 2007-03-01 | 2008-09-18 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
JP2010142345A (ja) | 2008-12-17 | 2010-07-01 | Aisin Seiki Co Ltd | 眼開閉判別装置及びプログラム |
JP2011043961A (ja) | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
JP2014013448A (ja) | 2012-07-03 | 2014-01-23 | Daiwa House Industry Co Ltd | 不快度推定システム及び不快度推定方法 |
WO2020121425A1 (ja) | 2018-12-12 | 2020-06-18 | 三菱電機株式会社 | 状態判定装置、状態判定方法、及び状態判定プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007245911A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 監視装置および方法、記録媒体、並びに、プログラム |
JP2009096384A (ja) * | 2007-10-18 | 2009-05-07 | Aisin Seiki Co Ltd | 運転支援装置及び運転支援方法 |
JP5045492B2 (ja) * | 2008-02-27 | 2012-10-10 | トヨタ自動車株式会社 | 覚醒度推定装置 |
-
2021
- 2021-11-25 WO PCT/JP2021/043119 patent/WO2023095229A1/ja active Application Filing
- 2021-11-25 JP JP2023561121A patent/JP7403729B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008212298A (ja) | 2007-03-01 | 2008-09-18 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
JP2010142345A (ja) | 2008-12-17 | 2010-07-01 | Aisin Seiki Co Ltd | 眼開閉判別装置及びプログラム |
JP2011043961A (ja) | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
JP2014013448A (ja) | 2012-07-03 | 2014-01-23 | Daiwa House Industry Co Ltd | 不快度推定システム及び不快度推定方法 |
WO2020121425A1 (ja) | 2018-12-12 | 2020-06-18 | 三菱電機株式会社 | 状態判定装置、状態判定方法、及び状態判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2023095229A1 (ja) | 2023-06-01 |
JPWO2023095229A1 (ja) | 2023-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
CN104573623B (zh) | 人脸检测装置、方法 | |
JP5109922B2 (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
JP6303297B2 (ja) | 端末装置、視線検出プログラムおよび視線検出方法 | |
US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
JP6187817B2 (ja) | 顔検出装置、方法およびプログラム | |
JP4915413B2 (ja) | 検出装置および方法、並びに、プログラム | |
JP6090129B2 (ja) | 視認領域推定装置 | |
JP6482746B2 (ja) | 瞼検出装置、居眠り判定装置、および瞼検出方法 | |
JP2006293909A (ja) | 運転者の視線方向検出装置 | |
JP5061563B2 (ja) | 検出装置、生体判定方法、およびプログラム | |
JP4776581B2 (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
JP4623172B2 (ja) | 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 | |
JP7403729B2 (ja) | 覚醒度推定装置および覚醒度推定方法 | |
JP3905544B2 (ja) | 顔画像処理装置 | |
JP2019185556A (ja) | 画像解析装置、方法およびプログラム | |
JP2007034436A (ja) | 覚醒度推定装置及び方法 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
JP2017134777A (ja) | 動作判定プログラム、動作判定方法及び制御装置 | |
JP7374386B2 (ja) | 状態判定装置および状態判定方法 | |
JP2008129901A (ja) | 眼鏡検出装置、画像処理装置、眼鏡検出方法、及び、コンピュータプログラム | |
KR20150046889A (ko) | 카메라 영상을 이용한 테일 게이트 개방 각도 제어 장치 및 그 방법 | |
CN107273847B (zh) | 虹膜采集方法及设备、电子装置和计算机可读存储介质 | |
CN108537552B (zh) | 基于透镜的支付方法、装置及*** | |
JP2010057682A (ja) | 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231004 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7403729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |