JP2021144580A - ドライバ状態推定装置 - Google Patents

Abstract

【課題】安価なシステムでもって、お面が示す人工的な顔面であるのか否かを容易に判定できるようにする。【解決手段】カメラＳ１によって、運転席４に着座されたドライバＤの顔面を含む車室内の画像が取得される。カメラＳ１によって取得された画像に基づいて、ドライバ状態が推定される。コントローラＵには、ドライバＤが発声したときの顔面の特徴部位（例えば眉、眼、鼻、口）の変化量または発声に対する特徴部位の変化の同調性との少なくとも一方に関するデータが、データベースとして記憶される。ドライバＤが発声したときに、カメラＳ１によって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性がデータベースと合致しないときに、ドライバ状態の推定が禁止される。【選択図】 図８

Description

本発明は、ドライバ状態推定装置に関するものである。

車両においては、カメラによってドライバの顔面を含む車室内の画像を取得して、取得された画像に基づいてドライバの状態を推定するものがある。そして、推定されたドライバ状態に応じた運転支援を行うこともある。特に、推定されたドライバ状態が安全運転を阻害するような異常状態であると推定されたときに、安全確保のための運転支援を行うことが考えられている。例えば、ドライバが脇見をしていると推定されたときには警報を行ったり、ドライバが居眠りしていると推定されたときには、車両を自動車的に停止させたり、所定の目標地点に向けて自動運転する等のことが考えられている。

一方、ドライバの中には、精巧なお面（あるいは顔面を示す写真）で顔面を覆って、本人とは異なる他人に見せかけるなりすましを行うことが考えられる。なりすましが行われた状態では、本人（ドライバ）の状態を正しく推定することが困難である。特許文献２、特許文献２には、人間の皮膚特有の周波数の反射光を検出することにより、上記なりすましを見破る技術が開示されている。

特開２０１９−１３９４３３号公報 特許第６２１３６６３号公報

前記特許文献１、特許文献２のものでは、人間の皮膚特有の周波数の反射光を利用することから、高額なカメラが必要になってしまい、大量生産を行う車両に用いることがコスト的に難しいものとなる。また、車室内の光の変化は大きいが、上記特許文献に記載の技術のものでは光の変化に弱いことから、この点においても車両用として採択することが難しいものとなる。

ところで、お面をかぶって他人になりすます以外に、お面を利用していたずらやシステムの限界を試す等のことが考えられる。具体的には、異常状態を示すような表情をしたお面をかぶって運転することが考えられる。この場合、お面が示す表情に基づいてドライバ状態が異常状態であると判断されて、不必要に運転支援を行ってしまうことおそれが生じる。

一方、ドライバが異常であると推定されたことによって実行される運転支援の内容によっては、やむを得ず実行するものの、極力実行を避けたいものもある。例えば、車両を自動的に停止させる運転支援を実行する場合、そのまま走行を継続させるよりは安全ではあるが、停止位置が高速道路であるときは、たとえ路肩に停止させたとしても危険性が高いものとなる。また、悪意のある者にあっては、実行された運転支援では支援不十分であるとか不具合がある等のクレームをつけるために、不必要に（故意に）運転支援を実行させる可能性も考えられる。

上述のように、カメラによって取得されるドライバの画像に基づいてドライバ状態を推定する場合、カメラで取得された画像が、ドライバ本人の顔面状態を示す真性な顔面なのか、あるいはお面の表情が示す人工的な顔面なのかを判定することが強く望まれるものである。特に、安価なシステムとしつつ、しかも光の変化が大きい車室内の画像の取得であることを考慮したものとすることが望まれるものである。

本発明は以上のような事情を勘案してなされたもので、その目的は、安価なシステムでもって、お面の表情が示す人工的な顔面であるのか否かを容易に判定できるようにしたドライバ状態推定装置を提供することにある。

前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
ドライバが発声したときのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性との少なくとも一方に関するデータを記憶したデータベースと、
ドライバが発声したときに、前記カメラによって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性が前記データベースと合致しないときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備えているようにしてある。

上記解決手法によれば、カメラによって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性がデータベース（の記憶内容）と合致しないときには、お面によって作られた人工的な表情であると判断することができることから、ドライバ状態の推定が禁止される。また、カメラとしては、車両用として広く使用されている一般的なカメラを用いることができ、全体として安価にシステムを構築することができる。特に、発声時でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性をみることにより、特徴部位がお面によって隠されているのか、露出している真性なものであるのかを精度よく判定することできる。

上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
ドライバに対して発声を促すための問いかけを行う問いかけ手段をさらに有している、ようにしてある（請求項２対応）。この場合、お面で顔面を隠しているか否かの判断のためにドライバが発声する機会を確保すること、特に乗員としてドライバ一人のみの場合に好適である。

ドライバが他の乗員と会話しているときの会話音声を検知する音声検知手段と、
ドライバが会話しているときの顔の向きと顔面の表情変化との少なくとも一方のデータを取得して記憶するデータ取得手段と、
をさらに備え、
前記禁止手段は、ドライバが会話しているときのドライバの顔の向きと顔面の表情変化との少なくとも一方が、前記データ取得手段に記憶されているデータと合致しないときにも前記推定手段によるドライバ状態の推定を禁止する、
ようにしてある（請求項３対応）。この場合、ドライバの顔面がお面によって隠されているか否かの判定を別の手法でも行うようにして、ドライバ状態を誤って推定してしまう事態をより確実に防止する上で好ましいものとなる。

前記特徴部位として複数箇所設定され、
前記データベースは、ドライバが発声したときの前記特徴部位全てについての変化量と発声に対する該特徴部位全てについての変化の同調性に関する少なくとも一方のデータとされている、
ようにしてある（請求項４対応）。この場合、判定対象となる特徴部位を複数設定して、ドライバの顔面がお面によって隠されているか否かをより確実に判定する上で好ましいものとなる。この一方、複数の特徴部位のうち一部が露出している場合には、この露出している特徴部位に基づいてドライバ状態を推定することが可能となり、ドライバ状態を推定する機会確保の上でも好ましいものとなる。

前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
前記禁止手段は、前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときにも、前記推定手段によるドライバ状態の推定を禁止する、
ようにしてある（請求項５対応）。この場合、顔面の特徴部位として好ましい部位が提供される。そして、複数の特徴部位の全てが検出できないということは、各特徴部位を検出できないようなお面をかぶっていると判断でき、この場合もドライバ状態の推定を禁止して、ドライバ状態を誤って推定してしまう事態をより確実に防止する上で好ましいものとなる。

前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段をさらに備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ようにしてある（請求項６対応）。この場合、お面によって人工的に作られた表情に起因して、不必要に運転支援を行ってしまう事態を防止することができる。

前記カメラが赤外線式カメラとされている、ようにしてある（請求項７対応）。この場合、昼夜を問わず鮮明な画像を取得することができることから、画像に基づいてドライバ状態を精度よく推定する上で好ましいものとなる。また、特徴部位がお面によって隠されているのか、露出している真性なものであるのかを精度よく判定する上でも好ましいものとなる。

本発明によれば、安価なシステムでもって、お面が示す人工的な顔面であるのか否かを容易に判定することができる。

本発明が適用された車両のインストルメントパネル付近を後方から見た図。 運転を行っているドライバを側方から見た図。 カメラ側から運転を行っているドライバを見た図。 本発明の制御系統例を示す図。 アイマスクによってドライバ顔面のうち眉と眼が隠された状態を示す図。 口元マスクによってドライバ顔面のうち鼻の下部から下方部分が隠された状態を示す図。 フェイスマスクによって、ドライバ顔面のほぼ全体が隠された状態を示す図。 本発明の制御例を示すフローチャート。

図１は、本発明が適用された車両Ｖにおける車室内前部の構造を示している。図中、１はインストルメントパネル、２はフロントウインドガラス、３はステアリングハンドル、４は運転席シート、５は助手席シート、６はシフトノブ、７はコマンダスイッチ、８はＡピラー、９サイドウインドガラスである。

インストルメントパネル１の上面には、車幅方向略中央部において、ディスプレイ１０が固定設置されている。このディスプレイ１０は、タッチ操作式とされて、各種情報が選択的に表示される。ディスプレイ１０での表示内容の変更は、コマンダスイッチ７を操作することによっても行うことが可能となっている。ディスプレイ１０への表示内容としては、例えば、ナビゲーション装置用の地図表示、テレビ画面表示、車両Ｖに搭載されている各種機器類の設定用の表示等がある。

ディスプレイ１０の外周縁部を構成する枠体が、符号１０ａで示される。この枠体１０ａの上部位置に、カメラＳ１が設置されている。カメラＳ１は、実施形態では赤外線式とされて、昼夜を問わず鮮明な画像を取得する（撮像する）ことが可能となっている。

カメラ１０による撮影範囲は、運転席シート４に着座されたドライバの顔面を含む所定範囲となるように設定されている。図２には、運転席４に着座されたドライバＤが示される。カメラＳ１の上下方向の撮影角度が、図２中符号θで示される。この図２において、運転席シート４のうち、シートクッションが符号４Ａで示され、シートバックが符号４Ｂで示され、ヘッドレストが符号４Ｃで示される。

図３は、運転席シート４にドライバＤが着座している状況を前方から見た状況が示される。ドライバＤは、Ｂピラー１１から延びるシートベルト１２を装着した状態となっている。前記カメラＳ１による撮影範囲Ｋが、図中一点鎖線で囲んだ方形の範囲とされている。撮影範囲Ｋには、ドライバＤの顔面全体、運転席シート４のうちシートバック４Ｂの上部から上方部分、ステアリングハンドル３の上部、Ｂピラー１１、シートベルト１２等が含まれる。

図３においては、ドライバＤは、お面（マスク）をかぶっていない状態であり、その顔面全体が露出している。この場合、カメラＳ１による取得される画像は、ドライバＤの自然な顔面全体を撮像した真性なものとなる。

ドライバ状態の推定に際して用いられる顔面の特徴部位として、実施形態では、眉（その付近を含む）、眼（特に瞳で、その付近を含む）、鼻（その付近を含む）、および口（その付近を含む）としてある。そして、上記複数の特徴部位のうち、少なくとも１カ所の状態（現在の状態やその変化量）に基づいて、ドライバ状態を推定するようにしてある。

図５〜図７に、ドライバＤの顔面の一部あるいは全部がお面（マスク）によって隠された状態が示される。図５は、アイマスクＭ１によって、ドライバ顔面のうち眉（その付近を含む）と眼（その付近を含む）が覆われた状態が示される。この場合、眉や眼の状態に基づくドライバ状態の推定は困難であるが、露出している鼻や口の状態（現在の状態およびその変化量）に基づいてドライバ状態を推定することが可能である。

図６は、口元マスクＭ２によって、ドライバ顔面のうち鼻の下部から下方部分が覆われた状態が示される。この場合、露出している眉や眼、鼻の上部の状態（現在の状態およびその変化量）に基づいてドライバ状態を推定することが可能である。なお、口元マスクＭ２をすることは、いたずらではなく、一般的に行われていることである。

図７は、フェイスマスク（お面）Ｍ３によって、ドライバ顔面のほぼ全体を覆った状態が示される。運転の際に、顔面全体を覆うフェイスマスクＭ３を用いるのは通常では考えられず、いたずらや悪意をもった状態と考えられる。この場合、複数の特徴部位が全てフェイスマスクＭ３によって隠されていることから、ドライバ状態の推定は禁止される。

一方、フェイスマスクＭ３が、例えば立体的であり、しかも異常状態を示すような表情を有するものが用いられることが考えられる。この場合、カメラＳ１によって取得された画像において、特徴部位が存在すると判断されて、この特徴部位の状態からドライバ状態が異常状態であると誤って判断されてしまう可能性が高いものとなる。このため、本発明では、このようなフェイスマスクＭ３を用いているのか否かを判断して、フェイスマスクＭ３が示す表情に基づいてドライバ状態を推定することを禁止するようにしてある。

図４は、ドライバ状態の推定と、推定されたドライバ状態に応じて運転支援を行うための制御系統例が示される。図中、Ｕは、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）で、制御手段としてのＣＰＵの他、記憶手段としてのＲＯＭ、ＲＡＭや、インターフェイス等を備えている。このコントローラＵには、カメラＳ１の他、各種機器類Ｓ２〜Ｓ４からの信号が入力される。Ｓ２は、車外を撮影するためのカメラであり、特に自動運転等を行うために車両Ｖの前方を撮影するものとなっている。Ｓ３は、車両前方の障害物までの距離を検出するレーダである。Ｓ４は、ナビゲーション装置であり、ディスプレイ１０への地図表示や、ＧＰＳによって車両Ｖの現在位置を取得する。Ｓ５は、ドライバＤの発声を検知するマイクである。

コントローラＵによって、各種機器類Ｓ１１〜Ｓ１６が制御される。Ｓ１１は、ブレーキ装置であり、自動ブレーキを行うためのものである。Ｓ１２はエンジンのスロットルであり、車速を制御するためのものである（燃料噴射弁を制御してもよい）。Ｓ１３はステアリングハンドル４であり、現在走行している車線を維持させたり、車線変更を含む自動運転を行うためのものである。 Ｓ１４は、スピーカであり、ドライバＤに所定の警報を音声によって行うためのものである。Ｓ１５は、ハザードランプであり、ドライバＤが実質的に運転不可能であると推定されたときに、周囲の他車両等に対して注意を促すためのものである。Ｓ１６は、無線通信器であり、ドライバＤが実質的に運転不可能であると推定されたときに、無線によって運転管理を行う管理センタや病院あるいは警察へ緊急連絡するためのものである。連絡内容としては、ドライバＤに重大な異常が生じているという情報、車両Ｖの現在位置情報等がある。

コントローラＵは、基本的に、カメラＳ１によって取得された画像に基づいて、ドライバ状態を推定し、推定された結果に応じて適宜運転支援を行う機能を有する（推定手段と運転支援の制御手段とを構成）。

また、コントローラＵは、カメラＳ１によって取得された画像が示す顔面の表情状態が、お面が示す人工的な表情なのか、あるいはお面をしていない真性な表情なのかを判断する。このため、前述した各特徴部位について、その変化量についての第１のデータベースをあらかじめ作成して記憶している（ＲＯＭへの記憶）。すなわち、お面をしていないときのドライバＤの各特徴部位での変化量（所定の単位時間において取得される変化量）は、所定範囲の大きさとなる（顔面の自然な動きから導き出される変化量の範囲）。なお、データベースは、各特徴部位毎に設定されているものである（各特徴部位毎に、個別に所定範囲が記憶されている）。

さらに、コントローラＵは、お面が示す人工的な表情なのか否かを精度よく判定するために、ドライバＤが発声（発話）に関連したデータを第２のデータベースとして記憶している。この第２のデータベースには、ドライバＤが発声したときの各特徴部位の変化量と発声に対する各特徴部位の変化の同調性との両方を記憶したものとなっている。なお、第２のデータベースには、ドライバＤが発声したときの各特徴部位の変化量と発声に対する各特徴部位の変化の同調性とのいずれか一方のみを記憶したものであってもよい。いずれか一方のみを記憶する場合は、発声に対する各特徴部位の変化の同調性を記憶しておくのが好ましい。

さらに又、コントローラＵは、お面が示す人工的な表情なのか否かをより精度よく判定するために、ドライバＤが他の乗員と会話している際の顔の向きと各特徴部位の変化（変化方向と変化量との少なくとも一方）との両方または一方を記憶した第３のデータベースを記憶している。なお、前述した各データベースは、ＲＯＭに記憶されている。

ここで、第２のデータベースおよび第３のデータベースを作成、記憶する場合は、顔面を全て露出した状態で取得されたデータとされる。顔面を全て露出した状態であるか否かは、例えば、前述した全ての特徴部位について、ある単位時間あたりの変化量が全て、前記第１のデータベースに記憶されている所定範囲であることが確認されたときとすることができる。

逆に、特徴部位の変化量が、上記所定範囲の下限値よりも小さいときや、該所定範囲の上限値よりも大きいときは、この特徴部位がお面等によって隠された部位であると判断される。動きのないお面（フェイスマスクＭ３）を用いたときは、特徴部位の変化量が実質的に生じないものである。このため、特徴部位の変化量が下限値よりも小さいときは、お面が作り出している人工的な表情であると判断される。一方、特徴部位の一部（例えば口の部位）に人工的な動きをとり得るようにしたお面の場合には、特徴部位の変化量が不自然に（相当に）大きなものとなる場合が多い。このため、特徴部位の変化量が前記上限値よりも大きいときは、お面が作り出している人工的な表情であると判断される。

次に、図８のフローチャートを参照しつつ、コントローラＵによる制御内容について説明する。なお、以下の説明でＱはステップを示す。

まず、図８のＱ１において、カメラＳ１によって画像が取得される。カメラＳ１が赤外線式であることから、昼夜を問わず鮮明が画像を取得することが可能である。次いで、Ｑ２において、取得された画像中から、顔面の特徴部位が検出（抽出）される。

Ｑ３においては、画像から、全ての特徴部位が未検出であるか否かが判別される。このＱ３の判別でＹＥＳのときは、動きのないお面をかぶっているというように判断されて、Ｑ４に移行される。Ｑ４では、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援（警告等）も禁止される。

前記Ｑ３の判別でＮＯのときは、Ｑ５において、検出された特徴部位の動きが、所定時間についてモニタリングされる（複数画像から特徴部位の動きを示す変化量を算出）。

Ｑ５の後、Ｑ６において、ドライバＤの発声が検出されたか否かが判別される。このＱ６の判別でＮＯのときは、Ｑ５に戻る。

上記Ｑ６の判別でＹＥＳのときは、Ｑ７において、特徴部位の変化量（変動量）と発声に対する特徴部位の変化の同調性との両方が、前述した第２のデータベースに照合される。この後、Ｑ８において、Ｑ７での照合結果が一致するか否か、つまり特徴部位の変化量（変動量）と発声に対する特徴部位の変化の同調性との両方が、第２のデータベースでの記憶範囲内であるか否かが判別される。

上記Ｑ８の判別でＮＯのときは、Ｑ９に移行される。Ｑ９は、Ｑ４に対応するもので、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援（警告等）も禁止される。

前記Ｑ８の判別でＹＥＳのときは、そのまま終了される。このＱ８の判別でＹＥＳのときは、カメラＳ１によって取得された画像が、ドライバＤの真性な表情を示すものであると判断されたときであり、このときは、特徴部位の動きに応じてドライバ状態が推定される。推定されたドライバ状態になんらかの異常があると判断されたときは、異常状態に応じた運転支援が適宜行われる。

図８の制御において、Ｑ８からＱ９へ移行されるのは、特徴部位の全てについてＱ８の判別でＮＯとなったときである。つまり、複数の特徴部位のうち少なくとも１カ所（好ましくは２カ所以上）についてＱ８の判別でＹＥＳのときは、Ｑ９へ移行されることなく、Ｑ８の判別でＹＥＳとなった特徴部位に基づいてドライバ状態が推定される。

ここで、Ｑ６の判別でＮＯとなってＱ５へ移行される処理が繰り返されるとき（例えば１回目にＱ６の判別でＮＯとなってから所定時間経過したとき）は、スピーカＳ１４から、ドライバＤに対して発声を促す旨の問いかけ（報知）を行うのが好ましい。問いかけの内容としては、種々選択できるが、例えば、「体調は良好ですか」とか「運転を楽しんでおりますか」等として、ドライバＤの発声を促す。そして、ドライバＤの発声が確認されたら、さらに会話を進めるようにスピーカＳ１４から発声させることもできる（人工知能ＡＩを利用した会話の実行）。このような問いかけは、イグニッションスイッチがＯＮとなったときや、走行中に定期的あるいは不定期に行うことができる。

以上に加えて、ドライバＤが他の乗員と会話していることが確認された場合には、ドライバＤの発声を、ドライバＤの顔の向きと特徴部位の変化とに対応づけてデータベース（第３のデータベース）として記憶しておくことができる。第３のデータベースの作成、記憶は、前述したように、ドライバＤの顔面が全て露出していることを確認した状態で行うことができる。

上記第３のデータベースが作成された後にドライバＤが他の乗員と会話した際に、ドライバＤの顔の向きと特徴部位の変化とが、第３のデータベースと照合される。そして、照合結果が一致（ほぼ一致）しないときには、お面をしている状態であると判断して、ドライバ状態の推定を禁止することができる。

上述した図８に示す制御は、実施形態では、イグニッションスイッチがＯＮとされる毎に実行され、またイグニッションスイッチがＯＮとされた後は定期的に（所定時間経過毎に）実行され、さらに、カメラＳ１で取得される画像に乱れが生じた毎に実行される。なお、制御の実行条件は、適宜設定できる。

ドライバ状態に応じた運転支援の例について、簡単に説明する。まず、コントローラＵ（の記憶手段）には、あらかじめ、ドライバの多くの表情とそのときのドライバ状態とが関連付けられたデータベースが記憶されている。例えば、顔の向き、視線方向、瞳の状態、眉の動き、唇やその周辺の動き、鼻の動き等について、例えば「漫然としている」、「脇見をしている」、「眠気をもよおしている」、「居眠りしている」、「急病状態である」等のドライバ状態と関連づけられて記憶されている。

異常状態として、例えば、軽度、中度、重度の３段回に分けて判定される。軽度の異常状態は、例えば、注意散漫であるとか、眠気をもよおしているとか、脇見時間が長いとかで、この場合は、スピーカＳ１４からの音声によって注意警報が行われる。

異常状態が中度であるときは、例えば居眠りの可能性があるときである。このときは、各種機器類Ｓ１１〜Ｓ１３を制御して、徐々に所定速度まで減速を行うと共に車線維持を行い、さらにスピーカＳ１４から大きな音で注意を行う（覚醒させる）。

異常状態が重度であるときは、もはや運転続行は不可能なときと判断される状態であり、例えば、ドライバＤが、完全に居眠り状態になっているときの他、前倒れあるいは横倒れになってしまうとかの急病発生状態のときである。このときは、ハザードランプＳ１５を作動させた状態で、路肩に向けて自動走行させつつ、車両Ｖをすみやかに停止させる。そして、無線通信によって、管理センタや病院あるいは警察に向けて、ドライバＤに重大な異常が生じていることと、車両Ｖの現在位置を報知する。この場合、車両のすみやかな停止に代えて、自動運転によって最寄りの病院へ走行させることもできる。

前述したドライバ状態（異常状態）とそれに応じて運転支援の内容とは、あくまで一例あり、ドライバ状態に応じた運転支援の内容は適宜のものを選択できる。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。顔面の特徴部位としては、頬や額等適宜の部位を含めることもできる。ドライバ状態の推定に際しては、例えば眉、眼、鼻、口の複数箇所のうち任意の１カ所に基づいて行うことも可能ではあるが、任意の２カ所以上の特徴部位に基づいて行うのが、精度よくドライバ状態を推定する上で好ましいものとなる。

ドライバＤの発声時の変化は、口や顎の部位に大きく現れるので、特徴部位として口の他に顎（その付近を含む）を含めておくのが好ましい。この場合、風邪を引いている等のために、ドライバＤの顔面のうち口およびその周辺部位が口元マスク（風邪マスク）Ｍ２によって隠されている場合でも、口元マスクＭ２を通して口やその周辺の動きおよび顎の動きを検出することができる（隠されていない眉や眼の動きに加えて、口元マスクＭ２を介しての口、顎の動きをも加味してドライバ状態を推定することが可能になる。

カメラ２０によって所得される画像は静止画でも動画でもよい。静止画の場合は、連続した複数の画像からドライバ状態を判定するのが好ましい。カメラＳ１としては、赤外線式に限らず、可視光で撮像するデジタルカメラ等、適宜のものを用いることができる。

推定されたドライバ状態に応じた運転支援は、安全運転を行うものに限らず、例えば運転技量に関するものに設定する等、適宜の内容を採択することができる。例えば、ドライバ状態が「退屈」であるときに、ステアリングハンドルの応答特性を高めたり、エンジンの出力特性を敏感にする等の運転支援によって、「楽しい」と感じる方向の運転支援を行うことができる。逆に、駐車時にドライバ状態が、「不安」であるときは、例えばディスプレイ１０に駐車支援用の周囲状況を示す画像を提供したり、ステアリングハンドルを自動的に操作する運転支援を行う等のこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

本発明は、カメラによって取得される画像に基づいてドライバ状態を推定するようにした車両に適用して好適である。

Ｖ：車両
Ｄ：ドライバ
Ｓ１：カメラ
Ｋ：撮影範囲
１：インストルメントパネル
２：フロントウインドガラス
３：ステアリングハンドル
４：運転席シート
４Ａ：シートクッション
４Ｂ：シートバック
４Ｃ：ヘッドレスト
１０：ディスプレイ
１０ａ：枠体
１１：Ｂピラー
１２：シートベルト

Claims (7)

1. 運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
   前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
   ドライバが発声したときのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性との少なくとも一方に関するデータを記憶したデータベースと、
   ドライバが発声したときに、前記カメラによって取得された画像中でのドライバ顔面の特徴部位の変化量または発声に対する特徴部位の変化の同調性が前記データベースと合致しないときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
   を備えていることを特徴とするドライバ状態推定装置。
2. 請求項１において、
   ドライバに対して発声を促すための問いかけを行う問いかけ手段をさらに有している、ことを特徴とするドライバ状態推定装置。
3. 請求項１または請求項２において、
   ドライバが他の乗員と会話しているときの会話音声を検知する音声検知手段と、
   ドライバが会話しているときの顔の向きと顔面の表情変化との少なくとも一方のデータを取得して記憶するデータ取得手段と、
   をさらに備え、
   前記禁止手段は、ドライバが会話しているときのドライバの顔の向きと顔面の表情変化との少なくとも一方が、前記データ取得手段に記憶されているデータと合致しないときにも前記推定手段によるドライバ状態の推定を禁止する、
   ことを特徴とするドライバ状態推定装置。
4. 請求項１ないし請求項３のいずれか１項において、
   前記特徴部位として複数箇所設定され、
   前記データベースは、ドライバが発声したときの前記特徴部位全てについての変化量と発声に対する該特徴部位全てについての変化の同調性に関する少なくとも一方のデータとされている、
   ことを特徴とするドライバ状態推定装置。
5. 請求項１ないし請求項４のいずれか１項において、
   前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
   前記禁止手段は、前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときにも、前記推定手段によるドライバ状態の推定を禁止する、
   ことを特徴とするドライバ状態推定装置。
6. 請求項１ないし請求項５のいずれか１項において、
   前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段をさらに備え、
   前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
   ことを特徴とするドライバ状態推定装置。
7. 請求項１ないし請求項６のいずれか１項において、
   前記カメラが赤外線式カメラとされている、ことを特徴とするドライバ状態推定装置。

Images