JP2020194228A - 運転者状態判定装置、運転者状態判定方法、および、プログラム - Google Patents

Abstract

【課題】曲線路であっても車両の進行方向と運転者の顔向きとの関係を把握する。【解決手段】運転者状態判定装置（１０）は、所定期間において、運転者の向きを順次取得し、車両の進行方向を順次取得し、運転者の向きと車両の進行方向との相関の度合を示す相関係数を繰り返し計算し、所定期間における、運転者の向きと車両の進行方向との差分を補正値として繰り返し計算し、相関係数に応じて、差分を計算するか否かを決定する。【選択図】図１

Description

本発明は、運転者状態判定装置、運転者状態判定方法、および、プログラムに関する。

ＤＭＳ（Driver Monitoring System）は、車両内に設置されたカメラやその他のセンサによって、運転者の注意力、意識、健康状態等を監視するシステムである。ＤＭＳでは、例えば、運転者の脇見を検知するために、運転者の顔向きを捉える必要がある。ところが、車両の運転者の顔向きには個人差がある。また、車両が直線路を走行中であっても、運転者は、車両の真正面を見ているとは限らない。従って、脇見判定の精度を上げるべく、各運転者の正面に対する顔向きを用いて脇見判定を行うためには、ＤＭＳは、車両の進行方向と、運転者の顔向きとの関係を学習する必要がある。

特開２０１０−２５７２９３号公報

直線走行を前提とした学習方法においては、発進から自動運転開始までの間（例えば、パーキングエリア発車から本線合流までの間等）に直線路があまりない場合に、十分な学習機会が得られないという問題がある。そのように、学習が不十分な状態では、自動運転等のシステムによる走行を制限する必要がある。

なお、特許文献１には、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバモニタカメラが脇見と誤判定して警報することを防止するドライバ状態監視装置が開示されている。ただし、特許文献１の技術は、上記の問題を解決するものではない。

本発明の一態様は、曲線路であっても、車両の進行方向と、運転者の顔向きとの関係を把握することを目的とする。

上記の課題を解決するために、本発明の一態様に係る運転者状態判定装置は、所定期間において、運転者の向きを順次取得する運転者情報取得部と、前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得部と、前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算部と、前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算部と、を備え、前記補正値計算部は、前記相関係数に応じて、前記差分を計算するか否かを決定する。

前記構成によれば、直線走行を前提とすることなく、運転者の向きおよび車両の進行方向を順次取得し、それらの差分を繰り返し計算するので、曲線路であっても、車両の進行方向と、運転者の向きとの関係を把握することができる。また、相関係数に応じて差分を計算するか否かを決定するので、有効な補正値を取得することができる。なお、運転者の向きとは、運転者の顔向き、または、運転者の視線の向きである。

本発明の一態様に係る運転者状態判定装置は、前記態様１において、前記補正値計算部が、前記運転者の向きと、前記相関係数に応じて前記車両の進行方向を変化させた方向との差分を計算することとしてもよい。

本発明の一態様に係る運転者状態判定装置は、前記補正値計算部が、前記相関係数が所定値以上である場合に、前記差分を計算することとしてもよい。

前記構成によれば、相関係数が所定値以上である場合に差分を計算するため、運転者の向きと車両の進行方向との相関の度合が弱い場合に差分を計算しないので、有効な補正値を取得することができる。

本発明の一態様に係る運転者状態判定装置は、前記運転者の向きと、前記車両の進行方向とを用いて前記運転者の状態を判定する運転者状態判定部をさらに備え、前記補正値計算部は、前記運転者状態判定部が、前記運転者が周囲を見る動作を行っていると判定した場合に、前記補正値を蓄積しないこととしてもよい。

周囲を見る動作を行っている運転者の向きは、運転中の運転者の正面を定義するには適切でない。前記構成によれば、そのような運転者の向きを用いた補正値を蓄積させないようにすることができる。なお、運転者が周囲を見る動作には、周囲を確認する動作、脇見する動作等が含まれる。

本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の速度および操舵情報を用いて推定された、前記車両の進行方向を取得することとしてもよい。

本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の速度およびヨーレートを用いて推定された、前記車両の進行方向を取得することとしてもよい。

本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の各車輪の回転速度を用いて推定された、前記車両の進行方向を取得することとしてもよい。

本発明の一態様に係る運転者状態判定装置は、前記補正値が、前記所定期間の経過後、前記運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する際に用いられることとしてもよい。

前記構成によれば、車両の進行方向と、運転者の向きとの関係を用いて、運転者の顔向きを適切に補正することができる。

本発明の一態様に係る運転者状態判定方法は、車両の運転者の状態を判定する運転者状態判定装置が実行する運転者状態判定方法であって、所定期間において、運転者の向きを順次取得する運転者情報取得ステップと、前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得ステップと、前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算ステップと、前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算ステップと、を含んでおり、前記補正値計算ステップにおいて、前記相関係数に応じて、前記差分を計算するか否かを決定する。

前記構成によれば、直線走行を前提とすることなく、車両の進行方向を順次取得するので、曲線路であっても、車両の進行方向と、運転者の向きとの関係を把握することができる。また、相関係数に応じて差分を計算するか否かを決定するので、有効な補正値を取得することができる。

本発明の一態様に係るプログラムは、前記運転者状態判定装置としてコンピュータを機能させるためのプログラムであって、前記運転者情報取得部、前記車両情報取得部、前記相関係数計算部、および、前記補正値計算部としてコンピュータを機能させるためのプログラムである。

本発明の一態様によれば、曲線路であっても、車両の進行方向と、運転者の顔向きとの関係を把握することができる。

本発明の実施形態に係る運転者状態判定装置の構成の一例を示すブロック図である。 本発明の実施形態に係る運転者状態判定システムの全体構成の一例を示すブロック図である。 本発明の実施形態に係る運転者状態判定装置の全体処理を示すフローチャートである。 本発明の実施形態に係る運転者状態判定装置の取得情報の蓄積処理を示すフローチャートである。 本発明の実施形態に係る運転者状態判定装置の統計値の算出処理を示すフローチャートである。 本発明の実施形態に係る車両の進行方向を測定する方法の例を示す図である。

〔実施形態〕
以下、本発明の実施形態について、詳細に説明する。

（運転者状態判定装置１０の構成）
図１は、本実施形態に係る運転者状態判定装置１０の構成の一例を示すブロック図である。図１は、本願発明の特徴部分を中心としたブロック図である。図１に示すように、運転者状態判定装置１０は、監視データ取得部（運転者情報取得部）１１と、車両情報取得部１２と、取得情報処理部（相関係数計算部、補正値計算部）１３と、統計演算部１４と、運転者状態判定部１５と、顔向き補正部１６と、統計記憶部１７と、を備えている。

監視データ取得部１１は、運転者に対して車両内の所定位置に設置された、運転者の振る舞いを検出する運転者監視センサ２１から、運転者情報を取り込む。例えば、運転者監視センサ２１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、１秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部１１は、このカメラからの画像信号を、デジタル化処理して、運転者の画像を含む運転者情報として取り込む。監視データ取得部１１は、この取り込んだ運転者情報を、取得情報処理部１３に受け渡す。

車両情報取得部１２は、車両の各所定位置に配置された車両状態センサ２２から、車両の状態を表す車両情報を取り込む。車両状態センサ２２は、車両の速度、操舵情報、ヨーレート、各車輪の回転速度等を検出するセンサである。車両情報取得部１２は、この車両状態センサ２２によって検出された検出情報を、デジタル化処理して、車両の状態を表す車両情報として取り込む。車両情報取得部１２は、この取り込んだ車両情報を、取得情報処理部１３に受け渡す。

取得情報処理部１３は、監視データ取得部１１から運転者情報を取得し、車両情報取得部１２から車両情報を取得し、取得した運転者情報および車両情報を参照して、顔認識アルゴリズムが出力した顔向きを補正する際に用いられる補正値を計算する。また、取得情報処理部１３は、記憶媒体として、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込および読出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを有する。取得情報処理部１３は、計算した補正値を記憶媒体に記憶させる。

統計演算部１４は、所定時間毎に、上記所定時間内における車両の進行方向に対して運転者が正面として顔または視線を保持する方向である保持方向（補正値）の平均値および偏差量等の統計情報を演算する。この所定時間毎に演算された統計情報は、後述するように、統計記憶部１７に更新記憶されていく。つまり、統計情報が学習されていく。なお、上記所定時間は、例えば数秒（Ｘ秒）である。

運転者状態判定部１５は、運転者の顔向きの基準方向からの乖離度、または、統計演算部１４によって判定された運転者の顔向きの基準方向からの乖離度と、取得情報処理部１３の記録媒体に記憶された車両情報とに基づいて、運転者の状態、例えば、車線確認動作中の状態、脇見状態等を判定する。

顔向き補正部１６は、統計記憶部１７に記憶された統計値を参照して、運転者の顔向きの補正を行う。

（運転者状態判定システムの構成）
図２は、本実施形態に係る運転者状態判定装置１０を備えた運転者状態判定システムの全体構成の一例を示すブロック図である。

運転者状態判定システムは、本実施形態に係る運転者状態判定装置１０と、各種のセ
ンサ４１〜４６と、判定結果出力装置５０とを備えている。

本実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ４１と、車両状態センサである、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６とを含む。勿論これは一例であり、その他のセンサを含んでいてもよい。

ドライバカメラ４１は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ４１は、１秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。

車速センサ４２は、車両の移動速度を検出する。ステアリングセンサ４３は、ステアリングの操舵角を検出する。このステアリングセンサ４３は、運転者によるステアリングの操作自体を検出するセンサであってもよいし、ステアリング操作によって向きを変えられる車輪の舵角を検出するセンサであってもよい。ウィンカセンサ４４は、ウィンカの操作を検出する。このウィンカセンサ４４は、運転者によるウィンカレバーの操作自体を検出するセンサであってもよいし、ウィンカレバー操作に応じて点滅するウィンカの点滅制御信号を検出するセンサであってもよい。

また、ギアセレクタセンサ４５は、オートマチックギア車におけるギアセレクタのパーキングポジションを検出する。このギアセレクタセンサ４５は、運転者によるギアセレクタのセレクト操作自体を検出するセンサであってもよいし、セレクトされたポジションを表示するインジケータの点灯制御信号を検出するセンサであってもよい。パーキングブレーキセンサ４６は、パーキングブレーキの状態を検出する。このパーキングブレーキセンサ４６は、運転者によるパーキングブレーキレバーの操作自体を検出するセンサであってもよいし、パーキングブレーキを駆動する駆動制御信号を検出するセンサであってもよい。ギアセレクタセンサ４５とパーキングブレーキセンサ４６は、必ずしも両方備える必要は無い。例えば、オートマチックギアを搭載した車両では、パーキングブレーキセンサ４６を備えず、ギアセレクタセンサ４５のみであってもよい。マニュアルギアを搭載した車両では、パーキングブレーキセンサ４６のみであってよい。

運転者状態判定装置１０は、制御ユニット３２と、入出力インタフェースユニット３１
と、記憶ユニット３３と、を備えている。

入出力インタフェースユニット３１は、ドライバカメラ４１から出力された画像信号を受信してデジタルデータに変換して、制御ユニット３２に入力する。入出力インタフェースユニット３１はまた、車速センサ４２、ステアリングセンサ４３、ウィンカセンサ４４、ギアセレクタセンサ４５およびパーキングブレーキセンサ４６それぞれのセンシングデータを受信して、それらを制御ユニット３２に入力する。入出力インタフェースユニット３１はさらに、制御ユニット３２から出力された運転者状態判定結果情報を出力制御信号に変換して判定結果出力装置５０へ出力する。

記憶ユニット３３は、記憶媒体として、例えばＳＳＤやＨＤＤ等の随時書き込みおよび読み出しが可能な不揮発性メモリとＲＡＭ等の揮発性メモリを使用したものである。記憶ユニット３３は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部３３１と、車両の状態を記憶する車両情報記憶部３３２と、統計情報と学習回数とを含む学習結果を学習データとして記憶する学習データ記憶部３３３と、を備えている。

（運転者状態判定装置１０の処理）
図３は、本実施形態に係る運転者状態判定装置１０の全体処理を示すフローチャートである。

（ステップＳ３０１：運転者情報取得ステップ）
運転者状態判定装置１０において、監視データ取得部（運転者情報取得部）１１は、所定期間において運転者監視センサ２１から運転者の顔向きを順次取得して、当該顔向きを取得情報処理部１３に受け渡す。所定期間とは、車両の発進から自動運転開始までの間（例えば、車両がパーキングエリアを発車してから高速道路の本線に合流するまでの間等）である。

（ステップＳ３０２：車両情報取得ステップ）
ステップＳ３０１の処理と並行して、車両情報取得部１２は、所定期間において車両状態センサ２２から車両情報（運転者が運転する車両の進行方向）を順次取得して、当該車両情報を取得情報処理部１３に受け渡す。

（ステップＳ３０３）
取得情報処理部１３は、所定期間において、運転者の顔向きと、車両の進行方向とから算出した補正値を蓄積する。詳細は、図４を用いて説明する。

（ステップＳ３０４）
統計演算部１４は、取得情報処理部１３に蓄積された補正値を参照して、個人差補正用の統計値を算出して、算出した統計値を統計記憶部１７に記憶させる。詳細は、図５を用いて説明する。

（ステップＳ３０５）
顔向き補正部１６は、統計記憶部１７に記憶された統計値を用いて、運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する。補正した顔向きは、別途、脇見の判定で使用される。

図４は、本実施形態に係る運転者状態判定装置１０の取得情報の蓄積処理を示すフローチャートである。本処理は、図３のステップＳ３０３の処理を詳細化したものである。本処理は、ステップＳ３０１で取得された顔情報と、ステップＳ３０２で取得された車両情報との組合せごとに行われる。

なお、取得情報処理部１３は、監視データ取得部１１から取得した顔情報から運転者の顔を検出した場合、顔情報のうち、運転者の顔向きを有効にする。

また、取得情報処理部１３は、車両の進行方向が算出済であり、かつ、顔のヨー方向が有効なデータがある場合に、直近８．０秒間における、顔のヨー方向と、車両の進行方向との相関係数を計算する。なお、８．０秒は、一例であって、他の秒数であってもよい。

（ステップＳ４０１）
運転者状態判定装置１０において、取得情報処理部１３は、車両情報を参照して、車両の速度が２０ｋｍ／ｈ以上であるか否かを判定する。車両の速度が２０ｋｍ／ｈ以上である場合（ステップＳ４０１のＹＥＳ）、取得情報処理部１３は、ステップＳ４０２の判定を実行する。車両の速度が２０ｋｍ／ｈ以上でない（２０ｋｍ／ｈ未満である）場合（ステップＳ４０１のＮＯ）、取得情報処理部１３は、処理を終了する。すなわち、運転者の顔向きと、車両の進行方向とによる補正値は、蓄積されない（以下、同様）。これは、徐行時における運転者の顔向きは、変化が大きいので、学習すべきでない顔向きとして扱うためである。なお、２０ｋｍ／ｈは、一例であって、他の速度であってもよい。

（ステップＳ４０２）
取得情報処理部１３は、運転者が車線確認動作中であるか否かを判定する。

詳細には、取得情報処理部１３は、顔情報および車両情報を運転者状態判定部１５に出力して、運転者状態判定部１５から判定結果を取得する。運転者状態判定部１５は、取得情報処理部１３から顔情報および車両情報を取得し、運転者の顔向きと、車両の進行方向とを用いて運転者の状態を判定して、当該判定結果を取得情報処理部１３に出力する。

運転者が車線確認動作中である（運転者が周囲を見る動作を行っていると判定された）場合（ステップＳ４０２のＹＥＳ）、取得情報処理部１３は、処理を終了する（すなわち、補正値を蓄積しない）。運転者が車線確認動作中でない場合（ステップＳ４０２のＮＯ）、取得情報処理部１３は、ステップＳ４０３の判定を実行する。

（ステップＳ４０３：相関係数計算ステップ）
取得情報処理部１３は、顔情報および車両情報を参照して、顔のヨー方向と、車両の進行方向との相関が強いか否かを判定する。取得情報処理部（相関係数計算部）１３は、所定期間において、運転者の顔向きと車両の進行方向との相関の度合を示す相関係数を繰り返し計算する。そして、取得情報処理部１３は、例えば、相関係数が０．６以上であれば、相関が強いと判定する。なお、０．６は、一例であって、他の閾値であってもよい。

相関が強い（相関係数が所定値以上である）場合（ステップＳ４０３のＹＥＳ）、取得情報処理部１３は、ステップＳ４０４の処理を実行する。相関が強くない場合（ステップＳ４０３のＮＯ）、取得情報処理部１３は、ステップＳ４０５の判定を実行する。すなわち、取得情報処理部１３は、相関係数に応じて、差分を計算するか否かを決定することになる。

（ステップＳ４０４）
取得情報処理部（補正値計算部）１３は、顔のヨー方向と、車両の進行方向との差分を補正値として繰り返し計算する。すなわち、「補正値（度）＝顔のヨー方向（度）−車両の進行方向（度）」とする。取得情報処理部１３は、運転者の顔向きと、相関係数に応じて車両の進行方向を変化させた方向との差分を計算することとしてもよい。例えば、取得情報処理部１３は、「補正後の顔向き（度）＝顔向き（度）−相関係数×進行方向（度）」との計算を行う。

なお、顔のヨー方向、および、車両の進行方向は、それぞれ基準方向に対する角度で表される。そして、補正値は、その２つの角度の差である。補正値は、所定期間の経過後、運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する際に用いられる。

（ステップＳ４０５）
取得情報処理部１３は、顔のヨー方向、または、ステップＳ４０４で計算された補正値、および、顔のピッチ方向が規定値以内（例えば、±２０度の間）であるか否かを判定する。顔のヨー方向または補正値、および、顔のピッチ方向が規定値以内である場合（ステップＳ４０５のＹＥＳ）、取得情報処理部１３は、ステップＳ４０６の処理を実行する。顔のヨー方向または補正値、および、顔のピッチ方向が規定値以内でない場合（ステップＳ４０５のＮＯ）、取得情報処理部１３は、処理を終了する。なお、取得情報処理部１３は、顔のヨー方向または補正値、および、顔のピッチ方向に加えて、さらに、顔のロール方向が規定値以内であるか否かを判定してもよい。

（ステップＳ４０６）
取得情報処理部１３は、学習用として、顔のヨー方向、または、ステップＳ４０４で計算された補正値、および、顔のピッチ方向を記憶媒体に蓄積する。なお、取得情報処理部１３は、顔のヨー方向または補正値、および、顔のピッチ方向に加えて、さらに、顔のロール方向を記録媒体に蓄積してもよい。

図５は、本実施形態に係る運転者状態判定装置１０の統計値の算出処理を示すフローチャートである。本処理は、図３のステップＳ３０４の処理を詳細化したものである。

（ステップＳ５０１）
統計演算部１４は、取得情報処理部１３において所定時間以上補正値が蓄積されたか否かを判定する。所定時間以上補正値が蓄積された場合（ステップＳ５０１のＹＥＳ）、統計演算部１４は、ステップＳ５０２の処理を実行する。所定時間以上補正値が蓄積されていない場合（ステップＳ５０１のＮＯ）、統計演算部１４は、処理を終了する。

（ステップＳ５０２）
統計演算部１４は、学習用として、補正値の平均値を計算して、当該平均値を統計値として統計記憶部１７に記憶させる。なお、統計演算部１４は、補正値の平均値の代わりに、補正値の標準偏差等の統計値を計算して、計算した統計値を統計記憶部１７に記憶させてもよい。

（車両の進行方向の測定方法例）
図６は、本実施形態に係る車両の進行方向を測定する方法の例を示す図である。

運転者状態判定装置１０において、取得情報処理部１３は、運転者注視方向を求める。運転者注視方向は、次の式１を用いて求めることができる。

図６に示すように、車両が位置ｘ_１から位置ｘ_２に移動した場合、例えば、車両のヨーがφだけ変化したときに、運転者の注視方向は、θ（＝１／２φ）になる。この運転者の注視方向は、車両の進行方向に用いることができる。

なお、車両情報取得部１２は、車両の速度および操舵情報を用いて推定された、車両の進行方向を取得してもよい。車両情報取得部１２は、車両の速度およびヨーレートを用いて推定された、車両の進行方向を取得してもよい。車両情報取得部１２は、車両の各車輪の回転速度を用いて推定された、車両の進行方向を取得してもよい。これらの場合、取得情報処理部１３は、車両情報取得部１２から車両の進行方向を取得する。

また、本実施形態では、運転者の顔向きを取得して処理する場合について説明したが、運転者の顔向きに代えて、運転者の視線の向きを取得して処理する場合についても本実施形態は適用可能である。

〔ソフトウェアによる実現例〕
運転者状態判定装置１０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、運転者状態判定装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１０ 運転者状態判定装置
１１ 監視データ取得部（運転者情報取得部）
１２ 車両情報取得部
１３ 取得情報処理部（相関係数計算部、補正値計算部）
１５ 運転者状態判定部

Claims (10)

1. 所定期間において、運転者の向きを順次取得する運転者情報取得部と、
   前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得部と、
   前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算部と、
   前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算部と、
   を備え、
   前記補正値計算部は、前記相関係数に応じて、前記差分を計算するか否かを決定する
   ことを特徴とする運転者状態判定装置。
2. 前記補正値計算部は、前記運転者の向きと、前記相関係数に応じて前記車両の進行方向を変化させた方向との差分を計算する
   ことを特徴とする請求項１に記載の運転者状態判定装置。
3. 前記補正値計算部は、前記相関係数が所定値以上である場合に、前記差分を計算する
   ことを特徴とする請求項２に記載の運転者状態判定装置。
4. 前記運転者の向きと、前記車両の進行方向とを用いて前記運転者の状態を判定する運転者状態判定部をさらに備え、
   前記補正値計算部は、前記運転者状態判定部が、前記運転者が周囲を見る動作を行っていると判定した場合に、前記補正値を蓄積しない
   ことを特徴とする請求項１から３の何れか１項に記載の運転者状態判定装置。
5. 前記車両情報取得部は、前記車両の速度および操舵情報を用いて推定された、前記車両の進行方向を取得する
   ことを特徴とする請求項１から４の何れか１項に記載の運転者状態判定装置。
6. 前記車両情報取得部は、前記車両の速度およびヨーレートを用いて推定された、前記車両の進行方向を取得する
   ことを特徴とする請求項１から４の何れか１項に記載の運転者状態判定装置。
7. 前記車両情報取得部は、前記車両の各車輪の回転速度を用いて推定された、前記車両の進行方向を取得する
   ことを特徴とする請求項１から４の何れか１項に記載の運転者状態判定装置。
8. 前記補正値は、前記所定期間の経過後、前記運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する際に用いられる
   ことを特徴とする請求項１から７の何れか１項に記載の運転者状態判定装置。
9. 車両の運転者の状態を判定する運転者状態判定装置が実行する運転者状態判定方法であって、
   所定期間において、運転者の向きを順次取得する運転者情報取得ステップと、
   前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得ステップと、
   前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算ステップと、
   前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算ステップと、
   を含んでおり、
   前記補正値計算ステップにおいて、前記相関係数に応じて、前記差分を計算するか否かを決定する
   ことを特徴とする運転者状態判定方法。
10. 請求項１に記載の運転者状態判定装置としてコンピュータを機能させるためのプログラムであって、前記運転者情報取得部、前記車両情報取得部、前記相関係数計算部、および、前記補正値計算部としてコンピュータを機能させるためのプログラム。

Images