JP2024010522A - 状態判定装置、及び状態判定方法 - Google Patents

Abstract

【課題】ドライバーの運転姿勢や動きをモーションキャプチャーで検出し、ドライバーの異常状態を判定して、顔認識機能低下状況下においても、ドライバーの運転姿勢や動きからドライバーの異常状態を正確に分析する状態判定装置及び状態判定方法を提供する。【解決手段】ドライバー状態判定装置２０１は、カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出するモーションキャプチャー映像処理部２０７と、モーションキャプチャー映像処理部２０７から取得したドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定部２０９と、を有する。【選択図】図２

Description

本発明は、ドライバーの状態を判定する状態判定装置に関する。

車両を運転中に、ドライバーの状態が漫然、居眠り、急病等の異常状態にあると、ドライバーは車両を適切に運転できず、事故を引き起こす可能性が高まる。そのため、自車両及び他車両の安全を確保するために、ドライバーの異常状態を検出する装置が提案されている。

例えば、ドライバーの異常状態を検出するシステムとしてはドライバーモニタリングによる顔認識から異常状態を判定するものがある。また、モーションキャプチャーによって運転操作の特徴点の動きを検出するモーションキャプチャーシステムも提案されている。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１９－１４４０２４号公報）には、カメラ撮影視野の死角となる位置マーカーと、カメラ撮影視野内にあって位置マーカーを補完する３個の位置補完マーカーとを被検体に装着し、各マーカーの相対位置情報を取得し、位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影し、複数のカメラで時系列的に得られた撮影情報より、位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得、取得された各マーカーの相対位置情報とカメラより得られる現在時点での位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し位置マーカーの三次元時系列位置情報を算出するモーションキャプチャーシステムが記載されている。

特開２０１９－１４４０２４号公報

前述した顔認識による異常状態の判定では、ドライバーの眼や顔の部品から異常状態を判定しているため、マスクやサングラスの着用時には顔認識機能が低下し、ドライバーの異常状態を検出できない可能性がある。

本発明は、ドライバーの運転姿勢や動きをモーションキャプチャーで検出し、ドライバーの異常状態を判定して、顔認識機能低下状況下においても、ドライバーの運転姿勢や動きからドライバーの異常状態を正確に分析することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ドライバーの状態を判定する状態判定装置であって、カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理部と、前記映像処理部から取得したドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定部とを有することを特徴とする。

本発明の一態様によれば、高精度にドライバーの異常状態を判定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

実施例１の異常状態判定処理のフローチャートである。 実施例１のドライバー状態判定装置の構成を示す図である。 実施例１の異常状態判定処理の変形例のフローチャートである。

以下、添付された図面を参照し、本発明を実施するための実施例について詳述する。

本発明の実施例は、前述した課題を解決するためのドライバー状態判定装置２０１であり、車室内上部に設置されたモーションキャプチャーカメラによってドライバーの運転姿勢や動きを撮影し、人体の特徴的な部位（特徴点）の位置を経時的に記録する。そして、ドライバーの運転操作情報及び地図情報などを参照して、ドライバーの異常状態を判定する。

［実施例１］
図１は、本発明の実施例１のドライバー状態判定装置２０１が実行する異常状態判定処理のフローチャートであり、図２は、実施例１のドライバー状態判定装置２０１の構成を示す図である。

図２に示すように、ドライバー状態判定装置２０１は、ＥＣＵ２０２及びモーションキャプチャーカメラ２０３を有しており、ドライバーの異常状態を判定する。ドライバーの異常状態とは、ドライバーが適切な認識、判断、操作の少なくとも一つを実施することができない状態である。例えば、漫然、居眠り、体調異常等がドライバーの異常状態を引き起こす。ＥＣＵ２０２には、アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６が入力される。アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６の全てがＥＣＵ２０２に入力されなくても、いずれか一つ以上が入力されてもよい。

モーションキャプチャーカメラ２０３は、人物や物体の動きを撮影するカメラである。モーションキャプチャーカメラ２０３が撮影したドライバーの映像はドライバーの運転姿勢や動きを取得するために用いられる。アクセル情報２０４は、アクセルペダルの踏み込み量の検出値であり、急発進を解析するために用いられ、アクセルペダルから取得したペダルの踏力及び踏速から計算された加速度やアクセル開放等の情報より急発進を判定する。ブレーキ情報２０５は、ブレーキペダルの踏み込み量の検出値であり、急ブレーキを解析するために用いられ、ブレーキペダルから取得したペダルの踏力及び踏速から計算された加速度や液圧変化や減速度変化等の情報より急ブレーキを判定する。ハンドル情報２０６は、ステアリングの操作量の検出値であり、急ハンドルを解析するために用いられ、ステアリングハンドルから取得した操舵角や舵角センサ等の情報より急ハンドルを判定する。

ＥＣＵ２０２は、モーションキャプチャー映像処理部２０７、運転情報処理部２０８、状態判定部２０９、運転データ記憶部２１０、ドライバー情報記憶部２１１及びアクチュエーション判定部２１２を有する。モーションキャプチャー映像処理部２０７は、モーションキャプチャーカメラ２０３が撮影したドライバーの映像を取得し、取得した映像よりドライバーの運転姿勢や動きに伴う人体の各部位の位置（座標）を算出する。運転情報処理部２０８は、アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６などの運転情報を地図情報２１３と共に状態判定部２０９に送信する。状態判定部２０９は、モーションキャプチャー映像処理部２０７、運転情報処理部２０８からデータ及び地図情報２１３を取得し、取得したデータ及び地図情報２１３に基づいてドライバーの状態を判定する。状態判定部２０９は、ドライバーの状態が異常状態であると判定した場合、取得した情報を運転データ記憶部２１０に格納し、アクチュエーション部の駆動を、アクチュエーション判定部２１２に要求する。アクチュエーション判定部２１２は、ドライバーに覚醒を促したり、注意を喚起したりするように、アクチュエーション部を制御する。例えば、スピーカ２１４でアラームを通知したり、ナビ画面２１５に注意喚起画面をポップアップ表示したりする。

ＥＣＵ２０２は、演算装置、記憶装置、及び通信インターフェースを有する。演算装置は、記憶装置に格納されたプログラムを実行するプロセッサ（例えばマイコン）である。演算装置が、所定のプログラムを実行することによって、各種機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、演算装置が実行するプログラムを格納するプログラム領域と、演算装置がプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、演算装置がプログラム実行時に使用するデータを格納する。通信インターフェースは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。

アクチュエーション部２１４～２１５は、ドライバーの覚醒を促す少なくとも一つの装置を含めばよい。また、ドライバーの覚醒を促す装置は、スピーカ２１４、ナビ画面２１５に限らず、他の装置でもよい。

次に、状態判定部２０９について説明する。状態判定部２０９は、モーションキャプチャーカメラ２０３が撮影したドライバーの関節などの人体の動きの特徴となる部位の位置と動きを記憶し、ドライバーの運転姿勢や動きを検出して、ドライバーの異常状態を判定する。人体の一連の動きをスムーズに撮影するために、１秒間に６０ＦＰＳ以上撮影可能なカメラを用いるとよい。

状態判定部２０９は、例えば、以下のパターンでドライバーの異常を判定する。

パターン１：人体各部位の位置が標準状態によって表される正常な姿勢、動きの範囲内であるか。標準状態の範囲は、予め新車製造時に範囲を定めたり、座面や背もたれの動きに連動して範囲を定めたり、ドライバーが運転開始時に設定するとよい。車両製造時に標準状態を予め設定することによって、ドライバーが標準状態を設定することなく、ドライバーの異常を判定できる。ドライバーが標準状態を設定することによって、ドライバー特有の姿勢や動きを考慮してドライバーの異常を判定でき、高精度にドライバーの異常を判定できる。ドライバーが設定する標準状態は、ドライバー毎に設定可能とするとよい。１台の車両を複数のドライバーで共用する場合、ドライバーごとにデータを登録し、実際に運転するドライバーの登録データを異常判断に使用できる。このため、高精度にドライバーの異常を判定できる。

パターン２：人体各部位の動きが異常パターンに該当するか。例えば、モーションキャプチャー映像処理部２０７が算出した人体の各部位の位置の時系列変化によりドライバーの運転姿勢の変化や動きを算出し、算出された運転姿勢の変化や動きが適切な運転操作に伴う変化であるかを判定する。また、ドライバーの各部位の位置の時間変化の周期が所定の範囲内であれば、ドライバーが異常状態であると判定できる。例えば、居眠りによる頭の特定の揺れ等、運転者の身体の特定の揺れを検出して異常状態を判定できる。また、通常の運転操作では発生し得ない周期の身体の動きを閾値で判定して、高精度に異常状態を判定できる。

パターン３：ドライバーの操作が異常運転行動に該当するか。アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６から、急発進、急ブレーキ及び急ハンドルなどの異常な運転行動が検出されるかを判定する。

なお、前述した複数のパターンを併用して判定精度を向上してもよい。例えば、パターン１とパターン２を併用して、人体各部位の位置が標準範囲外であり、かつ人体各部位の動きが異常パターンである場合にドライバーが異常状態であると判定してもよい。また、パターン１とパターン２を併用して、人体各部位の位置が標準範囲外である、又は人体各部位の動きが異常パターンである場合にドライバーが異常状態であると判定してもよい。

標準状態の情報は、通信装置（図示省略）を介して、他の車両のドライバー状態判定装置に転送可能とするとよい。標準状態の情報の車両間の転送によって、車両ごとにドライバーの標準状態のデータの取得が不要となる。

また、状態判定部２０９は、ドライバーの異常を判定する運転モードと、ドライバーの標準状態を登録する登録モードの２モードで動作するとよい。状態判定部２０９は、登録モードにおいて、運転者自身が正常であると認識している期間の運転姿勢及び運転操作を標準状態として設定する。登録モードによって、標準状態の設定の煩雑さを解消でき、また、各ドライバー特有の動きも標準状態として取得できる。

このような状態判定部２０９による判定によって、顔認識によるドライバーの表情の変化では検知しづらい状況でもドライバーの異常状態を判定できる。

図１を参照して、異常状態判定処理手順について説明する。

まず、モーションキャプチャー映像処理部２０７は、モーションキャプチャーカメラ２０３により撮影された映像を取得し、取得した映像から頭・腕・胴体の位置情報を取得する。そして、モーションキャプチャー映像処理部２０７は、取得した身体の各部位の位置情報に基づいて、頭の動きを検出し（１０１）、腕の動きを検出し（１０２）、胴体の動きを検出する（１０３）。頭の動き検出（１０１）、腕の動き検出（１０２）、胴体の動き検出（１０３）は、ほぼ同じタイミングであれば順番は異なってもよい。

状態判定部２０９は、アクセル情報２０４及びブレーキ情報２０５及びハンドル情報２０６から取得する現在の運転情報を監視し（１０４）、アクセル情報２０４及びブレーキ情報２０５及びハンドル情報２０６の異常状態は、地図情報２１３から取得した情報を参照して、運転行動（ハンドル操作の有無、ハンドルの操作量、ハンドルの操作速度、ハンドル操作の頻度・ゆらぎ等）、車両挙動（車線逸脱、横方向のふらつき等）、車両状態（車速、方向指示器等）等が発生した場合に異常と判定する。

続いて、状態判定部２０９は、モーションキャプチャーカメラ２０３で検出した動きと標準状態を比較し（１０５）、ドライバーの異常状態を判定する（１０６）。ドライバーが正常状態であると判定した場合（１０６：ＮＯ）、本処理を終了する。ドライバーが異常状態であると判定した場合（１０６：ＹＥＳ）、アクチュエーション判定部２１２は、アクチュエーション部の装置２１４～２１５を駆動して、現在の運転情報を運転データ記憶部２１０に格納する（１０８）。

図３は、異常状態判定処理の変形例のフローチャートである。

ステップ１０１から１０６は、図１で前述した異常状態判定処理と同じである。

ステップ１０６でドライバーが異常状態であると判定した場合、状態判定部２０９は、異常状態のキャンセル状況であるかを判定する（１０７）。異常状態のキャンセル状況は、正常状態ではない位置又は動きであっても、運転操作や道路状況によって必要な動きであり、異常状態から除外される状況である。

パターン４：運転状態や地図を参照して、異常と判定すべき特定の動作を除外する。例えば、運転情報処理部２０８から取得したアクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６などの運転情報に基づいて判定された運転状況が車両停車中であれば、走行中には異常と判定すべき動きでも、車両の走行に影響がない動きを除外して、ドライバーの異常状態を判定する。また、ドライバーの運転姿勢や動作は道路状況に伴って変化するところ、特定の形状の道路では直進時には行わない特定の動作を行う場合がある。例えば、地図情報２１３から車両が交差点を走行していると判定されると、交差点における安全確認に伴う動作（身を乗り出して目視確認する頭部や上体の位置の変化）や、コーナリングではステアリング操作や、後退時に上体を捻って後方を見る動作などは異常な動作から除外するとよい。

パターン５：短時間の動きを除外する。モーションキャプチャー映像処理部２０７が算出した人体の各部位の位置の時系列変化のうち、短時間の変化を除外して、短時間の動きを異常と判定しないようにする。例えば、道路状況による車体の振動に伴う人体の動揺やくしゃみのような突発的な動作を除外するとよい。

そして、異常状態のキャンセル状況である場合は、本処理を終了する。一方、異常状態のキャンセル状況でない場合は、アクチュエーション部の装置２１４～２１５を駆動して、現在の運転情報を運転データ記憶部２１０に格納する（１０８）。

別の変形例として、模範的な運転操作を標準状態として、状態判定部２０９がドライバーの運転操作と標準状態（模範運転操作）との差をナビ画面２１５に出力してもよい。また、模範運転操作と大きく乖離した操作をした場合に、スピーカ２１４から注意を報知してもよい。ドライバーの運転操作と模範的な運転操作の比較によって、運転者の異常判断だけでなく、モーションキャプチャーデータを運転指導にも使用でき、ドライバーの運転スキルを向上できる。

以上に説明したように、本発明の実施例のドライバー状態判定装置２０１は、標準状態によって表される正常な姿勢、動きからの逸脱をモーションキャプチャーによる人体の各部位の位置で判定することによって、マスクやサングラス着用時などドライバーモニタリングでドライバーの表情が分かりづらい状況でも、ドライバーの状態を常に監視し、ドライバーの異常状態を高精度に判定できる。

また、前述した変形例のドライバー状態判定装置２０１は、運転者の正常な動きを異常状態の判定から除外できる。例えば、短時間の動きを除外して異常状態を判定するので、くしゃみのような突発的なドライバーの姿勢や動きを異常状態と判断とすることを抑制できる。また、例えば、見通しの悪い交差点で身を乗り出して目視する動きを除外して異常状態を判定するので、異常判断を高精度に判定できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

２０１ ドライバー状態判定装置
２０２ ＥＣＵ
２０４ アクセル情報
２０５ ブレーキ情報
２０６ ハンドル情報
２０３ モーションキャプチャーカメラ
２０７ モーションキャプチャー処理部
２０８ 運転情報処理部
２０９ 状態判定部
２１０ 運転データ記憶部
２１１ ドライバー情報記憶部
２１２ アクチュエーション判定部
２１３ 地図情報
２１４ スピーカ
２１５ ナビ画面

Claims (13)

1. ドライバーの状態を判定する状態判定装置であって、
   カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理部と、
   前記映像処理部から取得したドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定部とを有することを特徴とする状態判定装置。
2. 請求項１に記載の状態判定装置であって、
   前記状態判定部は、ドライバーの各部位の位置の時間変化とドライバーの運転操作が整合する場合、異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。
3. 請求項２に記載の状態判定装置であって、
   前記状態判定部は、ドライバーの各部位の位置の時間変化の周期が所定の範囲内であれば、ドライバーの状態を異常であると判定することを特徴とする状態判定装置。
4. 請求項３に記載の状態判定装置であって、
   前記状態判定部は、ドライバーの各部位の位置の短時間の変化を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。
5. 請求項３に記載の状態判定装置であって、
   前記状態判定部は、ドライバーの各部位の位置とドライバーが設定した標準状態とを比較して、ドライバーの状態を判定することを特徴とする状態判定装置。
6. 請求項３に記載の状態判定装置であって、
   前記状態判定部は、ドライバーの各部位の位置と車両の製造時に予め設定された標準状態とを比較して、ドライバーの状態を判定することを特徴とする状態判定装置。
7. 請求項３に記載の状態判定装置であって、
   前記状態判定部は、車両の運転状態を参照して、当該運転状態において正常な動作を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。
8. 請求項５又は６に記載の状態判定装置であって、
   前記標準状態を表すデータは、通信装置を介して、他の車両の状態判定装置に転送可能であることを特徴とする状態判定装置。
9. 請求項５又は６に記載の状態判定装置であって、
   前記状態判定部は、登録モードにおいて、運転者自身が正常であると認識している期間の運転姿勢及び動きを前記標準状態として設定することを特徴とする状態判定装置。
10. 請求項３に記載の状態判定装置であって、
    前記状態判定部は、車両の位置の地図を参照して、当該位置において必要な運転操作を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。
11. 請求項５又は６に記載の状態判定装置であって、
    前記状態判定部は、ドライバーの運転操作と前記標準状態との差を出力することを特徴とする状態判定装置。
12. 請求項５に記載の状態判定装置であって、
    ドライバーが設定した標準状態は、ドライバー毎に設定可能であることを特徴とする状態判定装置。
13. 状態判定装置が実行する、ドライバーの状態を判定する状態判定方法であって、
    前記状態判定装置は、プログラムを実行する演算装置と、前記演算装置がアクセス可能な記憶装置とを有し、
    カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理手順と、
    前記映像処理手順で算出されたドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定手順とを有することを特徴とする状態判定方法。

Images