JP2017151694A - 安全確認診断システム及び安全確認診断方法 - Google Patents

Abstract

【課題】車両の運転シーンを細かく検出し、安全確認行動を高精度に診断できるようにし、また、製造コストを低減する。【解決手段】本発明の安全確認診断システムは、運転者の顔を撮影するカメラ（２）と、運転者の顔の画像データに基づいて運転者の顔の向きを検出する顔向き検出部（３）と、車両の運転シーンを検出する運転シーン検出部（９）と、運転シーンを評価基準の異なる評価区間に分割する評価区間分割部（１０）と、運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価する安全確認行動評価部（１１）とを備えて構成されている。【選択図】図１

Description

本発明は、運転者の安全確認行動が適切になされているかどうかを診断する安全確認診断システム及び安全確認診断方法に関する。

車両の挙動に基づいて安全確認が必要な運転シーンを検出し、また、運転者の視線を検出し、検出した運転者の視線に基づいて安全確認が必要な運転シーンに応じた運転者の安全確認行動が実行されたかどうかを評価するシステムが提案されている（例えば特許文献１、２参照）。

特開２０１２−２４７８７１号公報 特開２０１５−１４１４３２号公報

例えば車線変更の運転シーンが検出された場合について、考察してみる。車線変更の運転シーンといっても、道路形状が合流の場合と、道路形状が分岐の場合とでは、適切な安全確認行動に違いがあるが、上記従来構成のシステムでは、そのような違いを考慮していなかった。また、高速道路の本線を直進中であっても、前方に合流がある場合は、合流路の車両を注意しながら運転する必要があり、また、合流や分岐がなくても時々周囲の状況を確認する必要があるが、上記従来構成のシステムでは、そのような確認行動が実行されたかどうかを評価していなかった。

更に、車線変更時の安全確認行動は、車線変更前と車線変更中とでは安全確認行動が異なるが、上記従来構成のシステムでは、そのような違いを考慮していなかった。また、運転者の視線を検出する視線検出装置は、かなり高価であるという問題もあった。また、運転者がメガネを装着していると、運転者の視線を正確に検出することができないという問題もあった。

本発明の目的は、車両の運転シーンを細かく検出し、安全確認行動を高精度に診断することができ、また、製造コストを低減することができる安全確認診断システム及び安全確認診断方法を提供することにある。

請求項１の発明は、車両の運転者の顔を撮影するカメラ（２）と、運転者の顔の画像データに基づいて運転者の顔の向きを検出する顔向き検出部（３）と、車両の運転シーンを検出する運転シーン検出部（９）と、運転シーンを評価基準の異なる評価区間に分割する評価区間分割部（１０）と、運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価する安全確認行動評価部（１１）とを備えたシステムである。

請求項８の発明は、車両の運転者の顔を撮影するカメラ（２）と、運転者の顔の画像データに基づいて運転者の顔の向きを検出する顔向き検出部（３）と、車両の運転シーンを検出する運転シーン検出部（９）と、運転シーンを評価基準の異なる評価区間に分割する評価区間分割部（１０）とを備えた安全確認診断方法であって、運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価するようにした方法である。

本発明の第１実施形態を示す安全確認診断システムのブロック図 運転シーンの検出制御のフローチャート 顔向き角度の検出制御のフローチャート 評価区間分割制御のフローチャート 安全確認診断制御のフローチャート 高速道等の運転シーン、判定条件等の関係を表にして示す図 運転シーンの例を示す図 一般道の運転シーンを表にして示す図 評価区間の分割制御を説明する図 他の運転シーンの評価区間の分割制御の例を説明する図 高速道等の評価区間分割情報を一覧表にして示す図 （ａ）は顔向き角度と顔向き頻度の関係を示す特性図、（ｂ）は顔向き時間と顔向き頻度の関係を示す特性図 顔向き分布の測定結果を示す図 複数の運転シーンの顔向き分布を示す図 本発明の第２実施形態を示す安全確認診断システムのブロック図 自動走行装置のモード変更の制御のフローチャート 本発明の第３実施形態を示す安全確認診断システムのブロック図 視線を検出する制御のフローチャート 一般道の評価区間分割情報を一覧表にして示す図

以下、本発明の第１実施形態について、図１ないし図１４を参照して説明する。本実施形態の安全確認診断システム１は、図示しない車両に搭載される車載システムである。安全確認診断システム１は、図１に示すように、カメラ２と、顔向き検出部３と、ＧＰＳ受信機４と、地図データ記憶部５と、ウィンカー信号検出部６と、車速検出部７と、操舵状態検出部８と、運転シーン検出部９と、評価区間分割部１０と、安全確認行動評価部１１と、評価基準学習部１２と、アドバイス提示部１３と、管理者向け伝達部１４とを備えて構成されている。

カメラ２は、車両の運転者の顔を撮影し、撮影した運転者の顔の画像データを顔向き検出部３へ出力する。顔向き検出部３は、カメラ２からの画像データを入力し、その画像データの中から運転者の顔画像を抽出し、その顔画像に基づいて運転者の顔の向きを検出し、顔向き検出結果を安全確認行動評価部１１へ出力する。

ＧＰＳ受信機４は、車両の現在位置を検出し、位置検出結果を運転シーン検出部９へ出力する。地図データ記憶部５は、ＤＶＤやハードディスクや半導体メモリ等で構成され、道路地図情報を含む道路地図データや種々のデータを記憶している。運転シーン検出部９は、地図データ記憶部５の道路地図データに基づいて車両が走行している走行道路や車両の現在位置の場所等を参照することが可能である。

ウィンカー信号検出部６は、ウィンカーの点灯状態を検出し、検出信号を運転シーン検出部９へ出力する。車速検出部７は、車速センサ等の信号に基づいて車両の速度を検出し、車速検出信号を運転シーン検出部９へ出力する。操舵状態検出部８は、ハンドル舵角センサやジャイロ等の信号に基づいて車両の操舵状態を検出し、操舵状態検出信号を運転シーン検出部９へ出力する。

運転シーン検出部９は、ＧＰＳ受信機４、地図データ記憶部５、ウィンカー信号検出部６、車速検出部７及び操舵状態検出部８からの各信号を取得し、例えば「高速道路での車線変更」等の車両の運転シーンを検出し、検出結果を評価区間分割部１０へ出力する。

評価区間分割部１０は、運転シーン検出部９からの検出結果を取得し、運転シーンを評価基準の異なる評価区間に分割し、分割結果を安全確認行動評価部１１へ出力する。
安全確認行動評価部１１は、顔向き検出部３からの検出結果及び評価区間分割部１０からの分割結果を取得し、運転シーン及び評価区間毎に安全確認行動を評価する、即ち、運転者が安全確認行動を適切に行なったか否かを判定する。安全確認行動評価部１１は、判定結果（即ち、運転者が安全確認行動を適切に行なったと判定した結果または運転者が安全確認行動を適切に行なわなかったと判定した結果のどちらか、或いは、両方の判定結果）に応じた安全確認行動判定信号をアドバイス提示部１３及び管理者向け伝達部１４へ出力する。

評価基準学習部１２は、安全確認行動評価部１１から運転シーン毎の顔向き情報を取得し、運転シーン毎及び評価区間毎の評価基準を学習し、評価区間毎の顔向き角度の閾値と顔向き時間の閾値を決定し、決定した閾値を安全確認行動評価部１１へ出力する。

アドバイス提示部１３は、安全確認行動評価部１１から安全確認行動判定信号を入力し、例えば運転者が安全確認行動を適切に行わなかったと判定された判定結果を入力したときには、運転者に対して安全確認行動を十分行なうように注意したり、休憩等を提案したりするアドバイスを提示する。この場合、アドバイス提示部１３は、例えば、表示装置にアドバイスに対応するメッセージを表示したり、アドバイスに対応するメッセージを音声で出力したりするように構成することが好ましい。

管理者向け伝達部１４は、安全確認行動評価部１１から安全確認行動判定信号を入力したときに、運転者の安全確認行動の評価の情報と、安全確認行動の評価が発生したときの車両の位置の情報と、安全確認行動の評価が発生した時刻の情報とを安全確認行動評価部１１から取得し、これら取得した各情報を無線通信（例えば携帯電話通信）を介して車両例えばトラックやバス等の商用車を管理する管理事務所に伝達する。尚、このような情報伝達処理は、車両が商用車の場合に行なう。

また、無線通信の代わりにメモリカード等の記録媒体に上記各情報を記憶させ、この記憶させた記録媒体を車両から取り外して管理事務所に運び込むことにより、上記各情報を管理事務所に伝達するように構成しても良い。また、管理事務所においては、運転者に対して車両の運転の指導を実施する際に、上記伝達された安全確認運転の評価の各情報を用いることができる。

次に、運転シーン検出部９の制御、即ち、動作について、図２のフローチャートに従って説明する。図２のステップＳ１０においては、運転シーン検出部９は、ＧＰＳ受信機４、地図データ記憶部５、ウィンカー信号検出部６、車速検出部７及び操舵状態検出部８からの各信号、即ち、各情報を取得する。続いて、ステップＳ２０へ進み、運転シーン検出部９は、ＧＰＳ受信機４からの位置検出結果に基づいて車両の現在位置を測定する。

そして、ステップＳ３０へ進み、運転シーン検出部９は、車両の位置情報と、車速情報と、操舵状態の情報（例えば角速度情報等）と、地図データとを参照し、更に、ナビゲーションシステムで用いられる技術を用いて、車両が走行する走行道路及び走行箇所を特定する。そして、運転シーン検出部９は、上記特定した走行道路及び走行箇所と、ウィンカー点灯信号の検出情報とを参照することにより、図６の表に示すような種々の運転シーン、例えば、高速道路または車両専用道における「車線変更」、「本線合流」、「本線離脱」、「合流あり直進（第１車線）」、「合流あり直進（第１車線以外）」、「分岐あり直進」、「単路直進」等を特定することができる。尚、上記した車両の各運転シーンを高速道路または車両専用道と共に、具体的に図示した図を、図７に示す。

この場合、例えば運転シーンが「車線変更」であれば、ウィンカー点灯の３秒前を運転シーンの始点とし、ウィンカー消灯時点を運転シーンの終点とする。また、運転シーンが「合流ありの直進」であれば、合流終了地点の３００ｍ手前を運転シーンの始点、合流終了地点を運転シーンの終点として、走行車線に応じて運転シーンを分ける。合流終了地点については、車両位置と地図データから検出された道路リンクにおいて、本線リンクと合流リンクが接続されているノードを通過した場合、図７においては、本線リンクと本線リンクの切替わりが発生した場合、あらかじめ設定した合流終了地点とリンク切替わり地点の距離差から合流終了地点を求めることができる。尚、走行車線の認識については、カメラにより白線を認識する方法や、本線合流からの右車線変更、左車線変更の発生数と地図データに格納された道路リンク毎の車線数のデータに基づいて車線を認識する方法があり、これらの方法を適宜用いることが好ましい。

尚、図６は、高速道路または車両専用道において特定する運転シーンについて示す表である。これに対して、一般道において特定する運転シーンについて示す表を、図８に示す。この図８に示す一般道における運転シーンについても、上述した制御とほぼ同様にして検出することができる。

続いて、図２のステップＳ４０へ進み、運転シーン検出部９は、検出された運転シーンの種別の情報と、検出された運転シーンに関連する種々の情報（例えば運転シーン始点の時刻や地点の情報、運転シーン終点の時刻や地点の情報、車両の速度や角速度の情報等）と、それら情報の履歴の情報とを内部のメモリに記憶する。これにより、図２の制御を終了する。

次に、顔向き検出部３の制御、即ち、動作について、図３のフローチャートに従って説明する。図３のステップＳ１１０においては、カメラ２からの画像データを入力する。続いて、ステップＳ１２０へ進み、顔向き検出部３は、入力した画像データの中から運転者の顔画像を抽出する。そして、ステップＳ１３０へ進み、顔向き検出部３は、抽出した顔画像と、予め作成しておいた多数の顔向きのテンプレート画像とについて、マッチング処理を行い、相関値を計算し、最も相関値の高いテンプレート画像の顔向き角度から運転者の顔向き角度を検出（即ち、推定）する。尚、予め作成しておいた多数の顔向きのテンプレート画像としては、例えば−４５度から４５度までの１５度毎の顔向きのテンプレート画像を作成し、内部のメモリに記憶しておくことが好ましい。

また、顔向きの検出技術としては、特開２０００−９７６７６号公報や特開２００３−４４８５３号公報に記載された構成があり、これら構成を適宜用いるように構成しても良い。

次いで、図３のステップＳ１４０へ進み、顔向き検出部３は、上記したように検出された顔向き角度の情報（即ち、顔向きデータ）を内部のメモリに記憶する。これにより、図３の制御を終了する。

次に、評価区間分割部１０の制御、即ち、動作について、図４のフローチャートに従って説明する。図４のステップＳ２１０においては、評価区間分割部１０は、運転シーン検出部９から運転シーン、ウィンカー信号、車速、操舵状態（例えば舵角センサの舵角情報またはジャイロセンサの角速度情報等）の各情報を取得する。続いて、ステップＳ２２０へ進み、評価区間分割部１０は、上記取得した各情報に基づいて運転行動の変化点を検出する。そして、ステップＳ２３０へ進み、評価区間分割部１０は、上記検出した変化点に基づいて運転シーンを複数の評価区間に分割し、評価区間分割情報を生成する。

ここで、運転シーンが例えば「車線変更」である場合において、複数の評価区間に分割する処理について、図９を参照して説明する。「車線変更」を行なう場合、ウインカーを点灯する前に車線変更が可能かどうか周囲の安全状況を確認することが好ましく、この時期を区間（即ち、評価区間）１とする。そして、ウィンカーを点灯後、車線変更先の安全を確認し、ハンドルを切り始める。この時期を区間２とする。この後、車線変更前の車線から、車線変更先の車線の状況を確認しながら、変更先の車線に進入し、ハンドルを切返す。この時期を区間３とする。続いて、ハンドル角度を元に戻し、ウィンカーを消灯する。この時期を区間４とする。

この構成において、区間１から区間４まで分割する分割基準点は、ウィンカー点灯時点ｐ１、ハンドル切始め時点ｐ２、ハンドル切返し時点ｐ３である。これらの時点ｐ１、ｐ２、ｐ３は、運転行動の変化点であり、ウィンカー信号及び角速度の情報に基づいて求めることができる。

具体的には、ハンドルの切始め時点ｐ２とハンドルの切返し時点ｐ３は、角速度ωの時間差分である角加速度Δωを算出し、この算出した角加速度Δωの正のピークまたは負のピークに基づいて求めることができる。

ハンドルの切始め時点ｐ２は、ウィンカー点灯後、最初の以下条件を満たす時点とみなすことができる。
右車線変更時は、Δω＜−Δω１の下に凸のピーク値の時点
左車線変更時は、Δω＞Δω１の上に凸のピーク値の時点
また、ハンドルの切返し時点ｐ３は、ウィンカー消灯前、最後の以下条件を満たす時点とみなすことができる。

右車線変更時は、Δω＞Δω２の上に凸のピーク値の時点
左車線変更時は、Δω＜−Δω２の下に凸のピーク値の時点
Δω1とΔω２は、車両や車速等の条件で設定される設定値である。尚、ピークの判定は、角加速度Δωの時間差分値である角躍度ΔΔωを算出して行なう。上記角躍度ΔΔωが正から負に変化した時点が上に凸のピークであり、角躍度ΔΔωが負から正に変化した時点が下に凸のピークである。

尚、区間１の開始時点ｐ０は、ウィンカー点灯時点ｐ１の例えば３秒前の時点とする。また、区間４の終了時点（即ち、ハンドル戻し時点）ｐ４は、ウィンカーを消灯する時点である。

図９中のグラフにおいて、実線の曲線Ｋ１は角速度ωを示し、破線の曲線Ｋ２は角加速度Δωを示し、１点鎖線の曲線Ｋ３は角躍度ΔΔωを示す。本実施形態では、角加速度Δωの変化パターンから車線変更挙動を検出して区間の分割を行なっている。また、実線Ｓは車線変更状態を示し、「０」は合図前（即ち、ウィンカー点灯前）、「１」は合図後（即ち、ウィンカー点灯後）、「２」は旋回中（即ち、ハンドルの操作中）、「３」は旋回後から合図終了（即ち、ウィンカー消灯）までを示す。

尚、上記実施形態では、角加速度Δωの変化パターンから車両の車線変更挙動を検出して区間１〜４の分割を行なったが、これに限られるものではなく、例えば車両の前方を撮影する車載カメラ（即ち、白線検出部）により道路の車線を区切る白線を検出し、検出した白線の位置と車両の位置との位置関係から車線変更挙動（即ち、運転行動の変化点）を検出して区間１〜４の分割を行なうように構成しても良い。

また、運転シーンが例えば「合流あり直進」の場合の評価区間の分割においては、図１０に示すように、合流終了地点ｒ１から手前例えば３００ｍの地点をｒ４とし、地点ｒ４と合流終了地点ｒ１との間を例えば１００ｍ毎に３分割し、３割した区間を手前から順に区間１、区間２、区間３とする。

このようにして各運転シーンを評価区間に分割し、分割した評価区間、即ち、評価区間分割情報を一覧表にして示したものが、図１１である。この図１１に示すように、各運転シーンの各評価区間には、区間の開始点と終了点の条件データと、評価対象であるか否かの識別データと、顔向き角度の閾値のデータと、顔向き時間の閾値のデータとが対応付けられている。図１１に示す評価区間分割情報のデータテーブルは、予め作成され、評価区間分割部１０の内部のメモリに記憶されている。評価区間分割部１０は、運転シーン検出部９から検出された運転シーンの情報を受信すると、図１１のデータテーブルに基づいて上記検出された運転シーンに対応する評価区間分割情報を取得し、上記検出された運転シーンの情報と上記評価区間分割情報とを安全確認行動評価部１１へ出力する。これにより、図４の制御を終了する。

次に、安全確認行動評価部１１の制御、即ち、動作について、図５のフローチャートに従って説明する。図５のステップＳ３１０においては、安全確認行動評価部１１は、運転シーン検出部９により検出された運転シーンの情報と、評価区間分割部１０から出力された上記検出された運転シーンに対応する評価区間分割情報と、顔向き検出部３により検出された運転者の顔向き角度の情報とを取得する。

続いて、ステップＳ３２０へ進み、安全確認行動評価部１１は、検出された運転シーン内の手前からｎ番目（ｎの初期値は「１」）の評価区間が評価対象区間であるか否かを判断する。本実施形態の場合、図１１の表に示すように、評価対象区間が設定されている。このステップＳ３２０において、評価区間が評価対象区間でないときには（ＮＯ）、ステップＳ３７０へ進み、安全確認行動評価部１１は、運転シーン内の全ての評価区間を評価したか否かを判断する。ここで、全ての評価区間を評価していないときには（ＮＯ）、ｎをカウントアップして、ステップＳ３２０へ戻り、次の評価区間について評価対象区間であるか否かを判断する。

さて、上記ステップＳ３２０において、評価区間が評価対象区間であるときには（ＹＥＳ）、ステップＳ３３０へ進み、安全確認行動評価部１１は、上記評価区間の顔向き角度の閾値を参照する。続いて、ステップＳ３４０へ進み、評価区間において検出された運転者の顔向き角度が上記閾値を越えているか否かを判断する。

このステップＳ３４０において、検出された運転者の顔向き角度が上記閾値を越えていると（ＹＥＳ）、ステップＳ３５０へ進み、安全確認行動評価部１１は、該当評価区間において運転者による安全確認行動が適切になされていると判定し、判定結果を内部のメモリに記憶する。また、上記ステップＳ３４０で、検出された運転者の顔向き角度が上記閾値を越えていないときには（ＮＯ）、ステップＳ３６０へ進み、安全確認行動評価部１１は、該当評価区間において運転者による安全確認行動が適切になされていないと判定し、判定結果を内部のメモリに記憶する。

次いで、ステップＳ３７０へ進み、安全確認行動評価部１１は、運転シーン内の全ての評価区間を評価したか否かを判断する。ここで、全ての評価区間を評価していないときには（ＮＯ）、ｎをカウントアップして、ステップＳ３２０へ戻り、次の評価区間について評価対象区間であるか否かを判断し、以下上述した処理を繰り返し実行する。

また、上記ステップＳ３７０において、全ての評価区間の評価が完了したときには（ＹＥＳ）、ステップＳ３８０へ進み、安全確認行動評価部１１は、運転シーン内の全ての評価区間において運転者による安全確認行動が適切になされているか否かを判断する。ここで、全ての評価区間において運転者による安全確認行動が適切になされているときには（ＹＥＳ）、ステップＳ３９０へ進み、安全確認行動評価部１１は、該当運転シーンについて、運転者による安全確認行動が適切になされていると判定し、その判定結果を内部のメモリに記憶する。これにより、図５の制御を終了する。

また、上記ステップＳ３８０において、運転者による安全確認行動が適切になされていない評価区間が１つでもあるときには（ＮＯ）、ステップＳ４００へ進み、安全確認行動評価部１１は、該当運転シーンについて、運転者による安全確認行動が適切になされていないと判定し、その判定結果を内部のメモリに記憶する。これにより、図５の制御を終了する。

次に、各運転シーンの評価区間毎の顔向き角度の閾値及び顔向き時間の閾値を決定する方法について説明する。自動車運転教習員や運輸会社等で認められた模範運転者等による実際の模範運転から、各運転シーンの評価区間毎の顔向き角度のデータを収集し、各運転シーンの評価区間毎に、図１２（ａ）に示すような、顔向き角度と顔向き頻度の関係を示す特性図を作成する。この図１２（ａ）から、前方以外の顔向き角度であって最も分布の多い（即ち、顔向き頻度のピークの）顔向き角度Ｂ１を、顔向き角度の閾値とする。そして、この最も分布の多い顔向き角度Ｂ１における顔向き時間（即ち、顔向き角度Ｂ１に顔向きを保持している時間）と顔向き頻度の関係を示す特性図、即ち、図１２（ｂ）を作成する。この図１２（ｂ）から、顔向き時間の平均値Ｔ１を、顔向き時間の閾値とする。これら閾値Ｂ１、Ｔ１は、図１１に示す評価区間分割情報内のデータとして保存され、安全確認行動評価部１１及び評価基準学習部１２の内部のメモリに記憶される。このような各運転シーンの評価区間毎の顔向き角度の閾値及び顔向き時間の閾値を決定する処理（即ち、評価基準を決定または学習する処理）は、情報センタやメーカにて実施される。尚、上記閾値を決定する処理を、評価基準学習部１２において実行するように構成しても良い。また、本実施形態では、評価基準を模範運転者の顔向き角度から決定または学習するように構成したが、これに限られるものではなく、模範運転者の代わりに、その車両を運転する運転者の普段の運転で検出された運転者の顔向き角度から決定または学習するかように構成しても良い。

さて、例えば運転シーンが「車線変更」の評価区間１〜４について、模範運転者の顔向き角度を測定したデータ（即ち、顔向き分布の測定結果）の一例を、図１３（ａ）に示す。そして、安全確認が不十分な運転者の顔向き角度を測定したデータ（即ち、顔向き分布の測定結果）の一例を図１３（ｂ）に示す。

図１３において、各区間の顔向き分布は、複数回の右車線変更における各区間毎の顔向き角度の検出結果の分布である。区間１から区間４に至る顔向き分布の変化がわかり、それらについて模範運転者と安全確認が不十分な運転者との違いが明確にわかる。図１３から、複数回の運転シーンにおける区間毎の顔向き分布について、模範運転者の顔向き分布を基準として、一般の運転者の顔向き分布を評価してもよいことがわかる。評価の方法としては、平均値を比較したり、平均値と標準偏差σを加えた値を比較したり、また、顔向き分布のピーク位置について比較したりする方法がある。

また、運転シーンが「車線変更」、「合流あり直進」、「単路直進」の場合について、顔向き角度と顔向き頻度との関係（即ち、顔向き分布）を測定した結果を、図１４に示す。図１４（ａ）は模範運転者の顔向き分布を示し、図１４（ｂ）は安全確認が不十分な運転者の顔向き分布を示す。図１４（ａ）、（ｂ）において、１点鎖線の曲線Ｃ１は「車線変更」の場合であり、破線の曲線Ｃ２は「合流あり直進」の場合であり、実線の曲線Ｃ３は「単路直進」の場合である。尚、図１３の測定データに基づいて、図１４の曲線Ｃ１を得ることができる。

図１４においては、各運転シーンを区間分割していないが、運転シーン毎に比較しても、模範運転者と安全確認が不十分な運転者との間で明確な違いが見られる。このため、図１４（ａ）に示す模範運転者の顔向き分布を基準として、一般の運転者の顔向き分布を評価してもよいことがわかる。

このような構成の本実施形態によれば、運転シーン検出部９により車両の運転シーンを検出し、検出した運転シーンを評価区間分割部１０により評価基準の異なる評価区間に分割し、安全確認行動評価部１１により運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価するように構成したので、車両の運転シーンを評価区間に分割して細かく検出することができると共に、安全確認行動を高精度に診断することができる。また、本実施形態においては、視線検出装置を用いないので、製造コストを低減することができる。

また、本実施形態では、評価区間分割部１０によって、運転シーンの情報、ウィンカー信号の情報、車速の情報、及び、操舵状態の情報に基づいて運転行動の変化点ｐ１、ｐ２、ｐ３を検出し、検出した変化点ｐ１、ｐ２、ｐ３に基づいて前記運転シーンを評価区間に分割するように構成したので、評価基準の異なる評価区間に精度良く分割することが得切る。この構成の場合、運転行動の変化点としては、ウィンカー点灯時点ｐ１、ハンドル切始め時点ｐ２及びハンドル切返し時点ｐ３を用いることが好ましい。

更に、本実施形態では、運転シーン検出部９によって、車両が走行する車線が異なるときには、異なる運転シーンとして運転シーンを検出するように構成したので、運転シーンをきめ細かく検出することができ、安全確認行動の診断精度をより一層向上できる。

また、本実施形態の図９に示す「車線変更」の運転シーンにおいて、ウィンカーの点灯時間について、安全確認行動の評価を実施することが可能である。具体的には、図９に示す区間２は、ウィンカー点灯からハンドル切始めまでの区間であり、この区間２の長さ（即ち、時間）に基づいて運転者によるウィンカー点灯操作の良し悪しを評価することができる。

尚、図９に示す評価区間の分割処理において、ウィンカー点灯が遅すぎたり、ウィンカーを早く消灯したりすると、ハンドルの切始めの時点やハンドルの切返しのピークの時点が見つからない事態が発生することがある。このような場合には、検出できない区間は評価無効区間、あるいは、異常運転行動の区間として、評価区間分割部１０の内部のメモリに記憶するように構成することが好ましい。

（第２実施形態）
図１５及び図１６は、本発明の第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第２実施形態では、オートクルーズやレーンキープアシストや自動車線変更等の自動走行を実行することができる自動走行装置を備えた車両に適用した。尚、車線変更を自動で行う技術としては、例えば特開平１１−３３９１８６号公報に記載された構成が知られている。

オートクルーズやレーンキープアシスト等の自動走行を実行している場合であっても、安全運行の責任が運転者にある以上、運転者は常に安全確認を行う必要がある。このため第２実施形態においても、各運転シーンの評価区間毎に安全確認行動の評価を行い、運転者による安全確認行動が適切にできていないと判定された場合には、安全確認行動をするようアドバイスを提示したり、安全確認方向を提示したりする。また、第２実施形態では、運転者による安全確認行動が適切にできていないと繰り返し判定された場合には、自動走行装置の動作モードを変更する、例えば車両速度を設定値以下に制御したり、自動車線変更を不可としたりする。

第２実施形態の安全確認診断システム２１は、図１５に示すように、第１実施形態の安全確認診断システム１の構成に加えて、自動走行装置作動検出部２２と自動走行装置モード変更制御部２３を備えている。自動走行装置作動検出部２２は、オートクルーズやレーンキープアシストや自動車線変更等を実行する自動走行装置の作動状態を検出し、検出信号を安全確認行動評価部１１へ送信する。

自動走行装置モード変更制御部２３は、安全確認行動評価部１１から安全確認行動判定信号と自動走行装置の作動状態の検出信号とを入力し、自動走行装置の動作モードを変更する必要があるか否かを判断し、変更する必要があるときには、変更制御信号を自動走行装置へ出力する。

次に、第２実施形態の自動走行装置モード変更制御部２３の制御、即ち、動作について、図１６のフローチャートに従って説明する。図１６のステップＳ４１０においては、自動走行装置モード変更制御部２３は、安全確認行動評価部１１から安全確認行動判定信号及び自動走行装置の作動状態の検出信号等の情報を取得する。続いて、ステップＳ４２０へ進み、自動走行装置モード変更制御部２３は、検出された運転シーンの評価区間毎に安全確認ができているか否かを判断する。ここで、全ての評価区間について安全確認ができているときには、ステップＳ４２０にて「ＹＥＳ」へ進み、図１６の制御を終了する。

また、上記ステップＳ４２０において、少なくとも１つの評価区間について安全確認ができていないときには（ＮＯ）、ステップＳ４３０へ進み、自動走行装置モード変更制御部２３は、安全確認ができていない評価区間及び運転シーンに基づいて自動走行装置の動作モード変更処理を実行する。この場合、自動走行装置モード変更制御部２３は、例えば安全確認ができていないと繰り返し判定されたような場合に、例えば車両速度を設定値以下に制御したり、自動車線変更を不可としたりする等の自動走行装置の動作モードの変更を行なうことを指示する変更指示信号を自動走行装置へ送信する。これにより、図１６の制御を終了する。

尚、上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、自動走行装置を備えた車両においても、運転者による安全確認行動を正確に判定することができ、また、自動走行中に安全確認行動が実行されないときには、それに対応するように自動走行装置の動作モードを変更することができる。

（第３実施形態）
図１７及び図１８は、本発明の第３実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第３実施形態では、運転者の視線を検出する視線検出部２４を設け、この視線検出部２４により検出した視線検出結果を安全確認行動評価部１１へ出力するように構成した。

視線検出部２４は、顔向き検出部３から、運転者の顔画像のデータを入力し、入力した運転者の顔画像のデータに基づいて運転者の視線を推定（即ち、検出）する。この場合、視線検出部２４は、運転者の顔画像から左右の目の画像を抽出し、抽出した左右の目の画像から眼球と虹彩の位置関係を取得する。更に、視線検出部２４は、取得した眼球と虹彩の位置関係と、顔向き検出部３により検出された運転者の顔向き角度とに基づいて、運転者の視線方向を検出するように構成されている。

そして、視線検出部２４は、推定した運転者の視線方向の検出結果を安全確認行動評価部１１へ出力する。安全確認行動評価部１１は、視線検出部２４からの運転者の視線方向の検出結果を考慮して運転者の安全確認行動が適切になされたか否かを判定するように構成されている。

次に、第３実施形態の視線検出部２４の制御、即ち、動作について、図１８のフローチャートに従って説明する。図１８のステップＳ５１０においては、視線検出部２４は、顔向き検出部３から運転者の顔画像のデータを入力する。続いて、ステップＳ５２０へ進み、視線検出部２４は、顔向き検出部３から運転者の顔向き角度の情報を取得する。

次いで、ステップＳ５３０へ進み、視線検出部２４は、抽出した運転者の顔画像に基づいて運転者の視線方向を検出（即ち、推定）する。そして、ステップＳ５４０へ進み、視線検出部２４は、推定した運転者の視線方向の検出結果を、内部のメモリに記憶（即ち、保存）すると共に、安全確認行動評価部１１へ出力する。これにより、図１８の制御を終了する。

尚、上述した以外の第３実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第３実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第３実施形態によれば、安全確認行動評価部１１は、視線検出部２４による運転者の視線の検出結果を考慮して運転者の安全確認行動を判定するように構成したので、安全確認行動の判定精度を向上させることができる。

（第４実施形態）
図１９は、本発明の第４実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第１実施形態では、高速道または車両専用道における運転シーンについて、運転者の安全確認行動を評価するように構成したが、第４実施形態では、一般道における運転シーンについても、運転者の安全確認行動を評価するように構成した。

具体的には、図１９に示すように、一般道において、「車線変更」、・・・、「単路直進」の各運転シーンについて、複数の評価区間に分割し、分割した各評価区間毎に、第１実施形態とほぼ同様にして、運転者の安全確認行動を評価（即ち、判定）するように構成した。

尚、上述した以外の第４実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第４実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。

また、上記した各実施形態においては、各運転シーンの評価区間毎において、顔向き角度または顔向き時間が各閾値を超えているかどうかで運転者の安全確認行動を評価するように構成したが、これに代えて、各運転シーンの評価区間毎において、顔向き角度の分布の形に基づいて安全確認行動を評価するように構成しても良い。

図面中、１は安全確認診断システム、２はカメラ、３は顔向き検出部、６はウィンカー信号検出部、９は運転シーン検出部、１０は評価区間分割部、１１は安全確認行動評価部、１２は評価基準学習部、１３はアドバイス提示部、１４は管理者向け伝達部、２１は安全確認診断システム、２２は自動走行装置作動検出部、２３は自動走行装置モード変更制御部、２４は視線検出部である。

Claims (11)

1. 車両の運転者の顔を撮影するカメラ（２）と、
   運転者の顔の画像データに基づいて運転者の顔の向きを検出する顔向き検出部（３）と、
   車両の運転シーンを検出する運転シーン検出部（９）と、
   運転シーンを評価基準の異なる評価区間に分割する評価区間分割部（１０）と、
   運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価する安全確認行動評価部（１１）と
   を備えた安全確認診断システム。
2. 前記評価区間分割部（１０）は、前記運転シーン検出部（９）により検出された運転シーンの情報、ウィンカー信号の情報、車速の情報、及び、操舵状態の情報に基づいて運転行動の変化点を検出し、検出した変化点に基づいて前記運転シーンを分割するように構成されている請求項１記載の安全確認診断システム。
3. 前記運転行動の変化点は、ウィンカー点灯時点、ハンドル切始め時点及びハンドル切返し時点であることを特徴とする請求項２記載の安全確認診断システム。
4. 道路の白線を検出する白線検出部を備え、
   前記評価区間分割部（１０）は、検出した白線の位置と車両の位置との位置関係から運転行動の変化点を検出して前記運転シーンを分割するように構成されていることを特徴とする請求項１記載の安全確認診断システム。
5. 前記運転シーン検出部（９）は、車両が走行する車線が異なるときには、異なる運転シーンとして運転シーンを検出するように構成されている請求項１記載の安全確認診断システム。
6. 前記安全確認行動評価部（１１）の評価基準を運転者の普段の運転または模範運転者の運転に基づいて学習する評価基準学習部（１２）を備えた請求項１記載の安全確認診断システム。
7. 前記安全確認行動評価部（１１）からの安全確認行動の評価結果に基づいて、運転者に対してアドバイスを提案するアドバイス提示部（１３）を備えた請求項１から６のいずれか一項記載の安全確認診断システム。
8. 前記安全確認行動評価部（１１）からの安全確認行動の評価結果に基づいて、運転者の安全確認行動の評価結果の情報と、安全確認行動の評価を行なったときの車両の位置の情報と、安全確認行動の評価を行なったときの時刻の情報とを、車両を管理する管理事務所に伝達する管理者向け伝達部（１４）を備えた請求項１から７のいずれか一項記載の安全確認診断システム。
9. 自動走行装置の作動状態を検出する自動走行装置作動検出部（２２）と、
   前記安全確認行動評価部（１１）による安全確認行動の評価結果に基づいて、自動走行装置の動作モードを変更する必要があるか否かを判断する自動走行装置モード変更制御部（２３）と
   を備えた請求項１から８のいずれか一項記載の安全確認診断システム。
10. 運転者の視線を検出する視線検出部（２４）を備え、
    前記安全確認行動評価部（１１）は、運転者の視線の検出結果を考慮して運転者の安全確認行動を評価するように構成されている請求項１から９のいずれか一項記載の安全確認診断システム。
11. 車両の運転者の顔を撮影するカメラ（２）と、運転者の顔の画像データに基づいて運転者の顔の向きを検出する顔向き検出部（３）と、車両の運転シーンを検出する運転シーン検出部（９）と、運転シーンを評価基準の異なる評価区間に分割する評価区間分割部（１０）とを備えた安全確認診断方法であって、
    運転者の顔の向きと車両の運転シーンの評価区間とに基づいて運転者の安全確認行動を評価するようにした安全確認診断方法。
    

Images