JP6844568B2

JP6844568B2 - 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Info

Publication number: JP6844568B2
Application number: JP2018059161A
Authority: JP
Inventors: 和樹稲垣; 奈々佐久間
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2021-03-17
Anticipated expiration: 2038-03-27
Also published as: US20210081690A1; JP2019174885A; US20240112475A1; WO2019187979A1; US11893806B2

Description

本発明は、余所見判定装置、余所見判定システム、余所見判定方法、プログラムに関する。

車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。

国際公開第２０１６／０５２５０７号

上述のような運転時の余所見を判定する技術では撮影画像に映る顔の視線に基づいて余所見の検知を行う。しかしながら撮影画像に顔が映っていない場合にはそもそも余所見判定を行っておらず、顔が映っていない場合でも運転状況に応じて適切に余所見判定を行うことが求められている。

そこでこの発明は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、余所見判定装置は、撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定することを特徴とする。

本発明の第２の態様によれば、撮影装置と余所見判定装置とを備えた余所見判定システムは、前記余所見判定装置が、撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定することを特徴とする。

本発明の第３の態様によれば、余所見判定方法は、撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定することを特徴とする。

本発明の第４の態様によれば、プログラムは、余所見判定装置のコンピュータを、撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する手段として機能させることを特徴とする。

本発明によれば、撮影画像に基づいて顔が映っていないと判定された場合に運転状況に応じて余所見であるか否かを判定することができる。

本実施形態による運転状況監視システムを示す図である。本実施形態による余所見判定装置のハードウェア構成図である。本実施形態による余所見判定装置の機能ブロック図である。本実施形態によるドライブレコーダのハードウェア構成を示す図である。本実施形態によるドライブレコーダの制御装置の機能ブロック図である。本実施形態によるドライブレコーダの処理フローを示す図である。本実施形態による余所見判定装置の処理フローを示す図である。本実施形態による余所見判定装置において余所見判定するための顔方向又は視線方向の条件範囲の一例を示す図である。本実施形態による余所見判定装置の最小構成を示す図である。

以下、本発明の一実施形態による余所見判定装置を図面を参照して説明する。
図１は同実施形態による運転状況監視システムを示す図である。
図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。

図２は余所見判定装置のハードウェア構成図である。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。

図３は余所見判定装置の機能ブロック図である。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、を少なくとも備える。

制御部１１は他の機能部を制御する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、顔が検出できない場合には、余所見状態と判定する。また余所見判定部１４は撮影画像に基づいて顔方向が所定の条件範囲か否かを判定し、顔方向が、運転状況情報に基づいて決定した所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は撮影画像に基づいて視線方向が所定の条件範囲か否かを判定し、視線方向が、運転状況情報に基づいて決定した所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は運転状況情報が右方向に進路を変更することを示す場合、条件範囲を右方向に拡張した条件範囲を決定する。また余所見判定部１４は運転状況情報が左方向に進路を変更することを示す場合、条件範囲を左方向に拡張した条件範囲を決定する。
判定結果出力部１５は余所見判定結果を出力する。

図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。

図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６の各機能部が備わる。

図６はドライブレコーダの処理フローを示す図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内を車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。

そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などであってよい。また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得してもよい。または天候情報は車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などからえられる情報であってよい。制御装置２４は、ワイパーが動作している場合、雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。

運転状況データ送信部２４５は所定の間隔で車両情報、天候情報、加速度情報を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与されてよい。なお上述の処理において加速度や、天候情報を送信しているが、車両情報のみで余所見判定を行う場合には、それらの情報を送信しなくてもよい。また車両情報に加えて現在の位置情報や周辺の地図情報やナビゲーションシステムの経路案内に関する経路案内情報等の他の情報を送信してもよい。

図７は余所見判定装置の処理フローを示す図である。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、当該各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。

余所見開始判定部１３はある一つのドライブレコーダ２を特定し、そのＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、撮影画像を取得する。余所見判定部１４は車両情報に含まれる車速が前方方向の速度（前進）を示し、かつ所定の速度以上であるかを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなど値であてよい。余所見判定部１４は車速が前進を示し、所定の速度以上である場合に余所見判定を開始すると決定する。

余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は加速度が０以上かを判定して、加速度が０以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４は天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。余所見判定部１４は車外の撮影画像に基づいて余所見判定を開始すると決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、撮影画像に車線のカーブが映る場合、余所見判定を開始すると決定してよい。余所見判定部１４は余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。

余所見判定部１４は車両情報に基づいて運転状況情報を取得する（ステップＳ２０３）。運転状況情報は運転時の状況を示す情報であって、車速、走行状態を少なくとも含む。走行状態は車両の走行状態を示し、前進、右左折、車線変更又はカーブ走行等がある。例えば余所見判定部１４はウィンカー指示が方向指示をしておらず、ハンドル角度が所定の範囲（例えば直進方向を基準とする左右１０度など）内である場合に走行状態が前進であると判定する。また余所見判定部１４はウィンカー指示が左方向を指示しており、ハンドル角度が所定の範囲（例えば直進方向を基準とする左１０度以上など）内である場合に走行状態が左折であると判定する。また余所見判定部１４はウィンカー指示が右方向を指示しており、ハンドル角度が所定の範囲（例えば直進方向を基準とする右１０度以上など）内である場合に走行状態が右折であると判定する。また余所見判定部１４はウィンカー指示が左方向を指示しており、ハンドル角度が所定の範囲（例えば直進方向を基準とする左右１０度など）内である場合に走行状態が左への車線変更であると判定する。また余所見判定部１４はウィンカー指示が右方向を指示しており、ハンドル角度が所定の範囲（例えば直進方向を基準とする左右１０度など）内である場合に走行状態が右への車線変更であると判定する。また余所見判定部１４はウィンカー指示が方向指示をしておらず、ハンドル角度が所定の範囲（例えば直進方向を基準とする左１０度以上など）内である場合に走行状態が左カーブ走行であると判定する。また余所見判定部１４はウィンカー指示が方向指示をしておらず、ハンドル角度が所定の範囲（例えば直進方向を基準とする右１０度以上など）内である場合に走行状態が右カーブ走行であると判定する。

なお余所見判定部１４は他の情報を利用して、または他の情報を追加で利用して走行状態を判定してもよい。例えば余所見判定部１４はドライブレコーダ２から運転時の位置情報を取得している場合には、運転時の位置の地図情報に基づいて走行状態を判定してもよい。また余所見判定部１４はドライブレコーダ２からナビゲーションシステムの経路案内情報を取得している場合には、経路案内情報に基づいて走行状態を判定してもよい。

余所見判定部１４は現在の処理対象のドライブレコーダ２のＩＤに基づいて情報取得部１２の既に取得している撮影画像を当該情報取得部１２から入力する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔でドライブレコーダ２から受信する撮影画像を順次読み取る。

余所見判定部１４は撮影画像を読み取ると、余所見判定を続けることが出来る程度に撮影画像に顔が映っているかを判定する顔検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できるかを判定する（ステップＳ２０４）。余所見判定部１４は新たに取得した撮影画像内に顔を検出した場合次の顔方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間のセンシング時刻の撮影画像について、運転状況情報に基づいて特定した所定割合以上の回数で顔が映っていないかを判定する（ステップＳ２０５）。余所見判定部１４は運転状況情報に基づいて所定割合を特定する。例えば余所見判定部１４は走行状態が右左折、車線変更又はカーブ走行である場合には、走行状態が前進であるときより当該所定割合の値を低くする。余所見判定部１４は、所定期間の間に取得した撮影画像について、所定割合以上の回数で顔が映っていない場合、余所見をしていると判定する（ステップＳ２０６）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が映っていない回数が所定割合未満の場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。

上述の顔検出処理において余所見判定部１４は、運転者が眼鏡やマスクをかけている場合、余所見判定を続けることが出来る程度に撮影画像に顔が映っていないと判定されてもよい。この場合、余所見判定部１４は処理を終了すると判定してもよい。

余所見判定部１４は顔方向検出処理において、運転状況情報に基づいて余所見判定するための顔方向の条件範囲を決定する（ステップＳ２０７）。図８は余所見判定装置において余所見判定するための顔方向又は視線方向の条件範囲の一例を示す図である。例えば余所見判定部１４は走行状態が前進である場合には、運転者Ｄに対し直進方向を基準として左右α度（例えば１０度）の範囲を条件範囲と決定する（図８（Ａ）参照）。また余所見判定部１４は走行状態が右折、右への車線変更又は右カーブ走行等の右方向に進路を変更することを示す場合には、前進時の条件範囲を運転者Ｄに対し右方向にβ度拡張した条件範囲を決定する（図８（Ｂ）参照）。また余所見判定部１４は走行状態が左折、左への車線変更又は左カーブ走行等の左方向に進路を変更することを示す場合には、前進時の条件範囲を運転者Ｄに対し左方向にβ度拡張した条件範囲を決定する（図８（Ｃ）参照）。β度は右左折時と車線変更時とカーブ走行時とでそれぞれ異なる値であってもよい。また余所見判定部１４は現在の車速に基づいて条件範囲の広さを変更してもよい。例えば余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を更に左右１０度拡張するなどと広げるようにしてもよい。

余所見判定部１４は新たに取得した撮影画像内の顔方向が決定した所定の条件範囲内かを判定する（ステップＳ２０８）。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の条件範囲内である場合、視線方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の条件範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、顔が直進方向を基準とする所定の条件範囲内となる回数が運転状況情報に基づいて特定した所定割合以上かを判定する（ステップＳ２０９）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が直進方向を基準とする所定の条件範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２１０）。余所見判定部１４は、顔が直進方向を基準とする所定の条件範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を運転状況情報に応じて変動させる。例えば余所見判定部１４は走行状態が右左折、車線変更又はカーブ走行である場合には、走行状態が前進であるときより当該所定割合の値を低くする。また余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。

余所見判定部１４は視線方向検出処理において、運転状況情報に基づいて余所見判定するための視線方向の条件範囲を決定する（ステップＳ２１１）。例えば余所見判定部１４は走行状態が前進である場合には、直進方向を基準として左右α度（例えば１０度）の範囲を条件範囲と決定する。また余所見判定部１４は走行状態が右折、右への車線変更又は右カーブ走行等の右方向に進路を変更することを示す場合には、前進時の条件範囲を右方向にβ度拡張した条件範囲を決定する。また余所見判定部１４は走行状態が左折、左への車線変更又は左カーブ走行等の左方向に進路を変更することを示す場合には、前進時の条件範囲を左方向にβ度拡張した条件範囲を決定する。β度は右左折時と車線変更時とカーブ走行時とでそれぞれ異なる値であってもよい。また余所見判定部１４は現在の車速に基づいて条件範囲の広さを変更してもよい。例えば余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を更に左右１０度拡張するなどと広げるようにしてもよい。

余所見判定部１４は新たに取得した撮影画像内の視線方向が決定した所定の条件範囲内かを判定する（ステップＳ２１２）。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の条件範囲内である場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の条件範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、視線が直進方向を基準とする所定の条件範囲内となる回数が運転状況情報に基づいて特定した所定割合以上かを判定する（ステップＳ２１３）。余所見判定部１４は、所定期間の間に取得した撮影画像について、視線が直進方向を基準とする所定の条件範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２１４）。余所見判定部１４は、視線が直進方向を基準とする所定の条件範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を運転状況情報に応じて変動させる。例えば余所見判定部１４は走行状態が右左折、車線変更又はカーブ走行である場合には、走行状態が前進であるときより当該所定割合の値を低くする。また余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。

余所見判定部１４は余所見が行われていると判定した場合には、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定したドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいてその送信先となるネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録されているものとする。判定結果出力部１５は当該送信先に余所見検知を示す情報を送信する（ステップＳ２１５）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。余所見判定部１４は終了するかを判定する（ステップＳ２１６）。終了しない場合、余所見判定装置１は次にドライブレコーダ２から受信した処理を用いて同様の処理を所定間隔で繰り返す。

ドライブレコーダ２は余所見検知の情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。

上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行うようにしてもよい。またはドライブレコーダ２と接続された車内に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行う。

上述の処理によれば顔の方向や視線の方向が検知できない場合でも顔が検出できたかどうかで余所見検知を行うことができる。
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合に余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下など視線方向が前方から離れるような場合に余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の処理によれば余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行うことで、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において速度が低下するほど当該所定割合の値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。

また上述の処理によれば余所見判定装置１は顔が検出できた回数が所定割合以上かを判定する処理において運転状況情報に基づいて所定割合の値を特定する。これにより前進時のみならず、右左折時や車線変更時やカーブ走行時にも余所見判定することができ、運転状況に応じた適切な余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は顔方向又は視線方向が直進方向を基準とする所定の条件範囲内であるかを判定する処理において当該所定の条件範囲を運転状況情報に基づいて決定する。これにより運転状況に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は顔方向又は視線方向が直進方向を基準とする所定の条件範囲内となる回数が所定割合以上かを判定する処理において運転状況情報に基づいて当該所定割合の値を決定する。これにより運転状況に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。

なお同実施形態では、余所見判定装置１は顔方向及び視線方向の条件範囲を右方向に進路を変更する場合には右方向に拡張し、左方向に進路を変更する場合には左方向に拡張しているが、これに限らず、条件範囲を左右いずれかの方向にずらすようにしてもよい。例えば余所見判定装置１は右方向に進路を変更する場合には条件範囲を右方向にずらし、左方向に進路を変更する場合には条件範囲を左方向にずらすようにしてもよい。

図９は余所見判定装置の最小構成を示す図である。
余所見判定装置１は少なくとも余所見判定部１４を備えればよい。余所見判定部１４は撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、顔が検出できない場合には、余所見状態と判定する。

上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２２３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部

Claims

撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、
前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
余所見判定装置。
運転対象の移動体のドライブレコーダが取得したセンシング情報に基づいて余所見判定を開始すると決定した場合に、前記余所見状態であるかを判定する
請求項１に記載の余所見判定装置。
前記移動体が前進しかつ所定速度以上である場合、
前記移動体の加速度が０以上でる場合、
取得した天候情報が所定の天候を示す場合、
取得した撮影画像に基づいて直進方向に対象物が映る場合、
取得した撮影画像に基づいてカーブが映る場合、
の少なくとも一つの場合に前記余所見判定を開始すると決定する
請求項２に記載の余所見判定装置。
前記運転状況情報が右方向に進路を変更することを示す場合、前記条件範囲を右方向に拡張した前記条件範囲を決定する
請求項１から請求項３の何れか一項に記載の余所見判定装置。
前記運転状況情報が左方向に進路を変更することを示す場合、前記条件範囲を左方向に拡張した前記条件範囲を決定する
請求項１から請求項４の何れか一項に記載の余所見判定装置。
撮影装置と余所見判定装置とを備えた余所見判定システムであって、
前記余所見判定装置が、
撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、
前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
余所見判定システム。
撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、
前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
余所見判定方法。
余所見判定装置のコンピュータを、
撮影画像に基づいて顔が検出できたか否かを判定し、運転時に取得した運転状況情報に基づいて特定した単位時間当たりの所定割合以上、前記顔が検出できない場合には、余所見状態と判定し、
前記顔が検出できた場合に、前記撮影画像に基づいて顔方向が進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が前記進行方向を基準とする所定の条件範囲であると判定した場合に、前記撮影画像に基づいて視線方向が前記進行方向を基準とする所定の条件範囲か否かを判定し、
前記顔方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定し、
前記視線方向が、前記運転状況情報に基づいて決定した前記進行方向を基準とする所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する手段
として機能させるプログラム。