JP7257889B2 - 運転者監視装置及び監視システム - Google Patents

Description

この発明は、運転者監視装置及び監視システムに関するものである。

従来、車両を運転している運転者の状態を監視する運転者監視装置が提供されている。例えば、特許文献１に開示された運転者監視装置は、携帯端末にカメラを備え、そのカメラよって撮影した撮影画像に基づいて、運転者が車両を運転中に携帯端末を見ているか否かを判定するものである。

特開２０１７－１５６１９６号公報

また、運転者監視装置の中には、車載カメラによって撮影した撮影画像に基づいて、運転者が車両を運転中に携帯端末を操作しているか否かを判定する装置もある。しかしながら、そのような、従来の運転者監視装置では、携帯端末が車載カメラに映る必要があり、運転者が携帯端末を車載カメラに映らないところで操作している場合には、適切な判定を行うことができない。

この発明は、上記のような課題を解決するためになされたもので、携帯端末が撮影部に映らない場合でも、運転者が車両を運転中に携帯端末を操作しているか否かを判定することができる運転者監視装置を提供することを目的とする。

この発明に係る運転者監視装置は、車内を撮影する撮影部から、撮影した撮影画像の画像情報を取得する画像情報取得部と、車両の状態を検出する車両状態検出部から車両の状態を示す車両状態情報を取得する車両状態情報取得部と、画像情報取得部から取得した画像情報に基づいて、車両を運転する運転者の顔向き及び視線を検出する検出部と、車両状態情報取得部から取得した車両状態情報、及び、検出部から取得した運転者の顔向き及び視線を示す検出情報に基づいて、運転者が車両の運転中に携帯端末を操作しているか否かを判定する判定部と、判定部の判定結果に基づいて、運転者に警報を通知する警報部を制御する出力制御部と、画像情報取得部から取得した画像情報を用いて、運転者が保持する携帯端末の軌跡を計算し、この計算した軌跡に基づいて、携帯端末の現在位置を推定する推定部とを備え、判定部は、検出部から取得した検出情報、及び、推定部から取得した携帯端末の現在位置を示す端末位置情報に基づいて、運転者が車両の運転中に携帯端末を操作しているか否かを判定するものである。

この発明によれば、携帯端末が撮影部に映らない場合でも、運転者が車両を運転中に携帯端末を操作しているか否かを判定することができる。

実施の形態１に係る運転者監視装置の構成を示すブロック図である。 実施の形態１に係る運転者監視装置の動作を示すフローチャートである。 実施の形態１に係る検出部の動作を示すフローチャートである。 実施の形態１に係る判定部の動作を示すフローチャートである。 図５Ａ及び図５Ｂは実施の形態１に係る運転者監視装置のハードウェア構成の一例を示す図である。 実施の形態２に係る運転者監視装置の構成を示すブロック図である。 実施の形態２に係る推定部の動作を示すフローチャートである。 実施の形態２に係る推定部の動作を示すイメージ図である。 実施の形態２に係る判定部の動作を示すフローチャートである。 実施の形態３に係る監視システムの構成を示すブロック図である。 実施の形態３に係る判定部の動作を示すフローチャートである。 実施の形態３に係る学習部の動作を示すフローチャートである。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。

実施の形態１．
実施の形態１に係る運転者監視装置１０について、図１から図５を用いて説明する。

図１は、実施の形態１に係る運転者監視装置１０の構成を示すブロック図である。

図１に示すように、運転者監視装置１０は、車両５０に搭載されており、この車両５０を運転する運転者を監視するものである。

車両５０は、撮影部５１、車両状態検出部５２、及び、警報部５３を備えている。

撮影部５１は、車内を撮影し、その撮影した撮影画像の画像情報を運転者監視装置１０に出力する。この撮影部５１は、例えば、車載カメラまたはドライバーモニタリングシステム等である。

車両状態検出部５２は、例えば、速度センサ、シフトセンサ、操舵角センサ、及び、スロットルバルブセンサ等の各種センサから構成されており、車両５０の速度、シフト位置、操舵角、及び、スロットルバルブ開度位置に基づいて、車両５０の状態を検出する。また、車両状態検出部５２は、車両５０の状態を示す車両状態情報を運転者監視装置１０に出力する。この車両状態情報は、車両５０の速度を示す車両速度情報、車両５０のシフト位置を示すシフト位置情報、車両５０の操舵角を示す操舵角情報、車両５０のスロットルバルブ開度位置を示すスロットルバルブ開度位置情報等を含むものである。

警報部５３は、運転者監視装置１０から出力された判定結果を示す判定結果情報に基づいて、運転者に対して、警報を通知する。この警報部５３は、例えば、表示装置またはスピーカ等である。

運転者監視装置１０は、画像情報取得部１１、車両状態情報取得部１２、検出部１３、検出情報記憶部１４、判定部１５、判定条件情報記憶部１６、判定結果情報記憶部１７、及び、出力制御部１８を備えている。

画像情報取得部１１は、撮影部５１から画像情報を取得する。また、画像情報取得部１１は、撮影部５１から取得した画像情報を、検出部１３に出力する。

車両状態情報取得部１２は、車両状態検出部５２から車両状態情報を取得する。また、車両状態情報取得部１２は、車両状態検出部５２から取得した車両状態情報を、判定部１５に出力する。

検出部１３は、画像情報取得部１１から取得した画像情報から、運転者の顔及び目を認識して、顔向き及び視線を検出する。また、検出部１３は、運転者の顔向き及び視線を示す検出情報を、検出情報記憶部１４及び判定部１５に出力する。なお、検出部１３は、顔向き及び視線に加えて、開眼度を検出し、これらを示す検出情報を出力しても構わない。

検出情報記憶部１４は、検出部１３から出力された検出情報を記憶するデータベースである。

判定部１５は、車両状態情報取得部１２から取得した車両状態情報、及び、検出部１３から取得した検出情報に基づいて、運転者が車両５０の運転中に携帯端末を操作しているか否かを判定する。即ち、判定部１５は、車両状態情報取得部１２から取得した車両状態情報に基づいて、運転者が車両５０を運転しているか否かを判定する。また、判定部１５は、検出部１３または検出情報記憶部１４から取得した検出情報に基づいて、運転者が携帯端末を操作しているか否かを判定する。更に、判定部１５は、判定結果を示す判定結果情報を、判定結果情報記憶部１７及び出力制御部１８に出力する。

この判定部１５は、例えば、車両５０の速度が０ｍ／ｓを超えた状態で、運転者の顔向きが変わらず、運転者の視線だけが動いている場合に、運転者が車両５０の運転中に携帯端末を操作していると判定する。なお、携帯端末の操作とは、タッチ操作及び閲覧等を含むものである。

判定条件情報記憶部１６は、判定条件情報を記憶するデータベースである。判定条件情報は、予め判定条件情報記憶部１６に記憶されている。この判定条件情報は、どのような顔向き及び視線になったときに、運転者が車両５０を運転中に携帯端末を操作していると判定するための閾値または範囲を示す情報である。判定部１５は、判定条件情報を判定条件情報記憶部１６から読み出し可能となっている。

判定結果情報記憶部１７は、判定部１５から出力された判定結果情報を記憶するデータベースである。

出力制御部１８は、判定部１５から取得した判定結果情報に基づいて、警報部５３を制御する。即ち、出力制御部１８は、運転者が車両５０の運転中に携帯端末を操作しているという判定結果を示す判定結果情報を取得すると、警報部５３を動作させて、当該警報部５３から、運転者に対して警報を通知する。

なお、上述した実施の形態１に係る運転者監視装置１０は、検出情報記憶部１４、判定条件情報記憶部１６、及び、判定結果情報記憶部１７を備えているが、これらを必ずしも備えていなくても良い。判定条件情報は、予め判定部１５に記憶させておけば良い。

次に、図２は、実施の形態１に係る運転者監視装置１０の動作を示すフローチャートである。

図２に示すように、ステップＳＴ１１において、画像情報取得部１１は、撮影部５１から画像情報を取得する。

ステップＳＴ１２において、車両状態情報取得部１２は、車両状態検出部５２から車両状態情報を取得する。

ステップＳＴ１３において、検出部１３は、画像情報に基づいて、運転者の顔向き及び視線を検出する。

ステップＳＴ１４において、判定部１５は、車両状態情報取得部１２から取得した車両状態情報、及び、検出部１３から取得した検出情報に基づいて、運転者が車両５０の運転中に携帯端末を操作しているか否かを判定する。ここで、判定部１５が、運転者が車両５０を運転中に携帯端末を操作していると判定した場合（ＹＥＳの場合）には、運転者監視装置１０の動作は、ステップＳＴ１５に進む。一方、判定部１５が、運転者が車両５０を運転中に携帯端末を操作していないと判定した場合（ＮＯの場合）には、運転者監視装置１０の動作は、ステップＳＴ１１に戻る。

ステップＳＴ１５において、出力制御部１８は、判定部１５の判定結果に基づいて、運転者に警報を通知する警報部５３を制御する。

次に、図３は、実施の形態１に係る検出部１３の動作を示すフローチャートである。

図３に示すように、ステップＳＴ２１において、検出部１３は、画像情報取得部１１から画像情報を取得する。

ステップＳＴ２２において、検出部１３は、運転者の顔が画像情報内に存在するか否かを判定する。ここで、検出部１３が、運転者の顔が画像情報内に存在すると判定した場合（ＹＥＳの場合）には、検出部１３の動作は、ステップＳＴ２３に進む。一方、検出部１３が、運転者の顔が画像情報内に存在しないと判定した場合（ＮＯの場合）には、検出部１３の動作は、ステップＳＴ２１に戻る。

ステップＳＴ２３において、検出部１３は、画像情報から、運転者の顔向き及び視線を検出できたか否かを判定する。ここで、検出部１３が、運転者の顔向き及び視線を検出できたと判定した場合（ＹＥＳの場合）には、検出部１３の動作は、ステップＳＴ２４に進む。一方、検出部１３が、運転者の顔向き及び視線を検出できなかったと判定した場合（ＮＯの場合）には、検出部１３の動作は、ステップＳＴ２１に戻る。

ステップＳＴ２４において、検出部１３は、運転者の顔向き及び視線を示す検出情報を、検出情報記憶部１４及び判定部１５に出力する。

次に、図４は、実施の形態１に係る判定部１５の動作を示すフローチャートである。

図４に示すように、ステップＳＴ３１において、判定部１５は、判定条件情報記憶部１６から判定条件情報を取得する。

ステップＳＴ３２において、判定部１５は、検出部１３から検出情報を取得する。

ステップＳＴ３３において、判定部１５は、検出情報が判定条件情報に該当するか否かを判定する。ここで、判定部１５が、検出情報が判定条件情報に該当すると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ３４に進む。一方、判定部１５が、検出情報が判定条件情報に該当しないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ３２に戻る。

ステップＳＴ３４において、判定部１５は、車両状態情報取得部１２から車両状態情報を取得する。

ステップＳＴ３５において、判定部１５は、車両状態情報が判定条件情報に該当するか否かを判定する。ここで、判定部１５が、車両状態情報が判定条件情報に該当すると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ３６に進む。一方、判定部１５が、車両状態情報が判定条件情報に該当しないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ３２に戻る。

ステップＳＴ３６において、判定部１５は、判定結果情報を出力制御部１８に出力する。

従って、運転者監視装置１０は、運転者の手元を撮影する専用のカメラを設置することなく、運転者の顔及び目が撮影された撮影画像を用いるだけで、携帯端末が撮影部５１に映らない場合でも、運転者が車両５０を運転中に携帯端末を操作しているか否かを判定することができる。そして、運転者監視装置１０は、運転者が車両５０を運転中に携帯端末を操作している場合には、その運転者に対して、注意喚起を行うことができる。

なお、運転者監視装置１０では、運転者が車両５０を運転中に携帯端末を操作している場合に、警報部５３から警報を通知しているが、携帯端末の電波遮断、または、車両管理会社に対して、運転者が車両５０を運転中に携帯端末を操作している旨のメールを、その携帯端末から通知しても構わない。

次に、図５Ａ及び図５Ｂは、実施の形態１に係る運転者監視装置１０のハードウェア構成の一例を示す図である。

運転者監視装置１０における画像情報取得部１１、車両状態情報取得部１２、検出部１３、判定部１５、及び、出力制御部１８の機能は、処理回路により実現される。即ち、運転者監視装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路４１であってもよいし、メモリ４３に格納されるプログラムを実行するプロセッサ４２であってもよい。

図５Ａに示すように、処理回路が専用のハードウェアである場合、処理回路４１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画像情報取得部１１、車両状態情報取得部１２、検出部１３、判定部１５、及び、出力制御部１８の機能を複数の処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路４１で実現してもよい。

図５Ｂに示すように、処理回路がプロセッサ４２である場合、画像情報取得部１１、車両状態情報取得部１２、検出部１３、判定部１５、及び、出力制御部１８の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ４３に格納される。プロセッサ４２は、メモリ４３に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、プログラムは、画像情報取得機能、車両状態情報取得機能、検出機能、判定機能、及び、出力制御機能をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ４２とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。メモリ４３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、運転者監視装置１０は、画像情報取得部１１、車両状態情報取得部１２、検出部１３、判定部１５、及び、出力制御部１８の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、運転者監視装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

以上より、実施の形態１に係る運転者監視装置１０は、車内を撮影する撮影部５１から、撮影した撮影画像の画像情報を取得する画像情報取得部１１と、車両５０の状態を検出する車両状態検出部５２から車両５０の状態を示す車両状態情報を取得する車両状態情報取得部１２と、画像情報取得部１１から取得した画像情報に基づいて、車両５０を運転する運転者の顔向き及び視線を検出する検出部１３と、車両状態情報取得部１２から取得した車両状態情報、及び、検出部１３から取得した運転者の顔向き及び視線を示す検出情報に基づいて、運転者が車両５０の運転中に携帯端末を操作しているか否かを判定する判定部１５と、判定部１５の判定結果に基づいて、運転者に警報を通知する警報部５３を制御する出力制御部１８とを備えている。これにより、運転者監視装置１０は、携帯端末が撮影部５１に映らない場合でも、運転者が車両５０を運転中に携帯端末を操作しているか否かを判定することができる。

実施の形態２．
実施の形態２に係る運転者監視装置２０について、図６から図９を用いて説明する。

図６に示すように、運転者監視装置２０は、実施の形態１に係る運転者監視装置１０に、推定部２１及び端末位置情報記憶部２２を加えた構成となっている。即ち、運転者監視装置２０は、画像情報取得部１１、車両状態情報取得部１２、検出部１３、検出情報記憶部１４、判定部１５、判定条件情報記憶部１６、判定結果情報記憶部１７、出力制御部１８、推定部２１、及び、端末位置情報記憶部２２を備えている。

画像情報取得部１１は、撮影部５１から取得した画像情報を、検出部１３及び推定部２１に出力する。

推定部２１は、画像情報取得部１１から取得した画像情報を用いて、運転者が保持する携帯端末の軌跡を計算し、この計算した軌跡に基づいて、携帯端末の現在位置を推定する。また、推定部２１は、携帯端末の現在位置を示す端末位置情報を、端末位置情報記憶部２２に出力する。

端末位置情報記憶部２２は、推定部２１から出力された端末位置情報を記憶するデータベースである。

判定部１５は、車両状態情報取得部１２から取得した車両状態情報、検出部１３から取得した検出情報、及び、端末位置情報記憶部２２から取得した端末位置情報に基づいて、運転者が車両５０の運転中に携帯端末を操作しているか否かを判定する。

次に、図７は、実施の形態２に係る推定部２１の動作を示すフローチャートである。

図７に示すように、ステップＳＴ４１において、推定部２１は、画像情報取得部１１から画像情報を取得する。

ステップＳＴ４２において、推定部２１は、運転者が保持する携帯端末が画像情報内に存在するか否かを判定する。ここで、推定部２１が、携帯端末が画像情報内に存在すると判定した場合（ＹＥＳの場合）には、推定部２１の動作は、ステップＳＴ４３に進む。一方、推定部２１が、携帯端末が画像情報内に存在しないと判定した場合（ＮＯの場合）には、推定部２１の動作は、ステップＳＴ４４に進む。

ステップＳＴ４３において、推定部２１は、携帯端末の現在位置を示す端末位置情報を、端末位置情報記憶部２２に出力する。

ステップＳＴ４４において、推定部２１は、携帯端末が端末位置情報記憶部２２に記憶された過去の画像情報内に存在するか否かを判定する。ここで、推定部２１が、携帯端末が過去の画像情報内に存在すると判定した場合（ＹＥＳの場合）には、推定部２１の動作は、ステップＳＴ４５に進む。一方、推定部２１が、携帯端末が過去の画像情報内に存在しないと判定した場合（ＮＯの場合）には、推定部２１の動作は、ステップＳＴ４１に戻る。

ステップＳＴ４５において、推定部２１は、これまでの画像情報を用いて、運転者が保持する携帯端末の軌跡を計算し、この計算した軌跡に基づいて、携帯端末の現在位置を推定する。

ステップＳＴ４６において、推定部２１は、推定した携帯端末の現在位置を示す端末位置情報を、端末位置情報記憶部２２に出力する。

ここで、上述したステップＳＴ４５の詳細については、図８を用いて説明する。図８は、実施の形態２に係る推定部２１の動作を示すイメージ図である。

図８に示すように、撮影部５１が撮影した撮影画像Ｐに、運転者１００とその顔１０１が映るものの、携帯端末Ｍが映っていない場合には、例えば、携帯端末Ｍが映っている１つ以上の前の撮影画像Ｐを用いて、携帯端末Ｍの軌跡Ｔを計算する。そして、推定部２１は、その計算した軌跡Ｔが撮影画像Ｐ内から外れた位置の先に、携帯端末の移動先があり、これを携帯端末Ｍの現在位置であると、推定する。

次に、図９は、実施の形態２に係る判定部１５の動作を示すフローチャートである。

図９に示すように、ステップＳＴ５１において、判定部１５は、判定条件情報記憶部１６から判定条件情報を取得する。

ステップＳＴ５２において、判定部１５は、検出部１３から検出情報を取得する。

ステップＳＴ５３において、判定部１５は、検出情報が判定条件情報に該当するか否かを判定する。ここで、判定部１５が、検出情報が判定条件情報に該当すると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ５４に進む。一方、判定部１５が、検出情報が判定条件情報に該当しないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ５２に戻る。

ステップＳＴ５４において、判定部１５は、推定部２１から端末位置情報を取得する。

ステップＳＴ５５において、判定部１５は、検出情報及び端末位置情報に基づいて、運転者が携帯端末を見ているか否かを判定する。即ち、判定部１５は、検出された運転者の視線と、推定された携帯端末の現在位置とを比較することにより、運転者が携帯端末を見ているか否かを判定する。ここで、判定部１５が、運転者が携帯端末を見ていると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ５６に進む。一方、判定部１５が、運転者が携帯端末を見ていないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ５２に戻る。

ステップＳＴ５６において、判定部１５は、車両状態情報取得部１２から車両状態情報を取得する。

ステップＳＴ５７において、判定部１５は、車両状態情報が判定条件情報に該当するか否かを判定する。即ち、判定部１５は、運転者が車両５０を運転しているか否かを判定する。ここで、判定部１５が、運転者が車両５０を運転していると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ５８に進む。一方、判定部１５が、運転者が車両５０を運転していないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ５２に戻る。

ステップＳＴ５８において、判定部１５は、判定結果情報を出力制御部１８に出力する。

従って、運転者監視装置２０は、予め設定された判定条件を使用することなく、検出した運転者の視線と、携帯端末が移動したと思われる先の推定位置とに基づいて、運転者が携帯端末を操作しているか否かを判定することができる。これにより、運転者監視装置２０は、判定精度を向上させることができる。

以上より、実施の形態２に係る運転者監視装置２０は、画像情報取得部１１から取得した画像情報を用いて、運転者が保持する携帯端末の軌跡を計算し、この計算した軌跡に基づいて、携帯端末の現在位置を推定する推定部２１を備え、判定部１５は、検出部１３から取得した検出情報、及び、推定部２１から取得した携帯端末の現在位置を示す端末位置情報に基づいて、運転者が車両５０の運転中に携帯端末を操作しているか否かを判定する。これにより、運転者監視装置２０は、判定部１５の判定精度を向上させることができる。

実施の形態３．
実施の形態３に係る監視システム１について、図１０から図１２を用いて説明する。

図１０に示すように、監視システム１は、実施の形態１に係る運転者監視装置１０及び車両５０に、サーバ３０を加えた構成となっている。

判定部１５は、運転者が車両５０の運転中に携帯端末を操作していると判定した場合に、車両状態情報、検出情報、判定結果情報、及び、判定条件情報を関連付けて、サーバ３０に出力する。

サーバ３０は、入力部３１、情報記憶部３２、学習部３３、及び、学習結果情報記憶部３４を備えている。

入力部３１は、監視システム１を管理するシステム管理者が、サーバ３０内に記憶または保存されている各種情報を、確認または変更する際に使用されるものである。

情報記憶部３２は、判定部１５から出力された、車両状態情報、検出情報、判定結果情報、及び、判定条件情報を、関連付けて記憶するデータベースである。

ここで、システム管理者は、入力部３１を利用して、情報記憶部３２に記憶されている判定結果情報が正しく判定されているものであるか否かを、それに関連付けられた車両状態情報、検出情報、及び、判定条件情報に基づいて判定する。また、システム管理者は、その正誤判定結果を示す正誤判定結果情報を、これと対応した車両状態情報、検出情報、判定結果情報、及び、判定条件情報と関連付けて、情報記憶部３２に記憶させる。

学習部３３は、情報記憶部３２から、車両状態情報、検出情報、判定結果情報、及び、判定条件情報と、これと対応する正誤判定結果情報を取得する。また、学習部３３は、取得した正誤判定結果情報の中から、正しい結果となる正誤判定結果情報を選別し、この選別した正誤判定結果情報に基づいて、運転者が車両５０を運転中に携帯端末を操作している動作を学習する。更に、学習部３３は、その学習結果に基づいて、新たな判定条件を設定する。そして、学習部３３は、学習結果を示す学習結果情報を学習結果情報記憶部３４に出力すると共に、その学習結果に基づいて新たに設定した判定条件を示す判定条件情報を、判定条件情報記憶部１６に出力する。

学習結果情報記憶部３４は、学習部３３から出力された学習結果情報を記憶するデータベースである。

なお、入力部３１、情報記憶部３２、学習部３３、及び、学習結果情報記憶部３４は、運転者監視装置１０または車両５０に設けられても構わない。

次に、図１１は、実施の形態３に係る判定部１５の動作を示すフローチャートである。

図１１に示すように、ステップＳＴ６１において、判定部１５は、判定条件情報記憶部１６から判定条件情報を取得する。

ステップＳＴ６２において、判定部１５は、検出部１３から検出情報を取得する。

ステップＳＴ６３において、判定部１５は、検出情報が判定条件情報に該当するか否かを判定する。ここで、判定部１５が、検出情報が判定条件情報に該当すると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ６４に進む。一方、判定部１５が、検出情報が判定条件情報に該当しないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ６２に戻る。

ステップＳＴ６４において、判定部１５は、車両状態情報取得部１２から車両状態情報を取得する。

ステップＳＴ６５において、判定部１５は、車両状態情報が判定条件情報に該当するか否かを判定する。ここで、判定部１５が、車両状態情報が判定条件情報に該当すると判定した場合（ＹＥＳの場合）には、判定部１５の動作は、ステップＳＴ６６に進む。一方、判定部１５が、車両状態情報が判定条件情報に該当しないと判定した場合（ＮＯの場合）には、判定部１５の動作は、ステップＳＴ６２に戻る。

ステップＳＴ６６において、判定部１５は、車両状態情報、検出情報、判定結果情報、及び、判定条件情報を関連付けて、情報記憶部３２に出力する。

ステップＳＴ６７において、判定部１５は、判定結果情報を出力制御部１８に出力する。

次に、図１２は、実施の形態３に係る学習部３３の動作を示すフローチャートである。

図１２に示すように、ステップＳＴ７１において、学習部３３は、情報記憶部３２から、車両状態情報、検出情報、判定結果情報、及び、判定条件情報と、これと対応する正誤判定結果情報を取得する。

ステップＳＴ７２において、学習部３３は、情報記憶部３２から取得した正誤判定結果情報の中から、正しい結果となる正誤判定結果情報を選別し、この選別した正誤判定結果情報に基づいて、運転者が車両５０を運転中に携帯端末を操作している動作を学習する。

ステップＳＴ７３において、学習部３３は、学習結果に基づいて、新たな判定条件を設定する。

ステップＳＴ７４において、学習部３３は、新たに設定した判定条件を示す判定条件情報を、判定条件情報記憶部１６に出力する。

従って、監視システム１は、運転者が車両５０を運転中に携帯端末を操作しているか否かを判定するための判定条件を、学習部３３によって学習することができるので、判定部１５による判定精度を向上させることができる。また、監視システム１は、学習機能をサーバ３０に備えることにより、別の車両５０にも、容易に、且つ、判定精度良く適用することができる。

以上より、実施の形態３に係る監視システム１は、運転者監視装置１０及びサーバ３０を備えている。そのサーバ３０が有する学習部３３は、判定部１５において、運転者が車両５０の運転中に携帯端末を操作していると判定した場合に、その判定結果が正しく判定されているものであるか否かを示す正誤判定結果情報に基づいて、運転者が車両５０の運転中に携帯端末を操作している動作を学習した後、その学習結果に基づいて新たに設定した判定条件を示す判定条件情報を、運転者監視装置１０に出力する。これにより、監視システム１は、判定部１５の判定精度を向上させることができる。

なお、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは、各実施の形態における任意の構成要素の変形、もしくは、各実施の形態における任意の構成要素の省略が可能である。

１ 監視システム、１０ 運転者監視装置、１１ 画像情報取得部、１２ 車両状態情報取得部、１３ 検出部、１４ 検出情報記憶部、１５ 判定部、１６ 判定条件情報記憶部、１７ 判定結果情報記憶部、２０ 運転者監視装置、２１ 推定部、２２ 端末位置情報記憶部、３０ サーバ、３１ 入力部、３２ 情報記憶部、３３ 学習部、３４ 学習結果情報記憶部、４１ 処理回路、４２ プロセッサ、４３ メモリ、５０ 車両、５１ 撮影部、５２ 車両状態検出部、５３ 警報部、１００ 運転者、１０１ 顔、Ｐ 撮影画像、Ｍ 携帯端末、Ｔ 軌跡。

Claims (2)

1. 車内を撮影する撮影部から、撮影した撮影画像の画像情報を取得する画像情報取得部と、
   車両の状態を検出する車両状態検出部から車両の状態を示す車両状態情報を取得する車両状態情報取得部と、
   前記画像情報取得部から取得した画像情報に基づいて、車両を運転する運転者の顔向き及び視線を検出する検出部と、
   前記車両状態情報取得部から取得した車両状態情報、及び、前記検出部から取得した運転者の顔向き及び視線を示す検出情報に基づいて、運転者が車両の運転中に携帯端末を操作しているか否かを判定する判定部と、
   前記判定部の判定結果に基づいて、運転者に警報を通知する警報部を制御する出力制御部と、
   前記画像情報取得部から取得した画像情報を用いて、運転者が保持する携帯端末の軌跡を計算し、この計算した軌跡に基づいて、携帯端末の現在位置を推定する推定部とを備え、
   前記判定部は、
   前記検出部から取得した検出情報、及び、前記推定部から取得した携帯端末の現在位置を示す端末位置情報に基づいて、運転者が車両の運転中に携帯端末を操作しているか否かを判定する
   ことを特徴とする運転者監視装置。
2. 請求項１記載の運転者監視装置と、
   前記判定部において、運転者が車両の運転中に携帯端末を操作していると判定した場合に、その判定結果が正しく判定されているものであるか否かを示す正誤判定結果情報に基づいて、運転者が車両の運転中に携帯端末を操作している動作を学習した後、その学習結果に基づいて新たに設定した判定条件を示す判定条件情報を、前記運転者監視装置に出力する学習部を有するサーバとを備える
   ことを特徴とする監視システム。

Images