JP2023178539A - 乗員監視装置、乗員監視方法及び乗員監視システム - Google Patents

Abstract

【課題】車両の運転者を撮影する第１のカメラから出力された第１の画像データに不具合が生じたとき、第１の画像データの不具合の要因を分析する乗員監視装置を得ること。【解決手段】車両の運転者を撮影する第１のカメラ１から、運転者を撮影した第１の画像データを取得する第１の画像取得部１１と、第１の画像取得部１１により取得された第１の画像データの不具合を検出する不具合検出部１５と、不具合検出時、車両の運転者以外の乗員を撮影する第２のカメラ２に運転者を撮影するように、第２のカメラ２を制御する制御部１６とを備える乗員監視装置６を有する。乗員監視装置６は、第２のカメラ２から、運転者を撮影した画像を示す第２の画像データを取得する第２の画像取得部１３と、第１の画像データと第２の画像データとに基づいて、第１の画像データの不具合要因を分析する要因分析部１７とを備えている。【選択図】図１

Description

本開示は、乗員監視装置、乗員監視方法及び乗員監視システムに関するものである。

車両の乗員を監視する乗員監視装置がある（例えば、特許文献１を参照）。
当該乗員監視装置は、車内カメラ及び乗員監視部を備えている。車内カメラは、車両の乗員を撮影し、乗員の撮影画像を示す画像データを乗員監視部に出力する。乗員監視部は、車内カメラから出力された画像データが示す撮影画像に基づいて、乗員の状態を監視する。

特開２０１９－１３１１０４号公報

特許文献１に開示されている乗員監視装置は、車内カメラから出力された画像データに不具合が生じていても、不具合の要因が分からないという課題があった。不具合の要因が分からなければ、例えば乗員が、不具合の要因を容易に除去できないことがある。

本開示は、上記のような課題を解決するためになされたもので、車両の運転者を撮影する第１のカメラから出力された第１の画像データに不具合が生じたとき、第１の画像データの不具合の要因を分析することができる乗員監視装置を得ることを目的とする。

本開示に係る乗員監視装置は、車両の運転者を撮影する第１のカメラから、運転者を撮影した画像を示す第１の画像データを取得する第１の画像取得部と、第１の画像取得部により取得された第１の画像データの不具合を検出する不具合検出部と、不具合検出部により不具合が検出されたとき、車両の運転者以外の乗員を撮影する第２のカメラが運転者を撮影するように、第２のカメラを制御する制御部とを備えている。また、乗員監視装置は、第２のカメラから、運転者を撮影した画像を示す第２の画像データを取得する第２の画像取得部と、第１の画像取得部により取得された第１の画像データと第２の画像取得部により取得された第２の画像データとに基づいて、第１の画像データの不具合の要因を分析する要因分析部とを備えている。

本開示によれば、車両の運転者を撮影する第１のカメラから出力された第１の画像データに不具合が生じたとき、第１の画像データの不具合の要因を分析することができる。

実施の形態１に係る乗員監視システムを示す構成図である。 実施の形態１に係る乗員監視装置６のハードウェアを示すハードウェア構成図である。 乗員監視装置６が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 乗員監視装置６の処理手順である乗員監視方法を示すフローチャートである。 第１のカメラ１により撮影された画像を示す説明図である。

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る乗員監視システムを示す構成図である。
図２は、実施の形態１に係る乗員監視装置６のハードウェアを示すハードウェア構成図である。
図１に示す乗員監視システムは、第１のカメラ１、第２のカメラ２、照明部３，４，５及び乗員監視装置６を備えている。

第１のカメラ１は、例えば、車両のインストルメントパネル、又は、運転席側のＡピラーに設置されている。
第１のカメラ１は、車両の乗員である運転者を撮影し、運転者を撮影した画像を示す第１の画像データを乗員監視装置６に出力する。

第２のカメラ２は、例えば、車両のインストルメントパネル、又は、助手席側のＡピラーに設置されている。
第２のカメラ２は、車両の運転者以外の乗員を撮影し、乗員を撮影した画像を示す第２の画像データを乗員監視装置６に出力する。運転者以外の乗員は、例えば、助手席に座っている乗員、又は、後部座席に座っている乗員である。
図１に示す乗員監視システムでは、３人の乗員Ａ，Ｂ，Ｃが車両に乗車している例を示しており、第２のカメラ２が、３人の乗員Ａ，Ｂ，Ｃのうち、助手席に座っている乗員Ａを撮影している。

照明部３は、例えば、車両のインストルメントパネル、又は、運転席側のＡピラーに設置されている。
照明部３は、運転者に向けて光を照射する光源である。
照明部４は、例えば、車両のインストルメントパネルに設置されている。
照明部４は、運転者に向けて光を照射する光源である。ただし、初期状態では、照明部４からの光の照射は停止している。
照明部５は、例えば、車両のインストルメントパネル、又は、助手席側のＡピラーに設置されている。
照明部５は、運転者以外の乗員に向けて光を照射する光源である。

乗員監視装置６は、第１の画像取得部１１、運転者監視部１２、第２の画像取得部１３、乗員監視部１４、不具合検出部１５、制御部１６及び要因分析部１７を備えている。
第１の画像取得部１１は、例えば、図２に示す第１の画像取得回路３１によって実現される。
第１の画像取得部１１は、第１のカメラ１から、運転者を撮影した画像を示す第１の画像データを取得する。
第１の画像取得部１１は、第１の画像データを運転者監視部１２、不具合検出部１５及び要因分析部１７のそれぞれに出力する。

運転者監視部１２は、例えば、図２に示す運転者監視回路３２によって実現される。
運転者監視部１２は、第１の画像取得部１１により取得された第１の画像データに基づいて、運転者の状態を監視する。
運転者監視部１２は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。ドライバーモニタリングシステムは、例えば、運転者の居眠り運転、又は、脇見運転を検出し、居眠り運転等の検出結果に基づいて、例えば、車両の状態等を制御するシステムである。

第２の画像取得部１３は、例えば、図２に示す第２の画像取得回路３３によって実現される。
第２の画像取得部１３は、第２のカメラ２から、乗員を撮影した画像を示す画像データを取得し、画像データを乗員監視部１４に出力する。
第２の画像取得部１３は、制御部１６によって、第２のカメラ２の撮影対象が乗員から運転者に切り換えられた後、第２のカメラ２から、運転者を撮影した画像を示す第２の画像データを取得し、第２の画像データを乗員監視部１４及び要因分析部１７のそれぞれに出力する。

乗員監視部１４は、例えば、図２に示す乗員監視回路３４によって実現される。
乗員監視部１４は、第２の画像取得部１３により取得された画像データに基づいて、乗員の状態を監視する。
乗員監視部１４は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。

不具合検出部１５は、例えば、図２に示す不具合検出回路３５によって実現される。
不具合検出部１５は、第１の画像取得部１１により取得された第１の画像データの不具合を検出する。
不具合検出部１５は、不具合の検出結果を制御部１６及び要因分析部１７のそれぞれに出力する。

制御部１６は、例えば、図２に示す制御回路３６によって実現される。
制御部１６は、不具合検出部１５から、不具合の検出結果を取得する。
制御部１６は、不具合検出部１５により不具合が検出されたとき、第２のカメラ２が運転者を撮影するように、第２のカメラ２を制御する。第２のカメラ２が運転者を撮影するように、第２のカメラ２を制御する方法としては、例えば、第２のカメラ２の撮影方向が運転者に向くように第２のカメラ２を制御する方法、又は、第２のカメラ２の撮影範囲に運転者が含まれるように、第２のカメラ２の画角を広げる方法がある。

制御部１６は、要因分析部１７によって、第１の画像データの不具合の要因が、第１のカメラ１の外的要因であると分析されれば、乗員監視部１４による乗員の状態監視を維持させる。その後、不具合検出部１５によって、不具合が検出されなくなれば、第２のカメラ２の撮影対象を運転者から乗員に戻させる制御を行う。ただし、乗員監視部１４に対して乗員の状態監視を維持させている時間が待機時間を超えても、不具合検出部１５による不具合の検出が継続していれば、制御部１６は、乗員監視部１４による状態の監視対象を乗員から運転者に切り換えさせる制御を行う。

制御部１６は、要因分析部１７によって、第１の画像データの不具合の要因が、第１のカメラ１の故障であると分析されれば、乗員監視部１４による状態の監視対象を乗員から運転者に切り換えさせる制御を行う。
制御部１６は、要因分析部１７によって、第１の画像データの不具合の要因が、照明部３の故障であると分析されれば、照明部３と異なる他の照明部４から運転者に向けて光を照射させる制御を行う。

要因分析部１７は、例えば、図２に示す要因分析回路３７によって実現される。
要因分析部１７は、不具合検出部１５によって、第１の画像データの不具合が検出されたとき、第１の画像取得部１１により取得された第１の画像データと第２の画像取得部１３により取得された第２の画像データとに基づいて、第１の画像データの不具合の要因を分析する。
要因分析部１７は、要因の分析結果を制御部１６に出力する。

図１では、乗員監視装置６の構成要素である第１の画像取得部１１、運転者監視部１２、第２の画像取得部１３、乗員監視部１４、不具合検出部１５、制御部１６及び要因分析部１７のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員監視装置６が、第１の画像取得回路３１、運転者監視回路３２、第２の画像取得回路３３、乗員監視回路３４、不具合検出回路３５、制御回路３６及び要因分析回路３７によって実現されるものを想定している。
第１の画像取得回路３１、運転者監視回路３２、第２の画像取得回路３３、乗員監視回路３４、不具合検出回路３５、制御回路３６及び要因分析回路３７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。

乗員監視装置６の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員監視装置６が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。

図３は、乗員監視装置６が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
乗員監視装置６が、ソフトウェア又はファームウェア等によって実現される場合、第１の画像取得部１１、運転者監視部１２、第２の画像取得部１３、乗員監視部１４、不具合検出部１５、制御部１６及び要因分析部１７におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ５１に格納される。そして、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行する。

また、図２では、乗員監視装置６の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、乗員監視装置６がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員監視装置６における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。

次に、図１に示す乗員監視システムの動作について説明する。
図４は、乗員監視装置６の処理手順である乗員監視方法を示すフローチャートである。
第１のカメラ１に不具合が生じていない状況下では、照明部３は、運転者に向けて光を照射する。照明部５は、例えば、３人の乗員Ａ，Ｂ，Ｃのうち、乗員Ａに向けて光を照射する。

第１の画像取得部１１は、第１のカメラ１から、運転者を撮影した画像を示す第１の画像データを取得する（図４のステップＳＴ１）。
第１の画像取得部１１は、第１の画像データを運転者監視部１２、不具合検出部１５及び要因分析部１７のそれぞれに出力する。
第２の画像取得部１３は、第２のカメラ２から、乗員Ａを撮影した画像を示す画像データを取得し、画像データを乗員監視部１４に出力する。

運転者監視部１２は、第１の画像取得部１１から、第１の画像データを取得する。
運転者監視部１２は、第１の画像データに基づいて、運転者の状態を監視する。
運転者監視部１２による状態の監視処理自体は、公知の技術であるため、ここでは、一例を簡単に説明する。

運転者監視部１２は、第１の画像データを解析して、例えば、運転者の顔のパーツである眼、鼻、口及び眉毛のそれぞれの位置を特定する。
そして、運転者監視部１２は、特定したそれぞれの位置に基づいて、例えば、眼の開き度合、又は、視線方向を算出する。
運転者監視部１２は、例えば、眼の開き度合が開度判定用の閾値以下であれば、運転者の状態として、居眠り運転を検出する。
また、運転者監視部１２は、例えば、視線方向が車両の前方方向からの角度が視線方向判定用の閾値以上であれば、運転者の状態として、脇見運転を検出する。
開度判定用の閾値及び視線方向判定用の閾値のそれぞれは、運転者監視部１２の内部メモリに格納されていてもよいし、乗員監視装置６の外部から与えられるものであってもよい。
運転者監視部１２は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
なお、運転者監視部１２は、第１の画像データを解析しても、運転者を検出することができなければ、運転者を検出できない旨を示す不検出信号を要因分析部１７に出力する。
要因分析部１７は、運転者監視部１２から出力された不検出信号を制御部１６に転送する。

乗員監視部１４は、第２の画像取得部１３から、画像データを取得する。
乗員監視部１４は、画像データに基づいて、乗員の状態を監視する。
乗員監視部１４による状態の監視処理は、運転者監視部１２による状態の監視処理と同様である。ただし、乗員監視部１４により監視される乗員の状態の種類は、運転者監視部１２により監視される運転者の状態の種類と同じであってもよいし、異なっていてもよい。乗員の状態の種類としては、例えば、乗員が寝ている状態、又は、乗員の姿勢が大きく崩れている状態がある。
乗員監視部１４は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。

不具合検出部１５は、第１の画像取得部１１から、第１の画像データを取得する。
不具合検出部１５は、第１の画像データの不具合を検出する（図４のステップＳＴ２）。
不具合検出部１５は、不具合の検出結果を制御部１６及び要因分析部１７のそれぞれに出力する。
以下、不具合検出部１５による不具合の検出処理を具体的に説明する。

図５は、第１のカメラ１により撮影された画像を示す説明図である。
図５に示す画像は、第１のカメラ１の全画角の画像であり、全画角の画像の中には、運転者を撮影した範囲の画像が含まれている。
不具合検出部１５は、第１の画像データに基づいて、全画角の画像を構成する複数の画素の輝度の平均値（以下「第１の平均輝度Ｌ１_ａｖｅ」という）を算出する。
また、不具合検出部１５は、第１の画像データに基づいて、運転者の撮影範囲の画像を構成する複数の画素の輝度の平均値（以下「第２の平均輝度Ｌ２_ａｖｅ」という）を算出する。

不具合検出部１５は、第１の平均輝度Ｌ１_ａｖｅと黒画面判定用の閾値Ｔｈ_Ｂとを比較する。黒画面判定用の閾値Ｔｈ_Ｂは、不具合検出部１５の内部メモリに格納されていてもよいし、乗員監視装置６の外部から与えられるものであってもよい。
不具合検出部１５は、第１の平均輝度Ｌ１_ａｖｅが黒画面判定用の閾値Ｔｈ_Ｂ以下であれば、全画角の範囲において、「輝度が異常な低輝度の状態（以下「黒画面」という）である」という第１の画像データの不具合を検出する。

不具合検出部１５は、第１の平均輝度Ｌ１_ａｖｅと白画面判定用の閾値Ｔｈ_Ｗとを比較する。白画面判定用の閾値Ｔｈ_Ｗは、不具合検出部１５の内部メモリに格納されていてもよいし、乗員監視装置６の外部から与えられるものであってもよい。白画面判定用の閾値Ｔｈ_Ｗは、黒画面判定用の閾値Ｔｈ_Ｂよりも大きい。
不具合検出部１５は、第１の平均輝度Ｌ１_ａｖｅが白画面判定用の閾値Ｔｈ_Ｗ以上であれば、全画角の範囲において、「輝度が異常な高輝度の状態（以下「白画面」という）である」という第１の画像データの不具合を検出する。

不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅと黒画面判定用の閾値Ｔｈ_Ｂとを比較する。
不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅが黒画面判定用の閾値Ｔｈ_Ｂ以下であれば、運転者撮影範囲において、「黒画面である」という第１の画像データの不具合を検出する。

不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅと白画面判定用の閾値Ｔｈ_Ｗとを比較する。
不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅが白画面判定用の閾値Ｔｈ_Ｗ以上であれば、運転者撮影範囲において、「白画面である」という第１の画像データの不具合を検出する。

不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅと黒画面判定用の閾値Ｔｈ_Ｂとを比較し、かつ、第２の平均輝度Ｌ２_ａｖｅと白画面判定用の閾値Ｔｈ_Ｗとを比較する。
不具合検出部１５は、第２の平均輝度Ｌ２_ａｖｅが黒画面判定用の閾値Ｔｈ_Ｂよりも大きく、かつ、第２の平均輝度Ｌ２_ａｖｅが白画面判定用の閾値Ｔｈ_Ｗよりも小さければ、運転者撮影範囲において、「輝度が正常な状態である」と判定する。

制御部１６は、不具合検出部１５から、不具合の検出結果を取得する。
制御部１６は、不具合検出部１５によって、黒画面、又は、白画面のいずれかが検出されれば（図４のステップＳＴ３：ＹＥＳの場合）、第２のカメラ２が運転者を撮影するように、第２のカメラ２を制御する。具体的には、制御部１６は、第２のカメラ２の撮影対象を乗員Ａから運転者に切り換えさせる制御を行う（図４のステップＳＴ４）。このとき、第２のカメラ２の撮影範囲に運転者が含まれればよく、第２のカメラ２の撮影範囲に乗員Ａが含まれていてもよい。
制御部１６は、不具合検出部１５によって、黒画面及び白画面のいずれも検出されなければ（図４のステップＳＴ３：ＮＯの場合）、第２のカメラ２の撮影対象を切り換えさせる制御を行わない。この場合には、第２のカメラ２の撮影対象としては、乗員Ａが維持される。
ただし、不具合検出部１５によって、黒画面及び白画面のいずれも検出されなくても、運転者監視部１２から、運転者を検出できない旨の不検出信号が出力されれば、制御部１６は、第２のカメラ２の撮影対象を乗員Ａから運転者に切り換えさせる制御を行う。

第２の画像取得部１３は、制御部１６によって、第２のカメラ２の撮影対象が乗員Ａから運転者に切り換えられた後、第２のカメラ２から、運転者を撮影した画像を示す第２の画像データを取得する（図４のステップＳＴ５）。
第２の画像取得部１３は、第２の画像データを乗員監視部１４及び要因分析部１７のそれぞれに出力する。

要因分析部１７は、不具合検出部１５から、不具合の検出結果を取得する。
要因分析部１７は、不具合検出部１５によって、第１の画像データの不具合が検出されたとき、第１の画像取得部１１から第１の画像データを取得し、第２の画像取得部１３から第２の画像データを取得する。
要因分析部１７は、第１の画像データと第２の画像データとに基づいて、第１の画像データの不具合の要因を分析する（図４のステップＳＴ６）。
要因分析部１７は、不具合要因の分析結果を制御部１６に出力する。
以下、要因分析部１７による不具合要因の分析処理を具体的に説明する。

要因分析部１７は、第２の画像データに基づいて、第１のカメラ１と運転者との間に遮蔽物が存在しているか否かを判定する。
具体的には、要因分析部１７は、第２の画像データが示す画像に映っている運転者の顔の検出処理を行う。顔の検出処理アルゴリズムについては、公知の技術であるため詳細な説明を省略する。
そして、要因分析部１７は、運転者の顔の一部しか検出できない場合、第１のカメラ１と運転者との間に遮蔽物が存在していると判定する。運転者の顔の一部しか検出できない場合とは、運転者の顔の全体を検出できない場合であり、要因分析部１７は、検出できた顔の割合が遮蔽物検出用の閾値以下であれば、第１のカメラ１と運転者との間に遮蔽物が存在していると判定する。遮蔽物検出用の閾値は、要因分析部１７の内部メモリに格納されていてもよいし、乗員監視装置６の外部から与えられるものであってもよい。
要因分析部１７は、検出できた顔の割合が遮蔽物検出用の閾値よりも大きければ、第１のカメラ１と運転者との間に遮蔽物が存在していないと判定する。
第１のカメラ１と運転者との間に遮蔽物が存在する例としては、助手席に座っている乗員Ａが、カーナビゲーション装置を操作するために、乗員Ａの手等が、第１のカメラ１と運転者との間を遮っている態様が考えられる。この場合、乗員Ａの手等は、カーナビゲーション装置の操作が終了すれば、第１のカメラ１と運転者との間に存在しなくなることが想定される。

要因分析部１７は、第１のカメラ１と運転者との間に遮蔽物が存在していないと判定すれば、運転者の姿勢が適正であるか否かを判定する。
具体的には、要因分析部１７は、運転者の顔の位置が適正な位置の範囲内であれば、運転者の姿勢が適正であると判定し、運転者の顔の位置が適正な位置の範囲から逸脱していれば、運転者の姿勢が不適正であると判定する。

適正な位置の範囲としては、例えば、車両の高さ方向の適正範囲と、車両の幅方向の適正範囲と、車両の車長方向の適正範囲とがある。
車両の高さ方向の適正範囲としては、例えば、運転席の座面の位置よりも○○ｃｍ高い位置から、車両の天井よりも△△ｃｍ低い位置までの範囲が考えられる。
車両の幅方向の適正範囲としては、例えば、運転席の幅方向の中央を基準として、左右◇◇ｃｍの範囲が考えられる。
車両の車長方向の適正範囲としては、例えば、運転席のヘッドレストから□□ｃｍまでの範囲が考えられる。
運転者の顔の位置が適正な位置の範囲内に存在しているか否かを判定する処理自体は、公知の技術であるため詳細な説明を省略する。

要因分析部１７は、第１のカメラ１と運転者との間に遮蔽物が存在していると判定すれば、以下の分析表に示すように、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△１）であると分析する。
即ち、第１のカメラ１と運転者との間に遮蔽物が存在する場合、全画角の範囲において黒画面又は白画面、運転者撮影範囲において黒画面又は白画面、あるいは、輝度が正常な状態であるか否かにかかわらず、要因分析部１７は、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△１）であると分析する。

要因分析部１７は、第１のカメラ１と運転者との間に遮蔽物が存在していないと判定する場合、運転者の姿勢が不適正であると判定すれば、上記の分析表に示すように、第１の画像データの不具合の要因を分析する。
即ち、要因分析部１７は、全画角の範囲において黒画面であれば、第１の画像データの不具合の要因が、照明部３又は第１のカメラ１のいずれかの故障（×５）であると分析する。
要因分析部１７は、全画角の範囲において白画面であれば、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△２）であると分析する。
要因分析部１７は、運転者撮影範囲において黒画面であれば、第１の画像データの不具合の要因が、第１のカメラ１の故障（×７）であると分析する。
要因分析部１７は、運転者撮影範囲において白画面であれば、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△３）であると分析する。第１のカメラ１の外的要因（△３）としては、例えば、強い太陽光が運転者に照射されている状況が考えられる。
要因分析部１７は、運転者の姿勢が不適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部１２から、運転者を検出できない旨を示す不検出信号が出力されれば、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△２）であると分析する。

要因分析部１７は、第１のカメラ１と運転者との間に遮蔽物が存在していないと判定する場合、運転者の姿勢が適正であると判定すれば、上記の分析表に示すように、第１の画像データの不具合の要因を分析する。
即ち、要因分析部１７は、全画角の範囲において黒画面であれば、第１の画像データの不具合の要因が、照明部３又は第１のカメラ１のいずれかの故障（×５）であると分析する。
要因分析部１７は、全画角の範囲において白画面であれば、第１の画像データの不具合の要因が、照明部３の故障（×６）であると分析する。
要因分析部１７は、運転者撮影範囲において黒画面であれば、第１の画像データの不具合の要因が、第１のカメラ１の故障（×７）であると分析する。
要因分析部１７は、運転者撮影範囲において白画面であれば、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△３）であると分析する。
要因分析部１７は、運転者の姿勢が適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部１２から、運転者を検出できない旨を示す不検出信号が出力されれば、第１の画像データの不具合の要因が、第１のカメラ１の外的要因（△４）であると分析する。第１のカメラ１の外的要因（△４）としては、例えば、メガネ、マスク、髪型、又は、服装の影響で、運転者を検出できない状況が考えられる。

制御部１６は、要因分析部１７から、不具合要因の分析結果を取得する。
制御部１６は、不具合要因の分析結果が、第１のカメラ１の外的要因（△１）を示している場合、ある程度の時間が経過すれば、遮蔽物が除かれる可能性があるため、乗員監視部１４による乗員Ａの状態監視を維持させる。
その後、不具合検出部１５によって、不具合が検出されなくなれば、制御部１６は、第２のカメラ２の撮影対象を運転者から乗員Ａに戻す制御を行う。
制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが通知時間Ｔ１を超えても、不具合検出部１５による不具合の検出が継続していれば、例えば、図示せぬスピーカから、遮蔽物を取り除くことを促す通知を出力させる。
また、制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが待機時間Ｔ２を超えても、不具合検出部１５による不具合の検出が継続していれば、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。Ｔ１＜Ｔ２である。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させてもよい。

制御部１６は、不具合要因の分析結果が、第１のカメラ１の外的要因（△２）を示している場合、ある程度の時間が経過すれば、運転者の姿勢が適正な姿勢に戻る可能性があるため、乗員監視部１４による乗員Ａの状態監視を維持させる。
その後、不具合検出部１５によって、不具合が検出されなくなれば、制御部１６は、第２のカメラ２の撮影対象を運転者から乗員Ａに戻す制御を行う。
制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが通知時間Ｔ１を超えても、不具合検出部１５による不具合の検出が継続していれば、例えば、図示せぬスピーカから、姿勢を適正な姿勢に戻すことを促す通知を出力させる。
また、制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが待機時間Ｔ２を超えても、不具合検出部１５による不具合の検出が継続していれば、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させてもよい。

制御部１６は、不具合要因の分析結果が、第１のカメラ１の外的要因（△３）を示している場合、ある程度の時間が経過すれば、強い太陽光の照射が収まる可能性があるため、乗員監視部１４による乗員Ａの状態監視を維持させる。
その後、不具合検出部１５による不具合が検出されなくなれば、制御部１６は、第２のカメラ２の撮影対象を運転者から乗員Ａに戻す制御を行う。
制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが通知時間Ｔ１を超えても、不具合検出部１５による不具合の検出が継続していれば、例えば、図示せぬスピーカから、強い太陽光の照射等を何らかの方法で遮ることを促す通知を出力させる。
また、制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが待機時間Ｔ２を超えても、不具合検出部１５による不具合の検出が継続していれば、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させてもよい。

制御部１６は、不具合要因の分析結果が、第１のカメラ１の外的要因（△４）を示している場合、運転者が、メガネ、又は、マスクを外し、あるいは、髪型、又は、服装を変えれば、運転者監視部１２が運転者を検出できる可能性があるため、乗員監視部１４による乗員Ａの状態監視を維持させる。
その後、不具合検出部１５によって、不具合が検出されなくなれば、制御部１６は、第２のカメラ２の撮影対象を運転者から乗員Ａに戻す制御を行う。
制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが通知時間Ｔ１を超えても、不具合検出部１５による不具合の検出が継続していれば、例えば、図示せぬスピーカから、メガネを外す、又は、髪型を変える等を促す通知を出力させる。
また、制御部１６は、乗員監視部１４に対して乗員Ａの状態監視を維持させている時間ｔが待機時間Ｔ２を超えても、不具合検出部１５による不具合の検出が継続していれば、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させてもよい。

制御部１６は、不具合要因の分析結果が、照明部３又は第１のカメラ１のいずれかの故障（×５）を示している場合、照明部３の代わりに、照明部４から、運転者に向けて光を照射させる。
制御部１６は、照明部４から、運転者に向けて光を照射させることで、不具合検出部１５によって、不具合が検出されなくなれば、照明部３の故障であると判断する。
制御部１６は、照明部３の故障であると判断すれば、照明部４による照射を継続させて、運転者監視部１２による運転者の状態監視を維持させる。また、制御部１６は、第２のカメラ２の撮影対象を運転者から乗員Ａに戻す制御を行う。
制御部１６は、照明部４から、運転者に向けて光を照射させても、不具合検出部１５による不具合の検出が継続していれば、第１のカメラ１の故障であると判断する。
制御部１６は、第１のカメラ１の故障であると判断すれば、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させる。

制御部１６は、不具合要因の分析結果が、照明部３の故障（×６）を示している場合、照明部３の代わりに、照明部４から、運転者に向けて光を照射させる。
そして、制御部１６は、運転者監視部１２による運転者の状態監視を維持させる。

制御部１６は、不具合要因の分析結果が、第１のカメラ１の故障（×７）を示している場合、乗員監視部１４による状態の監視対象を、乗員Ａから運転者に切り換えさせるように、乗員監視部１４を制御する。このとき、制御部１６は、運転者監視部１２による運転者の状態監視を停止させる。

以上の実施の形態１では、車両の運転者を撮影する第１のカメラ１から、運転者を撮影した画像を示す第１の画像データを取得する第１の画像取得部１１と、第１の画像取得部１１により取得された第１の画像データの不具合を検出する不具合検出部１５と、不具合検出部１５により不具合が検出されたとき、車両の運転者以外の乗員を撮影する第２のカメラ２が運転者を撮影するように、第２のカメラ２を制御する制御部１６とを備えるように、乗員監視装置６を構成した。また、乗員監視装置６は、第２のカメラ２から、運転者を撮影した画像を示す第２の画像データを取得する第２の画像取得部１３と、第１の画像取得部１１により取得された第１の画像データと第２の画像取得部１３により取得された第２の画像データとに基づいて、第１の画像データの不具合の要因を分析する要因分析部１７とを備えている。したがって、乗員監視装置６は、車両の運転者を撮影する第１のカメラ１から出力された第１の画像データに不具合が生じたとき、第１の画像データの不具合の要因を分析することができる。

また、実施の形態１では、要因分析部１７によって、第１の画像データの不具合の要因が、第１のカメラ１の外的要因であると分析されれば、制御部１６が、乗員監視部１４による乗員の状態監視を維持させるように、乗員監視装置６を構成した。したがって、乗員監視装置６は、第１のカメラ１の外的要因が除かれれば、運転者の状態監視及び乗員の状態監視のそれぞれを行うことができる。

また、実施の形態１では、要因分析部１７によって、第１の画像データの不具合の要因が、第１のカメラ１の故障であると分析されれば、制御部１６が、乗員監視部１４による状態の監視対象を、乗員から運転者に切り換えさせるように、乗員監視装置６を構成した。したがって、乗員監視装置６は、運転者の状態監視を継続することができる。

また、実施の形態１では、要因分析部１７によって、第１の画像データの不具合の要因が、照明部３の故障であると分析されれば、制御部１６が、照明部３と異なる他の照明部４から運転者に向けて光を照射させるように、乗員監視装置６を構成した。したがって、乗員監視装置６は、運転者の状態監視及び乗員の状態監視のそれぞれを行うことができる。

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ 第１のカメラ、２ 第２のカメラ、３，４，５ 照明部、６ 乗員監視装置、１１ 第１の画像取得部、１２ 運転者監視部、１３ 第２の画像取得部、１４ 乗員監視部、１５ 不具合検出部、１６ 制御部、１７ 要因分析部、３１ 第１の画像取得回路、３２ 運転者監視回路、３３ 第２の画像取得回路、３４ 乗員監視回路、３５ 不具合検出回路、３６ 制御回路、３７ 要因分析回路、５１ メモリ、５２ プロセッサ。

Claims (9)

1. 車両の運転者を撮影する第１のカメラから、前記運転者を撮影した画像を示す第１の画像データを取得する第１の画像取得部と、
   前記第１の画像取得部により取得された第１の画像データの不具合を検出する不具合検出部と、
   前記不具合検出部により不具合が検出されたとき、前記車両の前記運転者以外の乗員を撮影する第２のカメラが前記運転者を撮影するように、前記第２のカメラを制御する制御部と、
   前記第２のカメラから、前記運転者を撮影した画像を示す第２の画像データを取得する第２の画像取得部と、
   前記第１の画像取得部により取得された第１の画像データと前記第２の画像取得部により取得された第２の画像データとに基づいて、前記第１の画像データの不具合の要因を分析する要因分析部と
   を備えた乗員監視装置。
2. 前記第１の画像取得部により取得された第１の画像データに基づいて、前記運転者の状態を監視する運転者監視部と、
   前記第２のカメラが前記乗員を撮影しているときに、前記第２の画像取得部により取得された画像データに基づいて、前記乗員の状態を監視する乗員監視部とを備えたことを特徴とする請求項１記載の乗員監視装置。
3. 前記要因分析部は、
   前記第１の画像データの不具合の要因が、前記第１のカメラの外的要因であるのか、前記第１のカメラの故障であるのか、又は、前記運転者に向けて光を照射する照明部の故障であるのかを分析することを特徴とする請求項２記載の乗員監視装置。
4. 前記制御部は、
   前記要因分析部によって、前記第１の画像データの不具合の要因が、前記第１のカメラの外的要因であると分析されれば、前記乗員監視部による前記乗員の状態監視を維持させることを特徴とする請求項３記載の乗員監視装置。
5. 前記制御部は、
   前記乗員監視部に対して前記乗員の状態監視を維持させている時間が待機時間を超えても、前記不具合検出部による不具合の検出が継続していれば、前記乗員監視部による状態の監視対象を、前記乗員から前記運転者に切り換えさせることを特徴とする請求項４記載の乗員監視装置。
6. 前記制御部は、
   前記要因分析部によって、前記第１の画像データの不具合の要因が、前記第１のカメラの故障であると分析されれば、前記乗員監視部による状態の監視対象を、前記乗員から前記運転者に切り換えさせることを特徴とする請求項３記載の乗員監視装置。
7. 前記制御部は、
   前記要因分析部によって、前記第１の画像データの不具合の要因が、前記照明部の故障であると分析されれば、前記照明部と異なる他の照明部から前記運転者に向けて光を照射させることを特徴とする請求項３記載の乗員監視装置。
8. 第１の画像取得部が、車両の運転者を撮影する第１のカメラから、前記運転者を撮影した画像を示す第１の画像データを取得し、
   不具合検出部が、前記第１の画像取得部により取得された第１の画像データの不具合を検出し、
   制御部が、前記不具合検出部により不具合が検出されたとき、前記車両の前記運転者以外の乗員を撮影する第２のカメラが前記運転者を撮影するように、前記第２のカメラを制御し、
   第２の画像取得部が、前記第２のカメラから、前記運転者を撮影した画像を示す第２の画像データを取得し、
   要因分析部が、前記第１の画像取得部により取得された第１の画像データと前記第２の画像取得部により取得された第２の画像データとに基づいて、前記第１の画像データの不具合の要因を分析する
   乗員監視方法。
9. 車両の運転者を撮影する第１のカメラと、
   前記車両の前記運転者以外の乗員を撮影する第２のカメラと、
   前記第１のカメラから、前記運転者を撮影した画像を示す第１の画像データを取得する第１の画像取得部と、
   前記第１の画像取得部により取得された第１の画像データに基づいて、前記運転者の状態を監視する運転者監視部と、
   前記第２のカメラから、前記乗員を撮影した画像を示す画像データを取得する第２の画像取得部と、
   前記第２の画像取得部により取得された画像データに基づいて、前記乗員の状態を監視する乗員監視部と、
   前記第１の画像取得部により取得された第１の画像データの不具合を検出する不具合検出部と、
   前記不具合検出部により不具合が検出されたとき、前記第２のカメラが前記運転者を撮影するように、前記第２のカメラを制御する制御部とを備え、
   前記第２の画像取得部は、前記第２のカメラから、前記運転者を撮影した画像を示す第２の画像データを取得し、
   前記第１の画像取得部により取得された第１の画像データと前記第２の画像取得部により取得された第２の画像データとに基づいて、前記第１の画像データの不具合の要因を分析する要因分析部を備えたことを特徴とする乗員監視システム。

Images