JP2023178539A - 乗員監視装置、乗員監視方法及び乗員監視システム - Google Patents
乗員監視装置、乗員監視方法及び乗員監視システム Download PDFInfo
- Publication number
- JP2023178539A JP2023178539A JP2022091280A JP2022091280A JP2023178539A JP 2023178539 A JP2023178539 A JP 2023178539A JP 2022091280 A JP2022091280 A JP 2022091280A JP 2022091280 A JP2022091280 A JP 2022091280A JP 2023178539 A JP2023178539 A JP 2023178539A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- unit
- image data
- occupant
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 158
- 238000012806 monitoring device Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims description 17
- 230000007547 defect Effects 0.000 claims abstract description 87
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000000556 factor analysis Methods 0.000 claims abstract description 66
- 230000007257 malfunction Effects 0.000 claims description 50
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】車両の運転者を撮影する第1のカメラから出力された第1の画像データに不具合が生じたとき、第1の画像データの不具合の要因を分析する乗員監視装置を得ること。【解決手段】車両の運転者を撮影する第1のカメラ1から、運転者を撮影した第1の画像データを取得する第1の画像取得部11と、第1の画像取得部11により取得された第1の画像データの不具合を検出する不具合検出部15と、不具合検出時、車両の運転者以外の乗員を撮影する第2のカメラ2に運転者を撮影するように、第2のカメラ2を制御する制御部16とを備える乗員監視装置6を有する。乗員監視装置6は、第2のカメラ2から、運転者を撮影した画像を示す第2の画像データを取得する第2の画像取得部13と、第1の画像データと第2の画像データとに基づいて、第1の画像データの不具合要因を分析する要因分析部17とを備えている。【選択図】図1
Description
本開示は、乗員監視装置、乗員監視方法及び乗員監視システムに関するものである。
車両の乗員を監視する乗員監視装置がある(例えば、特許文献1を参照)。
当該乗員監視装置は、車内カメラ及び乗員監視部を備えている。車内カメラは、車両の乗員を撮影し、乗員の撮影画像を示す画像データを乗員監視部に出力する。乗員監視部は、車内カメラから出力された画像データが示す撮影画像に基づいて、乗員の状態を監視する。
当該乗員監視装置は、車内カメラ及び乗員監視部を備えている。車内カメラは、車両の乗員を撮影し、乗員の撮影画像を示す画像データを乗員監視部に出力する。乗員監視部は、車内カメラから出力された画像データが示す撮影画像に基づいて、乗員の状態を監視する。
特許文献1に開示されている乗員監視装置は、車内カメラから出力された画像データに不具合が生じていても、不具合の要因が分からないという課題があった。不具合の要因が分からなければ、例えば乗員が、不具合の要因を容易に除去できないことがある。
本開示は、上記のような課題を解決するためになされたもので、車両の運転者を撮影する第1のカメラから出力された第1の画像データに不具合が生じたとき、第1の画像データの不具合の要因を分析することができる乗員監視装置を得ることを目的とする。
本開示に係る乗員監視装置は、車両の運転者を撮影する第1のカメラから、運転者を撮影した画像を示す第1の画像データを取得する第1の画像取得部と、第1の画像取得部により取得された第1の画像データの不具合を検出する不具合検出部と、不具合検出部により不具合が検出されたとき、車両の運転者以外の乗員を撮影する第2のカメラが運転者を撮影するように、第2のカメラを制御する制御部とを備えている。また、乗員監視装置は、第2のカメラから、運転者を撮影した画像を示す第2の画像データを取得する第2の画像取得部と、第1の画像取得部により取得された第1の画像データと第2の画像取得部により取得された第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する要因分析部とを備えている。
本開示によれば、車両の運転者を撮影する第1のカメラから出力された第1の画像データに不具合が生じたとき、第1の画像データの不具合の要因を分析することができる。
以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る乗員監視システムを示す構成図である。
図2は、実施の形態1に係る乗員監視装置6のハードウェアを示すハードウェア構成図である。
図1に示す乗員監視システムは、第1のカメラ1、第2のカメラ2、照明部3,4,5及び乗員監視装置6を備えている。
図1は、実施の形態1に係る乗員監視システムを示す構成図である。
図2は、実施の形態1に係る乗員監視装置6のハードウェアを示すハードウェア構成図である。
図1に示す乗員監視システムは、第1のカメラ1、第2のカメラ2、照明部3,4,5及び乗員監視装置6を備えている。
第1のカメラ1は、例えば、車両のインストルメントパネル、又は、運転席側のAピラーに設置されている。
第1のカメラ1は、車両の乗員である運転者を撮影し、運転者を撮影した画像を示す第1の画像データを乗員監視装置6に出力する。
第1のカメラ1は、車両の乗員である運転者を撮影し、運転者を撮影した画像を示す第1の画像データを乗員監視装置6に出力する。
第2のカメラ2は、例えば、車両のインストルメントパネル、又は、助手席側のAピラーに設置されている。
第2のカメラ2は、車両の運転者以外の乗員を撮影し、乗員を撮影した画像を示す第2の画像データを乗員監視装置6に出力する。運転者以外の乗員は、例えば、助手席に座っている乗員、又は、後部座席に座っている乗員である。
図1に示す乗員監視システムでは、3人の乗員A,B,Cが車両に乗車している例を示しており、第2のカメラ2が、3人の乗員A,B,Cのうち、助手席に座っている乗員Aを撮影している。
第2のカメラ2は、車両の運転者以外の乗員を撮影し、乗員を撮影した画像を示す第2の画像データを乗員監視装置6に出力する。運転者以外の乗員は、例えば、助手席に座っている乗員、又は、後部座席に座っている乗員である。
図1に示す乗員監視システムでは、3人の乗員A,B,Cが車両に乗車している例を示しており、第2のカメラ2が、3人の乗員A,B,Cのうち、助手席に座っている乗員Aを撮影している。
照明部3は、例えば、車両のインストルメントパネル、又は、運転席側のAピラーに設置されている。
照明部3は、運転者に向けて光を照射する光源である。
照明部4は、例えば、車両のインストルメントパネルに設置されている。
照明部4は、運転者に向けて光を照射する光源である。ただし、初期状態では、照明部4からの光の照射は停止している。
照明部5は、例えば、車両のインストルメントパネル、又は、助手席側のAピラーに設置されている。
照明部5は、運転者以外の乗員に向けて光を照射する光源である。
照明部3は、運転者に向けて光を照射する光源である。
照明部4は、例えば、車両のインストルメントパネルに設置されている。
照明部4は、運転者に向けて光を照射する光源である。ただし、初期状態では、照明部4からの光の照射は停止している。
照明部5は、例えば、車両のインストルメントパネル、又は、助手席側のAピラーに設置されている。
照明部5は、運転者以外の乗員に向けて光を照射する光源である。
乗員監視装置6は、第1の画像取得部11、運転者監視部12、第2の画像取得部13、乗員監視部14、不具合検出部15、制御部16及び要因分析部17を備えている。
第1の画像取得部11は、例えば、図2に示す第1の画像取得回路31によって実現される。
第1の画像取得部11は、第1のカメラ1から、運転者を撮影した画像を示す第1の画像データを取得する。
第1の画像取得部11は、第1の画像データを運転者監視部12、不具合検出部15及び要因分析部17のそれぞれに出力する。
第1の画像取得部11は、例えば、図2に示す第1の画像取得回路31によって実現される。
第1の画像取得部11は、第1のカメラ1から、運転者を撮影した画像を示す第1の画像データを取得する。
第1の画像取得部11は、第1の画像データを運転者監視部12、不具合検出部15及び要因分析部17のそれぞれに出力する。
運転者監視部12は、例えば、図2に示す運転者監視回路32によって実現される。
運転者監視部12は、第1の画像取得部11により取得された第1の画像データに基づいて、運転者の状態を監視する。
運転者監視部12は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。ドライバーモニタリングシステムは、例えば、運転者の居眠り運転、又は、脇見運転を検出し、居眠り運転等の検出結果に基づいて、例えば、車両の状態等を制御するシステムである。
運転者監視部12は、第1の画像取得部11により取得された第1の画像データに基づいて、運転者の状態を監視する。
運転者監視部12は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。ドライバーモニタリングシステムは、例えば、運転者の居眠り運転、又は、脇見運転を検出し、居眠り運転等の検出結果に基づいて、例えば、車両の状態等を制御するシステムである。
第2の画像取得部13は、例えば、図2に示す第2の画像取得回路33によって実現される。
第2の画像取得部13は、第2のカメラ2から、乗員を撮影した画像を示す画像データを取得し、画像データを乗員監視部14に出力する。
第2の画像取得部13は、制御部16によって、第2のカメラ2の撮影対象が乗員から運転者に切り換えられた後、第2のカメラ2から、運転者を撮影した画像を示す第2の画像データを取得し、第2の画像データを乗員監視部14及び要因分析部17のそれぞれに出力する。
第2の画像取得部13は、第2のカメラ2から、乗員を撮影した画像を示す画像データを取得し、画像データを乗員監視部14に出力する。
第2の画像取得部13は、制御部16によって、第2のカメラ2の撮影対象が乗員から運転者に切り換えられた後、第2のカメラ2から、運転者を撮影した画像を示す第2の画像データを取得し、第2の画像データを乗員監視部14及び要因分析部17のそれぞれに出力する。
乗員監視部14は、例えば、図2に示す乗員監視回路34によって実現される。
乗員監視部14は、第2の画像取得部13により取得された画像データに基づいて、乗員の状態を監視する。
乗員監視部14は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
乗員監視部14は、第2の画像取得部13により取得された画像データに基づいて、乗員の状態を監視する。
乗員監視部14は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
不具合検出部15は、例えば、図2に示す不具合検出回路35によって実現される。
不具合検出部15は、第1の画像取得部11により取得された第1の画像データの不具合を検出する。
不具合検出部15は、不具合の検出結果を制御部16及び要因分析部17のそれぞれに出力する。
不具合検出部15は、第1の画像取得部11により取得された第1の画像データの不具合を検出する。
不具合検出部15は、不具合の検出結果を制御部16及び要因分析部17のそれぞれに出力する。
制御部16は、例えば、図2に示す制御回路36によって実現される。
制御部16は、不具合検出部15から、不具合の検出結果を取得する。
制御部16は、不具合検出部15により不具合が検出されたとき、第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する。第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する方法としては、例えば、第2のカメラ2の撮影方向が運転者に向くように第2のカメラ2を制御する方法、又は、第2のカメラ2の撮影範囲に運転者が含まれるように、第2のカメラ2の画角を広げる方法がある。
制御部16は、不具合検出部15から、不具合の検出結果を取得する。
制御部16は、不具合検出部15により不具合が検出されたとき、第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する。第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する方法としては、例えば、第2のカメラ2の撮影方向が運転者に向くように第2のカメラ2を制御する方法、又は、第2のカメラ2の撮影範囲に運転者が含まれるように、第2のカメラ2の画角を広げる方法がある。
制御部16は、要因分析部17によって、第1の画像データの不具合の要因が、第1のカメラ1の外的要因であると分析されれば、乗員監視部14による乗員の状態監視を維持させる。その後、不具合検出部15によって、不具合が検出されなくなれば、第2のカメラ2の撮影対象を運転者から乗員に戻させる制御を行う。ただし、乗員監視部14に対して乗員の状態監視を維持させている時間が待機時間を超えても、不具合検出部15による不具合の検出が継続していれば、制御部16は、乗員監視部14による状態の監視対象を乗員から運転者に切り換えさせる制御を行う。
制御部16は、要因分析部17によって、第1の画像データの不具合の要因が、第1のカメラ1の故障であると分析されれば、乗員監視部14による状態の監視対象を乗員から運転者に切り換えさせる制御を行う。
制御部16は、要因分析部17によって、第1の画像データの不具合の要因が、照明部3の故障であると分析されれば、照明部3と異なる他の照明部4から運転者に向けて光を照射させる制御を行う。
制御部16は、要因分析部17によって、第1の画像データの不具合の要因が、照明部3の故障であると分析されれば、照明部3と異なる他の照明部4から運転者に向けて光を照射させる制御を行う。
要因分析部17は、例えば、図2に示す要因分析回路37によって実現される。
要因分析部17は、不具合検出部15によって、第1の画像データの不具合が検出されたとき、第1の画像取得部11により取得された第1の画像データと第2の画像取得部13により取得された第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する。
要因分析部17は、要因の分析結果を制御部16に出力する。
要因分析部17は、不具合検出部15によって、第1の画像データの不具合が検出されたとき、第1の画像取得部11により取得された第1の画像データと第2の画像取得部13により取得された第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する。
要因分析部17は、要因の分析結果を制御部16に出力する。
図1では、乗員監視装置6の構成要素である第1の画像取得部11、運転者監視部12、第2の画像取得部13、乗員監視部14、不具合検出部15、制御部16及び要因分析部17のそれぞれが、図2に示すような専用のハードウェアによって実現されるものを想定している。即ち、乗員監視装置6が、第1の画像取得回路31、運転者監視回路32、第2の画像取得回路33、乗員監視回路34、不具合検出回路35、制御回路36及び要因分析回路37によって実現されるものを想定している。
第1の画像取得回路31、運転者監視回路32、第2の画像取得回路33、乗員監視回路34、不具合検出回路35、制御回路36及び要因分析回路37のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらを組み合わせたものが該当する。
第1の画像取得回路31、運転者監視回路32、第2の画像取得回路33、乗員監視回路34、不具合検出回路35、制御回路36及び要因分析回路37のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらを組み合わせたものが該当する。
乗員監視装置6の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、乗員監視装置6が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
図3は、乗員監視装置6が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
乗員監視装置6が、ソフトウェア又はファームウェア等によって実現される場合、第1の画像取得部11、運転者監視部12、第2の画像取得部13、乗員監視部14、不具合検出部15、制御部16及び要因分析部17におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ51に格納される。そして、コンピュータのプロセッサ52がメモリ51に格納されているプログラムを実行する。
乗員監視装置6が、ソフトウェア又はファームウェア等によって実現される場合、第1の画像取得部11、運転者監視部12、第2の画像取得部13、乗員監視部14、不具合検出部15、制御部16及び要因分析部17におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ51に格納される。そして、コンピュータのプロセッサ52がメモリ51に格納されているプログラムを実行する。
また、図2では、乗員監視装置6の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図3では、乗員監視装置6がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、乗員監視装置6における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図1に示す乗員監視システムの動作について説明する。
図4は、乗員監視装置6の処理手順である乗員監視方法を示すフローチャートである。
第1のカメラ1に不具合が生じていない状況下では、照明部3は、運転者に向けて光を照射する。照明部5は、例えば、3人の乗員A,B,Cのうち、乗員Aに向けて光を照射する。
図4は、乗員監視装置6の処理手順である乗員監視方法を示すフローチャートである。
第1のカメラ1に不具合が生じていない状況下では、照明部3は、運転者に向けて光を照射する。照明部5は、例えば、3人の乗員A,B,Cのうち、乗員Aに向けて光を照射する。
第1の画像取得部11は、第1のカメラ1から、運転者を撮影した画像を示す第1の画像データを取得する(図4のステップST1)。
第1の画像取得部11は、第1の画像データを運転者監視部12、不具合検出部15及び要因分析部17のそれぞれに出力する。
第2の画像取得部13は、第2のカメラ2から、乗員Aを撮影した画像を示す画像データを取得し、画像データを乗員監視部14に出力する。
第1の画像取得部11は、第1の画像データを運転者監視部12、不具合検出部15及び要因分析部17のそれぞれに出力する。
第2の画像取得部13は、第2のカメラ2から、乗員Aを撮影した画像を示す画像データを取得し、画像データを乗員監視部14に出力する。
運転者監視部12は、第1の画像取得部11から、第1の画像データを取得する。
運転者監視部12は、第1の画像データに基づいて、運転者の状態を監視する。
運転者監視部12による状態の監視処理自体は、公知の技術であるため、ここでは、一例を簡単に説明する。
運転者監視部12は、第1の画像データに基づいて、運転者の状態を監視する。
運転者監視部12による状態の監視処理自体は、公知の技術であるため、ここでは、一例を簡単に説明する。
運転者監視部12は、第1の画像データを解析して、例えば、運転者の顔のパーツである眼、鼻、口及び眉毛のそれぞれの位置を特定する。
そして、運転者監視部12は、特定したそれぞれの位置に基づいて、例えば、眼の開き度合、又は、視線方向を算出する。
運転者監視部12は、例えば、眼の開き度合が開度判定用の閾値以下であれば、運転者の状態として、居眠り運転を検出する。
また、運転者監視部12は、例えば、視線方向が車両の前方方向からの角度が視線方向判定用の閾値以上であれば、運転者の状態として、脇見運転を検出する。
開度判定用の閾値及び視線方向判定用の閾値のそれぞれは、運転者監視部12の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。
運転者監視部12は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
なお、運転者監視部12は、第1の画像データを解析しても、運転者を検出することができなければ、運転者を検出できない旨を示す不検出信号を要因分析部17に出力する。
要因分析部17は、運転者監視部12から出力された不検出信号を制御部16に転送する。
そして、運転者監視部12は、特定したそれぞれの位置に基づいて、例えば、眼の開き度合、又は、視線方向を算出する。
運転者監視部12は、例えば、眼の開き度合が開度判定用の閾値以下であれば、運転者の状態として、居眠り運転を検出する。
また、運転者監視部12は、例えば、視線方向が車両の前方方向からの角度が視線方向判定用の閾値以上であれば、運転者の状態として、脇見運転を検出する。
開度判定用の閾値及び視線方向判定用の閾値のそれぞれは、運転者監視部12の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。
運転者監視部12は、運転者の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
なお、運転者監視部12は、第1の画像データを解析しても、運転者を検出することができなければ、運転者を検出できない旨を示す不検出信号を要因分析部17に出力する。
要因分析部17は、運転者監視部12から出力された不検出信号を制御部16に転送する。
乗員監視部14は、第2の画像取得部13から、画像データを取得する。
乗員監視部14は、画像データに基づいて、乗員の状態を監視する。
乗員監視部14による状態の監視処理は、運転者監視部12による状態の監視処理と同様である。ただし、乗員監視部14により監視される乗員の状態の種類は、運転者監視部12により監視される運転者の状態の種類と同じであってもよいし、異なっていてもよい。乗員の状態の種類としては、例えば、乗員が寝ている状態、又は、乗員の姿勢が大きく崩れている状態がある。
乗員監視部14は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
乗員監視部14は、画像データに基づいて、乗員の状態を監視する。
乗員監視部14による状態の監視処理は、運転者監視部12による状態の監視処理と同様である。ただし、乗員監視部14により監視される乗員の状態の種類は、運転者監視部12により監視される運転者の状態の種類と同じであってもよいし、異なっていてもよい。乗員の状態の種類としては、例えば、乗員が寝ている状態、又は、乗員の姿勢が大きく崩れている状態がある。
乗員監視部14は、乗員の状態の監視結果を、例えば、車両のドライバーモニタリングシステムに出力する。
不具合検出部15は、第1の画像取得部11から、第1の画像データを取得する。
不具合検出部15は、第1の画像データの不具合を検出する(図4のステップST2)。
不具合検出部15は、不具合の検出結果を制御部16及び要因分析部17のそれぞれに出力する。
以下、不具合検出部15による不具合の検出処理を具体的に説明する。
不具合検出部15は、第1の画像データの不具合を検出する(図4のステップST2)。
不具合検出部15は、不具合の検出結果を制御部16及び要因分析部17のそれぞれに出力する。
以下、不具合検出部15による不具合の検出処理を具体的に説明する。
図5は、第1のカメラ1により撮影された画像を示す説明図である。
図5に示す画像は、第1のカメラ1の全画角の画像であり、全画角の画像の中には、運転者を撮影した範囲の画像が含まれている。
不具合検出部15は、第1の画像データに基づいて、全画角の画像を構成する複数の画素の輝度の平均値(以下「第1の平均輝度L1ave」という)を算出する。
また、不具合検出部15は、第1の画像データに基づいて、運転者の撮影範囲の画像を構成する複数の画素の輝度の平均値(以下「第2の平均輝度L2ave」という)を算出する。
図5に示す画像は、第1のカメラ1の全画角の画像であり、全画角の画像の中には、運転者を撮影した範囲の画像が含まれている。
不具合検出部15は、第1の画像データに基づいて、全画角の画像を構成する複数の画素の輝度の平均値(以下「第1の平均輝度L1ave」という)を算出する。
また、不具合検出部15は、第1の画像データに基づいて、運転者の撮影範囲の画像を構成する複数の画素の輝度の平均値(以下「第2の平均輝度L2ave」という)を算出する。
不具合検出部15は、第1の平均輝度L1aveと黒画面判定用の閾値ThBとを比較する。黒画面判定用の閾値ThBは、不具合検出部15の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。
不具合検出部15は、第1の平均輝度L1aveが黒画面判定用の閾値ThB以下であれば、全画角の範囲において、「輝度が異常な低輝度の状態(以下「黒画面」という)である」という第1の画像データの不具合を検出する。
不具合検出部15は、第1の平均輝度L1aveが黒画面判定用の閾値ThB以下であれば、全画角の範囲において、「輝度が異常な低輝度の状態(以下「黒画面」という)である」という第1の画像データの不具合を検出する。
不具合検出部15は、第1の平均輝度L1aveと白画面判定用の閾値ThWとを比較する。白画面判定用の閾値ThWは、不具合検出部15の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。白画面判定用の閾値ThWは、黒画面判定用の閾値ThBよりも大きい。
不具合検出部15は、第1の平均輝度L1aveが白画面判定用の閾値ThW以上であれば、全画角の範囲において、「輝度が異常な高輝度の状態(以下「白画面」という)である」という第1の画像データの不具合を検出する。
不具合検出部15は、第1の平均輝度L1aveが白画面判定用の閾値ThW以上であれば、全画角の範囲において、「輝度が異常な高輝度の状態(以下「白画面」という)である」という第1の画像データの不具合を検出する。
不具合検出部15は、第2の平均輝度L2aveと黒画面判定用の閾値ThBとを比較する。
不具合検出部15は、第2の平均輝度L2aveが黒画面判定用の閾値ThB以下であれば、運転者撮影範囲において、「黒画面である」という第1の画像データの不具合を検出する。
不具合検出部15は、第2の平均輝度L2aveが黒画面判定用の閾値ThB以下であれば、運転者撮影範囲において、「黒画面である」という第1の画像データの不具合を検出する。
不具合検出部15は、第2の平均輝度L2aveと白画面判定用の閾値ThWとを比較する。
不具合検出部15は、第2の平均輝度L2aveが白画面判定用の閾値ThW以上であれば、運転者撮影範囲において、「白画面である」という第1の画像データの不具合を検出する。
不具合検出部15は、第2の平均輝度L2aveが白画面判定用の閾値ThW以上であれば、運転者撮影範囲において、「白画面である」という第1の画像データの不具合を検出する。
不具合検出部15は、第2の平均輝度L2aveと黒画面判定用の閾値ThBとを比較し、かつ、第2の平均輝度L2aveと白画面判定用の閾値ThWとを比較する。
不具合検出部15は、第2の平均輝度L2aveが黒画面判定用の閾値ThBよりも大きく、かつ、第2の平均輝度L2aveが白画面判定用の閾値ThWよりも小さければ、運転者撮影範囲において、「輝度が正常な状態である」と判定する。
不具合検出部15は、第2の平均輝度L2aveが黒画面判定用の閾値ThBよりも大きく、かつ、第2の平均輝度L2aveが白画面判定用の閾値ThWよりも小さければ、運転者撮影範囲において、「輝度が正常な状態である」と判定する。
制御部16は、不具合検出部15から、不具合の検出結果を取得する。
制御部16は、不具合検出部15によって、黒画面、又は、白画面のいずれかが検出されれば(図4のステップST3:YESの場合)、第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する。具体的には、制御部16は、第2のカメラ2の撮影対象を乗員Aから運転者に切り換えさせる制御を行う(図4のステップST4)。このとき、第2のカメラ2の撮影範囲に運転者が含まれればよく、第2のカメラ2の撮影範囲に乗員Aが含まれていてもよい。
制御部16は、不具合検出部15によって、黒画面及び白画面のいずれも検出されなければ(図4のステップST3:NOの場合)、第2のカメラ2の撮影対象を切り換えさせる制御を行わない。この場合には、第2のカメラ2の撮影対象としては、乗員Aが維持される。
ただし、不具合検出部15によって、黒画面及び白画面のいずれも検出されなくても、運転者監視部12から、運転者を検出できない旨の不検出信号が出力されれば、制御部16は、第2のカメラ2の撮影対象を乗員Aから運転者に切り換えさせる制御を行う。
制御部16は、不具合検出部15によって、黒画面、又は、白画面のいずれかが検出されれば(図4のステップST3:YESの場合)、第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する。具体的には、制御部16は、第2のカメラ2の撮影対象を乗員Aから運転者に切り換えさせる制御を行う(図4のステップST4)。このとき、第2のカメラ2の撮影範囲に運転者が含まれればよく、第2のカメラ2の撮影範囲に乗員Aが含まれていてもよい。
制御部16は、不具合検出部15によって、黒画面及び白画面のいずれも検出されなければ(図4のステップST3:NOの場合)、第2のカメラ2の撮影対象を切り換えさせる制御を行わない。この場合には、第2のカメラ2の撮影対象としては、乗員Aが維持される。
ただし、不具合検出部15によって、黒画面及び白画面のいずれも検出されなくても、運転者監視部12から、運転者を検出できない旨の不検出信号が出力されれば、制御部16は、第2のカメラ2の撮影対象を乗員Aから運転者に切り換えさせる制御を行う。
第2の画像取得部13は、制御部16によって、第2のカメラ2の撮影対象が乗員Aから運転者に切り換えられた後、第2のカメラ2から、運転者を撮影した画像を示す第2の画像データを取得する(図4のステップST5)。
第2の画像取得部13は、第2の画像データを乗員監視部14及び要因分析部17のそれぞれに出力する。
第2の画像取得部13は、第2の画像データを乗員監視部14及び要因分析部17のそれぞれに出力する。
要因分析部17は、不具合検出部15から、不具合の検出結果を取得する。
要因分析部17は、不具合検出部15によって、第1の画像データの不具合が検出されたとき、第1の画像取得部11から第1の画像データを取得し、第2の画像取得部13から第2の画像データを取得する。
要因分析部17は、第1の画像データと第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する(図4のステップST6)。
要因分析部17は、不具合要因の分析結果を制御部16に出力する。
以下、要因分析部17による不具合要因の分析処理を具体的に説明する。
要因分析部17は、不具合検出部15によって、第1の画像データの不具合が検出されたとき、第1の画像取得部11から第1の画像データを取得し、第2の画像取得部13から第2の画像データを取得する。
要因分析部17は、第1の画像データと第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する(図4のステップST6)。
要因分析部17は、不具合要因の分析結果を制御部16に出力する。
以下、要因分析部17による不具合要因の分析処理を具体的に説明する。
要因分析部17は、第2の画像データに基づいて、第1のカメラ1と運転者との間に遮蔽物が存在しているか否かを判定する。
具体的には、要因分析部17は、第2の画像データが示す画像に映っている運転者の顔の検出処理を行う。顔の検出処理アルゴリズムについては、公知の技術であるため詳細な説明を省略する。
そして、要因分析部17は、運転者の顔の一部しか検出できない場合、第1のカメラ1と運転者との間に遮蔽物が存在していると判定する。運転者の顔の一部しか検出できない場合とは、運転者の顔の全体を検出できない場合であり、要因分析部17は、検出できた顔の割合が遮蔽物検出用の閾値以下であれば、第1のカメラ1と運転者との間に遮蔽物が存在していると判定する。遮蔽物検出用の閾値は、要因分析部17の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。
要因分析部17は、検出できた顔の割合が遮蔽物検出用の閾値よりも大きければ、第1のカメラ1と運転者との間に遮蔽物が存在していないと判定する。
第1のカメラ1と運転者との間に遮蔽物が存在する例としては、助手席に座っている乗員Aが、カーナビゲーション装置を操作するために、乗員Aの手等が、第1のカメラ1と運転者との間を遮っている態様が考えられる。この場合、乗員Aの手等は、カーナビゲーション装置の操作が終了すれば、第1のカメラ1と運転者との間に存在しなくなることが想定される。
具体的には、要因分析部17は、第2の画像データが示す画像に映っている運転者の顔の検出処理を行う。顔の検出処理アルゴリズムについては、公知の技術であるため詳細な説明を省略する。
そして、要因分析部17は、運転者の顔の一部しか検出できない場合、第1のカメラ1と運転者との間に遮蔽物が存在していると判定する。運転者の顔の一部しか検出できない場合とは、運転者の顔の全体を検出できない場合であり、要因分析部17は、検出できた顔の割合が遮蔽物検出用の閾値以下であれば、第1のカメラ1と運転者との間に遮蔽物が存在していると判定する。遮蔽物検出用の閾値は、要因分析部17の内部メモリに格納されていてもよいし、乗員監視装置6の外部から与えられるものであってもよい。
要因分析部17は、検出できた顔の割合が遮蔽物検出用の閾値よりも大きければ、第1のカメラ1と運転者との間に遮蔽物が存在していないと判定する。
第1のカメラ1と運転者との間に遮蔽物が存在する例としては、助手席に座っている乗員Aが、カーナビゲーション装置を操作するために、乗員Aの手等が、第1のカメラ1と運転者との間を遮っている態様が考えられる。この場合、乗員Aの手等は、カーナビゲーション装置の操作が終了すれば、第1のカメラ1と運転者との間に存在しなくなることが想定される。
要因分析部17は、第1のカメラ1と運転者との間に遮蔽物が存在していないと判定すれば、運転者の姿勢が適正であるか否かを判定する。
具体的には、要因分析部17は、運転者の顔の位置が適正な位置の範囲内であれば、運転者の姿勢が適正であると判定し、運転者の顔の位置が適正な位置の範囲から逸脱していれば、運転者の姿勢が不適正であると判定する。
具体的には、要因分析部17は、運転者の顔の位置が適正な位置の範囲内であれば、運転者の姿勢が適正であると判定し、運転者の顔の位置が適正な位置の範囲から逸脱していれば、運転者の姿勢が不適正であると判定する。
適正な位置の範囲としては、例えば、車両の高さ方向の適正範囲と、車両の幅方向の適正範囲と、車両の車長方向の適正範囲とがある。
車両の高さ方向の適正範囲としては、例えば、運転席の座面の位置よりも○○cm高い位置から、車両の天井よりも△△cm低い位置までの範囲が考えられる。
車両の幅方向の適正範囲としては、例えば、運転席の幅方向の中央を基準として、左右◇◇cmの範囲が考えられる。
車両の車長方向の適正範囲としては、例えば、運転席のヘッドレストから□□cmまでの範囲が考えられる。
運転者の顔の位置が適正な位置の範囲内に存在しているか否かを判定する処理自体は、公知の技術であるため詳細な説明を省略する。
車両の高さ方向の適正範囲としては、例えば、運転席の座面の位置よりも○○cm高い位置から、車両の天井よりも△△cm低い位置までの範囲が考えられる。
車両の幅方向の適正範囲としては、例えば、運転席の幅方向の中央を基準として、左右◇◇cmの範囲が考えられる。
車両の車長方向の適正範囲としては、例えば、運転席のヘッドレストから□□cmまでの範囲が考えられる。
運転者の顔の位置が適正な位置の範囲内に存在しているか否かを判定する処理自体は、公知の技術であるため詳細な説明を省略する。
要因分析部17は、第1のカメラ1と運転者との間に遮蔽物が存在していると判定すれば、以下の分析表に示すように、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△1)であると分析する。
即ち、第1のカメラ1と運転者との間に遮蔽物が存在する場合、全画角の範囲において黒画面又は白画面、運転者撮影範囲において黒画面又は白画面、あるいは、輝度が正常な状態であるか否かにかかわらず、要因分析部17は、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△1)であると分析する。
即ち、第1のカメラ1と運転者との間に遮蔽物が存在する場合、全画角の範囲において黒画面又は白画面、運転者撮影範囲において黒画面又は白画面、あるいは、輝度が正常な状態であるか否かにかかわらず、要因分析部17は、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△1)であると分析する。
要因分析部17は、第1のカメラ1と運転者との間に遮蔽物が存在していないと判定する場合、運転者の姿勢が不適正であると判定すれば、上記の分析表に示すように、第1の画像データの不具合の要因を分析する。
即ち、要因分析部17は、全画角の範囲において黒画面であれば、第1の画像データの不具合の要因が、照明部3又は第1のカメラ1のいずれかの故障(×5)であると分析する。
要因分析部17は、全画角の範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△2)であると分析する。
要因分析部17は、運転者撮影範囲において黒画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の故障(×7)であると分析する。
要因分析部17は、運転者撮影範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△3)であると分析する。第1のカメラ1の外的要因(△3)としては、例えば、強い太陽光が運転者に照射されている状況が考えられる。
要因分析部17は、運転者の姿勢が不適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部12から、運転者を検出できない旨を示す不検出信号が出力されれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△2)であると分析する。
即ち、要因分析部17は、全画角の範囲において黒画面であれば、第1の画像データの不具合の要因が、照明部3又は第1のカメラ1のいずれかの故障(×5)であると分析する。
要因分析部17は、全画角の範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△2)であると分析する。
要因分析部17は、運転者撮影範囲において黒画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の故障(×7)であると分析する。
要因分析部17は、運転者撮影範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△3)であると分析する。第1のカメラ1の外的要因(△3)としては、例えば、強い太陽光が運転者に照射されている状況が考えられる。
要因分析部17は、運転者の姿勢が不適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部12から、運転者を検出できない旨を示す不検出信号が出力されれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△2)であると分析する。
要因分析部17は、第1のカメラ1と運転者との間に遮蔽物が存在していないと判定する場合、運転者の姿勢が適正であると判定すれば、上記の分析表に示すように、第1の画像データの不具合の要因を分析する。
即ち、要因分析部17は、全画角の範囲において黒画面であれば、第1の画像データの不具合の要因が、照明部3又は第1のカメラ1のいずれかの故障(×5)であると分析する。
要因分析部17は、全画角の範囲において白画面であれば、第1の画像データの不具合の要因が、照明部3の故障(×6)であると分析する。
要因分析部17は、運転者撮影範囲において黒画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の故障(×7)であると分析する。
要因分析部17は、運転者撮影範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△3)であると分析する。
要因分析部17は、運転者の姿勢が適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部12から、運転者を検出できない旨を示す不検出信号が出力されれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△4)であると分析する。第1のカメラ1の外的要因(△4)としては、例えば、メガネ、マスク、髪型、又は、服装の影響で、運転者を検出できない状況が考えられる。
即ち、要因分析部17は、全画角の範囲において黒画面であれば、第1の画像データの不具合の要因が、照明部3又は第1のカメラ1のいずれかの故障(×5)であると分析する。
要因分析部17は、全画角の範囲において白画面であれば、第1の画像データの不具合の要因が、照明部3の故障(×6)であると分析する。
要因分析部17は、運転者撮影範囲において黒画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の故障(×7)であると分析する。
要因分析部17は、運転者撮影範囲において白画面であれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△3)であると分析する。
要因分析部17は、運転者の姿勢が適正であるとき、運転者撮影範囲において輝度が正常な状態であっても、運転者監視部12から、運転者を検出できない旨を示す不検出信号が出力されれば、第1の画像データの不具合の要因が、第1のカメラ1の外的要因(△4)であると分析する。第1のカメラ1の外的要因(△4)としては、例えば、メガネ、マスク、髪型、又は、服装の影響で、運転者を検出できない状況が考えられる。
制御部16は、要因分析部17から、不具合要因の分析結果を取得する。
制御部16は、不具合要因の分析結果が、第1のカメラ1の外的要因(△1)を示している場合、ある程度の時間が経過すれば、遮蔽物が除かれる可能性があるため、乗員監視部14による乗員Aの状態監視を維持させる。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、遮蔽物を取り除くことを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。T1<T2である。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
制御部16は、不具合要因の分析結果が、第1のカメラ1の外的要因(△1)を示している場合、ある程度の時間が経過すれば、遮蔽物が除かれる可能性があるため、乗員監視部14による乗員Aの状態監視を維持させる。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、遮蔽物を取り除くことを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。T1<T2である。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
制御部16は、不具合要因の分析結果が、第1のカメラ1の外的要因(△2)を示している場合、ある程度の時間が経過すれば、運転者の姿勢が適正な姿勢に戻る可能性があるため、乗員監視部14による乗員Aの状態監視を維持させる。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、姿勢を適正な姿勢に戻すことを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、姿勢を適正な姿勢に戻すことを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
制御部16は、不具合要因の分析結果が、第1のカメラ1の外的要因(△3)を示している場合、ある程度の時間が経過すれば、強い太陽光の照射が収まる可能性があるため、乗員監視部14による乗員Aの状態監視を維持させる。
その後、不具合検出部15による不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、強い太陽光の照射等を何らかの方法で遮ることを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
その後、不具合検出部15による不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、強い太陽光の照射等を何らかの方法で遮ることを促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
制御部16は、不具合要因の分析結果が、第1のカメラ1の外的要因(△4)を示している場合、運転者が、メガネ、又は、マスクを外し、あるいは、髪型、又は、服装を変えれば、運転者監視部12が運転者を検出できる可能性があるため、乗員監視部14による乗員Aの状態監視を維持させる。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、メガネを外す、又は、髪型を変える等を促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
その後、不具合検出部15によって、不具合が検出されなくなれば、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが通知時間T1を超えても、不具合検出部15による不具合の検出が継続していれば、例えば、図示せぬスピーカから、メガネを外す、又は、髪型を変える等を促す通知を出力させる。
また、制御部16は、乗員監視部14に対して乗員Aの状態監視を維持させている時間tが待機時間T2を超えても、不具合検出部15による不具合の検出が継続していれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させてもよい。
制御部16は、不具合要因の分析結果が、照明部3又は第1のカメラ1のいずれかの故障(×5)を示している場合、照明部3の代わりに、照明部4から、運転者に向けて光を照射させる。
制御部16は、照明部4から、運転者に向けて光を照射させることで、不具合検出部15によって、不具合が検出されなくなれば、照明部3の故障であると判断する。
制御部16は、照明部3の故障であると判断すれば、照明部4による照射を継続させて、運転者監視部12による運転者の状態監視を維持させる。また、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、照明部4から、運転者に向けて光を照射させても、不具合検出部15による不具合の検出が継続していれば、第1のカメラ1の故障であると判断する。
制御部16は、第1のカメラ1の故障であると判断すれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させる。
制御部16は、照明部4から、運転者に向けて光を照射させることで、不具合検出部15によって、不具合が検出されなくなれば、照明部3の故障であると判断する。
制御部16は、照明部3の故障であると判断すれば、照明部4による照射を継続させて、運転者監視部12による運転者の状態監視を維持させる。また、制御部16は、第2のカメラ2の撮影対象を運転者から乗員Aに戻す制御を行う。
制御部16は、照明部4から、運転者に向けて光を照射させても、不具合検出部15による不具合の検出が継続していれば、第1のカメラ1の故障であると判断する。
制御部16は、第1のカメラ1の故障であると判断すれば、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させる。
制御部16は、不具合要因の分析結果が、照明部3の故障(×6)を示している場合、照明部3の代わりに、照明部4から、運転者に向けて光を照射させる。
そして、制御部16は、運転者監視部12による運転者の状態監視を維持させる。
そして、制御部16は、運転者監視部12による運転者の状態監視を維持させる。
制御部16は、不具合要因の分析結果が、第1のカメラ1の故障(×7)を示している場合、乗員監視部14による状態の監視対象を、乗員Aから運転者に切り換えさせるように、乗員監視部14を制御する。このとき、制御部16は、運転者監視部12による運転者の状態監視を停止させる。
以上の実施の形態1では、車両の運転者を撮影する第1のカメラ1から、運転者を撮影した画像を示す第1の画像データを取得する第1の画像取得部11と、第1の画像取得部11により取得された第1の画像データの不具合を検出する不具合検出部15と、不具合検出部15により不具合が検出されたとき、車両の運転者以外の乗員を撮影する第2のカメラ2が運転者を撮影するように、第2のカメラ2を制御する制御部16とを備えるように、乗員監視装置6を構成した。また、乗員監視装置6は、第2のカメラ2から、運転者を撮影した画像を示す第2の画像データを取得する第2の画像取得部13と、第1の画像取得部11により取得された第1の画像データと第2の画像取得部13により取得された第2の画像データとに基づいて、第1の画像データの不具合の要因を分析する要因分析部17とを備えている。したがって、乗員監視装置6は、車両の運転者を撮影する第1のカメラ1から出力された第1の画像データに不具合が生じたとき、第1の画像データの不具合の要因を分析することができる。
また、実施の形態1では、要因分析部17によって、第1の画像データの不具合の要因が、第1のカメラ1の外的要因であると分析されれば、制御部16が、乗員監視部14による乗員の状態監視を維持させるように、乗員監視装置6を構成した。したがって、乗員監視装置6は、第1のカメラ1の外的要因が除かれれば、運転者の状態監視及び乗員の状態監視のそれぞれを行うことができる。
また、実施の形態1では、要因分析部17によって、第1の画像データの不具合の要因が、第1のカメラ1の故障であると分析されれば、制御部16が、乗員監視部14による状態の監視対象を、乗員から運転者に切り換えさせるように、乗員監視装置6を構成した。したがって、乗員監視装置6は、運転者の状態監視を継続することができる。
また、実施の形態1では、要因分析部17によって、第1の画像データの不具合の要因が、照明部3の故障であると分析されれば、制御部16が、照明部3と異なる他の照明部4から運転者に向けて光を照射させるように、乗員監視装置6を構成した。したがって、乗員監視装置6は、運転者の状態監視及び乗員の状態監視のそれぞれを行うことができる。
なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 第1のカメラ、2 第2のカメラ、3,4,5 照明部、6 乗員監視装置、11 第1の画像取得部、12 運転者監視部、13 第2の画像取得部、14 乗員監視部、15 不具合検出部、16 制御部、17 要因分析部、31 第1の画像取得回路、32 運転者監視回路、33 第2の画像取得回路、34 乗員監視回路、35 不具合検出回路、36 制御回路、37 要因分析回路、51 メモリ、52 プロセッサ。
Claims (9)
- 車両の運転者を撮影する第1のカメラから、前記運転者を撮影した画像を示す第1の画像データを取得する第1の画像取得部と、
前記第1の画像取得部により取得された第1の画像データの不具合を検出する不具合検出部と、
前記不具合検出部により不具合が検出されたとき、前記車両の前記運転者以外の乗員を撮影する第2のカメラが前記運転者を撮影するように、前記第2のカメラを制御する制御部と、
前記第2のカメラから、前記運転者を撮影した画像を示す第2の画像データを取得する第2の画像取得部と、
前記第1の画像取得部により取得された第1の画像データと前記第2の画像取得部により取得された第2の画像データとに基づいて、前記第1の画像データの不具合の要因を分析する要因分析部と
を備えた乗員監視装置。 - 前記第1の画像取得部により取得された第1の画像データに基づいて、前記運転者の状態を監視する運転者監視部と、
前記第2のカメラが前記乗員を撮影しているときに、前記第2の画像取得部により取得された画像データに基づいて、前記乗員の状態を監視する乗員監視部とを備えたことを特徴とする請求項1記載の乗員監視装置。 - 前記要因分析部は、
前記第1の画像データの不具合の要因が、前記第1のカメラの外的要因であるのか、前記第1のカメラの故障であるのか、又は、前記運転者に向けて光を照射する照明部の故障であるのかを分析することを特徴とする請求項2記載の乗員監視装置。 - 前記制御部は、
前記要因分析部によって、前記第1の画像データの不具合の要因が、前記第1のカメラの外的要因であると分析されれば、前記乗員監視部による前記乗員の状態監視を維持させることを特徴とする請求項3記載の乗員監視装置。 - 前記制御部は、
前記乗員監視部に対して前記乗員の状態監視を維持させている時間が待機時間を超えても、前記不具合検出部による不具合の検出が継続していれば、前記乗員監視部による状態の監視対象を、前記乗員から前記運転者に切り換えさせることを特徴とする請求項4記載の乗員監視装置。 - 前記制御部は、
前記要因分析部によって、前記第1の画像データの不具合の要因が、前記第1のカメラの故障であると分析されれば、前記乗員監視部による状態の監視対象を、前記乗員から前記運転者に切り換えさせることを特徴とする請求項3記載の乗員監視装置。 - 前記制御部は、
前記要因分析部によって、前記第1の画像データの不具合の要因が、前記照明部の故障であると分析されれば、前記照明部と異なる他の照明部から前記運転者に向けて光を照射させることを特徴とする請求項3記載の乗員監視装置。 - 第1の画像取得部が、車両の運転者を撮影する第1のカメラから、前記運転者を撮影した画像を示す第1の画像データを取得し、
不具合検出部が、前記第1の画像取得部により取得された第1の画像データの不具合を検出し、
制御部が、前記不具合検出部により不具合が検出されたとき、前記車両の前記運転者以外の乗員を撮影する第2のカメラが前記運転者を撮影するように、前記第2のカメラを制御し、
第2の画像取得部が、前記第2のカメラから、前記運転者を撮影した画像を示す第2の画像データを取得し、
要因分析部が、前記第1の画像取得部により取得された第1の画像データと前記第2の画像取得部により取得された第2の画像データとに基づいて、前記第1の画像データの不具合の要因を分析する
乗員監視方法。 - 車両の運転者を撮影する第1のカメラと、
前記車両の前記運転者以外の乗員を撮影する第2のカメラと、
前記第1のカメラから、前記運転者を撮影した画像を示す第1の画像データを取得する第1の画像取得部と、
前記第1の画像取得部により取得された第1の画像データに基づいて、前記運転者の状態を監視する運転者監視部と、
前記第2のカメラから、前記乗員を撮影した画像を示す画像データを取得する第2の画像取得部と、
前記第2の画像取得部により取得された画像データに基づいて、前記乗員の状態を監視する乗員監視部と、
前記第1の画像取得部により取得された第1の画像データの不具合を検出する不具合検出部と、
前記不具合検出部により不具合が検出されたとき、前記第2のカメラが前記運転者を撮影するように、前記第2のカメラを制御する制御部とを備え、
前記第2の画像取得部は、前記第2のカメラから、前記運転者を撮影した画像を示す第2の画像データを取得し、
前記第1の画像取得部により取得された第1の画像データと前記第2の画像取得部により取得された第2の画像データとに基づいて、前記第1の画像データの不具合の要因を分析する要因分析部を備えたことを特徴とする乗員監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022091280A JP2023178539A (ja) | 2022-06-06 | 2022-06-06 | 乗員監視装置、乗員監視方法及び乗員監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022091280A JP2023178539A (ja) | 2022-06-06 | 2022-06-06 | 乗員監視装置、乗員監視方法及び乗員監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023178539A true JP2023178539A (ja) | 2023-12-18 |
Family
ID=89189633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022091280A Pending JP2023178539A (ja) | 2022-06-06 | 2022-06-06 | 乗員監視装置、乗員監視方法及び乗員監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023178539A (ja) |
-
2022
- 2022-06-06 JP JP2022091280A patent/JP2023178539A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190279365A1 (en) | Imaging apparatus | |
JP2007004448A (ja) | 視線検出装置 | |
JP2008199515A (ja) | 同乗者着座姿勢検出・判定装置及び方法 | |
JP2018128974A (ja) | ドライバ状態監視装置 | |
JP6971582B2 (ja) | 状態検出装置、状態検出方法、及びプログラム | |
JP2018022958A (ja) | 車両用表示制御装置及び車両用モニタシステム | |
US10457293B2 (en) | Driver monitoring apparatus, driver monitoring method, and program | |
JP2006253787A (ja) | 画像入力装置及びこの装置を備えた車両の乗員監視装置 | |
JP2023178539A (ja) | 乗員監視装置、乗員監視方法及び乗員監視システム | |
US20190289185A1 (en) | Occupant monitoring apparatus | |
JP6594595B2 (ja) | 運転不能状態判定装置および運転不能状態判定方法 | |
JP2009159568A (ja) | 異常検出装置および方法、並びに、プログラム | |
WO2022224423A1 (ja) | 車載用露光制御装置及び露光制御方法 | |
CN113879321B (zh) | 驾驶员监视装置及驾驶员监视方法 | |
JP6945775B2 (ja) | 車載用画像処理装置、および、車載用画像処理方法 | |
JP5206190B2 (ja) | ドライバー監視装置 | |
JP7101574B2 (ja) | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 | |
WO2020121650A1 (ja) | 眼の開閉検出装置、乗員監視装置 | |
WO2023157720A1 (ja) | 車両用顔登録制御装置及び車両用顔登録制御方法 | |
JP2009096323A (ja) | カメラ照明制御装置 | |
JP2024053194A (ja) | 異常判定方法、異常判定プログラム、及び乗員監視装置 | |
JP2015129876A (ja) | プロジェクタ | |
WO2023032029A1 (ja) | 遮蔽判定装置、乗員監視装置及び遮蔽判定方法 | |
JP2008166926A (ja) | 逆光判定装置、及び被写体撮像方法 | |
JP7489944B2 (ja) | 発光強度調整装置、発光強度調整プログラム、および、乗員監視システム |