JP7210965B2 - 室内監視装置 - Google Patents

Description

本発明の実施形態は、室内監視装置に関する。

撮像部によって車両の車室内を撮像して得られる撮像画像に基づいて、車室内へ進入した乗員数や車室内から退出する乗員数を検出したり、車室内に存在する乗員を検出したりする技術が開発されている。

特開２０１４－０９２９６５号公報 特開２０１６－００７９１９号公報 特開２０１４－２１１７３４号公報

しかしながら、対象物までの距離を計測する距離計測機能を有しない撮像部を用いて、車室内等の三次元空間内における物体の位置を高精度に推定することは困難である。上記の技術は、距離計測機能を有しない１つの撮像部を用いて、車室内の乗員の情報を得る技術であるが、前後方向および左右方向の両方向における乗員の着座位置を検出することは困難である。

そこで、実施形態の課題の一つは、距離計測機能を有しない１つの撮像部を用いて、車室内に存在する乗員の着座位置を高精度に検出可能とする室内監視装置を提供することである。

実施形態の室内監視装置は、一例として、撮像部によって車両の車室内を撮像して得られる撮像画像を取得する画像取得部と、撮像画像内に乗員の頭部が存在するか否かを判定し、撮像画像内に頭部が存在する場合、撮像画像における、頭部のサイズ、頭部の頭部位置、および乗員の頭部以外のキーポイントのキーポイント位置を検出し、頭部のサイズ、頭部位置、およびキーポイント位置に基づいて、車室内における乗員の着座位置を検出する位置検出部と、備える。よって、一例として、距離計測機能を有しない１つの撮像部を用いて、車室内に存在する乗員の着座位置を高精度に検出可能となる。

また、実施形態の室内監視装置は、一例として、位置検出部は、撮像画像に対して、着座位置の候補に対応する判定領域を設定し、判定領域内に頭部が存在するか否かを判定し、判定領域内に頭部が存在する場合、頭部のサイズ、頭部位置、およびキーポイント位置に基づいて、判定領域に対応する着座位置の候補の中から、頭部の乗員の着座位置の候補を選択し、選択した着座位置の候補を着座位置として検出する。よって、一例として、距離計測機能を有しない１つの撮像部を用いて、車室内に存在する乗員の着座位置を高精度に検出可能となる。

また、実施形態の室内監視装置は、一例として、位置検出部は、頭部位置およびキーポイント位置に基づいて、車室内における乗員の左右方向の着座位置を検出する。よって、一例として、車室内に存在する乗員の左右方向の着座位置を高精度に検出できる。

また、実施形態の室内監視装置は、一例として、位置検出部は、頭部画像のサイズおよびキーポイントの有無に基づいて、車室内における乗員の前後方向の着座位置を検出する。よって、一例として、車室内に存在する乗員の前後方向の着座位置を高精度に検出できる。

また、実施形態の室内監視装置は、一例として、撮像画像から、着座位置が検出された乗員が装着するシートベルトが検出された場合、当該乗員が降車するまで、検出された着座位置を当該乗員の着座位置に決定する決定部をさらに備える。よって、一例として、撮像画像から、着座位置が検出された乗員が装着するシートベルトが検出された場合、乗員が降車するまでの間の一時的な乗員の姿勢の変化によって、乗員の着座位置を誤検出することを防止することができる。

また、実施形態の室内監視装置は、一例として、位置検出部は、さらに、着座位置が検出された乗員の頭部のサイズに基づいて、当該乗員が着座した座席の前後方向におけるシート位置を検出する。よって、一例として、乗員の位置に関わる車両の制御処理を高精度に実行可能となる。

また、実施形態の室内監視装置は、一例として、位置検出部は、さらに、着座位置が検出された乗員の頭部のサイズに基づいて、当該乗員の姿勢を検出する。よって、一例として、車室内における乗員の位置に関わる車両の制御処理を高精度に実行可能となる。

図１は、本実施形態にかかる室内監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、本実施形態にかかる車両の一例の平面図である。 図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、本実施形態にかかる車両による乗員の着座位置の検出処理の一例を説明するための図である。 図６は、本実施形態にかかる車両による乗員の着座位置の検出処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる室内監視装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

図１は、本実施形態にかかる室内監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。

車室２ａ内には、当該車室２ａ内に存在する乗員が着座する座席２ｂ，２ｈ，２ｉ，２ｊが設けられている。座席２ｂは、乗員として運転手が着座する座席である。座席２ｈは、運転席である座席２ｂの隣に設けられる助手席である。座席２ｉ，２ｊは、座席２ｂ，２ｈの後方に設けられる後部座席である。

また、車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、本実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｋのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

また、車室２ａ内には、図１および図２に示すように、車内カメラ１６（撮像部）が設けられている。車内カメラ１６は、車室２ａ内を撮像可能に設けられる。本実施形態では、車内カメラ１６は、座席２ｂ，２ｈ，２ｉ，２ｊよりも前方から、車室２ａ内全体（少なくとも、座席２ｂ，２ｈ，２ｉ，２ｊに存在する物体）を撮像可能に設けられている。また、本実施形態では、車内カメラ１６は、赤外線カメラであり、所定のフレームレートで車室２ａ内を撮像可能である。そして、車内カメラ１６は、車室２ａ内を撮像して得られるＩＲ画像（以下、撮像画像と言う）を出力する。本実施形態では、車内カメラ１６には、ＩＲカメラを用いているが、車室２ａ内全体を撮像可能な撮像部であれば、これに限定するものではなく、例えば、可視光カメラであっても良い。

図３は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、車内カメラ１６により得られる撮像画像に基づく乗員の着座位置の検出処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、画像取得部４００、位置検出部４０１、位置決定部４０２、および制御部４０３と、を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視プログラムを実行することにより、ＥＣＵ１４は、画像取得部４００、位置検出部４０１、位置決定部４０２、および制御部４０３の機能を実現する。画像取得部４００、位置検出部４０１、位置決定部４０２、および制御部４０３の一部または全部を回路等のハードウェアによって構成しても良い。本実施形態では、ＥＣＵ１４が、室内監視装置の一例として機能する。

画像取得部４００は、車内カメラ１６によって車室２ａ内全体を撮像して得られる撮像画像を取得する。

位置検出部４０１は、画像取得部４００により取得される撮像画像内に乗員の頭部が存在するか否かを判定する。撮像画像内に乗員の頭部が存在すると判定した場合、位置検出部４０１は、撮像画像における、乗員の頭部のサイズ、乗員の頭部の位置（以下、頭部位置と言う）、および乗員の頭部以外のキーポイントの位置（以下、キーポイント位置と言う）を検出する。ここで、キーポイントは、乗員の体のうち頭部以外の予め設定された箇所である。例えば、キーポイントは、乗員の関節位置（例えば、首、肩、肘、手首、股関節、膝）や、乗員の頭頂や胸である。

次いで、位置検出部４０１は、乗員の頭部のサイズ、乗員の頭部位置、およびキーポイント位置に基づいて、車室２ａ内における乗員の着座位置を検出する。これにより、対象物までの距離を計測する距離計測機能を有しない車内カメラ１６によって車室２ａ内を撮像して得られる撮像画像を用いて乗員の着座位置を検出する場合でも、車室２ａ内における前後方向および左右方向の両方向の乗員の位置も検出可能となるので、車室２ａ内に存在する乗員の着座位置を高精度に検出することができる。

また、前席（座席２ｂ，２ｈ）に着座する乗員を撮像するためのカメラ、後部座席（２ｉ，２ｊ）に着座する乗員を撮像するカメラ等の複数のカメラを車室２ａ内に設置したり、車内カメラ１６に加えて、ＴＯＦ（Time Of Flight）カメラ等、距離計測機能を有するカメラを設けたりする必要がなくなるので、車室２ａ内に存在する乗員の着座位置を検出するためのシステムの小型化および低コスト化を図ることができる。

具体的には、位置検出部４０１は、頭部位置およびキーポイント位置に基づいて、車室２ａ内における乗員の左右方向の着座位置を検出する。これにより、車室２ａ内に存在する乗員の左右方向の着座位置を高精度に検出できる。本実施形態では、位置検出部４０１は、前席（座席２ｂ，２ｈ）に着座している乗員の着座位置を検出する場合には、左側および右側のうちいずれに着座しているかを左右方向の着座位置として検出する。また、位置検出部４０１は、後部座席（座席２ｉ，２ｊ）に着座している乗員の着座位置を検出する場合には、左側、中央、および右側のいずれに着座しているかを左右方向の着座位置として検出する。

本実施形態では、位置検出部４０１が、車室２ａ内の左右方向における乗員の着座位置として、２つの着座位置（例えば、左側および右側）または３つの着座位置（例えば、左側、中央、および右側）を検出する例について説明するが、これに限定するものではく、車室２ａ内の左右方向の着座位置として、４つ以上の着座位置を検出することも可能である。

また、具体的には、位置検出部４０１は、撮像画像内における頭部のサイズおよびキーポイントの有無に基づいて、車室２ａ内における乗員の前後方向の着座位置を検出する。これにより、車室２ａ内に存在する乗員の前後方向の着座位置を高精度に検出できる。本実施形態では、位置検出部４０１は、前席（座席２ｂ，２ｈ）および後部座席（座席２ｉ，２ｊ）のうち、車室２ａ内において乗員がいずれに着座しているかを、前後方向の着座位置として検出する。

本実施形態では、位置検出部４０１が、車室２ａ内の前後方向における乗員の着座位置として、２つの着座位置（例えば、前席および後部座席）を検出する例について説明するが、これに限定するものではく、車室２ａ内の前後方向の着座位置として、３つ以上の着座位置を検出することも可能である。

また、位置検出部４０１は、撮像画像における乗員（着座位置が検出された乗員）の頭部のサイズに基づいて、当該乗員が着座した座席２ｂ，２ｈ，２ｉ，２ｊの前後方向における位置（以下、シート位置と言う）を検出する。本実施形態では、位置検出部４０１は、座席２ｂ，２ｈ，２ｉ，２ｊ毎に、当該座席２ｂ，２ｈ，２ｉ，２ｊが移動可能なシート位置と、当該シート位置における頭部の基準となるサイズ（以下、基準サイズと言う）と、を対応付けるシート位置テーブルをＲＡＭ１４ｃ等の記憶媒体に予め保存しておく。

そして、位置検出部４０１は、シート位置テーブルにおいて、乗員の着座位置として検出される座席の基準サイズのうち乗員の頭部のサイズと一致する基準サイズと対応付けて記憶されるシート位置を、乗員が着座した座席のシート位置として検出する。これにより、車室２ａ内におけるより乗員のより詳細な位置が検出可能となるで、乗員の位置に関わる車両１の制御処理を高精度に実行可能となる。

さらに、位置検出部４０１は、撮像画像における乗員（着座位置が検出された乗員）の頭部のサイズに基づいて、当該乗員の姿勢を検出する。本実施形態では、位置検出部４０１は、シート位置テーブルにおいて、乗員の着座位置として検出される座席の基準サイズの上限よりも、乗員の頭部のサイズが大きい場合には、乗員が前屈みになっていることを検出する。

一方、位置検出部４０１は、シート位置テーブルにおいて、乗員の着座位置として検出される座席の基準サイズの下限よりも、乗員の頭部サイズが小さい場合には、乗員が仰向けの状態になっていることを検出する。これにより、車室２ａ内における乗員のより詳細な位置が検出可能となるで、車室２ａ内における乗員の位置に関わる車両１の制御処理を高精度に実行可能となる。

位置決定部４０２は、撮像画像から、着座位置が検出された乗員が装着するシートベルトが検出された場合、乗員が降車するまで、当該検出された着座位置を乗員の着座位置に決定する。乗員が座席に着座してシートベルトを装着した後は、当該乗員が他の座席に移動して着座位置が変わる可能性は低く、仮に、撮像画像から乗員が装着するシートベルトが検出された後に、乗員の姿勢の変化等によって、撮像画像を用いて検出される乗員の着座位置が一時的に変化したとしても、再び、元の着座位置に戻る可能性が高い。

そこで、位置決定部４０２は、撮像画像から、着座位置が検出された乗員が装着するシートベルトが検出された場合、乗員が降車するまで、当該検出された着座位置を乗員の着座位置に決定する。これにより、撮像画像から、着座位置が検出された乗員が装着するシートベルトが検出された場合、乗員が降車するまでの間の一時的な乗員の姿勢の変化によって、乗員の着座位置を誤検出することを防止することができる。

制御部４０３は、位置検出部４０１により検出された乗員の着座位置に基づいて、乗員の位置に関わる車両１の制御処理を実行する。本実施形態では、制御部４０３は、位置検出部４０１により検出された乗員の着座位置に基づいて、エアバック、シートベルトリマイン等の制御処理を実行する。

次に、図５を用いて、本実施形態にかかる車両１による乗員の着座位置の検出処理の一例について説明する。図５は、本実施形態にかかる車両による乗員の着座位置の検出処理の一例を説明するための図である。図５に示す撮像画像５００において、縦軸をＹ軸とし、横軸をＸ軸とする。

本実施形態では、画像取得部４００により撮像画像５００が取得されると、位置検出部４０１は、図５に示すように、取得した撮像画像５００に対して、車室２ａ内の着座位置の候補に対応する判定領域５０１～５０３を設定する。本実施形態では、撮像画像５００に対して３つの判定領域５０１を設定しているが、これに限定するものではなく、撮像画像５００に対して、１つの判定領域、２つの判定領域、または４つ以上の判定領域を設定しても良い。

ここで、判定領域５０１～５０３は、乗員の頭部が存在するか否かを判定する領域である。判定領域５０１は、着座位置の候補としての運転席（座席２ｂ）および後部座席（右側、中央）に対応する領域である。判定領域５０２は、着座位置の候補としての後部座席（右側、中央、左側）に対応する領域である。判定領域５０３は、着座位置の候補としての助手席（座席２ｈ）および後部座席（左側、中央）に対応する領域である。

次いで、位置検出部４０１は、画像処理によって、判定領域５０１～５０３のそれぞれから乗員の頭部Ｈ１～Ｈ５を検出する。すなわち、位置検出部４０１は、各判定領域５０１～５０３内に乗員の頭部Ｈ１～Ｈ５が存在するか否かを判定する。そして、位置検出部４０１は、各判定領域５０１～５０３内における頭部Ｈ１～Ｈ５の有無に基づいて、車室２ａ内に乗員が進入したか否かを判断する。

判定領域５０１～５０３内に頭部Ｈ１～Ｈ５が存在する場合、位置検出部４０１は、画像処理によって、撮像画像５００内における、頭部Ｈ１～Ｈ５の頭部位置ＨＰ１～ＨＰ５、頭部Ｈ１～Ｈ５のサイズ、および乗員のキーポイント位置ＫＰ１～ＫＰ１２を検出する。

本実施形態では、位置検出部４０１は、撮像画像５００の縦軸をＸ軸としかつ横軸をＸ軸とするＸＹ座標系における、頭部Ｈ１～Ｈ５の座標である頭部座標を、当該頭部Ｈ１～Ｈ５の頭部位置ＨＰ１～ＨＰ５として検出する。また、本実施形態では、位置検出部４０１は、ＸＹ座標系における、キーポイントの座標であるキーポイント位置座標を、キーポイント位置ＫＰ１～ＫＰ１２として検出する。

そして、図５に示すように、判定領域５０１から複数の頭部Ｈ１，Ｈ２が検出された場合、位置検出部４０１は、頭部Ｈ１，Ｈ２のサイズ、頭部位置ＨＰ１，ＨＰ２、およびキーポイント位置ＫＰ１～ＫＰ５に基づいて、判定領域５０１に対応する着座位置の候補（運転席、後部座席の右側、後部座席の中央）の中から、当該複数の頭部Ｈ１，Ｈ２それぞれの乗員の着座位置の候補の選択し、選択した着座位置の候補を乗員の着座位置として検出する。

具体的には、位置検出部４０１は、図５に示すように、頭部Ｈ１のサイズが頭部Ｈ２のサイズより大きく、かつ頭部Ｈ１の乗員のキーポイント位置ＫＰ１～ＫＰ３が座席２ｂによって隠れていないため、着座位置の候補である運転席および後部座席（右側、中央）のうち運転席を、頭部Ｈ１に対応する乗員の着座位置として検出する。本実施形態では、位置検出部４０１は、頭部Ｈ１のサイズが頭部Ｈ２のサイズと比較して、所定の閾値以上、大きい場合に、頭部Ｈ１のサイズが頭部Ｈ２のサイズよりも大きいと判断するものとする。ここで、所定の閾値は、前後方向の着座位置が異なると判断する頭部のサイズの差分である。

一方、位置検出部４０１は、図５に示すように、頭部Ｈ２のサイズが頭部Ｈ１のサイズより小さく、かつ頭部Ｈ２の乗員の左側のキーポイント位置ＫＰ４，ＫＰ５のみが検出されているため（言い換えると、頭部Ｈ２の乗員の右側のキーポイント位置が座席２ｂによって隠れているため）、着座位置の候補である運転席および後部座席（右側、中央）のうち後部座席の右側を、頭部Ｈ２に対応する乗員の着座位置として検出する。本実施形態では、位置検出部４０１は、頭部Ｈ２のサイズが頭部Ｈ１のサイズと比較して、所定の閾値以上、小さい場合に、頭部Ｈ２のサイズが頭部Ｈ１のサイズより小さいと判断するものとする。

図示しないが、判定領域５０１から同じサイズの複数の頭部Ｈ１，Ｈ５が検出された場合も、位置検出部４０１は、複数の頭部Ｈ１，Ｈ５それぞれの頭部位置ＨＰ１，ＨＰ５およびキーポイント位置ＫＰ１～ＫＰ３，ＫＰ９～ＫＰ１１に基づいて、判定領域５０１に対応する着座位置の候補である運転席および後部座席（中央、右側）の中から、それぞれの頭部の乗員の着座位置の候補を選択し、当該選択した着座位置の候補を乗員の着座位置として検出する。

この場合、複数の頭部Ｈ１，Ｈ５それぞれの乗員のキーポイント位置ＫＰ１～ＫＰ３，ＫＰ９～ＫＰ１１が座席によって隠れていないため、座席によって隠れているキーポイント位置に基づいて、頭部Ｈ１，Ｈ５の乗員の左右方向の着座位置を検出することはできない。そのため、位置検出部４０１は、頭部Ｈ１の乗員の頭部位置ＨＰ１およびキーポイント位置ＫＰ１～ＫＰ３と、頭部Ｈ５の乗員の頭部位置ＨＰ５およびキーポイント位置ＫＰ９～ＫＰ１１との位置関係に基づいて、頭部Ｈ１，Ｈ５の乗員の左右方向の着座位置を検出する。

具体的には、撮像画像５００において、頭部Ｈ１の乗員の頭部位置ＨＰ１およびキーポイント位置ＫＰ１～ＫＰ３が、頭部Ｈ５の乗員の頭部位置ＨＰ５およびキーポイント位置ＫＰ９～ＫＰ１１の左側に存在する場合、頭部Ｈ１の乗員は、頭部Ｈ５の乗員の右側に位置する可能性が高い。この場合、位置検出部４０１は、運転席を、頭部Ｈ１の乗員の着座位置として検出する。頭部Ｈ５の乗員の着座位置については、運転席の左側に存在する助手席を、着座位置として検出する。

また、図５に示すように、判定領域５０２から頭部Ｈ３が検出された場合、位置検出部４０１は、頭部位置ＨＰ３、およびキーポイント位置ＫＰ６，ＫＰ７，ＫＰ１２に基づいて、判定領域５０２に対応する着座位置の候補（後部座席の右側、中央、左側）の中から、頭部Ｈ３の乗員の着座位置の候補を選択し、選択した着座位置の候補を乗員の着座位置として検出する。

具体的には、位置検出部４０１は、図５に示すように、頭部Ｈ３の乗員のキーポイント位置ＫＰ６，ＫＰ７，ＫＰ１２が座席２ｂ，２ｈのいずれによっても隠れていないため、着座位置の候補である後部座席（右側、中央、左側）のうち、後部座席の中央を、頭部Ｈ３に対応する乗員の着座位置として検出する。

図示しないが、判定領域５０２から同じサイズの複数の頭部が検出された場合、位置検出部４０１は、複数の頭部それぞれの頭部位置およびキーポイント位置に基づいて、判定領域５０２に対応する着座位置の候補（後部座席の右側、中央、左側）の中から、それぞれの頭部の乗員の着座位置の候補を選択し、当該選択した着座位置の候補を乗員の着座位置として検出する。

例えば、撮像画像５００において、一方の頭部の頭部位置およびキーポイント位置が、他方の頭部の頭部位置およびキーポイント位置の左側に存在し、かつ当該一方の頭部の乗員の右側のキーポイント位置が座席２ｂによって隠れている場合（すなわち、当該一方の頭部の乗員の右側のキーポイント位置が検出されなかった場合）、位置検出部４０１は、後部座席の右側を、当該一方の頭部の乗員の着座位置として検出する。

また、例えば、撮像画像５００において、一方の頭部の頭部位置およびキーポイント位置が、他方の頭部の頭部位置およびキーポイント位置の右側に存在し、かつ当該一方の頭部の乗員の左側のキーポイント位置が座席２ｈによって隠れている場合（すなわち、当該一方の頭部の乗員の左側のキーポイント位置が検出されなかった場合）、位置検出部４０１は、後部座席の左側を、当該一方の頭部の乗員の着座位置として検出する。

さらに、図５に示すように、判定領域５０３から複数の頭部Ｈ４，Ｈ５が検出された場合、位置検出部４０１は、頭部Ｈ４，Ｈ５のサイズ、頭部位置ＨＰ４，ＨＰ５、およびキーポイント位置ＫＰ８～ＫＰ１１に基づいて、判定領域５０３に対応する着座位置の候補（助手席、後部座席の中央、後部座席の左側）の中から、当該複数の頭部Ｈ４，Ｈ５それぞれの乗員の着座位置の候補を選択し、選択した着座位置の候補を乗員の着座位置として検出する。

具体的には、位置検出部４０１は、図５に示すように、頭部Ｈ５のサイズが頭部Ｈ４のサイズより大きく、かつ頭部Ｈ５の乗員のキーポイント位置ＫＰ９～ＫＰ１１が座席２ｈによって隠れていないため、着座位置の候補である助手席および後部座席（中央、左側）のうち助手席を、頭部Ｈ５に対応する乗員の着座位置として検出する。本実施形態では、位置検出部４０１は、頭部Ｈ５のサイズが頭部Ｈ４のサイズと比較して、所定の閾値以上、大きい場合に、頭部Ｈ５のサイズが頭部Ｈ４のサイズよりも大きいと判断するものとする。

一方、位置検出部４０１は、図５に示すように、頭部Ｈ４のサイズが頭部Ｈ５のサイズより小さく、かつ頭部Ｈ４の乗員の右側のキーポイント位置ＫＰ８のみが検出されているため（言い換えると、頭部Ｈ４の乗員の左側のキーポイント位置が座席２ｈによって隠れているため）、着座位置の候補である助手席および後部座席（左側、中央）のうち、後部座席の左側を、頭部Ｈ４に対応する乗員の着座位置として検出する。本実施形態では、位置検出部４０１は、頭部Ｈ２のサイズが頭部Ｈ１のサイズと比較して、所定の閾値以上、小さい場合に、頭部Ｈ２のサイズが頭部Ｈ１のサイズより小さいと判断するものとする。

図示しないが、判定領域５０３から同じサイズの複数の頭部Ｈ１，Ｈ５が検出された場合も、位置検出部４０１は、複数の頭部Ｈ１，Ｈ５それぞれの頭部位置ＨＰ１，ＨＰ５およびキーポイント位置ＫＰ１～ＫＰ３，ＫＰ９～ＫＰ１１に基づいて、判定領域５０３に対応する着座位置の候補である助手席および後部座席（中央、左側）の中から、それぞれの頭部の乗員の着座位置の候補を選択し、当該選択した着座位置の候補を乗員の着座位置として検出する。

この場合、複数の頭部Ｈ１，Ｈ５それぞれの乗員のキーポイント位置ＫＰ１～ＫＰ３，ＫＰ９～ＫＰ１１が座席によって隠れていないため、座席によって隠れているキーポイント位置に基づいて、頭部Ｈ１，Ｈ５の乗員の左右方向の着座位置を検出することはできない。そのため、位置検出部４０１は、頭部Ｈ１の乗員の頭部位置ＨＰ１およびキーポイント位置ＫＰ１～ＫＰ３と、頭部Ｈ５の乗員の頭部位置ＨＰ５およびキーポイント位置ＫＰ９～ＫＰ１１との位置関係に基づいて、頭部Ｈ１，Ｈ５の乗員の左右方向の着座位置を検出する。

具体的には、撮像画像５００において、頭部Ｈ５の乗員の頭部位置ＨＰ５およびキーポイント位置ＫＰ９～ＫＰ１１が、頭部Ｈ１の乗員の頭部位置ＨＰ１およびキーポイント位置ＫＰ１～ＫＰ３の右側に存在する場合、頭部Ｈ５の乗員は、頭部Ｈ１の乗員の左側に位置する可能性が高い。この場合、位置検出部４０１は、助手席を、頭部Ｈ５の乗員の着座位置として検出する。頭部Ｈ５の乗員の着座位置については、上述したように、助手席の右側に存在する助手席を、着座位置として検出する。

次に、図６を用いて、本実施形態にかかる車両１による乗員の着座位置の検出処理の流れの一例について説明する。図６は、本実施形態にかかる車両による乗員の着座位置の検出処理の流れの一例を示すフローチャートである。

位置検出部４０１は、画像取得部４００によって撮像画像が取得されると、当該取得した撮像画像内に乗員の頭部が存在するか否かを判定する（ステップＳ６０１）。取得した撮像画像内に乗員の頭部が存在しない場合（ステップＳ６０１：Ｎｏ）、位置検出部４０１は、画像取得部４００によって新たなＩＲ画像が取得されるのを待つ。

撮像画像内に乗員の頭部が存在する場合（ステップＳ６０１：Ｙｅｓ）、位置検出部４０１は、撮像画像内における、乗員の頭部のサイズ、頭部位置、およびキーポイント位置を検出する（ステップＳ６０２）。

そして、位置検出部４０１は、撮像画像内における頭部位置およびキーポイント位置に基づいて、車室２ａ内内における乗員の左右方向の着座位置を検出する（ステップＳ６０３）。さらに、位置検出部４０１は、撮像画像内における頭部のサイズおよびキーポイントの有無に基づいて、車室２ａ内における乗員の前後方向の着座位置を検出する（ステップＳ６０４）。

位置検出部４０１によって乗員の着座位置が検出されると、位置決定部４０２は、撮像画像から着座位置が検出された乗員が装着するシートベルトを検出する（ステップＳ６０５）。

着座位置が検出された乗員が装着するシートベルトが検出されなかった場合（ステップＳ６０５：Ｎｏ）、位置決定部４０２は、乗員の着座位置が変化する可能性があると判断して、乗員の着座位置の決定を行わずに、ステップＳ６０１へ戻る。

一方、着座位置が検出された乗員が装着するシートベルトが検出された場合（ステップＳ６０５：Ｙｅｓ）、位置決定部４０２は、撮像画像を用いて、乗員が降車したか否かを判断する（ステップＳ６０６）。

乗員が降車していないと判断された場合（ステップＳ６０６：Ｎｏ）、位置決定部４０２は、検出された乗員の着座位置を、当該乗員の着座位置に決定し（ステップＳ６０７）、ステップＳ６０６へ戻る。ここで、乗員の着座位置が既に決定されている場合には、位置決定部４０２は、乗員の着座位置の決定を維持する。

一方、乗員が降車したと判断した場合（ステップＳ６０６：Ｙｅｓ）、位置決定部４０２は、乗員の着座位置の検出結果をリセットして、乗員の着座位置の検出処理を終了する。

このように、本実施形態にかかる車両１によれば、対象物までの距離を計測する距離計測機能を有しない車内カメラ１６によって車室２ａ内を撮像して得られる撮像画像を用いて乗員の着座位置を検出する場合でも、車室２ａ内における前後方向および左右方向の両方向の乗員の位置も検出可能となるので、車室２ａ内に存在する乗員の着座位置を高精度に検出することができる。

また、本実施形態にかかる車両１によれば、前席（座席２ｂ，２ｈ）に着座する乗員を撮像するためのカメラ、後部座席（２ｉ，２ｊ）に着座する乗員を撮像するカメラ等の複数のカメラを車室２ａ内に設置したり、車内カメラ１６に加えて、ＴＯＦ（Time Of Flight）カメラ等、距離計測機能を有するカメラを設けたりする必要がなくなるので、車室２ａ内に存在する乗員の着座位置を検出するためのシステムの小型化および低コスト化を図ることができる。

１…車両、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｆ…ＳＳＤ、１６…車内カメラ、４００…画像取得部、４０１…位置検出部、４０２…位置決定部、４０３…制御部。

Claims (4)

1. 撮像部によって車両の車室内を撮像して得られる撮像画像を取得する画像取得部と、
   前記撮像画像に対して、複数の着座位置の候補を含むように判定領域を設定し、前記判定領域内に乗員の頭部が存在するか否かを判定し、前記判定領域内に前記頭部が存在する場合、前記撮像画像における、前記頭部のサイズ、前記頭部の頭部位置、および前記乗員の前記頭部以外のキーポイントのキーポイント位置を検出し、前記頭部のサイズ、前記頭部位置、および前記キーポイント位置に基づいて、前記判定領域に含まれる複数の前記着座位置の候補の中から前記頭部に対応する乗員の着座位置の候補を選択し、選択した前記着座位置の候補を前記乗員の着座位置として検出する位置検出部と、
   を備え、
   前記位置検出部は、前記頭部位置および前記キーポイント位置に基づいて、前記頭部に対応する乗員の着座位置の前記判定領域内における左右方向の位置を判定し、前記頭部のサイズおよび前記キーポイントの有無に基づいて、前記頭部に対応する乗員の着座位置の前記判定領域内における前後方向の位置を判定し、判定された前記左右方向の位置および前記前後方向の位置に対応する前記着座位置の候補を前記乗員の着座位置に対応する候補として選択する室内監視装置。
2. 前記撮像画像から、前記着座位置が検出された前記乗員が装着するシートベルトが検出された場合、当該乗員が降車するまで、検出された前記着座位置を当該乗員の着座位置に決定する決定部をさらに備える請求項１に記載の室内監視装置。
3. 前記位置検出部は、さらに、前記着座位置が検出された前記乗員の前記頭部のサイズに基づいて、当該乗員が着座した座席の前後方向におけるシート位置を検出する請求項１または２に記載の室内監視装置。
4. 前記位置検出部は、さらに、前記着座位置が検出された前記乗員の前記頭部のサイズに基づいて、当該乗員の姿勢を検出する請求項１から３のいずれか一に記載の室内監視装置。

Images