JP2009107527A - 車両の乗員検出装置 - Google Patents

Abstract

【課題】車室内の撮像画像を処理して乗員を検出する装置において、撮像時の車室内の明るさや入射光の影響を受けることなく、乗員を常時正確に検出できるようにする。
【解決手段】ドアが開いたことが検出（又は予測）されると(S110-YES)、車室内の撮像画像を取り込み基準画像として記憶する(S120)。次に、ドアが閉じられるまで車室内の撮像画像と基準画像とを比較することで、開いたドア近傍の座席位置で基準画像から変化した領域を検出する物体検出処理(S140)を実行し、ドアが閉じられると、その検出結果に基づき物体の有無を判定する(S160)。そして、物体があると判断すると、一定時間、上記と同様の手順で開閉されたドア近傍の座席位置で基準画像から変化した領域を検出して、その領域が動いているか否かを判断する物体検出処理(S180)を実行し、一定時間が経過すると、その判断結果に基づき座席位置に乗員が着座しているか否かを判断する(S200)。
【選択図】図２

Description

本発明は、車室内を撮像した画像を処理して、車室内の乗員を検出する車両の乗員検出装置に関する。

従来、この種の乗員検出装置として、
（１）車室内を撮像して、その撮像画像から車室内の座席や座席上の物体の輪郭を検出すると共に、座席各部にスポット光を照射して、その反射光を受光した位置に基づき座席各部までの距離を測定し、検出した輪郭の形状及びその輪郭で特定される物体までの距離に基づき、車室内に乗員がいるか否かを判定するよう構成されたもの、
（２）車室内を撮像して、その撮像画像から車室内の座席や座席上の物体により形成される画像のエッジを検出し、その検出したエッジの形状に基づき、車室内に乗員がいるか否かを判定するよう構成されたもの、
（３）車両内を撮像して、その撮像画像と、予め記憶された基準画像とを比較することで、車室内に乗員いるか否かを判定するよう構成されたもの、
等が知られている（例えば、特許文献１等、参照）。
特開平１１−０７８６５７号公報

しかし、従来の乗員検出装置では、車室内の撮像画像が、車室内の明るさ、車室内への光の入射方向、といった撮像時の条件によって大きく変化することから、その条件を変化させる天候や時間帯等によっては、乗員の有無を正確に検出できないことがあった。

つまり、上記（１）、（２）の乗員検出装置では、撮像画像を処理して画像の輪郭やエッジを抽出することで、車両の座席を含む物体の形状を認識し、その形状が座席に着座した乗員の形状であるか否かによって、乗員の有無を判定する。

従って、この装置では、画像処理だけで座席と乗員とを識別できるように車室内を撮像する必要があるが、上述した撮像条件によっては、撮像画像上で座席と乗員とを識別することができず、乗員の有無を誤判定してしまうことがある。

また、上記（１）の装置では、こうした誤判定を防止するために、座席に向けてスポット光を照射し、その反射光の受光位置から、スポット光が当たった座席や物体までの距離を測定するが、例えば、車室内に直射日光が入射しているような場合には、スポット光を利用して距離測定を行うことができず、距離測定によって誤判定を防止し得る時間帯が制限されてしまうという問題がある。

一方、上記（３）の装置では、車室内を撮像した撮像画像と基準画像とを比較することで乗員の有無を判定することから、基準画像が、検出時の撮像画像と同じ条件で撮像されていれば、乗員の有無を正確に判定できる。

しかし、乗員検出は、ドアの開閉時等に頻繁に行う必要があるため、乗員検出のために車室内を撮像する際の撮像条件は、季節、時間帯、天候、…等によって変化し、基準画像撮像時の撮像条件と一致する確率は少ない。このため、上記（３）の装置でも、基準画像と乗員検出時の撮像画像との撮像条件の違いによって、乗員の有無が誤判定されることがある。

本発明は、こうした問題に鑑みなされたものであり、車室内の撮像画像を処理して車室内に乗員がいるか否かを判定する車両の乗員検出装置において、撮像時の車室内の明るさや入射光の影響を受けることなく、乗員の有無を常時正確に判定できるようにすることを目的とする。

かかる目的を達成するためになされた請求項１に記載の乗員検出装置においては、ドア状態検出手段にてドアが開いたことが検出されるか、或いは、車両各部の動作状態に基づきドアが開くことを予測すると、基準画像記憶手段が、撮像手段から車室内の撮像画像を取り込み、その取り込んだ撮像画像を基準画像として記憶する。

また、ドア状態検出手段にてドアが開閉したことが検出されると、乗員検出手段が、撮像手段から車室内の撮像画像を取り込み、その取り込んだ撮像画像と基準画像記憶手段にて記憶された基準画像とを比較することにより、車室内の乗員を検出する。

つまり、本発明では、車両のドアが開いたとき、或いは、ドアが開くことを予測したときに、車室内を撮像し、その撮像画像を、乗員の有無を判定するのに用いる基準画像として記憶することから、基準画像は、乗員がドアを開いて車両に乗車（又は降車）する直前に車室内を撮像した画像となる。

従って、この基準画像と、その後撮像される画像とは、略同一の撮像条件下で撮像した画像となり、上記（３）の従来装置のように、これら各画像の撮像条件の違いによって乗員の検出精度が低下することはない。

また、本発明では、車両のドアが開くとき、或いは、ドアが開く前に車室内を撮像し、これを基準画像として、その後撮像された画像と比較することにより、乗員の有無を判定することから、上記（１）（２）の従来装置（つまり基準画像を使用しない装置）のように、乗員を検出し得る撮像条件が制限されることもない。

よって、本発明によれば、車室内にいる乗員を常時正確に検出することができるようになり、その検出結果を利用して、車室内に設けられた車載機器（エアコン、オーディオ機器、エアバック等）を最適に制御することができるようになる。

ところで、車両には、通常、複数のドアが設けられており、各ドアを開いて乗降する乗員が着座する座席は略決まっていることから、本発明の乗員検出装置は、更に請求項２に記載のように構成してもよい。

すなわち、請求項２に記載の乗員検出装置において、ドア状態検出手段は、車両に設けられた複数のドア毎に開閉状態を検出するよう構成されており、乗員検出手段は、ドア状態検出手段にて開閉したことが検出されたドアの位置に基づき、検出対象となる座席位置を特定し、撮像手段から取り込んだ撮像画像及び基準画像のうち、座席位置に対応した領域内の画像同士を比較することにより、座席位置にいる乗員を検出する。

従って、請求項２に記載の乗員検出装置によれば、乗員を検出する際に、撮像手段にて撮像される車室内の全撮像領域で基準画像と撮像画像との比較を行う必要がないため、その比較（延いては乗員検出）に要する画像処理を短時間で行うことができるようになる。

また、撮像画像と基準画像とを比較する画像領域を、乗員が乗車或いは降車する可能性がある座席位置に制限できることから、画像比較時に、乗員検出に不要な画像領域に含まれるノイズの影響を受け難くなり、これによっても、乗員の検出精度を向上できる。

一方、乗員検出手段は、ドアが閉じられた後でなく、ドアが開いてから閉じられる迄の間（つまり車室内への乗員の乗降時）にも、撮像手段から車室内の撮像画像を取得し、基準画像と比較するようにしてもよい。

しかし、ドアが開いている間は、車室内への乗員の乗降や荷物の積み卸し等によって画像が大きく変化し、また、車外から入射する光の量も多くなるので、撮像画像と基準画像との比較によって乗員の有無を正確に判定できないことがある。

このため、乗員検出手段は、ドア状態検出手段にてドアが閉じられたことが検出されてから、撮像手段から撮像画像を取得して、基準画像と比較するように構成するとよい。
またこの場合、乗員検出手段を、撮像手段から取得した撮像画像と基準画像とを比較することにより、撮像画像の中で基準画像から変化した画像領域を特定して、その領域の形状や大きさから乗員が着座しているか否かを判定するようにしてもよいが、単に基準画像から変化した画像領域の形状や大きさだけでは、座席に置かれた荷物と乗員との区別がつかず、乗員の有無を誤判定することも考えられる。

このため、乗員検出手段は、請求項３に記載のように、ドア状態検出手段にてドアが閉じられたことが検出されてから所定期間が経過する迄、撮像手段から複数回撮像画像を取り込み、その取り込んだ複数の撮像画像と基準画像とを各々比較し、その比較結果の変化に基づき乗員を検出するようにするとよい。

つまり、このようにすれば、車室内の撮像画像と基準画像との比較結果から、座席上の物体の大きさや形状だけでなく、その物体の動きを検出して、乗員がいるか否かを判定できることになり、乗員の検出精度をより向上することが可能となる。

また、請求項３に記載の乗員検出手段は、ドアが閉じられてから所定期間だけ、着座状態を判定することから、ドアが閉じられている間、常時着座状態を判定するようにした場合に比べて、乗員検出手段として機能させる画像処理装置やコンピュータの処理の負担を軽減することもできる。

また次に、基準画像記憶手段は、ドア状態検出手段にてドアが開いたことが検出されたとき（ドアの開時）に撮像手段から撮像画像を取得して基準画像として記憶するようにしてもよく、車両各部の動作状態からドアが開くことを予測できたときに撮像手段から撮像画像を取得して基準画像として記憶するようにしてもよく、或いは、ドアが開くことを予測できたときと、予測できずにドアが開いたことが検出されたときに、撮像手段から撮像画像を取得して基準画像として記憶するようにしてもよい。

そして、基準画像記憶手段を、ドアが開くことを予測したときに、車室内の撮像画像を基準画像として記憶するように構成する場合、請求項４に記載のように、自車両操作用の電子キーから無線送信された送信電波を受信する受信手段が車両に搭載されていれば、基準画像記憶手段において、受信手段がその電子キーからの送信電波を受信したときにドアが開状態に変化すると予測して、撮像手段から撮像画像を取得し、これを基準画像として記憶するようにするとよい。

また、請求項５に記載のように、車両の停車を検出する停車検出手段を設け、この停車検出手段にて車両の停車が検出されると、基準画像記憶手段が、撮像手段から撮像画像を取得し、これを基準画像として記憶するようにしてもよい。

そして、このように、ドアが開くことを予測して車室内を撮像し、その撮像画像を基準画像として記憶するようにすれば、ドアが完全に閉じているときの撮像画像を基準画像とすることができるため、ドア開時に撮像された撮像画像を基準画像として利用する場合に比べて、乗員をより正確に検出することができるようになる。

以下に本発明の実施形態を図面と共に説明する。
図１は、実施形態の乗員検出装置全体の構成を表すブロック図である。
図１に示すように、本実施形態の乗員検出装置２は、自動車の車室内前方の天井部分に、運転席、助手席及び後部座席からなる座席全体を撮像可能に配置された車室内カメラ４と、自動車の４つの乗降用ドアに夫々設けられ、各ドアの開閉状態を検出するドアスイッチ（以下、ドアＳＷと記載する）６ＦＬ，６ＦＲ，６ＲＬ，６ＲＲと、これら各部４，６ＦＬ〜６ＲＲに接続された乗員検出用の電子制御装置（以下、乗員検出ＥＣＵという）１０と、から構成されている。

なお、ドアＳＷ６ＦＬ〜６ＲＲのうち、ドアＳＷ６ＦＬは、助手席側のドアである左前席ドア（ＦＬ）に設けられ、ドアＳＷ６ＦＲは、運転席側のドアである右前席ドア（ＦＲ）に設けられ、ドアＳＷ６ＲＬは、後部座席左側のドアである左後席ドア（ＲＬ）に設けられ、ドアＳＷ６ＲＲは、後部座席右側のドアである右後席ドア（ＲＲ）に設けられている。

次に、乗員検出ＥＣＵ１０は、ドアＳＷ６ＦＬ〜６ＲＲのオン／オフ状態から各ドアの開閉状態を判定して、車室内カメラ４から車室内の全座席を撮像した画像（以下、座席画像という）を取り込み、その取り込んだ座席画像を処理することにより、各座席に乗員が着座しているか否かを判定し、その判定結果を、エアコンＥＣＵ３０、オーディオＥＣＵ４０、エアバッグＥＣＵ５０、等に出力するものであり、ＣＰＵ１２，ＲＯＭ１４，ＲＡＭ１６，これら各部を接続するバス１８等からなるマイクロコンピュータを中心に構成されている。

そして、乗員検出ＥＣＵ１０のバス１８には、車室内カメラ４により撮像された撮像画像を処理する画像処理部２０、上記各ドアＳＷ６ＦＬ〜６ＲＲのオン／オフ状態を検出するスイッチ入力部２２、及び、車室内に配線された通信線２６を介して車両に搭載された他のＥＣＵ（エアコンＥＣＵ３０、オーディオＥＣＵ４０、エアバッグＥＣＵ５０、…等）との間でデータ通信を行う通信部２４、が接続されている。

なお、エアコンＥＣＵ３０は、車両に搭載された空調装置（エアコン）を制御するためのものであり、例えば、乗員検出ＥＣＵ１０から乗員の検出結果を受けると、車室内での乗員の着座位置に応じて空調空気の吹出方向を調整する。

また、オーディオＥＣＵ４０は、車両に搭載されたオーディオ機器を制御するためのものであり、例えば、乗員検出ＥＣＵ１０から乗員の検出結果を受けると、車室内での乗員の着座位置に応じて複数のスピーカからの音声の出力バランス、音量等を調整する。

また、エアバッグＥＣＵ５０は、車室内の各座席のエアバッグの動作状態を制御するものであり、例えば、乗員検出ＥＣＵ１０から乗員の検出結果を受けると、乗員が着座している座席に配置されたエアバッグを動作可能状態にし、乗員が着座していない座席に配置されたエアバッグの動作を停止させる。

そして、これら各ＥＣＵ４０，５０，６０は、乗員検出ＥＣＵ１０と同様、マイクロコンピュータを中心に構成され、通信線２６を介して他のＥＣＵとの間でデータ通信ができるようにされている。

次に、車両の各座席への乗員の着座状態を判定するために乗員検出ＥＣＵ１０のＣＰＵ１２にて実行される着座状態判定処理を、図２に示すフローチャートに沿って説明する。
図２に示すように、この着座状態判定処理では、まずＳ１１０（Ｓはステップを表す）にて、ドアＳＷ６ＦＬ〜６ＲＲの何れかがオン状態となったか否かを判断することにより、車両の４つのドアの何れかが開いたか否かを判断する。

そして、ドアＳＷ６ＦＬ〜６ＲＲの全てがオフ状態で、車両の４つのドアが全て閉じていれば、再度Ｓ１１０を実行することにより、４つのドアの何れかが開くのを待ち、ドアＳＷ６ＦＬ〜６ＲＲの何れかがオフ状態からオン状態に変化して、車両の４つのドアの何れかが開いたと判断すると、Ｓ１２０に移行する。

Ｓ１２０では、画像処理部２０を介して、車室内カメラ４から撮像画像（例えば、図５（ａ）に示す画像）を取得し、その取得した撮像画像を基準画像としてＲＡＭ１６（若しくは画像処理部２０内の画像メモリ）に記憶する。

次に、Ｓ１３０では、物体検出スコアを初期値「０」にセットし、続くＳ１４０では、その物体検出スコアを更新する物体検出処理を実行する。
この物体検出処理は、車室内カメラ４から撮像画像を取得して基準画像と比較することにより、撮像画像の中で基準画像から変化した画像領域を検出し、その検出結果に基づき物体検出スコアを更新する処理であり、図３に示す手順で実行される。

すなわち、図３に示すように、物体検出処理では、まずＳ３１０にて、画像処理部２０を介して、車室内カメラ４から撮像画像（例えば、図５（ｂ）に示す画像）を取得し、続くＳ３２０にて、その取得した撮像画像とＳ１２０で記憶した基準画像との差分を検出することで、図５（ｃ）に例示する差分画像を生成する。

なお、Ｓ３２０にて差分画像を生成する際には、そのとき開状態となっているドアの位置に基づき、そのドアを開けて乗降する乗員の座席位置を特定し、今回取得した撮像画像及び先に記憶した基準画像の中から、その特定した座席位置に対応した領域（以下、抽出領域という）の画像データを抽出する。

そして、差分画像は、撮像画像及び基準画像から夫々抽出した抽出領域内の画像データの中から、各画素毎に画素値を取り出し、その画素値の差の絶対値を求めて、これを対応する画素の画素値とし、抽出領域以外の画素の画素値は零（又は最大値）とすることにより生成される。

このため、本実施形態では、差分画像を生成する際に撮像画像及び基準画像から画像データを抽出する抽出領域を設定するための座席位置が、車両の各ドア毎に予め設定されており、図５に例示するように、助手席側のドア（左前席ドア）が開いたときには、助手席が画像データを抽出すべき座席位置として選択されて、助手席に対応した画像領域が画像データの抽出領域として設定されることになる。

なお、図５において、抽出領域の枠は四角形になっているが、この枠の形状は各座席の形状に対応させてもよく、或いは、各座席に着座した人の形に設定してもよい。
次に、Ｓ３２０にて差分画像が生成されると、Ｓ３３０にて、その生成された差分画像を２値化することで、図５（ｄ）に例示する２値化画像を生成し、更に、続くＳ３４０にて、その２値化画像をラベリング処理することで、図５（ｅ）に例示するように、背景とは異なる画素値が連続する画素領域を物体領域として抽出する。

そして、続くＳ３５０では、図５（ｆ）に例示するように、Ｓ３４０で抽出した物体領域の中から、面積がノイズ判定用のしきい値よりも小さい物体領域をノイズとして除去することで、物体領域を確定し、Ｓ３６０にて、その確定した物体領域が抽出領域内で占める面積割合を算出する。

そして、最後に、Ｓ３７０にて、物体領域の面積割合が、予め設定された大きさ判定用のしきい値以上か否かを判断し、物体領域の面積割合がそのしきい値以上であれば、物体検出スコアに値「１」を加えることで物体検出スコアを更新し、当該物体検出処理を終了する。また、物体領域の面積割合がしきい値未満であれば、物体検出スコアを更新することなく、当該物体検出処理を終了する。

このようにＳ１４０の物体検出処理が実行されると、今度は、Ｓ１５０に移行して、ドアＳＷ６ＦＬ〜６ＲＲが全てオフ状態となっているか否か（換言すれば車両の４つのドアが全て閉じられているか否か）を判断し、ドアが全て閉じられていなければ、再度Ｓ１４０に移行することにより、車両の４つのドアが全て閉じられるまで、Ｓ１４０の物体検出処理を繰り返し実行する。

一方、Ｓ１５０にて、車両の４つのドアが全て閉じられたと判断されると、Ｓ１６０に移行する。そして、Ｓ１６０では、上記物体検出処理を繰り返し実行することにより更新された物体検出スコアの値が、予め設定された物体判定用のしきい値以上か否かを判断することにより、今回開閉されたドアに対応する座席領域に物体があるか否かを判断する。

Ｓ１６０にて、物体検出スコアの値がしきい値以上で、物体があると判断されると、Ｓ１７０に移行し、逆に、物体検出スコアの値がしきい値未満で、物体はないと判断されると、当該着座状態判定処理を一旦終了し、その後、再度Ｓ１１０以降の処理を実行する。

次に、Ｓ１７０では、乗員検出スコアを初期値「０」にセットし、続くＳ１８０では、その乗員検出スコアを更新する乗員検出処理を実行する。
この乗員検出処理は、車室内カメラ４から撮像画像を取得して基準画像と比較することで、撮像画像の中で基準画像から変化した画像領域を検出し、その検出結果が変化したか否かを判断することにより、乗員検出スコアを更新する処理であり、図４に示す手順で実行される。

すなわち、図４に示すように、乗員検出処理では、まず、Ｓ４１０にて、画像処理部２０を介して、車室内カメラ４から撮像画像を取得し、続くＳ４２０にて、その取得した撮像画像とＳ１２０で記憶した基準画像との差分を検出することで差分画像を生成する。

なお、Ｓ４２０にて差分画像を生成する際には、Ｓ１１０にて４つのドアのいずれかが開いたと判定されてから、Ｓ１５０にて全てのドアが閉じられたと判定されるまでの間に開閉されたドアの位置に基づき、そのドアを開けて乗降する乗員の座席位置を特定し、その後は、Ｓ３２０と同様の手順で、今回取得した撮像画像及び先に記憶した基準画像の中から、その特定した座席位置に対応した領域（以下、抽出領域という）の画像データを抽出する。

次に、Ｓ４２０にて差分画像が生成されると、続くＳ４３０〜Ｓ４５０にて、図３のＳ３３０〜Ｓ３５０と同様の手順で、今回開閉されたドアに対応した座席位置の画像領域（抽出領域）内で、基準画像から変化した画像領域（物体領域）を検出することで、図５（ｆ）に例示するように、物体領域と背景領域とで区分された抽出領域の画像データを生成し、Ｓ４６０に移行する。

Ｓ４６０では、上記のように生成された抽出領域の画像データと、当該乗員検出処理をｎ回前（ｎは正の整数）に実行した際に生成された抽出領域の画像データとを用いて、これら各画像データの画素毎に排他的論理和（イクスクルーシブオア：ＸＯＲ）を算出することにより、今回検出した物体領域とｎ回前に検出した物体領域のうち、一方の検出結果では物体領域となっていない画素を特定する。

そして、続くＳ４７０では、Ｓ４６０で特定した画素の数（つまりＸＯＲの演算により値「１」となった画素数）が、物体領域の変化を判定するために予め設定されたしきい値以上となっているか否かを判断し、その画素数がしきい値以上であれば、物体領域が変化していると判断して、乗員検出スコアに値「１」を加えることで、乗員検出スコアを更新し、当該乗員検出処理を終了する。また、上記画素数がしきい値未満であれば、乗員検出スコアを更新することなく、当該乗員検出処理を終了する。

なお、Ｓ４６０にて画像データのＸＯＲを算出するに当たって、全てのドアが閉じられてから乗員検出処理がｎ回以上実行されていない場合（つまりｎ回前に生成された抽出領域の画像データがない場合）には、Ｓ４６０、Ｓ４７０の処理を実行することなく、当該乗員検出処理を終了する。

このようにＳ１８０の乗員検出処理が実行されると、今度は、Ｓ１９０に移行して、Ｓ１５０にて全てのドアが閉じられたと判断されてから、予め設定された一定時間が経過したか否かを判断し、一定時間が経過していなければ、再度Ｓ１８０に移行する。この結果、Ｓ１８０の乗員検出処理は、全てのドアが閉じられてから一定時間が経過するまでの間、繰り返し実行されることになる。

一方、Ｓ１９０にて、全てのドアが閉じられてから一定時間が経過したと判断されると、Ｓ２００に移行し、上記乗員検出処理を繰り返し実行することにより更新された乗員検出スコアの値が、予め設定された乗員判定用のしきい値以上か否かを判断することにより、今回開閉されたドアに対応する座席位置に置かれた物体は動いているか否か、つまり、座席位置に乗員が着座しているか否か、を判断する。

そして、続くＳ２１０では、Ｓ２００での判断結果、つまり、検出対象座席への乗員の着座状態（換言すれば乗員の有無）を、通信部２４を介して他のＥＣＵ（エアコンＥＣＵ３０、オーディオＥＣＵ４０、エアバッグＥＣＵ５０等）に通知し、当該着座状態判定処理を一旦終了する。

以上説明したように、本実施形態の乗員検出装置２においては、ドアＳＷ６ＦＬ〜６ＲＲにて車両のいずれかのドアが開いたことが検出されると、乗員検出ＥＣＵ１０が、その旨を検出して、車室内カメラ４から車室内の全座席を撮像した座席画像を取り込み、これを基準画像として記憶する。

そして、その後、車両のドアが閉じられ、一定時間が経過する迄の間に実行される乗員検出処理では、車室内カメラ４で撮像された座席画像と基準画像とを比較することにより、座席画像上で基準画像から変化した物体領域を特定し、その物体領域の変化に基づき、乗員有無判定用の乗員検出スコアを更新し、この乗員検出スコアがしきい値以上となる場合に、車両の座席に乗員が着座していると判定する。

従って、本実施形態によれば、乗員検出のために車室内カメラ４で撮像された座席画像と、その座席画像に基づき乗員の有無を判定するのに用いられる基準画像とが、略同一の撮像条件下で撮像されることになり、これら各画像の撮像条件の違いによって乗員の検出精度が低下することはない。

また、本実施形態では、車室内カメラ４で撮像された座席画像と基準画像とを比較することで、乗員の有無を判定するので、基準画像を使用せず、カメラで撮像した画像だけで乗員の有無を判定する従来装置のように、乗員を検出し得る撮像条件が制限されることもない。

よって、本実施形態の乗員検出装置２によれば、車室内の乗員を常時正確に検出することができるようになり、その検出結果を利用して、車室内に設けられた車載機器（エアコン、オーディオ機器、エアバック等）を最適に制御することができるようになる。

また、本実施形態では、乗員検出処理で座席画像と基準画像とを比較して物体領域を特定する際には、開状態となっているドアの位置から、検出対象となる座席位置を特定して、その座席位置に対応した画像領域（抽出領域）内の画像データだけを抽出する。

このため、座席画像と基準画像とを比較する際に、車室内カメラ４による全撮像領域で各画像を比較する必要がなく、その比較（延いては乗員検出）に要する画像処理（具体的にはＳ３２０〜Ｓ３５０の処理）を短時間で行うことができる。

またこのように、座席画像と基準画像とを比較する画像領域を、乗員の乗車（或いは降車）によって着座状態が変化すると予測される座席位置に制限できることから、Ｓ３２０〜Ｓ３５０の処理実行時に、乗員検出に不要な画像領域に含まれるノイズの影響を受け難くなり、これによっても、乗員の検出精度を向上できる。

また次に、本実施形態では、車両のドアが一旦開いて閉じられる迄の間、車室内カメラ４で撮像された座席画像と基準画像とを比較することにより、座席画像の中で基準画像から変化した画像領域（物体領域）を検出して、その物体領域の面積から座席に物体があるか否かを判断する物体検出処理を実行し、この処理で座席に物体があると判断されたときにだけ、乗員検出処理を実行するようにされている。

このため、本実施形態によれば、車両の座席に着座した乗員は、物体検出処理と乗員検出処理とを段階的に行うことで検出されることになり、乗員検出処理だけで乗員を検出するようにした場合に比べて、乗員の検出精度を向上することができる。

なお、本実施形態においては、車室内カメラ４が、本発明の撮像手段に相当し、ドアＳＷ６ＦＬ〜６ＲＲが、本発明のドア状態検出手段に相当する。また、乗員検出ＥＣＵ１０にて実行される着座状態判定処理（図２）のうち、Ｓ１１０及びＳ１２０の処理が、本発明の基準画像記憶手段に相当し、図４に示す乗員検出処理を含むＳ１７０〜Ｓ２００の処理が、本発明の乗員検出手段に相当する。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内にて種々の態様をとることができる。
例えば、上記実施形態では、車両のドアが一旦開いて閉じられる迄の間は、カメラによる撮像画像と基準画像とを比較して、撮像画像の中で基準画像から変化した物体領域を検出し、その面積から物体の有無を判定する物体検出処理を実行するものとして説明したが、この処理は必ずしも実行する必要はなく、ドアが閉じられてから、乗員検出処理を実行するだけでも、車室内の各座席への乗員の着座状態は検出できる。

また、上記実施形態では、物体検出処理は、ドアが開いてからドアが閉じられる迄の間に実行するものとして説明したが、物体検出処理及び乗員検出処理は、共に、ドアが閉じられてから順に実行するようにしてもよい。そして、このようにすれば、物体検出処理をドアが閉じた状態で実行できるので、ドアが開いているときに車室内に入射する光や物体の移動等によって、物体の有無を誤判定してしまうのを防止できる。

一方、上記実施形態では、ドアＳＷ６ＦＬ〜６ＲＲを介して車両のいずれかのドアが開いたことが検出されたときに、車室内カメラ４から座席画像を取り込み、これを基準画像として記憶するものとして説明した。

しかし、この基準画像は、乗員によりドアが開かれたときの座席画像であるため、乗員がドアを開く際の動作（特に速さ）によっては、車室内カメラ４による撮像時に、既にドアが大きく開かれ、その開口部から光が入射した状態で撮像された座席画像が、基準画像として設定されることも考えられる。そして、このような場合、ドアが閉じられてから撮像された座席画像と基準画像とを比較しても、乗員の有無を正確に判定できないことも考えられる。

このため、ドアＳＷ６ＦＬ〜６ＲＲによりドアが開いたことが検出される前に、ドアが開くことを予測できたときには、その予測直後に車室内カメラ４から撮像画像（座席画像）を取得して、これを基準画像として記憶するようにしてもよい。

例えば、自動車においては、乗員（運転者）が所持する電子キー（スマートキー）からの送信電波を受信するとドアロックを解除する準備状態となり、その後、乗員がドアの操作部に触るとドアロックを解除するように構成されたスマートエントリシステムが知られている。

このため、自動車に、スマートエントリシステム用のＥＣＵ（図１に点線で示すスマートＥＣＵ６０参照）が搭載されている場合には、乗員検出ＥＣＵ１０において、図６（ａ）に示す基準画像取得処理を実行するようにするとよい。

つまり、この基準画像取得処理では、Ｓ５１０にて、スマートＥＣＵ６０との間でデータ通信を行うことにより、現在スマートキーが車両に接近しているか否かを判断し、スマートキーが接近中であれば（Ｓ５１０−ＹＥＳ）、車両のドアのいずれかが開かれると予測して、Ｓ５２０に移行し、車室内カメラ４から撮像画像（座席画像）を取得して、その画像を一定時間だけ基準画像として記憶する。なお、この場合、スマートＥＣＵ６０は、請求項４に記載の受信手段に相当する。

また、この場合、着座状態判定処理では、図６（ｂ）に示すように、Ｓ１１０にて、４つのドアの何れかが開状態となったことが検出されると、Ｓ１１５に移行して、基準画像取得処理によって既に基準画像が記憶されているか否かを判断し、基準画像が記憶されていれば、Ｓ１２０の処理を実行することなく、Ｓ１３０に移行し、逆に、基準画像が記憶されていなければ、Ｓ１２０にて基準画像を記憶した後、Ｓ１３０に移行する。

そして、このように基準画像取得処理及び着座状態判定処理を実行するようにすれば、スマートＥＣＵ６０にてスマートキー（延いては乗員）の車両への接近が検出されてから、一定時間が経過する迄の間に、車両のドアが開いたときには、スマートキーの接近を検出したときに撮像した車室内の画像が基準画像として使用されることになり、基準画像を、ドアが開かれる直前に車室内の座席を撮像したものにすることができる。

なお、スマートキーの接近を検出してから一定時間が経過すると、そのとき記憶した基準画像を消去するが、これは、スマートキーの接近を検出しても、乗員がドアを開けるとは限らず、基準画像をそのまま記憶し続けると、次にドアが開閉されたときの撮像画像と撮像条件が異なるものとなってしまう虞があるためである。

また、ドアが開くのを予測するには、必ずしもスマートＥＣＵを利用する必要はなく、例えば、図６（ｃ）に示すように、基準画像取得処理において、例えば、電子キーや操作スイッチを介して入力される乗員からの指令に応じてドアのロック／アンロックを制御するボデーＥＣＵとの間でデータ通信を行うことにより、ドアロックが解除されたか否かを判定し（Ｓ６１０）、ドアロックが解除されると（Ｓ６１０−ＹＥＳ）、車両のドアのいずれかが開かれると予測して、Ｓ６２０に移行し、車室内カメラ４から撮像画像（座席画像）を取得して、その画像を一定時間だけ基準画像として記憶するようにしてもよい。

また、例えば、図６（ｄ）に示すように、基準画像取得処理において、例えば、イグニッションスイッチがオン状態であるときに、乗員が自動変速機のシフト位置をパーキング位置に切り換えるか、或いはパーキングブレーキを操作することにより、車両を停車させたか否か判断し（Ｓ７１０）、乗員が車両を停車させたと判断すると（Ｓ７１０−ＹＥＳ）、車両のドアのいずれかが開かれると予測して、Ｓ７２０に移行し、車室内カメラ４から撮像画像（座席画像）を取得して、その画像を一定時間だけ基準画像として記憶するようにしてもよい。

そして、このようにドアロックの解除、或いは車両の停車を検出して、基準画像を記憶するようにすれば、乗員が車両に乗車するときだけでなく、乗員が車両から降りるときにも、ドアが開く前に車室内の画像を撮像して、基準画像として記憶できることになる。

なお、図６（ｄ）の基準画像取得処理において、乗員による車両の停車操作を検出する際には、自動変速機を制御するＡ／ＴＥＣＵとの間のデータ通信によって、自動変速機のシフト位置がパーキング位置に切り換えられたことを検出するか、或いは、パーキングブレーキに設けられたスイッチのオン／オフ状態若しくはパーキングブレーキの操作状態を表示する表示ランプの点灯状態に基づき、パーキングブレーキの操作状態を検出するようにすればよい。

そして、この場合、Ａ／ＴＥＣＵ或いはパーキングブレーキの動作検出スイッチが、本発明の停車検出手段に相当する。但し、車両の停車を検出するには、必ずしも、パーキングブレーキや自動変速機のシフト位置を検出する必要はなく、例えば、運転者が車両の制動装置を操作して、車速が零になったときに、車両が停車したと判断するようにしてもよい。

また、図６（ａ）、（ｃ）、（ｄ）に示した基準画像取得処理は、乗員検出ＥＣＵ１０において、全て並列的に実行するようにしてもよく、或いは、その一部を組み合わせて実行するようにしてもよい、
次に上記実施形態では、着座状態判定処理において、乗員検出処理は、車両の全てのドアが閉じられてから一定時間が経過するまで、繰り返し実行するものとして説明したが、例えば、車両のイグニッションスイッチがオフ状態で、エンジンが停止しているときにドアの開閉があったときには、車両の全てのドアが閉じられてからイグニッションスイッチがオン状態に切り換えられるまで（つまりエンジンが始動されるまで）の間、乗員検出処理を実行するようにしてもよい。また、乗員検出処理は、車両の全てのドアが閉じられてから、自動変速機のシフト位置がドライブ位置に切り換えられて車両の走行が開始されるまでの間、繰り返し実行するようにしてもよい。

実施形態の乗員検出装置全体の構成を表すブロック図である。 乗員検出ＥＣＵにて実行される着座状態判定処理を表すフローチャートである。 図２における物体検出処理の詳細を表すフローチャートである。 図２における乗員検出処理の詳細を表すフローチャートである。 物体検出処理及び乗員検出処理での撮像画像の処理手順を表す説明図である。 実施形態の変形例としての基準画像取得処理及び着座判定処理を表すフローチャートである。

符号の説明

２…乗員検出装置、４…車室内カメラ、６ＦＬ，６ＦＲ，６ＲＬ，６ＲＲ…ドアスイッチ、１０…乗員検出ＥＣＵ、１２…ＣＰＵ、１４…ＲＯＭ、１６…ＲＡＭ、１８…バス、２０…画像処理部、２２…スイッチ入力部、２４…通信部、２６…通信線、３０…エアコンＥＣＵ、４０…オーディオＥＣＵ、５０…エアバッグＥＣＵ、６０…スマートＥＣＵ。

Claims (5)

1. 車室内を撮像する撮像手段と、
   車両のドアの開閉状態を検出するドア状態検出手段と、
   該ドア状態検出手段にて前記ドアが開いたことが検出されるか、或いは、車両各部の動作状態に基づき前記ドアが開くことを予測すると、前記撮像手段から車室内の撮像画像を取り込み、該取り込んだ撮像画像を基準画像として記憶する基準画像記憶手段と、
   前記ドア状態検出手段にて前記ドアが開閉したことが検出されると、前記撮像手段から車室内の撮像画像を取り込み、該取り込んだ撮像画像と前記基準画像記憶手段にて記憶された基準画像とを比較することにより、車室内の乗員を検出する乗員検出手段と、
   を備えたことを特徴とする車両の乗員検出装置。
2. 前記ドア状態検出手段は、車両に設けられた複数のドア毎に開閉状態を検出するよう構成されており、
   前記乗員検出手段は、前記ドア状態検出手段にて開閉したことが検出されたドアの位置に基づき、検出対象となる座席位置を特定し、前記撮像手段から取り込んだ撮像画像及び前記基準画像のうち、前記座席位置に対応した領域内の画像同士を比較することにより、当該座席位置にいる乗員を検出することを特徴とする請求項１に記載の車両の乗員検出装置。
3. 前記乗員検出手段は、前記ドア状態検出手段にて前記ドアが閉じられたことが検出されてから所定期間が経過する迄、前記撮像手段から複数回撮像画像を取り込み、該取り込んだ複数の撮像画像と前記基準画像とを各々比較し、該比較結果の変化に基づき乗員を検出することを特徴とする請求項１又は請求項２に記載の車両の乗員検出装置。
4. 自車両操作用の電子キーから無線送信された送信電波を受信する受信手段を備え、
   前記基準画像記憶手段は、前記受信手段が前記電子キーからの送信電波を受信したときに、前記ドアが開くことを予測して、前記撮像手段から車室内の撮像画像を取り込み、前記基準画像として記憶することを特徴とする請求項１乃至請求項３の何れかに記載の車両の乗員検出装置。
5. 車両の停車を検出する停車検出手段を備え、
   前記基準画像記憶手段は、前記停車検出手段にて車両の停車が検出されたときに、前記ドアが開くことを予測して、前記撮像手段から車室内の撮像画像を取り込み、前記基準画像として記憶することを特徴とする請求項１乃至請求項４の何れかに記載の車両の乗員検出装置。

Images