JPH07329639A - 車内の人体検出装置および車載機器制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 第一の目的は、車内において人体の移動，静
止に関係なく人体および人***置を正確に検出する人体
検出装置を得る。また第二の目的は、この人体検出装置
を用いた車載機器制御装置を得る。 【構成】 車内の撮影画像を電気信号に変換するカメラ
部１と、カメラ部１から得られる画像信号を画像処理手
段によって車内における人体および人***置を検出する
人体検出部２を設けた。また、この人体検出装置の検出
結果に基づいて車載機器、例えば、車内の音場生成の設
定を行うオーディオ装置の動作態様を快適車内環境にな
るように制御する手段を設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、車内の撮影画像から
車内の人数、人***置を自動的に検出する装置、および
この検出結果にもとづいて、車載機器の制御を行う車載
機器制御装置に関する。

【０００２】

【従来の技術】現代社会においてなくてはならない必需
品の一つである車は、今やハイテク製品の筆頭で性能は
以前に比べ大幅に向上している。一方車内においては快
適性が求められている。これに対して最近では豪華な設
備と豊富なオプション類が多数用意されており、走る快
適空間創りの努力がなされている。

【０００３】ところがこの快適空間と言われる車内にお
いても、例えば空調機器（以下、「エアコン」という）
や音響機器（以下、「カーオーディオ」という）の操作
は代表的な乗員である運転手に任されているのが現状で
ある。つまり、運転手が一番快適になる環境に設定され
る。したがって、このような車に複数の人が搭乗した場
合、オーディオのスピーカに近い人は音をうるさく感
じ、また場所によってはエアコンの風が当りつづけて健
康を害するというようなことも起こり得る。これに対し
て音量を下げたり、エアコンの風向き変えたりすること
が行われるが、これらは一時的に状態を変えるだけであ
り本来の音響空間や、また快適な空調環境は得られな
い。

【０００４】このような例から、例えばカーオーディオ
について考えてみる。一般のカーオーディオでは、フロ
ントスピーカやリアスピーカ等の音声出力部は車内の特
定位置に固定設置されている。したがって、搭乗する乗
員の人数が変動したり、着座位置が変わった場合には、
各スピーカの出力を適宜調整して適切な音場を生成する
ような調整をする必要がある。さもなければスピーカに
近い特定の人はうるさくて仕方がない。また、位置によ
っては一方向のみから音が聞こえ快適な音響空間とはほ
ど遠いものとなったりする。

【０００５】そのためかかる調整は、通常、図９に示す
ように、着座位置変動があるたびに、運転者がオーディ
オシステムのＤＳＰ（Digital Signal Processer）ユニ
ット９０に設置された各種コントロールキーのうちポジ
ショニング切換スイッチ９１や、図１０に示すように、
ヘッドユニット１００の前後フェーダつまみ１０１や左
右バランスつまみ１０２を操作すると言う簡易な方法に
頼っているのが現状である。したがって、とうてい満足
のいく音響空間は望めない。

【０００６】そこで、このような問題を解消する方法例
として赤外線センサによる人体検知システムが実開平５
−６００７５号公報に開示されている。図１１はこの人
体検知装置の構成図である。図において、５は車本体、
６ＦＲは前部右側席、６ＦＬは前部左側席、６Ｒは後部
席であって、１１０は各座席対応の赤外線センサであ
る。

【０００７】

【発明が解決しようとする課題】一般に人体検出用の赤
外線センサは、人体からの赤外線量の変化を検出する焦
電型であり、静止人体を検出することが出来ない。その
ためこの種の赤外線センサでは移動人体を検出する。し
かし、車内での人体の移動は比較的少ないため、検出に
困難さがつきまとうばかりでなく検出精度そのものも良
くない。そのため赤外線センサの感度を上げて人体の微
動を検出するように構成することが考えられるが、人体
以外の帯熱物体の赤外線変化も検出して誤動作の原因と
なるといった問題があった。

【０００８】また、対応する座席以外の赤外線変化を検
出することによって、同一人物を複数の赤外線センサが
検出する問題があった。更に、赤外線センサによれば、
座席対応の人***置しか検出できず、座席内のより細か
な位置情報を得ることができないという問題があった。
また、ここでの赤外線センサは人体検出以外に用途がな
く、センサの付加価値が小さいという問題があった。

【０００９】この発明は、上記のような問題点を解消す
るためになされたもので、第一の目的は、車内において
人体の移動、静止に関係なく人体および人体の位置を正
確に検出する人体検出装置を得る。また第二の目的は、
この人体検出装置の検出結果にもとづいて車載機器の動
作を最適化する車載機器制御装置を得ることを目的とす
る。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明は、車内を撮像する撮像手段と、該
撮像手段から得られる画像から人体と人***置を検出す
る人体検出手段を設けた。

【００１１】また、請求項２の発明は、人体検出手段か
らの人***置情報を電子ズーム制御手段に出力する。電
子ズーム制御手段においては電子ズーム手段を制御して
自動的に画像を拡大し、その拡大した画像と撮像手段で
撮像した画像を選択的に切り換えて表示する表示手段を
設けた。

【００１２】また、請求項３の発明は、撮像手段からの
画像信号により人体と人***置を検出する人体検出手段
と、画像信号から肌色の領域を抽出する肌色抽出手段
と、前記肌色抽出手段で抽出した肌色領域の小領域を除
去したり穴埋めしたりする雑音除去手段と、前記雑音除
去手段で得られる肌色領域に順番に番号を付けるラベリ
ング手段と、前記ラベリング手段でラベリングした領域
の特徴量を計算する特徴量算出手段と、前記特徴量算出
手段から得た特徴量からその領域が顔であるかどうかを
判定する顔判定手段と、前記顔判定手段で顔と判定した
領域の位置情報から人体の位置を判定する人***置判定
手段とによって構成した。

【００１３】また、請求項４の発明は、車内を撮像して
その光学像を電気信号に変換する撮像手段を車内の前部
中央上方に設置する。

【００１４】また、請求項５の発明は、車内を撮像する
撮像手段と、該撮像手段から得られる画像から人体と人
***置を検出する人体検出手段と、該人体検出手段の結
果に基づいて車載機器の動作態様を設定する車載機器制
御手段を設けた。

【００１５】

【作用】請求項１の発明では、撮像手段によって車内の
人体および人***置を検出できる。

【００１６】請求項２の発明では、人***置情報に基づ
いて人体を含むエリアを所定の拡大率で拡大表示し、視
認性を高めることができる。

【００１７】請求項３の発明では、人体の顔の肌色から
人体と人***置を正確に検出することができる。

【００１８】請求項４の発明では、車内の広範囲が撮像
でき、かつ人体に対して正面から撮像できる。

【００１９】請求項５の発明では、撮像手段による人体
検出手段の情報に基づいて車載機器を最適に制御でき
る。

【００２０】

【実施例】

実施例１．図１はこの発明の実施例１による車内の人体
検出装置の構成を示す概略ブロック図である。図におい
て、１は車内の撮影画像を電気信号に変換するカメラ
部、２はカメラ部１からの画像信号を画像処理すること
によって車内における人***置を検出する人体検出部、
３は人体検出部２の人***置検出結果により車内の音場
生成を制御する車載機器制御装置の一例であるオーディ
オ制御回路、４ＦＲは前部右側ドアに設置された前部右
側スピーカ、４ＦＬは前部左側ドアに設置された前部左
側スピーカ、４ＲＲは後部右側ドアに設置された後部右
側スピーカ、４ＲＬは後部左側ドアに設置された後部左
側スピーカである。

【００２１】また、図２はこの発明の実施例１による車
内の人体検出装置の簡略化した配置図で、図１１と同一
符号はそれぞれ同一または相当部分を示しており、図２
（Ａ）は車体上方よりの透視図、図２（Ｂ）は車体側方
よりの透視図である。

【００２２】次に動作の説明をする。図２に示すように
カメラ部１を車内の前部中央上方に配置することによ
り、各座席に着座する人物に対して正面から撮像する。
この時レンズ画角にもよるが比較的広角のレンズを使用
すれば、顔の全体および上半身の大部分を撮像できる。
そして、カメラ部１で撮像した車内の画像は電気信号に
変換されて、人体検出部２に入力される。人体検出部２
ではカメラ部１から入力される画像信号より人体領域を
検出し、人数および位置の判定を行う。

【００２３】ここで、人体検出部２の具体的な動作例を
図３を用いて説明する。カメラ部１より入力されたアナ
ログ画像信号イは、Ａ／Ｄ変換器２０１に入力されディ
ジタル画像信号に変換される。そして、肌色抽出回路２
０２で肌色部分を抽出する。この肌色抽出回路２０２で
は、図４に示すように色差信号Ｒ−Ｙをｙ軸、Ｂ−Ｙを
ｘ軸に取り、色相がθ1 からθ2 で、色飽和度がｒ1 か
らｒ2 までの条件を満たすものを肌色として検出する。
この図４で斜線部分が肌色の範囲である。ここでは検出
する色の範囲を扇形にしているが、四角形、円形など他
の形の範囲でも良い。次に、肌色を検出した部分は
「１」、その他の部分は「０」の値を持つ２値画像を生
成する。

【００２４】次に、雑音除去回路２０３により雑音除去
あるいは穴埋めをする。２値化されたデータの雑音除去
として、膨張収縮処理を行う。例えば、収縮処理を５
回、膨張処理を５回の順序で行うと、５×５画素以下の
小領域は除去される。逆に、膨張処理５回、収縮処理５
回の順序で行うと、５×５画素以下の穴が埋まる。

【００２５】次に、ラベリング回路２０４によりラベリ
ングを行う。これは、抽出された領域毎に番号をつける
処理である。

【００２６】次に、特徴量算出回路２０５により特徴量
を計算する。まず、それぞれの領域の重心位置Ｇi 、面
積Ａi 、最大幅Ｗi 、最大高さＨi 、周囲長Ｌi を求め
る。次に、特徴量として縦横比Ｒi と複雑度Ｃi を以下
の式により求める。 Ｒi ＝Ｈi ／Ｗi Ｃi ＝Ｌi²／Ａi

【００２７】次に、顔判定回路２０６により顔領域かど
うかの判定を行う。判定基準は以下の３点である。 １）Ａi ＞Ａmin 面積が一定以上の領域を抽出する。 ２）Ｒmin ＜Ｒi ＜Ｒmax 外接長方形の縦横比が１に近いもの、すなわち正方形に
近いものを抽出する。 ３）Ｃi ＜Ｃmax 円形に近いものを抽出する。 以上３つの条件を満たした領域を顔画像領域とする。こ
の３つの条件によれば、回路が簡単で且つ精度のよい顔
画像の抽出を行うことができる。顔判定回路２０６で
は、顔画像として抽出された領域の重心位置Ｇi を出力
する。

【００２８】次に、人***置判定回路２０７で人***置
の判定を行う。判定には、顔判定回路で求めたその領域
の重心位置Ｇi から、その人物がどこの座席に座ってい
るのか、さらには座席内のどの位置に座っているのかを
判定する。人***置判定回路２０７は車内の人***置を
出力する。

【００２９】なお、人体検出部２については、上記では
被写体の肌色を参考にした。この肌色検出法は被写体が
移動している場合にも静止している場合にも有効であ
る。しかし、この他にも動きを伴う被写体に対しては肌
色を抽出する代わりにフレーム間画像の差分を取って、
この動き検出結果を用いても良い。また、実際には上記
に記した方法に限ることなく、人体の領域が特定でき、
その人体と位置を求められる方法であれば、どんな方法
でもよい。

【００３０】次に、オーディオ制御回路３は、人体検出
部２より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席６ＦＲ、６ＦＬだけに着座している場合であれ
ば、後部スピーカ４ＲＲ、４ＲＬの出力を大きくして、
前部座席６ＦＲ、６ＦＬに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。更に、前
部座席６ＦＲ、６ＦＬに着座しているそれぞれの人体左
右位置が右側に寄っていれば、左側スピーカ４ＦＬ、４
ＲＬの出力を大きくして、前部座席６ＦＲ、６ＦＬに着
座している乗員からみて左右音量のバランスをとるとい
った制御を行う。

【００３１】以上、この発明の実施例１について説明を
行なってきたが、この発明は上述した実施例１に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例１の他、カメラ部１と人体検出部２による人***
置情報を利用して、車内エアコンの吹き出し口の風向や
風量および温度切換等を制御して、最適の空調制御を行
うことも可能である。

【００３２】また、実施例１においては、カメラ部１を
人体の検出に専用に用いることを前提に述べているが、
他の目的と兼用することも可能である。例えば、図５に
示すように、カメラ部１で撮像した画像を前部席前方に
設置したモニター７に表示して、後部座席に子供や幼児
を乗車させたときの監視用カメラシステムと兼用するこ
とが可能である。

【００３３】更に、カメラ部１を車体から着脱可能にし
て、ビデオテープレコーダ（以下、「ＶＴＲ」という）
等の記録装置と接続可能にしておけば、カメラ一体型Ｖ
ＴＲあるいはカメラ分離型ＶＴＲ等として車を利用して
いないときも活用することができる。このようにカメラ
は様々な用途があるので、人***置検出用だけでなく、
付加価値を高めたシステム構成とすることが可能であ
る。

【００３４】実施例２．次に、実施例１で示した人体検
出装置と、後部座席に乗車する人物を監視できる後部席
監視装置との兼用システムを示す。後部席監視装置は、
後部座席を撮影した画像を前部座席に着座している乗員
が前方を向いたままの通常の着座姿勢で後部座席の様子
をモニター上で確認する装置であって、特に後部座席に
子供や幼児を乗せたときの動作監視や、後部座席に乗車
している人物の表情やジェスチャーを映して前後部座席
間のコミュニケーションを支援する目的で使用される。

【００３５】図６は本実施例２における車内の人体検出
装置の構成を示すブロック図である。図において、１〜
３、２０１〜２０７、４ＦＲ、４ＦＬ、４ＲＲ、４ＲＬ
は実施例１として示した図１および図３と同一であるの
で説明は省略する。８は入力画像を電子的に拡大する電
子ズーム回路、９は顔判定回路２０６および人***置判
定回路２０７の判定結果から電子ズーム回路８の拡大率
や拡大位置を制御する電子ズーム制御回路、１０は電子
ズーム回路８からのディジタル拡大画像をアナログ信号
に変換するＤ／Ａ変換器、１１はカメラ部１からの画像
信号とＤ／Ａ変換器１０からの画像を選択する切換スイ
ッチ、７は切換スイッチ１１選択した画像を出力するモ
ニタである。また、図７に示すようにモニタ７は車内前
部座席前方に設置する。

【００３６】次に、動作について説明する。まずカメラ
部１は図７に示すように車内の前部中央上方に配置する
ことにより、前部座席および後部座席に着座した人に対
して正面から上半身の大部分を撮像できる。そしてカメ
ラ部１で撮像した車内の画像は電気信号に変換され、Ａ
／Ｄ変換器２０１でディジタル画像信号となって電子ズ
ーム回路８に入力される。

【００３７】また、Ａ／Ｄ変換器２０１の出力信号は肌
色抽出回路２０２、雑音除去回路２０３、ラベリング回
路２０４、特徴量算出回路２０５、顔判定回路２０６で
各々処理されて、顔判定回路２０６では顔を判定して、
顔画像として抽出された領域の重心位置Ｇi と面積Ａi
を出力する。重心位置Ｇi は人***置判定回路２０７と
電子ズーム制御回路９に入力し、面積Ａi は電子ズーム
制御回路９に入力する。

【００３８】人***置判定回路２０７は、重心位置Ｇi
からその人物がどこの座席に座っているのかを判定し、
人***置の情報をオーディオ制御回路３および電子ズー
ム制御回路９に出力する。

【００３９】電子ズーム制御回路９では顔判定回路２０
６および人***置判定回路２０７から顔として抽出され
た領域の重心位置Ｇi 、面積Ａi と人***置情報を受け
取り、人***置が後部座席である場合に顔画像に対して
拡大するように電子ズーム回路８を制御する。

【００４０】ここで、電子ズーム制御回路９の動作につ
いて図８を用いて説明する。まず、８０１に示すように
後席に子供が着座している車内の画像が得られたとす
る。顔判定回路２０６では、８０１の画像より８０２で
示す部分を顔として認識し、その大きさと位置を求め
る。顔の大きさと位置の情報を得た電子ズーム制御回路
９では、顔の領域８０２の情報をもとにバストショット
の画像を得るために８０３の領域を電子ズーム回路９に
より拡大し、バストショットの画像８０４を得る。ここ
で、顔の大きさと位置の情報は常に人体検出回路２から
得ており、あらかじめ与えられているバストショットの
時の顔の大きさと位置の情報に近くなるように制御を行
っている。以上まとめると、画像８０１における顔の領
域８０２の情報をもとに、電子ズームにより領域８０３
を拡大して、バストショットの画像８０４を得ている。

【００４１】このようにして、得られたバストショット
の画像は、Ｄ／Ａ変換器１０でアナログ信号に変換して
切り換えスイッチ１１に入力する。切り換えスイッチ１
１のもう一方の入力には、カメラ部１の出力信号を入力
しており、この切り換えスイッチ１１を切り換えること
で、入力画像そのままか、後部座席の人物のバストショ
ットを選択することができる。

【００４２】切り換えスイッチ１１の出力信号はモニタ
７に入力して車内の撮影画像を表示する。モニタ７は図
７に示すように、前部座席の前方に設置しているので、
前部座席に着座した人がモニタ７の画像を視認して、切
り換えスイッチ１１の切り換えも自由に選択すること
で、後部座席の子供や幼児の動作の監視を行ったり、後
部座席の乗員とのコミニュケーションを十分にはかれる
ようになる。

【００４３】一方、オーディオ制御回路３は、人体検出
部２より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席６ＦＲ、６ＦＬだけに着座している場合であれ
ば、後部スピーカ４ＲＲ、４ＲＬの出力を大きくして、
前部座席６ＦＲ、６ＦＬに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。

【００４４】このように、カメラ部１と人体検出部２を
兼用して、人***置検出機能と後部座席検出機能を実現
することができる。

【００４５】以上、この発明の実施例２について説明を
行なってきたが、この発明は上述した実施例２に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例２の他、カメラ部１と人体検出部２による人***
置情報を利用して、車内空調の吹き出し口の風向や風量
および温度切換等を制御して、最適の空調制御を行うこ
とも可能である。

【００４６】また、人体検出回路２として顔画像領域を
検出する方法を用いたが、人体の領域が特定でき、その
位置と大きさを求められる方法であれば、その情報から
バストショットの画像を得ることができる。また、最終
的な構図としてはバストショットを想定しているが、こ
れに限られるものではなく、全身のショット、顔だけを
画面の左下に配置するなど人物に関する構図であれば、
どのようなものでもかまわない。また、これらの複数の
構図をあらかじめ設定しておき、ユーザーが選択して用
いるようにすることも可能である。

【００４７】

【発明の効果】上記のように、請求項１の発明は、撮像
手段による人体検出手段を設けたので、人体が動いてい
ても静止していても正確な人体検知が可能になる。

【００４８】また、請求項２の発明は、人体検出手段か
らの情報によって電子ズーム手段を制御して人体領域を
自動的に拡大した画像を、表示手段に表示することで、
拡大するために特別の操作が不要で、視認性を高めて後
部座席の監視ができる。

【００４９】また、請求項３の発明は、肌色により顔領
域を検出することで静止人体を正確に検出することがで
きる。

【００５０】また、請求項４の発明は、撮像手段を前部
中央上方に設置することにより、車内の広範囲での人体
検出が可能になるため検出精度を向上させることができ
る。

【００５１】また、請求項５の発明は、検出した人体お
よび人***置の情報に基づいて車載機器を制御するよう
にしたので搭乗人の乗車位置に関係なく容易に最適環境
を創り出すことができる。

【図面の簡単な説明】

【図１】 この発明の実施例１による車内の人体検出装
置の構成を示す概略ブロック図である。

【図２】 実施例１による車内の人体検出装置の簡略化
した配置図である。

【図３】 実施例１による車内の人体検出装置の人体検
出部の詳細を示すブロック図である。

【図４】 実施例１による車内の人体検出装置の肌色抽
出回路の抽出範囲を示す肌色範囲図である。

【図５】 実施例１による車内の人体検出装置の変形例
を示すブロック図である。

【図６】 この発明の実施例２による車内の人体検出装
置の構成を示すブロック図である。

【図７】 実施例２による車内の人体検出装置の簡略化
した配置図である。

【図８】 実施例２による車内の人体検出装置の動作を
説明する図である。

【図９】 従来の車載機器制御装置の構成を示す図であ
る。

【図１０】 従来の車載機器制御装置の構成を示す図で
ある。

【図１１】 従来の車内の人体検出装置の構成を示す図
である。

【符号の説明】

１ カメラ部、２ 人体検出部、３ オーディオ機器制
御回路、７ モニタ、８ 電子ズーム回路、９ 電子ズ
ーム制御回路、２０２ 肌色抽出回路、２０３雑音除去
回路、２０４ ラベリング回路、２０５ 特徴量算出回
路、２０６顔判別回路、２０７ 人体判別回路。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 車内を撮像してその光学像を電気信号に
   変換する撮像手段と、前記撮像手段からの画像信号によ
   り人体および人体の位置を検出する人体検出手段を備え
   た車内の人体検出装置。
2. 【請求項２】 車内を撮像してその光学像を電気信号に
   変換する撮像手段と、前記撮像手段からの画像信号によ
   り人体および人体の位置を検出する人体検出手段と、前
   記画像信号を拡大処理する電子ズーム手段と、前記人体
   検出手段からの人***置情報に基づいて前記電子ズーム
   手段の制御を行う電子ズーム制御手段と、前記撮像手段
   で撮像した画像と前記電子ズーム手段で拡大した画像を
   選択的に切り換えて表示する表示手段とを備えたことを
   特徴とする車内の人体検出装置。
3. 【請求項３】 撮像手段からの画像信号により人***置
   を検出する人体検出手段を、画像信号から肌色の領域を
   抽出する肌色抽出手段と、前記肌色抽出手段で抽出した
   肌色領域の小領域を除去し、穴埋めする雑音除去手段
   と、前記雑音除去手段で得られる肌色領域に順番に番号
   を付けるラベリング手段と、前記ラベリング手段でラベ
   リングした領域の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段から得た特徴量からその領域が顔で
   あるかどうかを判定する顔判定手段と、前記顔判定手段
   で顔と判定した領域から人体の位置を判定する人***置
   判定手段で構成したことを特徴とする請求項１または請
   求項２記載の車内の人体検出装置。
4. 【請求項４】 車内を撮像してその光学像を電気信号に
   変換する撮像手段を車内の前部中央上方に設置すること
   を特徴とする請求項１，請求項２，請求項３のいずれか
   に記載の車内の人体検出装置。
5. 【請求項５】 請求項１〜請求項４のいずれかに記載の
   ものにおいて、人体検出手段の結果に基づいて所定の車
   載機器の動作態様を設定する車載機器制御手段を設けた
   ことを特徴とする車載機器制御装置。