JPH07329639A - 車内の人体検出装置および車載機器制御装置 - Google Patents
車内の人体検出装置および車載機器制御装置Info
- Publication number
- JPH07329639A JPH07329639A JP12379394A JP12379394A JPH07329639A JP H07329639 A JPH07329639 A JP H07329639A JP 12379394 A JP12379394 A JP 12379394A JP 12379394 A JP12379394 A JP 12379394A JP H07329639 A JPH07329639 A JP H07329639A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- vehicle
- image
- detecting
- skin color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【目的】 第一の目的は、車内において人体の移動,静
止に関係なく人体および人***置を正確に検出する人体
検出装置を得る。また第二の目的は、この人体検出装置
を用いた車載機器制御装置を得る。 【構成】 車内の撮影画像を電気信号に変換するカメラ
部1と、カメラ部1から得られる画像信号を画像処理手
段によって車内における人体および人***置を検出する
人体検出部2を設けた。また、この人体検出装置の検出
結果に基づいて車載機器、例えば、車内の音場生成の設
定を行うオーディオ装置の動作態様を快適車内環境にな
るように制御する手段を設けた。
止に関係なく人体および人***置を正確に検出する人体
検出装置を得る。また第二の目的は、この人体検出装置
を用いた車載機器制御装置を得る。 【構成】 車内の撮影画像を電気信号に変換するカメラ
部1と、カメラ部1から得られる画像信号を画像処理手
段によって車内における人体および人***置を検出する
人体検出部2を設けた。また、この人体検出装置の検出
結果に基づいて車載機器、例えば、車内の音場生成の設
定を行うオーディオ装置の動作態様を快適車内環境にな
るように制御する手段を設けた。
Description
【0001】
【産業上の利用分野】この発明は、車内の撮影画像から
車内の人数、人***置を自動的に検出する装置、および
この検出結果にもとづいて、車載機器の制御を行う車載
機器制御装置に関する。
車内の人数、人***置を自動的に検出する装置、および
この検出結果にもとづいて、車載機器の制御を行う車載
機器制御装置に関する。
【0002】
【従来の技術】現代社会においてなくてはならない必需
品の一つである車は、今やハイテク製品の筆頭で性能は
以前に比べ大幅に向上している。一方車内においては快
適性が求められている。これに対して最近では豪華な設
備と豊富なオプション類が多数用意されており、走る快
適空間創りの努力がなされている。
品の一つである車は、今やハイテク製品の筆頭で性能は
以前に比べ大幅に向上している。一方車内においては快
適性が求められている。これに対して最近では豪華な設
備と豊富なオプション類が多数用意されており、走る快
適空間創りの努力がなされている。
【0003】ところがこの快適空間と言われる車内にお
いても、例えば空調機器(以下、「エアコン」という)
や音響機器(以下、「カーオーディオ」という)の操作
は代表的な乗員である運転手に任されているのが現状で
ある。つまり、運転手が一番快適になる環境に設定され
る。したがって、このような車に複数の人が搭乗した場
合、オーディオのスピーカに近い人は音をうるさく感
じ、また場所によってはエアコンの風が当りつづけて健
康を害するというようなことも起こり得る。これに対し
て音量を下げたり、エアコンの風向き変えたりすること
が行われるが、これらは一時的に状態を変えるだけであ
り本来の音響空間や、また快適な空調環境は得られな
い。
いても、例えば空調機器(以下、「エアコン」という)
や音響機器(以下、「カーオーディオ」という)の操作
は代表的な乗員である運転手に任されているのが現状で
ある。つまり、運転手が一番快適になる環境に設定され
る。したがって、このような車に複数の人が搭乗した場
合、オーディオのスピーカに近い人は音をうるさく感
じ、また場所によってはエアコンの風が当りつづけて健
康を害するというようなことも起こり得る。これに対し
て音量を下げたり、エアコンの風向き変えたりすること
が行われるが、これらは一時的に状態を変えるだけであ
り本来の音響空間や、また快適な空調環境は得られな
い。
【0004】このような例から、例えばカーオーディオ
について考えてみる。一般のカーオーディオでは、フロ
ントスピーカやリアスピーカ等の音声出力部は車内の特
定位置に固定設置されている。したがって、搭乗する乗
員の人数が変動したり、着座位置が変わった場合には、
各スピーカの出力を適宜調整して適切な音場を生成する
ような調整をする必要がある。さもなければスピーカに
近い特定の人はうるさくて仕方がない。また、位置によ
っては一方向のみから音が聞こえ快適な音響空間とはほ
ど遠いものとなったりする。
について考えてみる。一般のカーオーディオでは、フロ
ントスピーカやリアスピーカ等の音声出力部は車内の特
定位置に固定設置されている。したがって、搭乗する乗
員の人数が変動したり、着座位置が変わった場合には、
各スピーカの出力を適宜調整して適切な音場を生成する
ような調整をする必要がある。さもなければスピーカに
近い特定の人はうるさくて仕方がない。また、位置によ
っては一方向のみから音が聞こえ快適な音響空間とはほ
ど遠いものとなったりする。
【0005】そのためかかる調整は、通常、図9に示す
ように、着座位置変動があるたびに、運転者がオーディ
オシステムのDSP(Digital Signal Processer)ユニ
ット90に設置された各種コントロールキーのうちポジ
ショニング切換スイッチ91や、図10に示すように、
ヘッドユニット100の前後フェーダつまみ101や左
右バランスつまみ102を操作すると言う簡易な方法に
頼っているのが現状である。したがって、とうてい満足
のいく音響空間は望めない。
ように、着座位置変動があるたびに、運転者がオーディ
オシステムのDSP(Digital Signal Processer)ユニ
ット90に設置された各種コントロールキーのうちポジ
ショニング切換スイッチ91や、図10に示すように、
ヘッドユニット100の前後フェーダつまみ101や左
右バランスつまみ102を操作すると言う簡易な方法に
頼っているのが現状である。したがって、とうてい満足
のいく音響空間は望めない。
【0006】そこで、このような問題を解消する方法例
として赤外線センサによる人体検知システムが実開平5
−60075号公報に開示されている。図11はこの人
体検知装置の構成図である。図において、5は車本体、
6FRは前部右側席、6FLは前部左側席、6Rは後部
席であって、110は各座席対応の赤外線センサであ
る。
として赤外線センサによる人体検知システムが実開平5
−60075号公報に開示されている。図11はこの人
体検知装置の構成図である。図において、5は車本体、
6FRは前部右側席、6FLは前部左側席、6Rは後部
席であって、110は各座席対応の赤外線センサであ
る。
【0007】
【発明が解決しようとする課題】一般に人体検出用の赤
外線センサは、人体からの赤外線量の変化を検出する焦
電型であり、静止人体を検出することが出来ない。その
ためこの種の赤外線センサでは移動人体を検出する。し
かし、車内での人体の移動は比較的少ないため、検出に
困難さがつきまとうばかりでなく検出精度そのものも良
くない。そのため赤外線センサの感度を上げて人体の微
動を検出するように構成することが考えられるが、人体
以外の帯熱物体の赤外線変化も検出して誤動作の原因と
なるといった問題があった。
外線センサは、人体からの赤外線量の変化を検出する焦
電型であり、静止人体を検出することが出来ない。その
ためこの種の赤外線センサでは移動人体を検出する。し
かし、車内での人体の移動は比較的少ないため、検出に
困難さがつきまとうばかりでなく検出精度そのものも良
くない。そのため赤外線センサの感度を上げて人体の微
動を検出するように構成することが考えられるが、人体
以外の帯熱物体の赤外線変化も検出して誤動作の原因と
なるといった問題があった。
【0008】また、対応する座席以外の赤外線変化を検
出することによって、同一人物を複数の赤外線センサが
検出する問題があった。更に、赤外線センサによれば、
座席対応の人***置しか検出できず、座席内のより細か
な位置情報を得ることができないという問題があった。
また、ここでの赤外線センサは人体検出以外に用途がな
く、センサの付加価値が小さいという問題があった。
出することによって、同一人物を複数の赤外線センサが
検出する問題があった。更に、赤外線センサによれば、
座席対応の人***置しか検出できず、座席内のより細か
な位置情報を得ることができないという問題があった。
また、ここでの赤外線センサは人体検出以外に用途がな
く、センサの付加価値が小さいという問題があった。
【0009】この発明は、上記のような問題点を解消す
るためになされたもので、第一の目的は、車内において
人体の移動、静止に関係なく人体および人体の位置を正
確に検出する人体検出装置を得る。また第二の目的は、
この人体検出装置の検出結果にもとづいて車載機器の動
作を最適化する車載機器制御装置を得ることを目的とす
る。
るためになされたもので、第一の目的は、車内において
人体の移動、静止に関係なく人体および人体の位置を正
確に検出する人体検出装置を得る。また第二の目的は、
この人体検出装置の検出結果にもとづいて車載機器の動
作を最適化する車載機器制御装置を得ることを目的とす
る。
【0010】
【課題を解決するための手段】上記課題を解決するため
に、請求項1の発明は、車内を撮像する撮像手段と、該
撮像手段から得られる画像から人体と人***置を検出す
る人体検出手段を設けた。
に、請求項1の発明は、車内を撮像する撮像手段と、該
撮像手段から得られる画像から人体と人***置を検出す
る人体検出手段を設けた。
【0011】また、請求項2の発明は、人体検出手段か
らの人***置情報を電子ズーム制御手段に出力する。電
子ズーム制御手段においては電子ズーム手段を制御して
自動的に画像を拡大し、その拡大した画像と撮像手段で
撮像した画像を選択的に切り換えて表示する表示手段を
設けた。
らの人***置情報を電子ズーム制御手段に出力する。電
子ズーム制御手段においては電子ズーム手段を制御して
自動的に画像を拡大し、その拡大した画像と撮像手段で
撮像した画像を選択的に切り換えて表示する表示手段を
設けた。
【0012】また、請求項3の発明は、撮像手段からの
画像信号により人体と人***置を検出する人体検出手段
と、画像信号から肌色の領域を抽出する肌色抽出手段
と、前記肌色抽出手段で抽出した肌色領域の小領域を除
去したり穴埋めしたりする雑音除去手段と、前記雑音除
去手段で得られる肌色領域に順番に番号を付けるラベリ
ング手段と、前記ラベリング手段でラベリングした領域
の特徴量を計算する特徴量算出手段と、前記特徴量算出
手段から得た特徴量からその領域が顔であるかどうかを
判定する顔判定手段と、前記顔判定手段で顔と判定した
領域の位置情報から人体の位置を判定する人***置判定
手段とによって構成した。
画像信号により人体と人***置を検出する人体検出手段
と、画像信号から肌色の領域を抽出する肌色抽出手段
と、前記肌色抽出手段で抽出した肌色領域の小領域を除
去したり穴埋めしたりする雑音除去手段と、前記雑音除
去手段で得られる肌色領域に順番に番号を付けるラベリ
ング手段と、前記ラベリング手段でラベリングした領域
の特徴量を計算する特徴量算出手段と、前記特徴量算出
手段から得た特徴量からその領域が顔であるかどうかを
判定する顔判定手段と、前記顔判定手段で顔と判定した
領域の位置情報から人体の位置を判定する人***置判定
手段とによって構成した。
【0013】また、請求項4の発明は、車内を撮像して
その光学像を電気信号に変換する撮像手段を車内の前部
中央上方に設置する。
その光学像を電気信号に変換する撮像手段を車内の前部
中央上方に設置する。
【0014】また、請求項5の発明は、車内を撮像する
撮像手段と、該撮像手段から得られる画像から人体と人
***置を検出する人体検出手段と、該人体検出手段の結
果に基づいて車載機器の動作態様を設定する車載機器制
御手段を設けた。
撮像手段と、該撮像手段から得られる画像から人体と人
***置を検出する人体検出手段と、該人体検出手段の結
果に基づいて車載機器の動作態様を設定する車載機器制
御手段を設けた。
【0015】
【作用】請求項1の発明では、撮像手段によって車内の
人体および人***置を検出できる。
人体および人***置を検出できる。
【0016】請求項2の発明では、人***置情報に基づ
いて人体を含むエリアを所定の拡大率で拡大表示し、視
認性を高めることができる。
いて人体を含むエリアを所定の拡大率で拡大表示し、視
認性を高めることができる。
【0017】請求項3の発明では、人体の顔の肌色から
人体と人***置を正確に検出することができる。
人体と人***置を正確に検出することができる。
【0018】請求項4の発明では、車内の広範囲が撮像
でき、かつ人体に対して正面から撮像できる。
でき、かつ人体に対して正面から撮像できる。
【0019】請求項5の発明では、撮像手段による人体
検出手段の情報に基づいて車載機器を最適に制御でき
る。
検出手段の情報に基づいて車載機器を最適に制御でき
る。
【0020】
実施例1.図1はこの発明の実施例1による車内の人体
検出装置の構成を示す概略ブロック図である。図におい
て、1は車内の撮影画像を電気信号に変換するカメラ
部、2はカメラ部1からの画像信号を画像処理すること
によって車内における人***置を検出する人体検出部、
3は人体検出部2の人***置検出結果により車内の音場
生成を制御する車載機器制御装置の一例であるオーディ
オ制御回路、4FRは前部右側ドアに設置された前部右
側スピーカ、4FLは前部左側ドアに設置された前部左
側スピーカ、4RRは後部右側ドアに設置された後部右
側スピーカ、4RLは後部左側ドアに設置された後部左
側スピーカである。
検出装置の構成を示す概略ブロック図である。図におい
て、1は車内の撮影画像を電気信号に変換するカメラ
部、2はカメラ部1からの画像信号を画像処理すること
によって車内における人***置を検出する人体検出部、
3は人体検出部2の人***置検出結果により車内の音場
生成を制御する車載機器制御装置の一例であるオーディ
オ制御回路、4FRは前部右側ドアに設置された前部右
側スピーカ、4FLは前部左側ドアに設置された前部左
側スピーカ、4RRは後部右側ドアに設置された後部右
側スピーカ、4RLは後部左側ドアに設置された後部左
側スピーカである。
【0021】また、図2はこの発明の実施例1による車
内の人体検出装置の簡略化した配置図で、図11と同一
符号はそれぞれ同一または相当部分を示しており、図2
(A)は車体上方よりの透視図、図2(B)は車体側方
よりの透視図である。
内の人体検出装置の簡略化した配置図で、図11と同一
符号はそれぞれ同一または相当部分を示しており、図2
(A)は車体上方よりの透視図、図2(B)は車体側方
よりの透視図である。
【0022】次に動作の説明をする。図2に示すように
カメラ部1を車内の前部中央上方に配置することによ
り、各座席に着座する人物に対して正面から撮像する。
この時レンズ画角にもよるが比較的広角のレンズを使用
すれば、顔の全体および上半身の大部分を撮像できる。
そして、カメラ部1で撮像した車内の画像は電気信号に
変換されて、人体検出部2に入力される。人体検出部2
ではカメラ部1から入力される画像信号より人体領域を
検出し、人数および位置の判定を行う。
カメラ部1を車内の前部中央上方に配置することによ
り、各座席に着座する人物に対して正面から撮像する。
この時レンズ画角にもよるが比較的広角のレンズを使用
すれば、顔の全体および上半身の大部分を撮像できる。
そして、カメラ部1で撮像した車内の画像は電気信号に
変換されて、人体検出部2に入力される。人体検出部2
ではカメラ部1から入力される画像信号より人体領域を
検出し、人数および位置の判定を行う。
【0023】ここで、人体検出部2の具体的な動作例を
図3を用いて説明する。カメラ部1より入力されたアナ
ログ画像信号イは、A/D変換器201に入力されディ
ジタル画像信号に変換される。そして、肌色抽出回路2
02で肌色部分を抽出する。この肌色抽出回路202で
は、図4に示すように色差信号R−Yをy軸、B−Yを
x軸に取り、色相がθ1 からθ2 で、色飽和度がr1 か
らr2 までの条件を満たすものを肌色として検出する。
この図4で斜線部分が肌色の範囲である。ここでは検出
する色の範囲を扇形にしているが、四角形、円形など他
の形の範囲でも良い。次に、肌色を検出した部分は
「1」、その他の部分は「0」の値を持つ2値画像を生
成する。
図3を用いて説明する。カメラ部1より入力されたアナ
ログ画像信号イは、A/D変換器201に入力されディ
ジタル画像信号に変換される。そして、肌色抽出回路2
02で肌色部分を抽出する。この肌色抽出回路202で
は、図4に示すように色差信号R−Yをy軸、B−Yを
x軸に取り、色相がθ1 からθ2 で、色飽和度がr1 か
らr2 までの条件を満たすものを肌色として検出する。
この図4で斜線部分が肌色の範囲である。ここでは検出
する色の範囲を扇形にしているが、四角形、円形など他
の形の範囲でも良い。次に、肌色を検出した部分は
「1」、その他の部分は「0」の値を持つ2値画像を生
成する。
【0024】次に、雑音除去回路203により雑音除去
あるいは穴埋めをする。2値化されたデータの雑音除去
として、膨張収縮処理を行う。例えば、収縮処理を5
回、膨張処理を5回の順序で行うと、5×5画素以下の
小領域は除去される。逆に、膨張処理5回、収縮処理5
回の順序で行うと、5×5画素以下の穴が埋まる。
あるいは穴埋めをする。2値化されたデータの雑音除去
として、膨張収縮処理を行う。例えば、収縮処理を5
回、膨張処理を5回の順序で行うと、5×5画素以下の
小領域は除去される。逆に、膨張処理5回、収縮処理5
回の順序で行うと、5×5画素以下の穴が埋まる。
【0025】次に、ラベリング回路204によりラベリ
ングを行う。これは、抽出された領域毎に番号をつける
処理である。
ングを行う。これは、抽出された領域毎に番号をつける
処理である。
【0026】次に、特徴量算出回路205により特徴量
を計算する。まず、それぞれの領域の重心位置Gi 、面
積Ai 、最大幅Wi 、最大高さHi 、周囲長Li を求め
る。次に、特徴量として縦横比Ri と複雑度Ci を以下
の式により求める。 Ri =Hi /Wi Ci =Li2/Ai
を計算する。まず、それぞれの領域の重心位置Gi 、面
積Ai 、最大幅Wi 、最大高さHi 、周囲長Li を求め
る。次に、特徴量として縦横比Ri と複雑度Ci を以下
の式により求める。 Ri =Hi /Wi Ci =Li2/Ai
【0027】次に、顔判定回路206により顔領域かど
うかの判定を行う。判定基準は以下の3点である。 1)Ai >Amin 面積が一定以上の領域を抽出する。 2)Rmin <Ri <Rmax 外接長方形の縦横比が1に近いもの、すなわち正方形に
近いものを抽出する。 3)Ci <Cmax 円形に近いものを抽出する。 以上3つの条件を満たした領域を顔画像領域とする。こ
の3つの条件によれば、回路が簡単で且つ精度のよい顔
画像の抽出を行うことができる。顔判定回路206で
は、顔画像として抽出された領域の重心位置Gi を出力
する。
うかの判定を行う。判定基準は以下の3点である。 1)Ai >Amin 面積が一定以上の領域を抽出する。 2)Rmin <Ri <Rmax 外接長方形の縦横比が1に近いもの、すなわち正方形に
近いものを抽出する。 3)Ci <Cmax 円形に近いものを抽出する。 以上3つの条件を満たした領域を顔画像領域とする。こ
の3つの条件によれば、回路が簡単で且つ精度のよい顔
画像の抽出を行うことができる。顔判定回路206で
は、顔画像として抽出された領域の重心位置Gi を出力
する。
【0028】次に、人***置判定回路207で人***置
の判定を行う。判定には、顔判定回路で求めたその領域
の重心位置Gi から、その人物がどこの座席に座ってい
るのか、さらには座席内のどの位置に座っているのかを
判定する。人***置判定回路207は車内の人***置を
出力する。
の判定を行う。判定には、顔判定回路で求めたその領域
の重心位置Gi から、その人物がどこの座席に座ってい
るのか、さらには座席内のどの位置に座っているのかを
判定する。人***置判定回路207は車内の人***置を
出力する。
【0029】なお、人体検出部2については、上記では
被写体の肌色を参考にした。この肌色検出法は被写体が
移動している場合にも静止している場合にも有効であ
る。しかし、この他にも動きを伴う被写体に対しては肌
色を抽出する代わりにフレーム間画像の差分を取って、
この動き検出結果を用いても良い。また、実際には上記
に記した方法に限ることなく、人体の領域が特定でき、
その人体と位置を求められる方法であれば、どんな方法
でもよい。
被写体の肌色を参考にした。この肌色検出法は被写体が
移動している場合にも静止している場合にも有効であ
る。しかし、この他にも動きを伴う被写体に対しては肌
色を抽出する代わりにフレーム間画像の差分を取って、
この動き検出結果を用いても良い。また、実際には上記
に記した方法に限ることなく、人体の領域が特定でき、
その人体と位置を求められる方法であれば、どんな方法
でもよい。
【0030】次に、オーディオ制御回路3は、人体検出
部2より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席6FR、6FLだけに着座している場合であれ
ば、後部スピーカ4RR、4RLの出力を大きくして、
前部座席6FR、6FLに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。更に、前
部座席6FR、6FLに着座しているそれぞれの人体左
右位置が右側に寄っていれば、左側スピーカ4FL、4
RLの出力を大きくして、前部座席6FR、6FLに着
座している乗員からみて左右音量のバランスをとるとい
った制御を行う。
部2より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席6FR、6FLだけに着座している場合であれ
ば、後部スピーカ4RR、4RLの出力を大きくして、
前部座席6FR、6FLに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。更に、前
部座席6FR、6FLに着座しているそれぞれの人体左
右位置が右側に寄っていれば、左側スピーカ4FL、4
RLの出力を大きくして、前部座席6FR、6FLに着
座している乗員からみて左右音量のバランスをとるとい
った制御を行う。
【0031】以上、この発明の実施例1について説明を
行なってきたが、この発明は上述した実施例1に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例1の他、カメラ部1と人体検出部2による人***
置情報を利用して、車内エアコンの吹き出し口の風向や
風量および温度切換等を制御して、最適の空調制御を行
うことも可能である。
行なってきたが、この発明は上述した実施例1に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例1の他、カメラ部1と人体検出部2による人***
置情報を利用して、車内エアコンの吹き出し口の風向や
風量および温度切換等を制御して、最適の空調制御を行
うことも可能である。
【0032】また、実施例1においては、カメラ部1を
人体の検出に専用に用いることを前提に述べているが、
他の目的と兼用することも可能である。例えば、図5に
示すように、カメラ部1で撮像した画像を前部席前方に
設置したモニター7に表示して、後部座席に子供や幼児
を乗車させたときの監視用カメラシステムと兼用するこ
とが可能である。
人体の検出に専用に用いることを前提に述べているが、
他の目的と兼用することも可能である。例えば、図5に
示すように、カメラ部1で撮像した画像を前部席前方に
設置したモニター7に表示して、後部座席に子供や幼児
を乗車させたときの監視用カメラシステムと兼用するこ
とが可能である。
【0033】更に、カメラ部1を車体から着脱可能にし
て、ビデオテープレコーダ(以下、「VTR」という)
等の記録装置と接続可能にしておけば、カメラ一体型V
TRあるいはカメラ分離型VTR等として車を利用して
いないときも活用することができる。このようにカメラ
は様々な用途があるので、人***置検出用だけでなく、
付加価値を高めたシステム構成とすることが可能であ
る。
て、ビデオテープレコーダ(以下、「VTR」という)
等の記録装置と接続可能にしておけば、カメラ一体型V
TRあるいはカメラ分離型VTR等として車を利用して
いないときも活用することができる。このようにカメラ
は様々な用途があるので、人***置検出用だけでなく、
付加価値を高めたシステム構成とすることが可能であ
る。
【0034】実施例2.次に、実施例1で示した人体検
出装置と、後部座席に乗車する人物を監視できる後部席
監視装置との兼用システムを示す。後部席監視装置は、
後部座席を撮影した画像を前部座席に着座している乗員
が前方を向いたままの通常の着座姿勢で後部座席の様子
をモニター上で確認する装置であって、特に後部座席に
子供や幼児を乗せたときの動作監視や、後部座席に乗車
している人物の表情やジェスチャーを映して前後部座席
間のコミュニケーションを支援する目的で使用される。
出装置と、後部座席に乗車する人物を監視できる後部席
監視装置との兼用システムを示す。後部席監視装置は、
後部座席を撮影した画像を前部座席に着座している乗員
が前方を向いたままの通常の着座姿勢で後部座席の様子
をモニター上で確認する装置であって、特に後部座席に
子供や幼児を乗せたときの動作監視や、後部座席に乗車
している人物の表情やジェスチャーを映して前後部座席
間のコミュニケーションを支援する目的で使用される。
【0035】図6は本実施例2における車内の人体検出
装置の構成を示すブロック図である。図において、1〜
3、201〜207、4FR、4FL、4RR、4RL
は実施例1として示した図1および図3と同一であるの
で説明は省略する。8は入力画像を電子的に拡大する電
子ズーム回路、9は顔判定回路206および人***置判
定回路207の判定結果から電子ズーム回路8の拡大率
や拡大位置を制御する電子ズーム制御回路、10は電子
ズーム回路8からのディジタル拡大画像をアナログ信号
に変換するD/A変換器、11はカメラ部1からの画像
信号とD/A変換器10からの画像を選択する切換スイ
ッチ、7は切換スイッチ11選択した画像を出力するモ
ニタである。また、図7に示すようにモニタ7は車内前
部座席前方に設置する。
装置の構成を示すブロック図である。図において、1〜
3、201〜207、4FR、4FL、4RR、4RL
は実施例1として示した図1および図3と同一であるの
で説明は省略する。8は入力画像を電子的に拡大する電
子ズーム回路、9は顔判定回路206および人***置判
定回路207の判定結果から電子ズーム回路8の拡大率
や拡大位置を制御する電子ズーム制御回路、10は電子
ズーム回路8からのディジタル拡大画像をアナログ信号
に変換するD/A変換器、11はカメラ部1からの画像
信号とD/A変換器10からの画像を選択する切換スイ
ッチ、7は切換スイッチ11選択した画像を出力するモ
ニタである。また、図7に示すようにモニタ7は車内前
部座席前方に設置する。
【0036】次に、動作について説明する。まずカメラ
部1は図7に示すように車内の前部中央上方に配置する
ことにより、前部座席および後部座席に着座した人に対
して正面から上半身の大部分を撮像できる。そしてカメ
ラ部1で撮像した車内の画像は電気信号に変換され、A
/D変換器201でディジタル画像信号となって電子ズ
ーム回路8に入力される。
部1は図7に示すように車内の前部中央上方に配置する
ことにより、前部座席および後部座席に着座した人に対
して正面から上半身の大部分を撮像できる。そしてカメ
ラ部1で撮像した車内の画像は電気信号に変換され、A
/D変換器201でディジタル画像信号となって電子ズ
ーム回路8に入力される。
【0037】また、A/D変換器201の出力信号は肌
色抽出回路202、雑音除去回路203、ラベリング回
路204、特徴量算出回路205、顔判定回路206で
各々処理されて、顔判定回路206では顔を判定して、
顔画像として抽出された領域の重心位置Gi と面積Ai
を出力する。重心位置Gi は人***置判定回路207と
電子ズーム制御回路9に入力し、面積Ai は電子ズーム
制御回路9に入力する。
色抽出回路202、雑音除去回路203、ラベリング回
路204、特徴量算出回路205、顔判定回路206で
各々処理されて、顔判定回路206では顔を判定して、
顔画像として抽出された領域の重心位置Gi と面積Ai
を出力する。重心位置Gi は人***置判定回路207と
電子ズーム制御回路9に入力し、面積Ai は電子ズーム
制御回路9に入力する。
【0038】人***置判定回路207は、重心位置Gi
からその人物がどこの座席に座っているのかを判定し、
人***置の情報をオーディオ制御回路3および電子ズー
ム制御回路9に出力する。
からその人物がどこの座席に座っているのかを判定し、
人***置の情報をオーディオ制御回路3および電子ズー
ム制御回路9に出力する。
【0039】電子ズーム制御回路9では顔判定回路20
6および人***置判定回路207から顔として抽出され
た領域の重心位置Gi 、面積Ai と人***置情報を受け
取り、人***置が後部座席である場合に顔画像に対して
拡大するように電子ズーム回路8を制御する。
6および人***置判定回路207から顔として抽出され
た領域の重心位置Gi 、面積Ai と人***置情報を受け
取り、人***置が後部座席である場合に顔画像に対して
拡大するように電子ズーム回路8を制御する。
【0040】ここで、電子ズーム制御回路9の動作につ
いて図8を用いて説明する。まず、801に示すように
後席に子供が着座している車内の画像が得られたとす
る。顔判定回路206では、801の画像より802で
示す部分を顔として認識し、その大きさと位置を求め
る。顔の大きさと位置の情報を得た電子ズーム制御回路
9では、顔の領域802の情報をもとにバストショット
の画像を得るために803の領域を電子ズーム回路9に
より拡大し、バストショットの画像804を得る。ここ
で、顔の大きさと位置の情報は常に人体検出回路2から
得ており、あらかじめ与えられているバストショットの
時の顔の大きさと位置の情報に近くなるように制御を行
っている。以上まとめると、画像801における顔の領
域802の情報をもとに、電子ズームにより領域803
を拡大して、バストショットの画像804を得ている。
いて図8を用いて説明する。まず、801に示すように
後席に子供が着座している車内の画像が得られたとす
る。顔判定回路206では、801の画像より802で
示す部分を顔として認識し、その大きさと位置を求め
る。顔の大きさと位置の情報を得た電子ズーム制御回路
9では、顔の領域802の情報をもとにバストショット
の画像を得るために803の領域を電子ズーム回路9に
より拡大し、バストショットの画像804を得る。ここ
で、顔の大きさと位置の情報は常に人体検出回路2から
得ており、あらかじめ与えられているバストショットの
時の顔の大きさと位置の情報に近くなるように制御を行
っている。以上まとめると、画像801における顔の領
域802の情報をもとに、電子ズームにより領域803
を拡大して、バストショットの画像804を得ている。
【0041】このようにして、得られたバストショット
の画像は、D/A変換器10でアナログ信号に変換して
切り換えスイッチ11に入力する。切り換えスイッチ1
1のもう一方の入力には、カメラ部1の出力信号を入力
しており、この切り換えスイッチ11を切り換えること
で、入力画像そのままか、後部座席の人物のバストショ
ットを選択することができる。
の画像は、D/A変換器10でアナログ信号に変換して
切り換えスイッチ11に入力する。切り換えスイッチ1
1のもう一方の入力には、カメラ部1の出力信号を入力
しており、この切り換えスイッチ11を切り換えること
で、入力画像そのままか、後部座席の人物のバストショ
ットを選択することができる。
【0042】切り換えスイッチ11の出力信号はモニタ
7に入力して車内の撮影画像を表示する。モニタ7は図
7に示すように、前部座席の前方に設置しているので、
前部座席に着座した人がモニタ7の画像を視認して、切
り換えスイッチ11の切り換えも自由に選択すること
で、後部座席の子供や幼児の動作の監視を行ったり、後
部座席の乗員とのコミニュケーションを十分にはかれる
ようになる。
7に入力して車内の撮影画像を表示する。モニタ7は図
7に示すように、前部座席の前方に設置しているので、
前部座席に着座した人がモニタ7の画像を視認して、切
り換えスイッチ11の切り換えも自由に選択すること
で、後部座席の子供や幼児の動作の監視を行ったり、後
部座席の乗員とのコミニュケーションを十分にはかれる
ようになる。
【0043】一方、オーディオ制御回路3は、人体検出
部2より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席6FR、6FLだけに着座している場合であれ
ば、後部スピーカ4RR、4RLの出力を大きくして、
前部座席6FR、6FLに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。
部2より得た人***置情報により、その人***置に最適
なモードの音場を生成するように制御する。例えば、前
部座席6FR、6FLだけに着座している場合であれ
ば、後部スピーカ4RR、4RLの出力を大きくして、
前部座席6FR、6FLに着座している乗員からみて前
後音量のバランスをとるといった制御を行う。
【0044】このように、カメラ部1と人体検出部2を
兼用して、人***置検出機能と後部座席検出機能を実現
することができる。
兼用して、人***置検出機能と後部座席検出機能を実現
することができる。
【0045】以上、この発明の実施例2について説明を
行なってきたが、この発明は上述した実施例2に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例2の他、カメラ部1と人体検出部2による人***
置情報を利用して、車内空調の吹き出し口の風向や風量
および温度切換等を制御して、最適の空調制御を行うこ
とも可能である。
行なってきたが、この発明は上述した実施例2に限定さ
れることなく、種々の変形が可能である。例えば、この
実施例2の他、カメラ部1と人体検出部2による人***
置情報を利用して、車内空調の吹き出し口の風向や風量
および温度切換等を制御して、最適の空調制御を行うこ
とも可能である。
【0046】また、人体検出回路2として顔画像領域を
検出する方法を用いたが、人体の領域が特定でき、その
位置と大きさを求められる方法であれば、その情報から
バストショットの画像を得ることができる。また、最終
的な構図としてはバストショットを想定しているが、こ
れに限られるものではなく、全身のショット、顔だけを
画面の左下に配置するなど人物に関する構図であれば、
どのようなものでもかまわない。また、これらの複数の
構図をあらかじめ設定しておき、ユーザーが選択して用
いるようにすることも可能である。
検出する方法を用いたが、人体の領域が特定でき、その
位置と大きさを求められる方法であれば、その情報から
バストショットの画像を得ることができる。また、最終
的な構図としてはバストショットを想定しているが、こ
れに限られるものではなく、全身のショット、顔だけを
画面の左下に配置するなど人物に関する構図であれば、
どのようなものでもかまわない。また、これらの複数の
構図をあらかじめ設定しておき、ユーザーが選択して用
いるようにすることも可能である。
【0047】
【発明の効果】上記のように、請求項1の発明は、撮像
手段による人体検出手段を設けたので、人体が動いてい
ても静止していても正確な人体検知が可能になる。
手段による人体検出手段を設けたので、人体が動いてい
ても静止していても正確な人体検知が可能になる。
【0048】また、請求項2の発明は、人体検出手段か
らの情報によって電子ズーム手段を制御して人体領域を
自動的に拡大した画像を、表示手段に表示することで、
拡大するために特別の操作が不要で、視認性を高めて後
部座席の監視ができる。
らの情報によって電子ズーム手段を制御して人体領域を
自動的に拡大した画像を、表示手段に表示することで、
拡大するために特別の操作が不要で、視認性を高めて後
部座席の監視ができる。
【0049】また、請求項3の発明は、肌色により顔領
域を検出することで静止人体を正確に検出することがで
きる。
域を検出することで静止人体を正確に検出することがで
きる。
【0050】また、請求項4の発明は、撮像手段を前部
中央上方に設置することにより、車内の広範囲での人体
検出が可能になるため検出精度を向上させることができ
る。
中央上方に設置することにより、車内の広範囲での人体
検出が可能になるため検出精度を向上させることができ
る。
【0051】また、請求項5の発明は、検出した人体お
よび人***置の情報に基づいて車載機器を制御するよう
にしたので搭乗人の乗車位置に関係なく容易に最適環境
を創り出すことができる。
よび人***置の情報に基づいて車載機器を制御するよう
にしたので搭乗人の乗車位置に関係なく容易に最適環境
を創り出すことができる。
【図面の簡単な説明】
【図1】 この発明の実施例1による車内の人体検出装
置の構成を示す概略ブロック図である。
置の構成を示す概略ブロック図である。
【図2】 実施例1による車内の人体検出装置の簡略化
した配置図である。
した配置図である。
【図3】 実施例1による車内の人体検出装置の人体検
出部の詳細を示すブロック図である。
出部の詳細を示すブロック図である。
【図4】 実施例1による車内の人体検出装置の肌色抽
出回路の抽出範囲を示す肌色範囲図である。
出回路の抽出範囲を示す肌色範囲図である。
【図5】 実施例1による車内の人体検出装置の変形例
を示すブロック図である。
を示すブロック図である。
【図6】 この発明の実施例2による車内の人体検出装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図7】 実施例2による車内の人体検出装置の簡略化
した配置図である。
した配置図である。
【図8】 実施例2による車内の人体検出装置の動作を
説明する図である。
説明する図である。
【図9】 従来の車載機器制御装置の構成を示す図であ
る。
る。
【図10】 従来の車載機器制御装置の構成を示す図で
ある。
ある。
【図11】 従来の車内の人体検出装置の構成を示す図
である。
である。
1 カメラ部、2 人体検出部、3 オーディオ機器制
御回路、7 モニタ、8 電子ズーム回路、9 電子ズ
ーム制御回路、202 肌色抽出回路、203雑音除去
回路、204 ラベリング回路、205 特徴量算出回
路、206顔判別回路、207 人体判別回路。
御回路、7 モニタ、8 電子ズーム回路、9 電子ズ
ーム制御回路、202 肌色抽出回路、203雑音除去
回路、204 ラベリング回路、205 特徴量算出回
路、206顔判別回路、207 人体判別回路。
Claims (5)
- 【請求項1】 車内を撮像してその光学像を電気信号に
変換する撮像手段と、前記撮像手段からの画像信号によ
り人体および人体の位置を検出する人体検出手段を備え
た車内の人体検出装置。 - 【請求項2】 車内を撮像してその光学像を電気信号に
変換する撮像手段と、前記撮像手段からの画像信号によ
り人体および人体の位置を検出する人体検出手段と、前
記画像信号を拡大処理する電子ズーム手段と、前記人体
検出手段からの人***置情報に基づいて前記電子ズーム
手段の制御を行う電子ズーム制御手段と、前記撮像手段
で撮像した画像と前記電子ズーム手段で拡大した画像を
選択的に切り換えて表示する表示手段とを備えたことを
特徴とする車内の人体検出装置。 - 【請求項3】 撮像手段からの画像信号により人***置
を検出する人体検出手段を、画像信号から肌色の領域を
抽出する肌色抽出手段と、前記肌色抽出手段で抽出した
肌色領域の小領域を除去し、穴埋めする雑音除去手段
と、前記雑音除去手段で得られる肌色領域に順番に番号
を付けるラベリング手段と、前記ラベリング手段でラベ
リングした領域の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段から得た特徴量からその領域が顔で
あるかどうかを判定する顔判定手段と、前記顔判定手段
で顔と判定した領域から人体の位置を判定する人***置
判定手段で構成したことを特徴とする請求項1または請
求項2記載の車内の人体検出装置。 - 【請求項4】 車内を撮像してその光学像を電気信号に
変換する撮像手段を車内の前部中央上方に設置すること
を特徴とする請求項1,請求項2,請求項3のいずれか
に記載の車内の人体検出装置。 - 【請求項5】 請求項1〜請求項4のいずれかに記載の
ものにおいて、人体検出手段の結果に基づいて所定の車
載機器の動作態様を設定する車載機器制御手段を設けた
ことを特徴とする車載機器制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12379394A JPH07329639A (ja) | 1994-06-06 | 1994-06-06 | 車内の人体検出装置および車載機器制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12379394A JPH07329639A (ja) | 1994-06-06 | 1994-06-06 | 車内の人体検出装置および車載機器制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07329639A true JPH07329639A (ja) | 1995-12-19 |
Family
ID=14869451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12379394A Pending JPH07329639A (ja) | 1994-06-06 | 1994-06-06 | 車内の人体検出装置および車載機器制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07329639A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
JP2002543503A (ja) * | 1999-04-23 | 2002-12-17 | シーメンス アクチエンゲゼルシヤフト | シーン内の物体の位置を求めるための方法および装置 |
JP2003092747A (ja) * | 2001-09-18 | 2003-03-28 | Fuji Photo Film Co Ltd | 監視装置 |
JP2003112580A (ja) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | 車載カメラ装置 |
JP2004056785A (ja) * | 2003-06-16 | 2004-02-19 | Hitachi Ltd | 車載用画像処理装置 |
JP2004067026A (ja) * | 2002-08-08 | 2004-03-04 | Mitsubishi Electric Corp | 車載用情報処理装置 |
JP2004338517A (ja) * | 2003-05-15 | 2004-12-02 | Toyota Motor Corp | 車両デバイス制御装置 |
US6965787B2 (en) | 2001-10-05 | 2005-11-15 | Matsushita Electric Industrial Co., Ltd. | Hands-free device |
JP2005348181A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 撮影装置及びその制御方法並びに制御用プログラム |
JP2006039299A (ja) * | 2004-07-28 | 2006-02-09 | Brother Ind Ltd | 音圧周波数特性調整装置、カラオケ装置及び情報通信システム |
JP2007326442A (ja) * | 2006-06-07 | 2007-12-20 | Nippon Cable Co Ltd | 循環式索道の閉鎖型搬器 |
JP2016088428A (ja) * | 2014-11-10 | 2016-05-23 | 株式会社デンソー | オートロックシステム |
JP2019096213A (ja) * | 2017-11-27 | 2019-06-20 | トヨタ自動車株式会社 | カーシェアリング料金の料金設定サーバ、料金設定方法および料金設定システム |
WO2019146043A1 (ja) * | 2018-01-25 | 2019-08-01 | 三菱電機株式会社 | 乗員検知装置、乗員検知システム及び乗員検知方法 |
JP2020098570A (ja) * | 2018-11-05 | 2020-06-25 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
-
1994
- 1994-06-06 JP JP12379394A patent/JPH07329639A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
JP2002543503A (ja) * | 1999-04-23 | 2002-12-17 | シーメンス アクチエンゲゼルシヤフト | シーン内の物体の位置を求めるための方法および装置 |
JP2003092747A (ja) * | 2001-09-18 | 2003-03-28 | Fuji Photo Film Co Ltd | 監視装置 |
JP2003112580A (ja) * | 2001-10-05 | 2003-04-15 | Alpine Electronics Inc | 車載カメラ装置 |
US6965787B2 (en) | 2001-10-05 | 2005-11-15 | Matsushita Electric Industrial Co., Ltd. | Hands-free device |
JP2004067026A (ja) * | 2002-08-08 | 2004-03-04 | Mitsubishi Electric Corp | 車載用情報処理装置 |
JP2004338517A (ja) * | 2003-05-15 | 2004-12-02 | Toyota Motor Corp | 車両デバイス制御装置 |
JP2004056785A (ja) * | 2003-06-16 | 2004-02-19 | Hitachi Ltd | 車載用画像処理装置 |
JP2005348181A (ja) * | 2004-06-03 | 2005-12-15 | Canon Inc | 撮影装置及びその制御方法並びに制御用プログラム |
JP2006039299A (ja) * | 2004-07-28 | 2006-02-09 | Brother Ind Ltd | 音圧周波数特性調整装置、カラオケ装置及び情報通信システム |
JP2007326442A (ja) * | 2006-06-07 | 2007-12-20 | Nippon Cable Co Ltd | 循環式索道の閉鎖型搬器 |
JP2016088428A (ja) * | 2014-11-10 | 2016-05-23 | 株式会社デンソー | オートロックシステム |
JP2019096213A (ja) * | 2017-11-27 | 2019-06-20 | トヨタ自動車株式会社 | カーシェアリング料金の料金設定サーバ、料金設定方法および料金設定システム |
WO2019146043A1 (ja) * | 2018-01-25 | 2019-08-01 | 三菱電機株式会社 | 乗員検知装置、乗員検知システム及び乗員検知方法 |
JPWO2019146043A1 (ja) * | 2018-01-25 | 2020-04-16 | 三菱電機株式会社 | 乗員検知装置、乗員検知システム及び乗員検知方法 |
JP2020098570A (ja) * | 2018-11-05 | 2020-06-25 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07329639A (ja) | 車内の人体検出装置および車載機器制御装置 | |
US20230418448A1 (en) | Automatically Adjusting Media Display in a Personal Display System | |
JP7159870B2 (ja) | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム | |
JP6116898B2 (ja) | ルームミラー画像制御装置及び方法 | |
JP5414907B2 (ja) | Avシステム | |
CN102193730B (zh) | 图像处理设备,图像处理方法和程序 | |
WO2001058164A1 (fr) | Ecran de proximite pour vehicule automobile | |
JP6275363B1 (ja) | エレベータ表示システム | |
JP3943367B2 (ja) | 車両用乗員頭部検出装置 | |
JPH10259943A (ja) | 空気調和機の制御装置 | |
JP6810589B2 (ja) | 車載用投影装置 | |
CN114651451A (zh) | 头部跟踪*** | |
JP2008051463A (ja) | 自動空調制御システム | |
JP2008236397A (ja) | 音響調整システム | |
JP2020172218A (ja) | 空調制御システム及び空調制御方法 | |
JPH1035320A (ja) | 車両状況認識方法、車載用画像処理装置および記憶媒体 | |
WO2006018951A1 (ja) | 画像生成方法および画像生成装置 | |
JP7484722B2 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
WO2019049256A1 (ja) | 携帯情報端末および車両設備制御システム | |
JP2021113012A (ja) | 表示装置 | |
JP2019009598A (ja) | 表示制御装置、表示制御方法、及び、表示制御プログラム | |
JP3774448B2 (ja) | 車載用画像処理装置 | |
JP2020175790A (ja) | オーディオ制御システム及びオーディオ制御方法 | |
EP4129766A1 (en) | Sound data processing device and sound data processing method | |
JP7095593B2 (ja) | 興味推定システム |