JPS63311105A - 車両乗員の乗車位置認識装置 - Google Patents
車両乗員の乗車位置認識装置Info
- Publication number
- JPS63311105A JPS63311105A JP14740687A JP14740687A JPS63311105A JP S63311105 A JPS63311105 A JP S63311105A JP 14740687 A JP14740687 A JP 14740687A JP 14740687 A JP14740687 A JP 14740687A JP S63311105 A JPS63311105 A JP S63311105A
- Authority
- JP
- Japan
- Prior art keywords
- seat
- image
- predetermined region
- driver
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 17
- 210000003128 head Anatomy 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
楚肌Ω旦釣
[産業上の利用分野]
本発明は、自動車の運転者等の車内での位置を検出し、
各種制御に利用する車両乗員の乗車位置認識装置に関す
る。
各種制御に利用する車両乗員の乗車位置認識装置に関す
る。
[従来の技術]
従来、自動車等の運転者の位置、特に目の位置を認識し
、バックミラー、ヘッドレスト、空調空気の吹き出し口
あるいはステアリング等の位置や角度を自動調整すると
か、運転者の居眠りを検知して運転者に警報を与えると
いった装置が提案されている(特開昭60−15290
4号等)。
、バックミラー、ヘッドレスト、空調空気の吹き出し口
あるいはステアリング等の位置や角度を自動調整すると
か、運転者の居眠りを検知して運転者に警報を与えると
いった装置が提案されている(特開昭60−15290
4号等)。
これらの装置による位置の正確な認識の一つの手段とし
て、撮像手段にて比較的広く捉えた画像の内の一部を用
いて、鼻の位置等を検出しようとする装置がある。画像
の一部を用いるのは撮像手段が固定式で任意の角度では
撮像が出来ないため、画像を広く捉えておき、その内の
一部を任意の範囲で捉えることにより、撮像手段の撮像
角度を変更しているのと同様な効果を持たせるためであ
り、更に、特定の部位に限って検出効率を向上させ、誤
認を防止するためである。この特定部位、例えは目や鼻
は、運転者の位置が決まればほぼ決定する。
て、撮像手段にて比較的広く捉えた画像の内の一部を用
いて、鼻の位置等を検出しようとする装置がある。画像
の一部を用いるのは撮像手段が固定式で任意の角度では
撮像が出来ないため、画像を広く捉えておき、その内の
一部を任意の範囲で捉えることにより、撮像手段の撮像
角度を変更しているのと同様な効果を持たせるためであ
り、更に、特定の部位に限って検出効率を向上させ、誤
認を防止するためである。この特定部位、例えは目や鼻
は、運転者の位置が決まればほぼ決定する。
[発明が解決しようとする問題点コ
ところが、運転者が存在する座席が移動した場合には予
め定めた特定部位から外れてしまい。特定部位が検出で
きなかったり、誤検出する恐れが高くなる。
め定めた特定部位から外れてしまい。特定部位が検出で
きなかったり、誤検出する恐れが高くなる。
発明の構成
そこで、本発明は、上記問題点を解決することを目的と
し、次のような構成を採用した。
し、次のような構成を採用した。
[問題点を解決するための手段]
即ち、本発明の要旨とするところは、
車両乗員M1の乗車状態を撮像し、撮像された画像デー
タM2の内から所定領域M3を選択し、この所定領域M
3から上記車両乗員M1の所定部位を検出する車両乗員
の乗車位置認識装置におい一つ− て、 更に、 車両乗員M1の座席状態検出手段M4と、この座席状態
検出手段M4の検出結果に応じて、上記選択される所定
領域M3を変更させる所定領域変更手段M5とを備えた
ことを特徴とする車両乗員の乗車位置認識装置にある。
タM2の内から所定領域M3を選択し、この所定領域M
3から上記車両乗員M1の所定部位を検出する車両乗員
の乗車位置認識装置におい一つ− て、 更に、 車両乗員M1の座席状態検出手段M4と、この座席状態
検出手段M4の検出結果に応じて、上記選択される所定
領域M3を変更させる所定領域変更手段M5とを備えた
ことを特徴とする車両乗員の乗車位置認識装置にある。
[作用コ
車両乗員の乗車位置認識装置は車両乗員M1の像を捉え
画像データM2を得ている。更に本認識装置は画像デー
タ量2内の所定領域M3のデータから、通常その所定領
域M3に存在する車両乗員M1の所定部位を検出する。
画像データM2を得ている。更に本認識装置は画像デー
タ量2内の所定領域M3のデータから、通常その所定領
域M3に存在する車両乗員M1の所定部位を検出する。
この所定領域M3の画像データ量2内での位置は、座席
状態検出手段M4により検出された座席の位置や姿勢か
ら、車両乗員M1の所定部位の位置を推定して、変更し
設定される。
状態検出手段M4により検出された座席の位置や姿勢か
ら、車両乗員M1の所定部位の位置を推定して、変更し
設定される。
[実施例コ
次に、本発明の一実施例を図面と共に説明する。
本発明はこれらに限られるものではなく、その要旨を逸
脱しない範囲の種々の態様のものが含まれる。
脱しない範囲の種々の態様のものが含まれる。
第2図は本実施例の乗車位置認識装置が搭載された車両
のインストルメントパネル部分及びその周辺を表す斜視
図であって、運転者1が運転席2に着座し、インストル
メントパネル3に対面して自動車を運転しているところ
を表している。インストルメントパネル3の運転席2に
対する左斜め前方、即ち助手席前方には、運転者1の上
体を左方向から照射する発光部5と、運転者1の上体を
左方向から2次元画像として捉える画像検出部6が設け
られている。
のインストルメントパネル部分及びその周辺を表す斜視
図であって、運転者1が運転席2に着座し、インストル
メントパネル3に対面して自動車を運転しているところ
を表している。インストルメントパネル3の運転席2に
対する左斜め前方、即ち助手席前方には、運転者1の上
体を左方向から照射する発光部5と、運転者1の上体を
左方向から2次元画像として捉える画像検出部6が設け
られている。
ここで発光部5は照射時に運転者1にまぶしさを感じさ
せることのないよう赤外光を発光する赤外ストロボが用
いられ、第3図に示すごとく、赤外発光体5aと、赤外
発光体5aにて発光された赤外光を広く運転者に照射す
るためのレンズ5bと、赤外光を透過し、可視光を通さ
ない赤外フィルタ5cと、これら赤外発光体5a、レン
ズ5b及び赤外フィルタ5cを格納し、インストルメン
ドパネル3の所定の位置に取り付けるためのケース5d
とから構成されている。また画像検出部6は第4図に示
すごとく、赤外光を透過する赤外フィルタ6aと、運転
者1の上体画像を後述の固体撮像素子6eの撮像面に結
像するための焦点距離が例えは12.5mmのレンズ6
bと、光量を調整するための液晶絞り素子6Cと、液晶
絞り素子6cの紋りを自動調整するために用いられ、液
晶絞り素子6cを透過する光量を検出するフォトトラン
ジスタ6dと、上記赤外フィルタ6a、レンズ6b及び
液晶絞り素子6Cを透過して結像された撮像面上の映像
をスイッチング走査で電気信号として取り出す、フォト
センサとスイッチング回路とからなるMOS型の固体撮
像素子6eと、上記各部を格納し、インストルメントパ
ネル3に取り付けるためのケース6fとから構成される
固体カメラが用いられている。
せることのないよう赤外光を発光する赤外ストロボが用
いられ、第3図に示すごとく、赤外発光体5aと、赤外
発光体5aにて発光された赤外光を広く運転者に照射す
るためのレンズ5bと、赤外光を透過し、可視光を通さ
ない赤外フィルタ5cと、これら赤外発光体5a、レン
ズ5b及び赤外フィルタ5cを格納し、インストルメン
ドパネル3の所定の位置に取り付けるためのケース5d
とから構成されている。また画像検出部6は第4図に示
すごとく、赤外光を透過する赤外フィルタ6aと、運転
者1の上体画像を後述の固体撮像素子6eの撮像面に結
像するための焦点距離が例えは12.5mmのレンズ6
bと、光量を調整するための液晶絞り素子6Cと、液晶
絞り素子6cの紋りを自動調整するために用いられ、液
晶絞り素子6cを透過する光量を検出するフォトトラン
ジスタ6dと、上記赤外フィルタ6a、レンズ6b及び
液晶絞り素子6Cを透過して結像された撮像面上の映像
をスイッチング走査で電気信号として取り出す、フォト
センサとスイッチング回路とからなるMOS型の固体撮
像素子6eと、上記各部を格納し、インストルメントパ
ネル3に取り付けるためのケース6fとから構成される
固体カメラが用いられている。
次に本実施例の乗車位置認識装置の全体構成を第5図に
示すブロック図に基づき説明する。
示すブロック図に基づき説明する。
図に示すごとく、本認識装置は上記発光部5及び画像検
出部6の他に、画像検出部6にて捉えられた運転者1の
画像を処理し、運転者10乗車位置(本実施例において
は最終的には目の位置)を認識する画像処理部8を備え
ている。そしてこの画像処理部8は、上記画像検出部6
を制御すると共に、画像検出部6にて得られた画像信号
をデジタル信号に変換し、その変換されたデジタル信号
を画像データとして一旦記゛憶することのできる画像人
力部16と、上記発光部5を発光させるための照射信号
を出力する照射信号出力部12と、鼻検出領域を決定す
るためのデータを人力しそのアナログ値をデジタル値に
変換する人力処理部13と、画像人力部10にてA/D
変換され記憶された画像データの内の鼻検出領域から運
転者1の顔面部における所定の特異点位置(本実施例で
は鼻の位置)を検出し、この特異点位置から運転者1の
目の位置を認識するといった一連の目の位置認識処理を
実行するセントラルブロセッシングユニット(CPU)
14と、CPU14にて目の位置認識処理を実行するた
めの制御プログラムやデータが予め記憶されたリードオ
ンリメモリ(ROM)16と、演算処理実行のために用
いられるデータ等が一時的に読み書きされるランダムア
クセスメモリ(RAM)1Bと、上記各部を結び画像信
号や制御信号の通路とされるパスライン20と、上記各
部に電源を供給する電源回路22とから構成されている
。また上記画像人力部10は、画像検出部6に垂直同期
信号及び水平同期信号を発生する同期信号発生回路10
aと、画像検出部6により得られた画像信号を、例えば
1フレーム当りに横256、縦240の画素の明度を表
すデジタル信号からなる画像データに変換するA/D変
換回路10bと、その変換された画像データを記・憶す
ることの出きる画像データ記憶回路10cとから構成さ
れている。
出部6の他に、画像検出部6にて捉えられた運転者1の
画像を処理し、運転者10乗車位置(本実施例において
は最終的には目の位置)を認識する画像処理部8を備え
ている。そしてこの画像処理部8は、上記画像検出部6
を制御すると共に、画像検出部6にて得られた画像信号
をデジタル信号に変換し、その変換されたデジタル信号
を画像データとして一旦記゛憶することのできる画像人
力部16と、上記発光部5を発光させるための照射信号
を出力する照射信号出力部12と、鼻検出領域を決定す
るためのデータを人力しそのアナログ値をデジタル値に
変換する人力処理部13と、画像人力部10にてA/D
変換され記憶された画像データの内の鼻検出領域から運
転者1の顔面部における所定の特異点位置(本実施例で
は鼻の位置)を検出し、この特異点位置から運転者1の
目の位置を認識するといった一連の目の位置認識処理を
実行するセントラルブロセッシングユニット(CPU)
14と、CPU14にて目の位置認識処理を実行するた
めの制御プログラムやデータが予め記憶されたリードオ
ンリメモリ(ROM)16と、演算処理実行のために用
いられるデータ等が一時的に読み書きされるランダムア
クセスメモリ(RAM)1Bと、上記各部を結び画像信
号や制御信号の通路とされるパスライン20と、上記各
部に電源を供給する電源回路22とから構成されている
。また上記画像人力部10は、画像検出部6に垂直同期
信号及び水平同期信号を発生する同期信号発生回路10
aと、画像検出部6により得られた画像信号を、例えば
1フレーム当りに横256、縦240の画素の明度を表
すデジタル信号からなる画像データに変換するA/D変
換回路10bと、その変換された画像データを記・憶す
ることの出きる画像データ記憶回路10cとから構成さ
れている。
また運転席2は第6図、第9図及び第12図のごとく、
スイッチ操作にて公知の駆動装置により変形・移動が可
能である。即ち、第6図に示すごとく、運転席2の着座
部2aは水平面から所定角度(ここでは5.9°)の固
定ステー31上を移動することにより運転席2の主に前
後方向の位置が調整可能に構成されている。また第9図
に示すごとく、運転席2の背もたれ2bは着座部2aと
は所定角度(ここでは85°)から後ろへ所定量回転す
ることにより背もたれ角度が調整可能に構成されている
。また更に第12図に示すごとく、着座部2aは所定回
転中心P1にて回転移動することにより運転席2の主に
上下方向の位置が調整可能に構成されている。
スイッチ操作にて公知の駆動装置により変形・移動が可
能である。即ち、第6図に示すごとく、運転席2の着座
部2aは水平面から所定角度(ここでは5.9°)の固
定ステー31上を移動することにより運転席2の主に前
後方向の位置が調整可能に構成されている。また第9図
に示すごとく、運転席2の背もたれ2bは着座部2aと
は所定角度(ここでは85°)から後ろへ所定量回転す
ることにより背もたれ角度が調整可能に構成されている
。また更に第12図に示すごとく、着座部2aは所定回
転中心P1にて回転移動することにより運転席2の主に
上下方向の位置が調整可能に構成されている。
上記運転席2の移動量は、第7図、第10図及び第13
図に示す構成の検出器により検出される。
図に示す構成の検出器により検出される。
まず運転rfJ2の前後方向の移動量Qは第7図に示す
ラック33とピニオン35とにより検出される。
ラック33とピニオン35とにより検出される。
ラック33は上記着座部2aに固定され、ピニオン35
はステー31に固定されているため、運転席2の移動に
よりピニオン35が回転して、連動する回転型可変抵抗
器37の抵抗1直が変化する。
はステー31に固定されているため、運転席2の移動に
よりピニオン35が回転して、連動する回転型可変抵抗
器37の抵抗1直が変化する。
また背もたれ部2bの倒れ角度θrは第10図に示す背
もたれ部2bに連動する円盤41のシャフト43がアー
ム45を押し、アーム45が設けられている回転型可変
抵抗器47の回転軸49を回転させることにより検出さ
れる。また運転席2の上下方向の移動量θeは第13図
に示す運転席2のステー51に対してステー51と運転
席2の着座部2aとの間をつなぐアーム53が軸Cを回
転中心として回転しシャフト55を介してアーム57を
軸Cを介して回転させ、更にシャフト59を介して回転
型可変抵抗器61が回転することにより検出される。
もたれ部2bに連動する円盤41のシャフト43がアー
ム45を押し、アーム45が設けられている回転型可変
抵抗器47の回転軸49を回転させることにより検出さ
れる。また運転席2の上下方向の移動量θeは第13図
に示す運転席2のステー51に対してステー51と運転
席2の着座部2aとの間をつなぐアーム53が軸Cを回
転中心として回転しシャフト55を介してアーム57を
軸Cを介して回転させ、更にシャフト59を介して回転
型可変抵抗器61が回転することにより検出される。
上記回転型可変抵抗器37,47.61は各々第15図
に示すごとくにして、所定電圧Vinを可変抵抗器37
,47.61にて調節して取り出すことによりその電圧
値を移動量として検出している。
に示すごとくにして、所定電圧Vinを可変抵抗器37
,47.61にて調節して取り出すことによりその電圧
値を移動量として検出している。
上記各移動量Q、θr、θeと可変抵抗器37゜47.
61からの出力DQ、Dr 、Deとの関係は第8図、
第11図または第14図に示すごとくである。
61からの出力DQ、Dr 、Deとの関係は第8図、
第11図または第14図に示すごとくである。
次に上記画像処理部8にて実行される目の位置認識処理
の動作乞こついて、第16図(イ)に示すフローチャー
トに沿って説明する。
の動作乞こついて、第16図(イ)に示すフローチャー
トに沿って説明する。
尚、この処理は一定周期の信号やスイッチからの信号等
によって運転者1の目の位置認識の要求が入力された場
合に実行されるものであり、上述したごとく本実施例に
おいては運転者1の乗車位置として目の位置が認識され
ることとなる。処理が開始されると、まずステップ11
0が実行され、画像検出部6において、発光部5を発光
させた際に得られる第17図に示すごとき照射画像71
を画像人力部10にてデジタル信号からなる照射画像デ
ータGとして記憶する。
によって運転者1の目の位置認識の要求が入力された場
合に実行されるものであり、上述したごとく本実施例に
おいては運転者1の乗車位置として目の位置が認識され
ることとなる。処理が開始されると、まずステップ11
0が実行され、画像検出部6において、発光部5を発光
させた際に得られる第17図に示すごとき照射画像71
を画像人力部10にてデジタル信号からなる照射画像デ
ータGとして記憶する。
ここで画像入力部10は、同期信号発生回路10a、A
/D変換回路10b及び画像データ記憶回路10cを備
えており、同期信号発生回路1゜aより出力される垂直
同期信号及び水平同期信号に従い画像検出部6を制御し
、画像検出部6から出力される画像信号を順次取り込み
、A/D変換回路10bを介してデジタル信号に変換さ
れた画像信号を、画像データGとして記憶回路10cに
記憶することが出来るので、本画像データ読み込み処理
としては、画像人力部10を動作させ、同期信号発生回
路10aから出力される垂直同期信号と同期して発光部
5を発光させるだけで容易に実行することが出来る。つ
まり第18図に示すごとく、まず垂直同期信号の立ち上
がり時期toより所定時間ΔT経過後発光部5に照射信
号Sを出力することによって垂直帰線時期Δt1と一致
して発光部5を発光させ、その発光によって得られる第
17図に示すごとき照射画像を画像データGとして読み
込む。
/D変換回路10b及び画像データ記憶回路10cを備
えており、同期信号発生回路1゜aより出力される垂直
同期信号及び水平同期信号に従い画像検出部6を制御し
、画像検出部6から出力される画像信号を順次取り込み
、A/D変換回路10bを介してデジタル信号に変換さ
れた画像信号を、画像データGとして記憶回路10cに
記憶することが出来るので、本画像データ読み込み処理
としては、画像人力部10を動作させ、同期信号発生回
路10aから出力される垂直同期信号と同期して発光部
5を発光させるだけで容易に実行することが出来る。つ
まり第18図に示すごとく、まず垂直同期信号の立ち上
がり時期toより所定時間ΔT経過後発光部5に照射信
号Sを出力することによって垂直帰線時期Δt1と一致
して発光部5を発光させ、その発光によって得られる第
17図に示すごとき照射画像を画像データGとして読み
込む。
上記画像入力部10にてA/D変換され記憶される画像
データGは、前述したように画像検出部6にて得られた
画像を横256、縦240に分割する画素の明度を表す
ものであり、第19図に示すごとく各画素毎にその明度
G (x、 y)が記・憶されている。
データGは、前述したように画像検出部6にて得られた
画像を横256、縦240に分割する画素の明度を表す
ものであり、第19図に示すごとく各画素毎にその明度
G (x、 y)が記・憶されている。
この様にステップ110にて発光部5、画像検出部6及
び画像人力部10が制御され、画像人力部10において
両夜データGが読み込まれ−ると続くステ・ンプ120
が実行され、運転者1の鼻の位置を検出するための所定
領域を画像データG内から決定する処理が第16図(ロ
)に示すフローチャートのごとくになされる。
び画像人力部10が制御され、画像人力部10において
両夜データGが読み込まれ−ると続くステ・ンプ120
が実行され、運転者1の鼻の位置を検出するための所定
領域を画像データG内から決定する処理が第16図(ロ
)に示すフローチャートのごとくになされる。
まずステップ121にて前述の3つの回転型可変抵抗器
37,47.61のアナログ電圧出力値V outが読
み込まれA/D変換される。
37,47.61のアナログ電圧出力値V outが読
み込まれA/D変換される。
次にステップ123にて上記出力値に基づいて、車室内
座標における運転者10頭部(運転I*2のヘッドレス
ト部分)座標を次のようにして決定する。
座標における運転者10頭部(運転I*2のヘッドレス
ト部分)座標を次のようにして決定する。
まず主に運転席2の前後方向の移動量を検出する回転型
可変抵抗器37の出力値DQと、車室後方への移動量S
Qx及び車室垂直方向への移動量SQyとの関係は、次
の(1)式のごとくである。
可変抵抗器37の出力値DQと、車室後方への移動量S
Qx及び車室垂直方向への移動量SQyとの関係は、次
の(1)式のごとくである。
次に主に運転席2の背もたれ2bの回転量を検出する回
転型可変抵抗器47の出力値Drと、車室後方への移動
量Srx及び車室垂直方向への移動量Sryとの関係は
、次の(2)式及び(3)式のごとくである。
転型可変抵抗器47の出力値Drと、車室後方への移動
量Srx及び車室垂直方向への移動量Sryとの関係は
、次の(2)式及び(3)式のごとくである。
・・・・・・(2)
=0.032245(Dr −1020) =(3
)主に運転r162の上下方向の移動量を検出する回転
型可変抵抗器61の出力fin D eと、車室後方へ
の移動量Sex及び車室垂直方向への移動量Seyとの
関係は、次の(6)式及び(7)式のごとくである。
)主に運転r162の上下方向の移動量を検出する回転
型可変抵抗器61の出力fin D eと、車室後方へ
の移動量Sex及び車室垂直方向への移動量Seyとの
関係は、次の(6)式及び(7)式のごとくである。
・・・・・・(6)
De = (De −1020)
=0.26471 (De−1020) −
(7)従って、上記3つの回転型可変抵抗器37,47
.61の出力が最小の場合の運転者頭部の原位置の座標
を(SxO,5yO)とすれは、移動後の座標(Sx、
Sy)は次の式(8)及び式(9)で与えられる。
=0.26471 (De−1020) −
(7)従って、上記3つの回転型可変抵抗器37,47
.61の出力が最小の場合の運転者頭部の原位置の座標
を(SxO,5yO)とすれは、移動後の座標(Sx、
Sy)は次の式(8)及び式(9)で与えられる。
Sx =S Qx +Srx+Sex+SxO−・・・
・・(8)SV =S Qy +Sry+5ey−)−
5yO−・−(9)次にステップ124にて、頭(運転
席2のヘラドレスト)の位置と鼻の位置との個人差を表
す第24図に示す関係に基づいて、上記頭部の車室内座
標(Sx 、 Sy )から鼻の予測位置である車室内
座標(h x、 h y)を求める。第24図に示す
ように鼻の位置は個人差から、ある幅をもって検出され
ることになる。即ち、算出されたX座標のStに対して
、2つの境界(1mht1. ht2が定まる。
・・(8)SV =S Qy +Sry+5ey−)−
5yO−・−(9)次にステップ124にて、頭(運転
席2のヘラドレスト)の位置と鼻の位置との個人差を表
す第24図に示す関係に基づいて、上記頭部の車室内座
標(Sx 、 Sy )から鼻の予測位置である車室内
座標(h x、 h y)を求める。第24図に示す
ように鼻の位置は個人差から、ある幅をもって検出され
ることになる。即ち、算出されたX座標のStに対して
、2つの境界(1mht1. ht2が定まる。
X座標も同様である。
次にステップ125にて上記車室内座標で表された運転
者1の鼻の2つの車室内座標(hx 、 hy)を画像
上の座標(XS、 YS)に変換する。車室内座標(h
x 、 hy )と画像上の座標(XS、 YS)との
関係は実測に基づき最小二乗法により次式(10)及び
式(11)のごとくに求められるので、この関係から画
像上の鼻の座標(XS、 YS)を求める。
者1の鼻の2つの車室内座標(hx 、 hy)を画像
上の座標(XS、 YS)に変換する。車室内座標(h
x 、 hy )と画像上の座標(XS、 YS)との
関係は実測に基づき最小二乗法により次式(10)及び
式(11)のごとくに求められるので、この関係から画
像上の鼻の座標(XS、 YS)を求める。
X5=alやhx+b1◆hy+c1 =−(1
0)YS= a2争hx+ b2争hy+ c2
−・−(11)ここでal、a2.bl、b2
は所定の係数であり、cl、c2は所定の定数である。
0)YS= a2争hx+ b2争hy+ c2
−・−(11)ここでal、a2.bl、b2
は所定の係数であり、cl、c2は所定の定数である。
こうして運転者1の鼻の予測領域の2つの境界座標が求
められたことから、次にステップ127にて、第17図
に示すように、その座標を結ぶ線を対角線とする矩形の
鼻存在領域71aが決定される。鼻存在領域71aは、
測定誤差を考慮して上記より所定量広い矩形領域として
もよい。
められたことから、次にステップ127にて、第17図
に示すように、その座標を結ぶ線を対角線とする矩形の
鼻存在領域71aが決定される。鼻存在領域71aは、
測定誤差を考慮して上記より所定量広い矩形領域として
もよい。
上記ステップ124とステップ125との処理は逆の順
番でもよい。即ち、画像座標上の頭部予測位置を先に決
定し、その座標から、画像座標系における鼻の位置の個
人差に基づき、鼻存在領域を求めてもよい。
番でもよい。即ち、画像座標上の頭部予測位置を先に決
定し、その座標から、画像座標系における鼻の位置の個
人差に基づき、鼻存在領域を求めてもよい。
こうして処理が第16図(イ)のステップ130に至り
、上記鼻存在領域71aの輝点検索処理がなされる。即
ち、この領域のもっとも左側に存在する一定レベル以上
の明度を有する画素を検索し、その位置G(x、y)を
記憶するといった輝点検索処理が行われる。この処理は
次のステップ140にて運転者1の鼻の位置を検出する
際に、鼻を捜す範囲を限定するための処理であって、求
められた画素の位置が鼻を捜すための起点とされる。尚
、本輝点検索処理としては、第17図の鼻存在領域71
aにおける左上端の画素を出発点として、上下方向に順
次検索して行き、最初の一定レベル以上の明度を有する
画素の位置を記憶することによって実行できる。
、上記鼻存在領域71aの輝点検索処理がなされる。即
ち、この領域のもっとも左側に存在する一定レベル以上
の明度を有する画素を検索し、その位置G(x、y)を
記憶するといった輝点検索処理が行われる。この処理は
次のステップ140にて運転者1の鼻の位置を検出する
際に、鼻を捜す範囲を限定するための処理であって、求
められた画素の位置が鼻を捜すための起点とされる。尚
、本輝点検索処理としては、第17図の鼻存在領域71
aにおける左上端の画素を出発点として、上下方向に順
次検索して行き、最初の一定レベル以上の明度を有する
画素の位置を記憶することによって実行できる。
この様に輝点検索が実行され、鼻存在領域の最も左側に
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ140にて、
この位置を起点として鼻を捜し、鼻の位置を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第20
図に示すごとき鼻の標準パターンと画像データとの相関
の度合を調べ、相関の最大となる画像の位置を以て鼻が
存在する位置であるとみなし、鼻の位置を決定するもの
である。
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ140にて、
この位置を起点として鼻を捜し、鼻の位置を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第20
図に示すごとき鼻の標準パターンと画像データとの相関
の度合を調べ、相関の最大となる画像の位置を以て鼻が
存在する位置であるとみなし、鼻の位置を決定するもの
である。
つまり、上記ステップ130にて求められた画素の位置
G (x、 y)を中心に第21図に示すごとく上下
、左右に各々5画素分、計121個の画素を、各々第2
0図に示した鼻の標準パターンにおける中心位置m(0
,0)として画像データと標準パターンとの相関値を計
算し、その値が最も大きくなった画素位置を鼻梁(鼻の
頭)の位置G(r+x、 ny)として認識するのであ
る。ここで、第20図の鼻の標準パターンにおける中心
位置m(0,0)は鼻梁に相当する部分として予め設定
されており、また相関値としては次式 %式%() より求めることが出来る。そして上記i及びjの値とし
ては鼻の標準パターンが中心位置m (0゜0)に対し
て上に16、下に7、左に1、右に6の広がりを持つデ
ータとして構成されていることから、1に(−1)から
(+6)、Jに(−16)から(+7)の間の整数値を
用いれはよい。
G (x、 y)を中心に第21図に示すごとく上下
、左右に各々5画素分、計121個の画素を、各々第2
0図に示した鼻の標準パターンにおける中心位置m(0
,0)として画像データと標準パターンとの相関値を計
算し、その値が最も大きくなった画素位置を鼻梁(鼻の
頭)の位置G(r+x、 ny)として認識するのであ
る。ここで、第20図の鼻の標準パターンにおける中心
位置m(0,0)は鼻梁に相当する部分として予め設定
されており、また相関値としては次式 %式%() より求めることが出来る。そして上記i及びjの値とし
ては鼻の標準パターンが中心位置m (0゜0)に対し
て上に16、下に7、左に1、右に6の広がりを持つデ
ータとして構成されていることから、1に(−1)から
(+6)、Jに(−16)から(+7)の間の整数値を
用いれはよい。
また相関値が、鼻の標準パターンにおける中心位置m(
0,0)に対して、第21図に示すごとき画像データ上
の画素G (x、 y)を中心とする上下、左右に各
々5個、計121個の画素を当てはめ、計算されること
から、上式におけるX、 Yの値としては、各々、X
がX±5、Yがy±5の間の整数値となり、結局X及び
Yの組合せで最大121種類の相関値が算出され、その
最大値となる画像データ上の画素G (X、 Y)が
鼻の位置G(nx、 ny)として検出されるのである
。
0,0)に対して、第21図に示すごとき画像データ上
の画素G (x、 y)を中心とする上下、左右に各
々5個、計121個の画素を当てはめ、計算されること
から、上式におけるX、 Yの値としては、各々、X
がX±5、Yがy±5の間の整数値となり、結局X及び
Yの組合せで最大121種類の相関値が算出され、その
最大値となる画像データ上の画素G (X、 Y)が
鼻の位置G(nx、 ny)として検出されるのである
。
このようにして鼻の位置G (nx、 ny)が求めら
れると、続くステップ150に移行して、今度はこの鼻
の位置G (nx、 ny)に基づき目の位置を求める
こととなる。ここで目の位置を求めるに当たっては、ま
ず鼻の位置G (nx、 ny)より右に12画素、上
に13画素移行した画素の位置G (nx+12、 n
y−13)を求め、この位置の近傍で予め設定されてい
る第22図に示すごとき目の標準パターンと画像データ
との相関の度合を調べ、目の位置G(mx、 my)を
決定する。尚、この決定方法としては、上記ステップ1
40の鼻の位置決定と同様に行えはよいので、説明は省
略する。
れると、続くステップ150に移行して、今度はこの鼻
の位置G (nx、 ny)に基づき目の位置を求める
こととなる。ここで目の位置を求めるに当たっては、ま
ず鼻の位置G (nx、 ny)より右に12画素、上
に13画素移行した画素の位置G (nx+12、 n
y−13)を求め、この位置の近傍で予め設定されてい
る第22図に示すごとき目の標準パターンと画像データ
との相関の度合を調べ、目の位置G(mx、 my)を
決定する。尚、この決定方法としては、上記ステップ1
40の鼻の位置決定と同様に行えはよいので、説明は省
略する。
続く、ステップ160においては、上記ステップ150
にて求められた画素データG上の目の位置G (mx、
my)を基に、運転者1の左右方向の移動はないもの
として車室内における運転者1の目−1ど− 03次元位置を算出する処理が実行される。つまり第2
3図に示す運転者1の左右(Z)方向への移動はないも
のと俄定し、実験的に求めた車両運転者の左目の標準位
置Pを基準とする運転者10目(左目)の3次元位置M
を座標(X、 Y、 0)として求めることによって
、目の位置が認識されるのであるが、この処理としては
、上記画像検出部5が固定されていることから、画像デ
ータ上の標準点Pの位置G (px、 py)を予め記
・憶しておき、この基準位置G (+)X、 py)に
対する目の位置G(mx、 my)のずれを算出するこ
とによって、容易に実行することが出来る。
にて求められた画素データG上の目の位置G (mx、
my)を基に、運転者1の左右方向の移動はないもの
として車室内における運転者1の目−1ど− 03次元位置を算出する処理が実行される。つまり第2
3図に示す運転者1の左右(Z)方向への移動はないも
のと俄定し、実験的に求めた車両運転者の左目の標準位
置Pを基準とする運転者10目(左目)の3次元位置M
を座標(X、 Y、 0)として求めることによって
、目の位置が認識されるのであるが、この処理としては
、上記画像検出部5が固定されていることから、画像デ
ータ上の標準点Pの位置G (px、 py)を予め記
・憶しておき、この基準位置G (+)X、 py)に
対する目の位置G(mx、 my)のずれを算出するこ
とによって、容易に実行することが出来る。
以上説明したごとく、本実施例の車両運転者の乗車位置
認識装置は、運転席2の位置や形状に応じて、画像検出
部6にて検出された画像データの中の所定領域を運転者
1の頭部があると予想される部分へ移動させて、鼻梁検
出を行い目の位置を認識しているので、検出効率を低下
させることなく正確に検出が可能なり、いかに運転席2
の姿勢、位置が変更し移動されても、迅速にかつ正確に
目の位置を検出することが出来る。
認識装置は、運転席2の位置や形状に応じて、画像検出
部6にて検出された画像データの中の所定領域を運転者
1の頭部があると予想される部分へ移動させて、鼻梁検
出を行い目の位置を認識しているので、検出効率を低下
させることなく正確に検出が可能なり、いかに運転席2
の姿勢、位置が変更し移動されても、迅速にかつ正確に
目の位置を検出することが出来る。
本実施例の構成において、回転型可変抵抗器37.47
.61が座席状態検出手段M4に該当し、画像処理部8
によるステップ120の処理が所定領域変更手段M5と
しての処理に該当する。
.61が座席状態検出手段M4に該当し、画像処理部8
によるステップ120の処理が所定領域変更手段M5と
しての処理に該当する。
発明の効果
本発明は上述のごとく構成されているため、車両乗員の
移動位置に適合させて、車両乗員の所定部位を検出すべ
き所定領域を変更している。従って、いかに座席が移動
・変化しようとも迅速かつ正確に所定部位を検出でき、
認識率が向上する。
移動位置に適合させて、車両乗員の所定部位を検出すべ
き所定領域を変更している。従って、いかに座席が移動
・変化しようとも迅速かつ正確に所定部位を検出でき、
認識率が向上する。
その結果、より正確な車両設備の自動制御が実現でき、
車両運転等の安全性が一層向上する。
車両運転等の安全性が一層向上する。
第1図は本発明の基本的構成を例示するブロック図、第
2図は本発明一実施例の目の位置認識装置の収納されて
いる車両のインストルメントパネル笈びその周辺を表す
斜視図、第3図は発光部の説明図、第4図は画像検出部
の説明図、第5図は本実施例の目の位置認識装置の全体
構成図、第6図は運転席の前後移動の説明図、第7図は
その検出機構の説明図、第8図はその出力と移動量との
関係を表すグラフ、第9図は運転席の背もたれの倒れ動
作の説明図、第10図はその検出機構の説明図、第11
図はその出力と倒れ角度との関係を表すグラフ、第12
図は運転席の上下移動の説明図、第13図はその検出機
構の説明図、第14図はその出力と移動角度との関係を
表すグラフ、第15図は各回転型可変抵抗器の信号取り
出し機構の説明図、第16図(イ)は画像処理ルーチン
のフローチャート、第16図(ロ)はその内の鼻存在域
の決定ルーチンのフローチャート、第17図は照射画像
の説明図、第18図は画像データ読み込み処理を説明す
るタイミングチャート、第19図は画像人力部に記憶さ
れた照射画像データの説明図、第20図は鼻の標準パタ
ーンのデータ図、第21図は鼻の位置検出処理の説明図
、第22図は目の標準パターンの説明図、第23図は目
の三次元位置の説明図であって、(イ)は運転者の平面
図、(ロ)はその側面図、第24図(イ)及び(ロ)は
頭部位置と扉位置との分布を表すグラフである。 Ml・・・車両乗員 M2・・・画像データM3・・
・所定領域 M4・・・座席状態検出手段M5・・・
所定領域変更手段
2図は本発明一実施例の目の位置認識装置の収納されて
いる車両のインストルメントパネル笈びその周辺を表す
斜視図、第3図は発光部の説明図、第4図は画像検出部
の説明図、第5図は本実施例の目の位置認識装置の全体
構成図、第6図は運転席の前後移動の説明図、第7図は
その検出機構の説明図、第8図はその出力と移動量との
関係を表すグラフ、第9図は運転席の背もたれの倒れ動
作の説明図、第10図はその検出機構の説明図、第11
図はその出力と倒れ角度との関係を表すグラフ、第12
図は運転席の上下移動の説明図、第13図はその検出機
構の説明図、第14図はその出力と移動角度との関係を
表すグラフ、第15図は各回転型可変抵抗器の信号取り
出し機構の説明図、第16図(イ)は画像処理ルーチン
のフローチャート、第16図(ロ)はその内の鼻存在域
の決定ルーチンのフローチャート、第17図は照射画像
の説明図、第18図は画像データ読み込み処理を説明す
るタイミングチャート、第19図は画像人力部に記憶さ
れた照射画像データの説明図、第20図は鼻の標準パタ
ーンのデータ図、第21図は鼻の位置検出処理の説明図
、第22図は目の標準パターンの説明図、第23図は目
の三次元位置の説明図であって、(イ)は運転者の平面
図、(ロ)はその側面図、第24図(イ)及び(ロ)は
頭部位置と扉位置との分布を表すグラフである。 Ml・・・車両乗員 M2・・・画像データM3・・
・所定領域 M4・・・座席状態検出手段M5・・・
所定領域変更手段
Claims (1)
- 【特許請求の範囲】 1 車両乗員の乗車状態を撮像し、撮像された画像デー
タの内から所定領域を選択し、この所定領域から上記車
両乗員の所定部位を検出する車両乗員の乗車位置認識装
置において、 更に、 車両乗員の座席状態検出手段と、 この座席状態検出手段の検出結果に応じて、上記選択さ
れる所定領域を変更させる所定領域変更手段とを備えた
ことを特徴とする車両乗員の乗車位置認識装置。 2 上記車両乗員の所定部位が、鼻の位置である特許請
求の範囲第1項記載の車両乗員の乗車位置認識装置。 3 上記座席状態検出手段が、座席の前後位置、上下位
置及び座席の背もたれ部の角度を検出する特許請求の範
囲第1項または第2項記載の車両乗員の乗車位置認識装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14740687A JPS63311105A (ja) | 1987-06-12 | 1987-06-12 | 車両乗員の乗車位置認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14740687A JPS63311105A (ja) | 1987-06-12 | 1987-06-12 | 車両乗員の乗車位置認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS63311105A true JPS63311105A (ja) | 1988-12-19 |
Family
ID=15429576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14740687A Pending JPS63311105A (ja) | 1987-06-12 | 1987-06-12 | 車両乗員の乗車位置認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS63311105A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178302A (ja) * | 1992-12-02 | 1994-06-24 | Mitsubishi Electric Corp | 運転者撮影装置 |
US6850268B1 (en) | 1998-09-25 | 2005-02-01 | Honda Giken Kogyo Kabushiki Kaisha | Apparatus for detecting passenger occupancy of vehicle |
-
1987
- 1987-06-12 JP JP14740687A patent/JPS63311105A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178302A (ja) * | 1992-12-02 | 1994-06-24 | Mitsubishi Electric Corp | 運転者撮影装置 |
US6850268B1 (en) | 1998-09-25 | 2005-02-01 | Honda Giken Kogyo Kabushiki Kaisha | Apparatus for detecting passenger occupancy of vehicle |
DE19945645B4 (de) * | 1998-09-25 | 2010-09-16 | Honda Giken Kogyo K.K. | Vorrichtung zum Erfassen der Belegung eines Fahrzeugsitzes |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6757009B1 (en) | Apparatus for detecting the presence of an occupant in a motor vehicle | |
JPH0545470B2 (ja) | ||
JP2004503759A (ja) | 乗員センサ | |
JPS62247410A (ja) | 電気装置の付勢制御装置 | |
JP3228086B2 (ja) | 運転操作補助装置 | |
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
JP7369184B2 (ja) | 運転者注意状態推定 | |
US20160063334A1 (en) | In-vehicle imaging device | |
JP2005247224A (ja) | 車両用表示装置 | |
JP2008062805A (ja) | 車輌用後視鏡装置 | |
US20080001386A1 (en) | Distance detecting apparatus, air bag system controlling apparatus, and method of detecting distance | |
JP2002543503A (ja) | シーン内の物体の位置を求めるための方法および装置 | |
US20220066551A1 (en) | Apparatus and method for obtaining facial information | |
KR20130013711A (ko) | 자동 미러 제어 장치 및 그 방법 | |
JP2011042179A (ja) | 投光器制御装置 | |
US20220335648A1 (en) | Determination of Gaze Direction | |
JPH059303B2 (ja) | ||
JP2022106427A (ja) | 降車支援装置および該方法 | |
JPS6166906A (ja) | 車両運転者位置認識装置 | |
JPS63311105A (ja) | 車両乗員の乗車位置認識装置 | |
JP3019654B2 (ja) | 自動調整装置 | |
JP2021527980A (ja) | 高フレームレート画像前処理システム及び方法 | |
JPS6166905A (ja) | 車両運転者の位置認識装置 | |
JP2802635B2 (ja) | 電気装置の付勢制御装置 | |
JPH06178302A (ja) | 運転者撮影装置 |