JPS63311105A - 車両乗員の乗車位置認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 楚肌Ω旦釣 ［産業上の利用分野］ 本発明は、自動車の運転者等の車内での位置を検出し、
各種制御に利用する車両乗員の乗車位置認識装置に関す
る。

［従来の技術］ 従来、自動車等の運転者の位置、特に目の位置を認識し
、バックミラー、ヘッドレスト、空調空気の吹き出し口
あるいはステアリング等の位置や角度を自動調整すると
か、運転者の居眠りを検知して運転者に警報を与えると
いった装置が提案されている（特開昭６０−１５２９０
４号等）。

これらの装置による位置の正確な認識の一つの手段とし
て、撮像手段にて比較的広く捉えた画像の内の一部を用
いて、鼻の位置等を検出しようとする装置がある。画像
の一部を用いるのは撮像手段が固定式で任意の角度では
撮像が出来ないため、画像を広く捉えておき、その内の
一部を任意の範囲で捉えることにより、撮像手段の撮像
角度を変更しているのと同様な効果を持たせるためであ
り、更に、特定の部位に限って検出効率を向上させ、誤
認を防止するためである。この特定部位、例えは目や鼻
は、運転者の位置が決まればほぼ決定する。

［発明が解決しようとする問題点コ ところが、運転者が存在する座席が移動した場合には予
め定めた特定部位から外れてしまい。特定部位が検出で
きなかったり、誤検出する恐れが高くなる。

発明の構成 そこで、本発明は、上記問題点を解決することを目的と
し、次のような構成を採用した。

［問題点を解決するための手段］ 即ち、本発明の要旨とするところは、 車両乗員Ｍ１の乗車状態を撮像し、撮像された画像デー
タＭ２の内から所定領域Ｍ３を選択し、この所定領域Ｍ
３から上記車両乗員Ｍ１の所定部位を検出する車両乗員
の乗車位置認識装置におい一つ− て、 更に、 車両乗員Ｍ１の座席状態検出手段Ｍ４と、この座席状態
検出手段Ｍ４の検出結果に応じて、上記選択される所定
領域Ｍ３を変更させる所定領域変更手段Ｍ５とを備えた
ことを特徴とする車両乗員の乗車位置認識装置にある。

［作用コ 車両乗員の乗車位置認識装置は車両乗員Ｍ１の像を捉え
画像データＭ２を得ている。更に本認識装置は画像デー
タ量２内の所定領域Ｍ３のデータから、通常その所定領
域Ｍ３に存在する車両乗員Ｍ１の所定部位を検出する。

この所定領域Ｍ３の画像データ量２内での位置は、座席
状態検出手段Ｍ４により検出された座席の位置や姿勢か
ら、車両乗員Ｍ１の所定部位の位置を推定して、変更し
設定される。

［実施例コ 次に、本発明の一実施例を図面と共に説明する。

本発明はこれらに限られるものではなく、その要旨を逸
脱しない範囲の種々の態様のものが含まれる。

第２図は本実施例の乗車位置認識装置が搭載された車両
のインストルメントパネル部分及びその周辺を表す斜視
図であって、運転者１が運転席２に着座し、インストル
メントパネル３に対面して自動車を運転しているところ
を表している。インストルメントパネル３の運転席２に
対する左斜め前方、即ち助手席前方には、運転者１の上
体を左方向から照射する発光部５と、運転者１の上体を
左方向から２次元画像として捉える画像検出部６が設け
られている。

ここで発光部５は照射時に運転者１にまぶしさを感じさ
せることのないよう赤外光を発光する赤外ストロボが用
いられ、第３図に示すごとく、赤外発光体５ａと、赤外
発光体５ａにて発光された赤外光を広く運転者に照射す
るためのレンズ５ｂと、赤外光を透過し、可視光を通さ
ない赤外フィルタ５ｃと、これら赤外発光体５ａ、レン
ズ５ｂ及び赤外フィルタ５ｃを格納し、インストルメン
ドパネル３の所定の位置に取り付けるためのケース５ｄ
とから構成されている。また画像検出部６は第４図に示
すごとく、赤外光を透過する赤外フィルタ６ａと、運転
者１の上体画像を後述の固体撮像素子６ｅの撮像面に結
像するための焦点距離が例えは１２．５ｍｍのレンズ６
ｂと、光量を調整するための液晶絞り素子６Ｃと、液晶
絞り素子６ｃの紋りを自動調整するために用いられ、液
晶絞り素子６ｃを透過する光量を検出するフォトトラン
ジスタ６ｄと、上記赤外フィルタ６ａ、レンズ６ｂ及び
液晶絞り素子６Ｃを透過して結像された撮像面上の映像
をスイッチング走査で電気信号として取り出す、フォト
センサとスイッチング回路とからなるＭＯＳ型の固体撮
像素子６ｅと、上記各部を格納し、インストルメントパ
ネル３に取り付けるためのケース６ｆとから構成される
固体カメラが用いられている。

次に本実施例の乗車位置認識装置の全体構成を第５図に
示すブロック図に基づき説明する。

図に示すごとく、本認識装置は上記発光部５及び画像検
出部６の他に、画像検出部６にて捉えられた運転者１の
画像を処理し、運転者１０乗車位置（本実施例において
は最終的には目の位置）を認識する画像処理部８を備え
ている。そしてこの画像処理部８は、上記画像検出部６
を制御すると共に、画像検出部６にて得られた画像信号
をデジタル信号に変換し、その変換されたデジタル信号
を画像データとして一旦記゛憶することのできる画像人
力部１６と、上記発光部５を発光させるための照射信号
を出力する照射信号出力部１２と、鼻検出領域を決定す
るためのデータを人力しそのアナログ値をデジタル値に
変換する人力処理部１３と、画像人力部１０にてＡ／Ｄ
変換され記憶された画像データの内の鼻検出領域から運
転者１の顔面部における所定の特異点位置（本実施例で
は鼻の位置）を検出し、この特異点位置から運転者１の
目の位置を認識するといった一連の目の位置認識処理を
実行するセントラルブロセッシングユニット（ＣＰＵ）
１４と、ＣＰＵ１４にて目の位置認識処理を実行するた
めの制御プログラムやデータが予め記憶されたリードオ
ンリメモリ（ＲＯＭ）１６と、演算処理実行のために用
いられるデータ等が一時的に読み書きされるランダムア
クセスメモリ（ＲＡＭ）１Ｂと、上記各部を結び画像信
号や制御信号の通路とされるパスライン２０と、上記各
部に電源を供給する電源回路２２とから構成されている
。また上記画像人力部１０は、画像検出部６に垂直同期
信号及び水平同期信号を発生する同期信号発生回路１０
ａと、画像検出部６により得られた画像信号を、例えば
１フレーム当りに横２５６、縦２４０の画素の明度を表
すデジタル信号からなる画像データに変換するＡ／Ｄ変
換回路１０ｂと、その変換された画像データを記・憶す
ることの出きる画像データ記憶回路１０ｃとから構成さ
れている。

また運転席２は第６図、第９図及び第１２図のごとく、
スイッチ操作にて公知の駆動装置により変形・移動が可
能である。即ち、第６図に示すごとく、運転席２の着座
部２ａは水平面から所定角度（ここでは５．９°）の固
定ステー３１上を移動することにより運転席２の主に前
後方向の位置が調整可能に構成されている。また第９図
に示すごとく、運転席２の背もたれ２ｂは着座部２ａと
は所定角度（ここでは８５°）から後ろへ所定量回転す
ることにより背もたれ角度が調整可能に構成されている
。また更に第１２図に示すごとく、着座部２ａは所定回
転中心Ｐ１にて回転移動することにより運転席２の主に
上下方向の位置が調整可能に構成されている。

上記運転席２の移動量は、第７図、第１０図及び第１３
図に示す構成の検出器により検出される。

まず運転ｒｆＪ２の前後方向の移動量Ｑは第７図に示す
ラック３３とピニオン３５とにより検出される。

ラック３３は上記着座部２ａに固定され、ピニオン３５
はステー３１に固定されているため、運転席２の移動に
よりピニオン３５が回転して、連動する回転型可変抵抗
器３７の抵抗１直が変化する。

また背もたれ部２ｂの倒れ角度θｒは第１０図に示す背
もたれ部２ｂに連動する円盤４１のシャフト４３がアー
ム４５を押し、アーム４５が設けられている回転型可変
抵抗器４７の回転軸４９を回転させることにより検出さ
れる。また運転席２の上下方向の移動量θｅは第１３図
に示す運転席２のステー５１に対してステー５１と運転
席２の着座部２ａとの間をつなぐアーム５３が軸Ｃを回
転中心として回転しシャフト５５を介してアーム５７を
軸Ｃを介して回転させ、更にシャフト５９を介して回転
型可変抵抗器６１が回転することにより検出される。

上記回転型可変抵抗器３７，４７．６１は各々第１５図
に示すごとくにして、所定電圧Ｖｉｎを可変抵抗器３７
，４７．６１にて調節して取り出すことによりその電圧
値を移動量として検出している。

上記各移動量Ｑ、θｒ、θｅと可変抵抗器３７゜４７．
６１からの出力ＤＱ、Ｄｒ　、Ｄｅとの関係は第８図、
第１１図または第１４図に示すごとくである。

次に上記画像処理部８にて実行される目の位置認識処理
の動作乞こついて、第１６図（イ）に示すフローチャー
トに沿って説明する。

尚、この処理は一定周期の信号やスイッチからの信号等
によって運転者１の目の位置認識の要求が入力された場
合に実行されるものであり、上述したごとく本実施例に
おいては運転者１の乗車位置として目の位置が認識され
ることとなる。処理が開始されると、まずステップ１１
０が実行され、画像検出部６において、発光部５を発光
させた際に得られる第１７図に示すごとき照射画像７１
を画像人力部１０にてデジタル信号からなる照射画像デ
ータＧとして記憶する。

ここで画像入力部１０は、同期信号発生回路１０ａ、Ａ
／Ｄ変換回路１０ｂ及び画像データ記憶回路１０ｃを備
えており、同期信号発生回路１゜ａより出力される垂直
同期信号及び水平同期信号に従い画像検出部６を制御し
、画像検出部６から出力される画像信号を順次取り込み
、Ａ／Ｄ変換回路１０ｂを介してデジタル信号に変換さ
れた画像信号を、画像データＧとして記憶回路１０ｃに
記憶することが出来るので、本画像データ読み込み処理
としては、画像人力部１０を動作させ、同期信号発生回
路１０ａから出力される垂直同期信号と同期して発光部
５を発光させるだけで容易に実行することが出来る。つ
まり第１８図に示すごとく、まず垂直同期信号の立ち上
がり時期ｔｏより所定時間ΔＴ経過後発光部５に照射信
号Ｓを出力することによって垂直帰線時期Δｔ１と一致
して発光部５を発光させ、その発光によって得られる第
１７図に示すごとき照射画像を画像データＧとして読み
込む。

上記画像入力部１０にてＡ／Ｄ変換され記憶される画像
データＧは、前述したように画像検出部６にて得られた
画像を横２５６、縦２４０に分割する画素の明度を表す
ものであり、第１９図に示すごとく各画素毎にその明度
Ｇ　（ｘ、　　ｙ）が記・憶されている。

この様にステップ１１０にて発光部５、画像検出部６及
び画像人力部１０が制御され、画像人力部１０において
両夜データＧが読み込まれ−ると続くステ・ンプ１２０
が実行され、運転者１の鼻の位置を検出するための所定
領域を画像データＧ内から決定する処理が第１６図（ロ
）に示すフローチャートのごとくになされる。

まずステップ１２１にて前述の３つの回転型可変抵抗器
３７，４７．６１のアナログ電圧出力値Ｖ　ｏｕｔが読
み込まれＡ／Ｄ変換される。

次にステップ１２３にて上記出力値に基づいて、車室内
座標における運転者１０頭部（運転Ｉ＊２のヘッドレス
ト部分）座標を次のようにして決定する。

まず主に運転席２の前後方向の移動量を検出する回転型
可変抵抗器３７の出力値ＤＱと、車室後方への移動量Ｓ
Ｑｘ及び車室垂直方向への移動量ＳＱｙとの関係は、次
の（１）式のごとくである。

次に主に運転席２の背もたれ２ｂの回転量を検出する回
転型可変抵抗器４７の出力値Ｄｒと、車室後方への移動
量Ｓｒｘ及び車室垂直方向への移動量Ｓｒｙとの関係は
、次の（２）式及び（３）式のごとくである。

・・・・・・（２） ＝０．０３２２４５（Ｄｒ　−１０２０）　　　＝（３
）主に運転ｒ１６２の上下方向の移動量を検出する回転
型可変抵抗器６１の出力ｆｉｎ　Ｄ　ｅと、車室後方へ
の移動量Ｓｅｘ及び車室垂直方向への移動量Ｓｅｙとの
関係は、次の（６）式及び（７）式のごとくである。

・・・・・・（６） Ｄｅ　＝　　　　　　　　　　　（Ｄｅ　−１０２０）
＝０．２６４７１　（Ｄｅ−１０２０）　　　　　　−
（７）従って、上記３つの回転型可変抵抗器３７，４７
．６１の出力が最小の場合の運転者頭部の原位置の座標
を（ＳｘＯ，５ｙＯ）とすれは、移動後の座標（Ｓｘ、
Ｓｙ）は次の式（８）及び式（９）で与えられる。

Ｓｘ　＝Ｓ　Ｑｘ　＋Ｓｒｘ＋Ｓｅｘ＋ＳｘＯ−・・・
・・（８）ＳＶ　＝Ｓ　Ｑｙ　＋Ｓｒｙ＋５ｅｙ−）−
５ｙＯ−・−（９）次にステップ１２４にて、頭（運転
席２のヘラドレスト）の位置と鼻の位置との個人差を表
す第２４図に示す関係に基づいて、上記頭部の車室内座
標（Ｓｘ　、　Ｓｙ　）から鼻の予測位置である車室内
座標（ｈ　ｘ、　　ｈ　ｙ）を求める。第２４図に示す
ように鼻の位置は個人差から、ある幅をもって検出され
ることになる。即ち、算出されたＸ座標のＳｔに対して
、２つの境界（１ｍｈｔ１．　ｈｔ２が定まる。

Ｘ座標も同様である。

次にステップ１２５にて上記車室内座標で表された運転
者１の鼻の２つの車室内座標（ｈｘ　、　ｈｙ）を画像
上の座標（ＸＳ、　ＹＳ）に変換する。車室内座標（ｈ
ｘ　、　ｈｙ　）と画像上の座標（ＸＳ、　ＹＳ）との
関係は実測に基づき最小二乗法により次式（１０）及び
式（１１）のごとくに求められるので、この関係から画
像上の鼻の座標（ＸＳ、　ＹＳ）を求める。

Ｘ５＝ａｌやｈｘ＋ｂ１◆ｈｙ＋ｃ１　　　　＝−（１
０）ＹＳ＝　　ａ２争ｈｘ＋　ｂ２争ｈｙ＋　ｃ２　　
　　　　−・−（１１）ここでａｌ、ａ２．ｂｌ、ｂ２
は所定の係数であり、ｃｌ、ｃ２は所定の定数である。

こうして運転者１の鼻の予測領域の２つの境界座標が求
められたことから、次にステップ１２７にて、第１７図
に示すように、その座標を結ぶ線を対角線とする矩形の
鼻存在領域７１ａが決定される。鼻存在領域７１ａは、
測定誤差を考慮して上記より所定量広い矩形領域として
もよい。

上記ステップ１２４とステップ１２５との処理は逆の順
番でもよい。即ち、画像座標上の頭部予測位置を先に決
定し、その座標から、画像座標系における鼻の位置の個
人差に基づき、鼻存在領域を求めてもよい。

こうして処理が第１６図（イ）のステップ１３０に至り
、上記鼻存在領域７１ａの輝点検索処理がなされる。即
ち、この領域のもっとも左側に存在する一定レベル以上
の明度を有する画素を検索し、その位置Ｇ（ｘ、ｙ）を
記憶するといった輝点検索処理が行われる。この処理は
次のステップ１４０にて運転者１の鼻の位置を検出する
際に、鼻を捜す範囲を限定するための処理であって、求
められた画素の位置が鼻を捜すための起点とされる。尚
、本輝点検索処理としては、第１７図の鼻存在領域７１
ａにおける左上端の画素を出発点として、上下方向に順
次検索して行き、最初の一定レベル以上の明度を有する
画素の位置を記憶することによって実行できる。

この様に輝点検索が実行され、鼻存在領域の最も左側に
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ１４０にて、
この位置を起点として鼻を捜し、鼻の位置を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第２０
図に示すごとき鼻の標準パターンと画像データとの相関
の度合を調べ、相関の最大となる画像の位置を以て鼻が
存在する位置であるとみなし、鼻の位置を決定するもの
である。

つまり、上記ステップ１３０にて求められた画素の位置
Ｇ　（ｘ、　　ｙ）を中心に第２１図に示すごとく上下
、左右に各々５画素分、計１２１個の画素を、各々第２
０図に示した鼻の標準パターンにおける中心位置ｍ（０
，０）として画像データと標準パターンとの相関値を計
算し、その値が最も大きくなった画素位置を鼻梁（鼻の
頭）の位置Ｇ（ｒ＋ｘ、　ｎｙ）として認識するのであ
る。ここで、第２０図の鼻の標準パターンにおける中心
位置ｍ（０，０）は鼻梁に相当する部分として予め設定
されており、また相関値としては次式 ％式％（） より求めることが出来る。そして上記ｉ及びｊの値とし
ては鼻の標準パターンが中心位置ｍ　（０゜０）に対し
て上に１６、下に７、左に１、右に６の広がりを持つデ
ータとして構成されていることから、１に（−１）から
（＋６）、Ｊに（−１６）から（＋７）の間の整数値を
用いれはよい。

また相関値が、鼻の標準パターンにおける中心位置ｍ（
０，０）に対して、第２１図に示すごとき画像データ上
の画素Ｇ　（ｘ、　　ｙ）を中心とする上下、左右に各
々５個、計１２１個の画素を当てはめ、計算されること
から、上式におけるＸ、　　Ｙの値としては、各々、Ｘ
がＸ±５、Ｙがｙ±５の間の整数値となり、結局Ｘ及び
Ｙの組合せで最大１２１種類の相関値が算出され、その
最大値となる画像データ上の画素Ｇ　（Ｘ、　　Ｙ）が
鼻の位置Ｇ（ｎｘ、　ｎｙ）として検出されるのである
。

このようにして鼻の位置Ｇ　（ｎｘ、　ｎｙ）が求めら
れると、続くステップ１５０に移行して、今度はこの鼻
の位置Ｇ　（ｎｘ、　ｎｙ）に基づき目の位置を求める
こととなる。ここで目の位置を求めるに当たっては、ま
ず鼻の位置Ｇ　（ｎｘ、　ｎｙ）より右に１２画素、上
に１３画素移行した画素の位置Ｇ　（ｎｘ＋１２、　ｎ
ｙ−１３）を求め、この位置の近傍で予め設定されてい
る第２２図に示すごとき目の標準パターンと画像データ
との相関の度合を調べ、目の位置Ｇ（ｍｘ、　ｍｙ）を
決定する。尚、この決定方法としては、上記ステップ１
４０の鼻の位置決定と同様に行えはよいので、説明は省
略する。

続く、ステップ１６０においては、上記ステップ１５０
にて求められた画素データＧ上の目の位置Ｇ　（ｍｘ、
　ｍｙ）を基に、運転者１の左右方向の移動はないもの
として車室内における運転者１の目−１ど− ０３次元位置を算出する処理が実行される。つまり第２
３図に示す運転者１の左右（Ｚ）方向への移動はないも
のと俄定し、実験的に求めた車両運転者の左目の標準位
置Ｐを基準とする運転者１０目（左目）の３次元位置Ｍ
を座標（Ｘ、　Ｙ、　　０）として求めることによって
、目の位置が認識されるのであるが、この処理としては
、上記画像検出部５が固定されていることから、画像デ
ータ上の標準点Ｐの位置Ｇ　（ｐｘ、　ｐｙ）を予め記
・憶しておき、この基準位置Ｇ　（＋）Ｘ、　ｐｙ）に
対する目の位置Ｇ（ｍｘ、　ｍｙ）のずれを算出するこ
とによって、容易に実行することが出来る。

以上説明したごとく、本実施例の車両運転者の乗車位置
認識装置は、運転席２の位置や形状に応じて、画像検出
部６にて検出された画像データの中の所定領域を運転者
１の頭部があると予想される部分へ移動させて、鼻梁検
出を行い目の位置を認識しているので、検出効率を低下
させることなく正確に検出が可能なり、いかに運転席２
の姿勢、位置が変更し移動されても、迅速にかつ正確に
目の位置を検出することが出来る。

本実施例の構成において、回転型可変抵抗器３７．４７
．６１が座席状態検出手段Ｍ４に該当し、画像処理部８
によるステップ１２０の処理が所定領域変更手段Ｍ５と
しての処理に該当する。

発明の効果 本発明は上述のごとく構成されているため、車両乗員の
移動位置に適合させて、車両乗員の所定部位を検出すべ
き所定領域を変更している。従って、いかに座席が移動
・変化しようとも迅速かつ正確に所定部位を検出でき、
認識率が向上する。

その結果、より正確な車両設備の自動制御が実現でき、
車両運転等の安全性が一層向上する。

【図面の簡単な説明】

第１図は本発明の基本的構成を例示するブロック図、第
２図は本発明一実施例の目の位置認識装置の収納されて
いる車両のインストルメントパネル笈びその周辺を表す
斜視図、第３図は発光部の説明図、第４図は画像検出部
の説明図、第５図は本実施例の目の位置認識装置の全体
構成図、第６図は運転席の前後移動の説明図、第７図は
その検出機構の説明図、第８図はその出力と移動量との
関係を表すグラフ、第９図は運転席の背もたれの倒れ動
作の説明図、第１０図はその検出機構の説明図、第１１
図はその出力と倒れ角度との関係を表すグラフ、第１２
図は運転席の上下移動の説明図、第１３図はその検出機
構の説明図、第１４図はその出力と移動角度との関係を
表すグラフ、第１５図は各回転型可変抵抗器の信号取り
出し機構の説明図、第１６図（イ）は画像処理ルーチン
のフローチャート、第１６図（ロ）はその内の鼻存在域
の決定ルーチンのフローチャート、第１７図は照射画像
の説明図、第１８図は画像データ読み込み処理を説明す
るタイミングチャート、第１９図は画像人力部に記憶さ
れた照射画像データの説明図、第２０図は鼻の標準パタ
ーンのデータ図、第２１図は鼻の位置検出処理の説明図
、第２２図は目の標準パターンの説明図、第２３図は目
の三次元位置の説明図であって、（イ）は運転者の平面
図、（ロ）はその側面図、第２４図（イ）及び（ロ）は
頭部位置と扉位置との分布を表すグラフである。 Ｍｌ・・・車両乗員　　Ｍ２・・・画像データＭ３・・
・所定領域　　Ｍ４・・・座席状態検出手段Ｍ５・・・
所定領域変更手段

Claims (1)

1. 【特許請求の範囲】 １　車両乗員の乗車状態を撮像し、撮像された画像デー
   タの内から所定領域を選択し、この所定領域から上記車
   両乗員の所定部位を検出する車両乗員の乗車位置認識装
   置において、 更に、 車両乗員の座席状態検出手段と、 この座席状態検出手段の検出結果に応じて、上記選択さ
   れる所定領域を変更させる所定領域変更手段とを備えた
   ことを特徴とする車両乗員の乗車位置認識装置。 ２　上記車両乗員の所定部位が、鼻の位置である特許請
   求の範囲第１項記載の車両乗員の乗車位置認識装置。 ３　上記座席状態検出手段が、座席の前後位置、上下位
   置及び座席の背もたれ部の角度を検出する特許請求の範
   囲第１項または第２項記載の車両乗員の乗車位置認識装
   置。