JP3201037B2 - 運転者撮影装置 - Google Patents

運転者撮影装置

Info

Publication number
JP3201037B2
JP3201037B2 JP00650693A JP650693A JP3201037B2 JP 3201037 B2 JP3201037 B2 JP 3201037B2 JP 00650693 A JP00650693 A JP 00650693A JP 650693 A JP650693 A JP 650693A JP 3201037 B2 JP3201037 B2 JP 3201037B2
Authority
JP
Japan
Prior art keywords
driver
photographing
face
image
characteristic region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP00650693A
Other languages
English (en)
Other versions
JPH06217314A (ja
Inventor
義晴 森廣
光生 下谷
和磨 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP00650693A priority Critical patent/JP3201037B2/ja
Publication of JPH06217314A publication Critical patent/JPH06217314A/ja
Application granted granted Critical
Publication of JP3201037B2 publication Critical patent/JP3201037B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えば車両運転者の
居眠りや脇見状態を判別するために、車両などの運転者
を撮影する運転者撮影装置に関するものである。
【0002】
【従来の技術】従来、運転者を撮影する装置としては、
例えば特開昭60−158303号公報,特開昭60−
158304号公報、特開平3−533号公報などに掲
載されたものがある。図5は、従来の運転者撮影装置を
例えば車両の運転者に用いた場合の、要部の配置を斜め
後方から示す説明図である。図において、1は運転者、
2は運転席、3はダッシュボード内のインスツルメント
パネル、9はインスツルメントパネル3内に設置された
撮影装置であり、例えばカメラである。このカメラ9
は、例えばCCDなどの撮像装置とその信号処理回路を
含んでいるものとする。また、10はカメラ9で撮影さ
れた運転者1の眼の位置を認識する眼の位置認識装置で
あり、例えばマイクロコンピュータなどの電子回路で構
成される。
【0003】次に動作について説明する。カメラ9は例
えば運転者1の正面の顔を含む上半身を撮影している。
カメラ9の画像出力は眼の位置認識装置10に送られ
て、眼の位置認識装置10で画像中より目や顔が認識さ
れ、抽出される。眼を認識した後、例えば上記公報の場
合、この認識した眼の位置から車内のミラーの角度を調
節したり、車両運転者の居眠り、脇見状態などを判定し
ている。
【0004】
【発明が解決しようとする課題】従来の運転者撮影装置
では、運転者の身長が変わったり、運転者の姿勢が変わ
ると、運転者の姿勢によって撮影される運転者の顔画像
が左右に動いてしまう。また、極端な場合、顔画像が画
面上からはみだしてしまったり、正面顔画像を撮影して
いる場合に、顔の側面画像しか撮れず目の抽出が難しく
なったり、片目しか抽出出来ないので脇見判定が出来な
いなどの問題があった。
【0005】この発明は、かかる問題点を解決するため
になされたもので、運転者の姿勢がが変わっても撮影さ
れる運転者の顔画像が左右に動かず、運転者の特定な顔
画像を常時撮影できる運転者撮影装置を得ることを目的
としている。
【0006】
【課題を解決するための手段】請求項1の発明に係る運
転者撮影装置は、運転者をそれぞれ異なる方向より撮影
する複数の運転者撮影手段、運転者撮影手段により撮影
された運転者の画像から運転者の特徴領域を抽出する特
徴領域抽出手段、この特徴領域抽出手段によって抽出さ
れた運転者の特徴領域から顔の向きを検出する向き検出
手段、及び向き検出手段で検出した運転者の顔の向きに
基づいて、運転者の顔画像を撮影するのに適切な撮影手
段を複数の運転者撮影手段の中から選択する顔画像撮影
制御手段を備えたものである。
【0007】また、請求項2の発明に係る運転者撮影装
置は、運転者に光を照射する発光手段、発光手段からの
照射による運転者の反射光を受光し、運転者をそれぞれ
異なる方向より撮影する複数の運転者撮影手段、運転者
撮影手段により撮影された運転者の画像から運転者の特
徴領域を抽出する特徴領域抽出手段、この特徴領域抽出
手段によって抽出された運転者の特徴領域から顔の向き
を検出する向き検出手段、及び向き検出手段で検出した
運転者の顔の向きに基づいて、運転者の顔画像を撮影す
るのに適切な撮影手段を複数の運転者撮影手段の中から
選択する顔画像撮影制御手段を備えたものである。
【0008】
【作用】上記のように構成された運転者撮影装置では、
運転者をさまざまな方向から撮影する複数の撮影手段を
備え、向き検出手段で運転者の画像から顔の向きを検出
し、顔画像撮影制御手段により顔の向きに応じて最適な
撮影手段に切り換えるので、運転者の最適な顔画像を常
時撮影できる。
【0009】
【実施例】実施例1.図1はこの発明の実施例1による
運転者撮影装置の要部の配置を上面から示す説明図であ
る。図1において、1〜3は従来例と同様であるので、
説明を省略する。4a,4b,4cは運転者を撮影する
運転者撮影手段で、例えば3台のカメラである。この実
施例ではカメラ4a,4b,4cはインスツルメントパ
ネル3内に設置され、それぞれ異なる方向から運転者1
を撮影する位置に配置されている。カメラ4a,4b,
4cはCCDなどの撮像素子とその信号処理回路などを
含んでいる。またカメラ4a,4b,4cはほぼ水平に
設置され、運転者2の正面を中心線として左右対象に配
置されるのが望ましく、それぞれの撮影範囲があまり重
ならないように配置した方がよい。
【0010】また、5は画像信号切り換え手段であり、
画像信号切り換えスイッチとその駆動回路などで構成さ
れ、カメラ4a,4b,4cからの画像出力信号をそれ
ぞれ受け、いずれか1つの画像信号を選択して出力す
る。6は例えば、顔の輪郭、目、黒目、鼻、眉、口など
顔の特徴領域や、例えば、目尻、目頭、口の両端など特
徴点を抽出する顔の特徴領域抽出手段である。従来例に
おける眼の位置認識装置10に加えて、抽出する顔の特
徴点が拡張されている。顔の特徴領域抽出手段6は例え
ばマイクロコンピュータなどで構成され、画像処理機能
と、処理した画像から顔の特徴点、特徴領域を抽出する
機能を備えている。
【0011】7は向き検出手段であり、例えばマイクロ
コンピュータなどで構成され、顔の特徴領域抽出手段6
より送られた顔の特徴領域のデータから、運転者1の顔
の向きが左、右、中央のどちらに向いているかを検出す
る。8は顔画像撮影制御手段であり、例えばマイクロコ
ンピュータなどで構成され、向き検出手段7で求められ
た顔の向きより、正面からの顔画像を撮影するのに最適
なカメラがカメラ4a,4b,4cの内いずれであるか
を判定する。この結果、最適と判定されたカメラからの
画像信号が顔の特徴領域抽出手段6に送られるように画
像信号切り換え手段5に指令を行う。画像信号切り換え
手段5はこの指令に従い、画像信号を切り換える。顔画
像撮影制御手段8の出力は、さらに脇見判定装置(図示
せず)などにも送られ、脇見が判定される。
【0012】次に動作について説明する。カメラ4a,
4b,4cの撮影動作は従来の実施例と同様であるので
説明を省略する。顔の特徴領域抽出手段6、向き検出手
段7、及び顔画像撮影制御手段8は、この実施例ではマ
イクロコンピュータ等で実現している。この処理の一例
を図2のフローチャートに示す。ステップ11では、い
ま画像信号切り換え手段5がカメラ4bからの画像出力
信号を選択して出力しているとする。特徴領域抽出手段
6はこの顔画像をステップ12で入力し、例えば、顔の
輪郭、目、黒目、鼻、眉、口など顔の特徴領域や、例え
ば、目尻、目頭、口の両端など特徴点を抽出する(ステ
ップ13)。この顔の特徴点を抽出する方法について
は、例えば画像処理ハンドブック、第574頁〜第57
9頁に掲載されている。この方法は顔の輪郭抽出から始
めて、目、鼻、口の順にその位置を求めていく方法であ
る。これは顔の特徴領域の抽出の一例であり、これに限
るものではない。
【0013】次にステップ14では、向き検出手段7に
よって特徴領域抽出手段6から送られた顔の特徴領域の
データより、運転者1の顔の向きが左、右、中央のどち
らに向いているかを検出する。この検出方法としては、
電子情報通信学会論文誌DーII、Vol.J72−D
−II、No9、第1441頁〜第1447頁、198
9年9月に記載されたものがある。これは、顔上の3個
の特徴点の間の距離を既知情報として、3点を単眼でと
らえたときの2次元画像平面への投影像からの顔の位置
と向きを検出する手法を提案したものである。例えばこ
の手法を用い、真正面からの顔の向きの角度θを得て、
ステップ15で右、正面、左のどこを向いているかを判
定する。
【0014】上記判定の結果、顔画像撮影制御手段8
で、正面からの顔画像を撮影するのに最適なカメラがカ
メラ4a,4b,4cの内いずれであるかをステップ1
6,18で判定する。これは、あらかじめ、カメラ4
a,4b,4cのそれぞれに対して、撮影できる向きの
範囲を記憶しておけば良い。この最適と判定されたカメ
ラからの画像信号が顔の特徴領域抽出手段6に送られる
ように画像信号切り換え手段5に指令を行う(ステップ
17,ステップ19)。画像信号切り換え手段5はこの
指令に従い、画像信号を切り換える。顔画像撮影制御手
段8の出力は、さらに脇見判定装置(図示せず)などに
も送られ、脇見が判定される。
【0015】上記のように構成された運転者撮影装置で
は、運転者をさまざまな方向から撮影する複数のカメラ
を備え、向き検出手段7で運転者の画像から顔の向きを
検出し、顔画像撮影制御手段8により顔の向きに応じて
最適なカメラに切り換えるので、運転者の身長が変わっ
たり、運転者の姿勢が変わっても、運転者の姿勢によっ
て撮影される運転者の顔画像が左右に動いてしまった
り、顔画像が画面上からはみだしてしまったりするのを
防止でき、運転者の最適な顔画像を常時撮影できる。
【0016】なお、撮影手段の台数は上記実施例に限る
ことなく何台でも良い。また、撮影手段を横に一列をな
すように設置する必要はなく、上下に幅を持たせてもよ
く、さらに、一部の撮影手段を、ハンドルやミラー内に
設置しても良い。運転者を異なる方向から撮影できるよ
うに構成されていれば良く、設置場所を限定するもので
はない。また、顔の特徴点として、目の位置を検出し、
顔の向きを判定するように構成しているが、これに限る
ものではなく、頭の形を検出して顔の角度を知ることも
できるし、また、顔の輪郭で顔の角度を判定したり、横
顔でその向きを判定しても良い。また、撮影手段を用い
て顔の向きを判定しなくても良く、例えば、運転者の頭
などに磁界発生装置を付けるなどしてもその向きを判定
できる。
【0017】実施例2.図3は、この発明の実施例2に
よる運転者撮影装置の要部の配置を上面から示す説明図
である。図3において、1〜3、4a、4b、4c、5
〜8は実施例1と同様であるので説明を省略する。さら
に、20は発光手段であり、可視光または赤外光を発光
する。発光手段20は、例えばLEDなどの発光器と、
発光器をある設定光量で発光させる駆動装置を含んでい
る。この実施例による運転者撮影装置では顔の正面画像
を特定な顔画像として用いているので、発光手段20は
運転者1の正面に設置するのが望ましい。21は発光手
段20の電源であり、発光器に電気を供給し、発光させ
ている。
【0018】次に動作について説明する。画像信号切り
換え手段5、顔の特徴領域抽出手段6、向き検出手段
7、顔画像撮影制御手段8の動作は、実施例1と同様で
あるので説明を省略する。発光手段20の発光器は一般
に素子によって指向角が決まっているので、発光範囲に
運転者が入るような指向角の素子を選ぶ。
【0019】この実施例では、発光手段20を備えてお
り、発光手段20からの発光光が運転者1で反射され、
カメラ4a,4b,4cはその反射光によって運転者1
を撮影している。従って、上記実施例の効果に加えて、
太陽光の得られる昼間だけではなく、夜間や雨天時など
でも運転者1の顔画像が得られる効果がある。
【0020】また、発光手段20と撮影手段4を同一構
造や一体に構成しても、上記実施例と同様の効果が得ら
れる。また、1つの発光手段20では光量が不十分な場
合、複数の発光手段を、例えば、カメラのまわりに同心
円上に設ければ、取扱いや設置が簡単である。
【0021】また、上記実施例は、車両の運転者を撮影
する装置について説明したが、これに限るものではな
く、船舶の運転者や飛行機のパイロットなどを撮影する
装置に適用することもできる。さらに、プラントなどを
運転監視する人を撮影する装置に適用すれば、監視員の
顔画像を正確に撮影できる。
【0022】実施例3.図4は、この発明の実施例3に
よる運転者撮影装置の要部の配置を上面から示す説明図
である。図において、1〜3、4a、4b、4c、5〜
8、21は実施例2と同様であるので説明を省略する。
さらに20a,20b,20cはそれぞれ発光手段であ
り、可視光または赤外光を発光するものであり、例えば
LEDなどの発光器と、発光器をある設定光量で発光さ
せる駆動装置を含んでいる。この実施例では発光手段2
0a,20b,20cはそれぞれカメラ4a,4b,4
cの近くのインスツルメントパネル3内に設置されてそ
れぞれ違う方向から運転者1を投光する位置に配置され
ている。発光手段20a,20b,20cとカメラ4
a,4b,4cはそれぞれ一対で対応しているのが望ま
しい。22は発光器切り換え手段であり、画像信号切り
換え手段5によるカメラ4の選択と同期して、そのカメ
ラ4の近くの発光器20を切り換えて発光させる。この
切り換え信号は画像信号切り換え手段5に与えられる切
り換え信号と同じく顔画像撮影制御手段8により送られ
る。
【0023】実施例2に加えてこの実施例では、発光手
段20を切り換えているので、顔を横に向けた場合など
に生じる、鼻柱による影が発生せず、一様な明るさの顔
画像が得られる効果がある。
【0024】また、実施例2、3においては、発光手段
20と運転者撮影手段4をインスツルメントパネル内に
設置する例を示したが、これにこだわることはなく、ル
ームミラー位置など運転者を撮影できる位置であればど
こでもよい。
【0025】
【発明の効果】以上のように、請求項1の発明によれ
ば、運転者をそれぞれ異なる方向より撮影する複数の運
転者撮影手段、運転者撮影手段により撮影された運転者
の画像から運転者の特徴領域を抽出する特徴領域抽出手
段、この特徴領域抽出手段によって抽出された運転者の
特徴領域から顔の向きを検出する向き検出手段、及び向
き検出手段で検出した運転者の顔の向きに基づいて、運
転者の顔画像を撮影するのに適切な撮影手段を複数の運
転者撮影手段の中から選択する顔画像撮影制御手段を備
えたことにより、運転者の特定の顔画像が常時撮影で
き、画像処理をするのに適した顔画像が撮影できる運転
者撮影装置が得られる効果がある。
【0026】また、請求項2の発明によれば、運転者に
光を照射する発光手段、発光手段からの照射による運転
者の反射光を受光し、運転者をそれぞれ異なる方向より
撮影する複数の運転者撮影手段、運転者撮影手段により
撮影された運転者の画像から運転者の特徴領域を抽出す
る特徴領域抽出手段、この特徴領域抽出手段によって抽
出された運転者の特徴領域から顔の向きを検出する向き
検出手段、及び向き検出手段で検出した運転者の顔の向
きに基づいて、運転者の顔画像を撮影するのに適切な撮
影手段を複数の運転者撮影手段の中から選択する顔画像
撮影制御手段を備えたことにより、上記効果に加えて、
太陽光の得られる昼間だけではなく、夜間や雨天時など
でも運転者の顔画像が撮影できる運転者撮影装置が得ら
れる効果がある。
【図面の簡単な説明】
【図1】この発明の実施例1による運転者撮影装置の要
部の配置を上面から示す説明図である。
【図2】この発明の実施例1に係わる特徴領域抽出手段
6、向き検出手段7、及び顔画像撮影制御手段8の処理
を示すフローチャートである。
【図3】この発明の実施例2による運転者撮影装置の要
部の配置を上面から示す説明図である。
【図4】この発明の実施例3による運転者撮影装置の要
部の配置を上面から示す説明図である。
【図5】従来の運転者撮影装置の要部の配置を斜め後方
から示す説明図である。
【符号の説明】
1 運転者 2 運転席 4a,4b,4c 運転者撮影手段 6 特徴領域抽出手段 7 向き検出手段 8 顔画像撮影制御手段 20 発光手段 22 発光器切り換え手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−255793(JP,A) 特開 平3−254291(JP,A) 特開 平3−194661(JP,A) 特開 昭63−118473(JP,A) 特開 平3−533(JP,A) 特開 昭60−158304(JP,A) 特開 昭60−158303(JP,A) 特開 平2−50691(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 B60K 28/06 G01B 11/00

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 運転者をそれぞれ異なる方向より撮影す
    る複数の運転者撮影手段、上記運転者撮影手段により撮
    影された上記運転者の画像から上記運転者の特徴領域を
    抽出する特徴領域抽出手段、この特徴領域抽出手段によ
    って抽出された上記運転者の特徴領域から顔の向きを検
    出する向き検出手段、及び上記向き検出手段で検出した
    運転者の顔の向きに基づいて、上記運転者の顔画像を撮
    影するのに適切な撮影手段を上記複数の運転者撮影手段
    の中から選択する顔画像撮影制御手段を備えた運転者撮
    影装置。
  2. 【請求項2】 運転者に光を照射する発光手段、上記発
    光手段からの照射による上記運転者の反射光を受光し、
    上記運転者をそれぞれ異なる方向より撮影する複数の運
    転者撮影手段、上記運転者撮影手段により撮影された上
    記運転者の画像から上記運転者の特徴領域を抽出する特
    徴領域抽出手段、この特徴領域抽出手段によって抽出さ
    れた上記運転者の特徴領域から顔の向きを検出する向き
    検出手段、及び上記向き検出手段で検出した運転者の顔
    の向きに基づいて、上記運転者の顔画像を撮影するのに
    適切な撮影手段を上記複数の運転者撮影手段の中から選
    択する顔画像撮影制御手段を備えた運転者撮影装置。
JP00650693A 1993-01-19 1993-01-19 運転者撮影装置 Expired - Lifetime JP3201037B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00650693A JP3201037B2 (ja) 1993-01-19 1993-01-19 運転者撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00650693A JP3201037B2 (ja) 1993-01-19 1993-01-19 運転者撮影装置

Publications (2)

Publication Number Publication Date
JPH06217314A JPH06217314A (ja) 1994-08-05
JP3201037B2 true JP3201037B2 (ja) 2001-08-20

Family

ID=11640321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00650693A Expired - Lifetime JP3201037B2 (ja) 1993-01-19 1993-01-19 運転者撮影装置

Country Status (1)

Country Link
JP (1) JP3201037B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3355076B2 (ja) * 1995-09-14 2002-12-09 三菱電機株式会社 顔画像処理装置
JP3612220B2 (ja) * 1998-09-18 2005-01-19 株式会社東芝 人物監視方法
JP4708491B2 (ja) * 2007-03-29 2011-06-22 富士通株式会社 撮影制御装置、そのプログラム及び方法、撮影装置
US8340368B2 (en) 2008-06-11 2012-12-25 Hyundai Motor Company Face detection system
JP2021026701A (ja) * 2019-08-08 2021-02-22 株式会社慶洋エンジニアリング 居眠り運転防止装置

Also Published As

Publication number Publication date
JPH06217314A (ja) 1994-08-05

Similar Documents

Publication Publication Date Title
US20220214458A1 (en) Imaging device and electronic device
US20230394813A1 (en) Imaging apparatus, imaging system, imaging method, and imaging program
US6304187B1 (en) Method and device for detecting drowsiness and preventing a driver of a motor vehicle from falling asleep
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
JP2937030B2 (ja) 画像処理装置及び人物状態判定装置
US20050280628A1 (en) Projector pen image stabilization system
JP3228086B2 (ja) 運転操作補助装置
JPH06247184A (ja) 車上表示装置
JPH11142784A (ja) 位置検出機能付きヘッドマウントディスプレイ
JP2002274265A (ja) ミラー調整装置
JP3201037B2 (ja) 運転者撮影装置
CN111086451B (zh) 一种平视显示***、显示方法和汽车
JP3774448B2 (ja) 車載用画像処理装置
JP2007089094A (ja) 歩行者検知装置
JPH04174309A (ja) 運転車の眼位置検出装置及び状態検出装置
JPH06262982A (ja) 自動調整装置
JPH06178302A (ja) 運転者撮影装置
JP3342810B2 (ja) 虹彩画像取得装置
JPH11146389A (ja) 表示装置
KR20200107167A (ko) 자연광 환경에서 적외선을 이용하여 얼굴 인식이 가능한 이미지를 생성할 수 있는 얼굴인식장치 및 그 인식방법
JPH07167618A (ja) 運転者位置認識装置
JPH06348980A (ja) 車両上ドライバの眼を監視する装置
JPH0757199A (ja) 物体認識装置
CN118306301A (zh) 一种车灯控制方法、装置、车辆和存储介质
JPS6177705A (ja) 車両運転者の目の位置認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12