JP3214195B2 - 運転者撮影装置 - Google Patents

運転者撮影装置

Info

Publication number
JP3214195B2
JP3214195B2 JP28250293A JP28250293A JP3214195B2 JP 3214195 B2 JP3214195 B2 JP 3214195B2 JP 28250293 A JP28250293 A JP 28250293A JP 28250293 A JP28250293 A JP 28250293A JP 3214195 B2 JP3214195 B2 JP 3214195B2
Authority
JP
Japan
Prior art keywords
driver
light
image
illumination
illuminating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28250293A
Other languages
English (en)
Other versions
JPH07134800A (ja
Inventor
光生 下谷
稔 西田
章 岡田
義晴 森廣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP28250293A priority Critical patent/JP3214195B2/ja
Priority to US08/288,936 priority patent/US5598145A/en
Priority to DE4441332A priority patent/DE4441332B4/de
Publication of JPH07134800A publication Critical patent/JPH07134800A/ja
Application granted granted Critical
Publication of JP3214195B2 publication Critical patent/JP3214195B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/02Dead-man's devices
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、運転者の居眠り状態
や脇見状態などの挙動を検出するための運転者撮影装置
に関するものである。
【0002】
【従来の技術】図31は、例えば特開昭60−1583
03号公報に示された従来の運転者撮影装置を用いた目
の位置検出装置の構成図である。図において、1は運転
者、2は運転席、3はインパネ、10a、10bはCC
Dカメラ、20は赤外線LED、21は赤外線LED2
0に電流を供給するLED駆動回路、100は運転者挙
動検出回路である。
【0003】次に動作について説明する。赤外線LED
20は運転席2の運転者1を照射する。運転者1の映像
は運転者1の顔面を含む所定の領域を撮影できる位置に
設置されたCCDカメラ10a、10bに入力される。
入力された画像は運転者挙動検出回路100に入力さ
れ、目の位置や顔の向きなどが画像処理により実施され
る。図32にこのようにして得られた赤外線画像の例を
示す。図において、4は紅彩、5は強膜、6は瞳孔、7
は顔面表面である。このようにして得られた画像におい
ては、顔表面に比べて強膜5はやや暗く写り、強膜5に
比べ彩4は暗く、瞳孔6は更に暗く写る。
【0004】
【発明が解決しようとする課題】従来の運転者撮影装置
は以上のように構成されているので、瞳孔の位置を検出
するために複雑な画像処理が必要という問題点があっ
た。即ち、得られた画像に対し、例えばフィルタ演算を
施し、エッジ検出をし、このエッジ形状より、瞳孔にあ
たる円を求めるためのハフ変換処理等を施してパターン
認識をし、瞳孔を探していた。また、上記エッジ検出に
際しても雑音等でエッジがうまく検出できないと円が求
まらず、画像処理が複雑で時間がかかるという問題があ
った。
【0005】一方、論文「瞳孔の抽出処理と頭部の動き
を許容する視線検出装置の試作」(電子情報通信学会論
文誌D−II Vol.J76-D-II No.3)で示されるよう
に、同軸落射装置で顔面を照射すると、網膜反射像が顕
著に撮影でき、例えば2値化処理のような非常に簡単な
画像処理で目の位置を検出できる(同軸落射照明とは、
カメラの光軸と照明光の照射方向とが同一になる構造に
した照明のことである)。従ってこの装置を運転者撮影
装置として用いることが考えられるが、その場合、車載
という条件から、撮影するための照明光に比べて100
〜1000倍以上の非常に強い外乱光(太陽光)などに
より、網膜反射像が取れなくなるという問題点がある。
図33に上述の外乱光による影響を説明する説明図を示
す。図33に示された波形は、得られた顔面画像(図3
3上部)におけるA−A線に沿った輝度分布を示すもの
であり、曲線Aは晴天における昼間の像で、同軸落射に
より撮像したもの、曲線Bは雨天における昼間の像で、
同軸落射により撮像したもの、曲線Cは夜間の像で、同
軸落射により撮像したもの、曲線Dは夜間の像で、非同
軸のもの(従来の構成)である。同軸落射のものにおい
て、外乱光が大きくなるに従い(曲線C;夜間→曲線
B;昼間・雨天→曲線A;昼間・晴天)、瞳孔6以外の
部分の輝度が高くなり、瞳孔の識別が困難になることが
わかる。なお、昼間同軸落射で撮像したもの、夜間同軸
落射で撮像したもの、及び夜間非同軸(従来の構成)で
撮像したものを各々参考写真(a)(b)(c)として
添付する。
【0006】この発明は上記のような問題点を解決する
ためになされたもので、車載条件下でも、運転者の網膜
反射像を容易に、かつ鮮明に撮影できる運転者撮影装置
を得ることを目的とする。
【0007】
【課題を解決するための手段】この発明の第1の構成
係る運転者撮影装置は、照明光照射方向と、運転者の像
を入力する光入力手段と運転者とを結ぶの光軸とが、少
なくとも運転者近傍においてほぼ同軸になるように、照
明手段と光入力手段とを設置するとともに、上記光軸を
通って上記光入力手段に入力する上記照明手段からの光
に対する外乱光の影響を除去または制限する外乱光制限
手段を設けたものである。
【0008】また、第2の構成に係る運転者撮影装置
は、上記装置において、外乱光制限手段が、運転者を照
明する照明手段からの照明光を所定の波長とするととも
に、運転者と光入力手段とを結ぶ光軸上に、上記照明光
を通過させ、外乱光を制限するフィルタを設けて構成
たものである。
【0009】また、第3の構成に係る運転者撮影装置
は、第1の構成において、外乱光制限手段が、運転者を
照明する照明手段からの照明光を所定の波長とするとと
もに、光入力手段を上記特定の波長近傍にのみ感度をも
つもので構成したものである。
【0010】また、第4の構成に係る運転者撮影装置
は、上記各装置において、照明手段の中心波長の変化に
対応して、中心波長のずれの影響を補償する波長特性補
償手段を設けたものである。
【0011】また、第5の構成に係る運転者撮影装置
は、第2の構成において、異なる波長特性を持つフィル
を複数個備え、照明手段の中心波長の変化に対応して
上記フィルタを切り換えるように構成したものである。
【0012】また、第6の構成に係る運転者撮影装置
は、第2の構成において、照明手段を異なる波長特性を
持つ複数個の単色発光素子で構成し、フィルタの波長特
性に近い特性を持つ上記単色発光素子を、上記単色発光
素子の中心波長の変化に対応して切り換えるように構成
したものである。また、第7の構成に係る運転者撮影装
置は、第3の構成において、波長感度の異なる光入力手
段を複数個備え、照明手段の中心波長の変化に対応して
上記光入力手段を切り換えるように構成したものであ
る。
【0013】また、第8の構成に係る運転者撮影装置
は、第1ないし第7のいずれかの構成において、外乱光
制限手段が、照明光の有無を制御する照明光制御手段、
及び照明光が有の場合の運転者の画像と照明光が無の場
合の運転者の画像、あるいは上記両画像の差を取って生
成された画像を出力する画像処理手段を備えたものであ
る。
【0014】また、第9の構成に係る運転者撮影装置
は、第8の構成において、光入力手段、照明光の有無
にあわせて所定時間だけ運転者の像を入力する光入力制
御手段を有するもので構成したものである。
【0015】また、第10の構成に係る運転者撮影装置
は、上記光入力制御手段が、照明光の有無にまたがり連
続して所定時間だけ運転者の像を入力するようにしたも
のである。
【0016】また、第11の構成に係る運転者撮影装置
は、第1の構成において、第1の光入力手段と第2の光
入力手段を備え、外乱光制限手段は、運転者を照明する
照明手段からの照明光を所定の波長とするとともに、運
転者と第1の光入力手段とを結ぶ光軸上に設けられた、
上記特定の波長の光を通過させる第1のフィルタと、運
転者と第2の光入力手段とを結ぶ光軸上に設けられた、
上記照明光とは異なる波長の光を通過させる第2のフィ
ルタと、上記各光入力手段で得られた各画像、あるいは
上記各画像の差を取って生成された画像を出力する画像
処理手段を備えたものである。
【0017】また、第12の構成に係る運転者撮影装置
は、第1ないし第11のいずれかの構成において、外乱
光制限手段が、車室内の照度により照明光の強さを変え
手段を有するものである。
【0018】また、第13の構成に係る運転者撮影装置
は、第2ないし第11のいずれかの構成において、照明
光照射方向と光入力手段の光軸とが、運転者近傍におい
てほぼ同軸になるように配置された第1の照明手段、第
1の照明手段と異なる位置に設置し、運転者を照明する
第2の照明手段、及び車室内の照度により第2の照明手
段における照明光の強さを変える手段を有するものであ
る。
【0019】また、第14の構成に係る運転者撮影装置
は、第2ないし第11のいずれかの構成において、外乱
光制限手段が、運転者と照明手段との距離を測定する測
距手段を有し、照明手段は上記距離により照明光の強さ
を変えるようにしたものである。
【0020】また、第15の構成に係る運転者撮影装置
は、車室内の運転者を照明する照明手段、及び運転者の
顔面を含む所定の領域を撮影できる位置に設定し、運転
者の像を入力する光入力手段を備えた運転者撮影装置に
おいて、運転者の標準的な顔面位置を基準にして、第1
の照明手段の照明光照射方向と、運転者と光入力手段と
を結ぶ光軸とが、少なくとも運転者近傍においてほぼ同
軸になるように、第1の照明手段と光入力手段とを設置
し、第1の照明手段と同程度の照度となる第2の照明手
段を、第1の照明手段と異なる位置に設置するととも
に、光軸を通って光入力手段に入力する両照明手段から
の光に対する外乱光の影響を除去または制限する外乱光
制限手段を設け、第1の照明手段により撮影された運転
者の画像と第2の照明手段により撮影された運転者の画
像との差画像を得て、第1の照明手段により撮影された
運転者の瞳孔部分以外の画像に対する照明光による影響
を除去または制限するようにしたものである。
【0021】
【作用】本発明の第1の構成の運転者撮影装置において
は、同軸落射を利用した運転者撮影装置としたので、簡
単な画像処理で目の位置を検出できる。また、外乱光の
影響を除去または制限する外乱光制限手段を設けたの
で、外乱光が強い場合でも鮮明な網膜反射像が得られ
る。
【0022】また、第2の構成の運転者撮影装置におい
ては、照明光を所定の波長とするとともに、外乱光を制
限するフィルタを光入力手段と運転者を結ぶ光路上に設
置したので、外乱光が強い場合でも鮮明な網膜反射像が
容易に得られる。
【0023】また、第3の構成の運転者撮影装置におい
ては、照明光を所定の波長とするとともに、光入力手段
を上記特定の波長近傍にのみ感度をもつもので構成した
ので、外乱光が強い場合でも鮮明な網膜反射像が容易に
得られる。
【0024】また、第4ないし第7の構成の運転者撮影
装置においては、温度等によりLEDの発光波長のずれ
が生じても上記ずれの影響を補償するので、顕著な網膜
反射像が撮影できる。
【0025】また、第8の構成の運転者撮影装置におい
ては、照明光が有る場合の運転者の画像と照明光が無い
場合の運転者の画像を得、両画像の差画像から網膜反射
像を得るので、外乱光の影響が信号処理により除外さ
れ、顕著な網膜反射像が撮影できる。
【0026】また、第9の構成の運転者撮影装置におい
ては、上記運転者撮影装置に対して、照明光の有無にあ
わせて所定時間だけ運転者の像を入力するように構成し
たので、照明光の有無による各画像を取り込む時間間隔
が短くでき、ぶれが少なくなるため、動きが速い場合で
も顕著な像が撮影できる。
【0027】また、第10の構成の運転者撮影装置にお
いては、照明光の有の時と無の時の画像を取り込む各時
間の差がきわめて小さくできるので、得られる差画像に
は照明光の有無だけの差がでてくるため、動きがより速
い場合でも顕著な像が撮影できる。
【0028】また、第11の構成の運転者撮影装置にお
いては、照明光を所定の波長とするとともに、波長特性
の異なるフィルタと各フィルタからの光を入力する光入
力手段を設け、照明光による運転者の画像と照明光を含
まない運転者の画像を得、両画像の差画像から網膜反射
像を得るので、外乱光の影響が信号処理により除外さ
れ、顕著な網膜反射像が撮影できる。
【0029】また、第12または第13の構成の運転者
撮影装置においては、車室内の照度により、照射手段の
照明光の強さ、あるいは上記照明手段と異なる位置に設
置された第2の照明手段の照明光の強さを変えるように
構成したので、得られる顔画像のコントラストは一定と
なり、常に鮮明な網膜反射像が得られる。
【0030】また、第14の構成の運転者撮影装置にお
いては、運転者と照明手段との距離に応じて照明光の強
さを変えるようにしたので、常に一定の照度で運転者が
照明でき、得られる顔画像のコントラストは一定とな
り、常に鮮明な網膜反射像が得られる。
【0031】また、第15の構成の運転者撮影装置にお
いては、第1の照明手段と第2の照明手段とを切り換え
て運転者を照明し、各照明手段の切り換えに対応して得
られた各画像の差画像を取ることにより、第1の照明手
段により撮影された運転者の瞳孔部分以外の画像に対す
る照明光による影響が除去でき、顕著な網膜反射像が撮
影できる。
【0032】
【実施例】
実施例1.以下、この発明の一実施例を図について説明
する。図1において、10は運転者1の顔面を含む所定
の領域を撮影できる位置に設置されたCCDカメラ(光
入力手段)、20は運転席2の運転者1を照明する照明
手段であり、例えば発光の中心波長が860nm、放射
指向特性±20゜の赤外線LED、30はハーフミラー
である。なお、図1の構成の装置は夜間における撮影装
置に適したものである。
【0033】次に動作について説明する。図1におい
て、光源l1で照射される赤外線LED20の照明光
は、ハーフミラー30で半分の光を反射し、光路l2で
運転者1の顔面を照射する。運転者1の画像は光路l3
でハーフミラー30を通り、半分の光がCCDカメラ1
0に到着し、CCDカメラは運転者1の画像を取り込
む。この時、光路l2とl3の光軸は運転者からみて、
ほぼ同軸あるいは所定の角度以内(2度)に納まるよう
になっている(同軸落射照明)。本実施例では0度とし
ており、ハーフミラー30がCCDカメラ10の光軸l
3となす角度は45°である。この時運転者の撮影画像
は図2ようになる。図2において、上記のような構成
の同軸落射照明により、瞳孔6は網膜で反射された光に
より、あたかも瞳孔が光っているように観察され、顔の
表面や他の特徴点に比べて、著しく輝度が高く映る。こ
れは網膜が入射光と同一方向に反射光を返す性質を持つ
からである。従って、このようにして得られた画像から
は、輝度の大小による2値化画像が得られる。この画像
は瞳孔のみが白領域として2つの円となり、他の部分は
黒領域となり、複雑な演算処理をしなくても、重心計算
等、単純な演算で容易に瞳孔の位置が検出できる。
【0034】なお、上記実施例では照明手段20は赤外
線LEDを用いたが、温度による影響を少なくするため
に、広帯域の波長の光を発生するハロゲンランプ、ある
いはハロゲンランプと特定波長の光を分光するフィルタ
で構成した照明手段を用いてもよい。
【0035】実施例2.夜間の場合は実施例1で網膜反
射が顕著に現れ、輝度の高い領域を瞳孔として検出する
ことができる。しかしながら、昼間は、太陽光などの外
乱光が車室内に差し込むため、同軸落射で撮影しただけ
では、外乱光により照らされた瞳孔以外の部分の輝度が
非常に高いため、網膜反射像が顕著でないという問題が
生じる。実施例2は外乱光の影響を軽減させ、網膜反射
像を顕著に撮影する工夫をした例である。
【0036】図4は実施例2による運転者撮影装置を示
す構成図であり、図4において、赤外線LED20の発
光特性は図5(a)に示すように、860nmを中心波
長として約20nmの広がりを持っている。40は、図
5(b)に示すような同じく860nmを中心波長とし
て30nmの通過帯域幅をもつ光学的BPF(バンドパ
スフィルタ)である。BF40はCCDカメラ10の
前に設置されている。他の構成は実施例1と同じであ
る。
【0037】次に動作について説明する。図5(a)の
発光特性を有する赤外線LED20の光は、実施例1と
同様に、ハーフミラー30で反射され、運転者1の顔面
を照射する。運転者1の画像は光路l3 でハーフミラー
30を通り、BPF40を通過するが、BPF40の波
長特性は図5(b)に示すように中心波長がLED20
の発光特性と同一であるため、光の成分のほとんどが通
過し、CCDカメラ10に到達して、CCDカメラ10
は運転者1の画像を取り込む。一方、太陽光の影響によ
る外乱光は、図5(c)のように広帯域にわたる光の成
分を持っている。この外乱光ににより照らされた運転者
1の像はBPF40により、860nm付近の成分の他
はほとんどが減衰してしまうため、CCDカメラ10に
は外乱光のごく一部のみが入力する。その結果として、
外乱光の影響が減衰し、赤外線LED20からの同軸落
射による網膜反射が鮮明に観察できるようになり、瞳孔
の輝度が高い画像を得ることができる。以下、瞳孔中心
を得る画像処理は実施例1と同様の処理で行われる。
【0038】なお、実施例2ではBPFにより外乱光を
減衰させ、広帯域の波長感度を持つCCDで撮影した
が、BPFを用いずに、赤外線LEDの発光波長近傍に
のみ感度を持つ光電変換素子を用いてもよい。
【0039】実施例3.図6は実施例3による運転者撮
影装置を示す構成図である。実施例2では、照明手段と
して発光波長が比較的狭い赤外線LED20を用いた
が、赤外線LEDは温度により発光波長が変化するとい
う特性があり、温度が変化するとBPF40通過後の光
成分が小さくなるという問題がある。これを解決するに
はBPF40のバンド幅を広げると良いが、広げるに従
い、外乱光の抑止効果が小さくなるという問題を生じ
た。ここでは照明手段として、発光波長が広帯域にわた
るランプ22(例えばレフランプや白熱灯)を用い、ラ
ンプ駆動回路23によりランプ22を駆動する。また、
BPF40は照明手段22と運転者1の間で、かつ運転
者1とCCDカメラ10の間になるように設置する。
【0040】次に動作について説明する。図7(a)は
ランプ22の発光波長特性であり、ランプ22の照明光
はBPF40を通過したときには、図7(b)のような
波長特性になり、顔面を照射するときは波長帯域の狭い
光となる。この照明光による顔面像は、再びBPF40
を通過してCCD10に入力されるが、ほとんどの光は
BPF40を通過する。一方、外乱光による顔面像はB
PF40により帯域制限され減衰される。その結果、実
施例2と同様、外乱光の影響が減衰し、赤外線LED2
0からの同軸落射による網膜反射が鮮明に観察できるよ
うになり、瞳孔の輝度が高い画像を得ることができる。
【0041】なお、BPF40は同じ波長特性を有する
二つのBPFを、ランプ22と運転者1を結ぶ光路と、
CCD10と運転者1を結ぶ光路上にそれぞれ設けても
よい。
【0042】実施例4.図8は実施例4による運転者撮
影装置を示す構成図である。本実施例では赤外線LED
の発光波長の変化に対する対策として、BPFを発光波
長の変化に対応して切り換えるようにしたものである。
図において、40a、40b、40cは波長特性の異な
る複数個のBPF、41はフィルタ切り換え回路、42
は温度センサである。図9はLED20の発光中心波長
と温度との関係を示す特性図であり、温度が10度では
840nm、20度では865nm、30度では885
nmと変化している。また、図10は、各BPFの波長
特性であり、曲線AはBPF40a、曲線BはBPF4
0b、曲線CはBPF40cの波長特性である。BPF
40aの中心波長は840nm、BPF40bの中心波
長は860nm、BPF40cの中心波長は880nm
である。
【0043】次に動作について説明する。本実施例では
温度センサ42により温度を検知し、光路l3 上に置か
れるBPFとして、温度が13度以下では、BPF40
aを使い、温度が13〜21度ではBPF40bを用
い、温度が21度以上ではBPF40cを用いる様に、
フィルタ切り換え回路41でコントロールする。以下の
動作は実施例2と同様である。このように、BPFを温
度により切り換えることにより、発光波長が変化しても
網膜反射像を顕著に撮影できる。
【0044】実施例5.なお、上記実施例では温度を検
知してBPFを切り換えていたが、温度センサ42の代
わりに、波長感度の異なる光電変換素子群を設置してL
ED20の発光波長を検出し、検出された発光波長に近
い中心波長を有する波長特性のBPFが光路l3 上に配
置されるように切り換えてもよい。このようにすれば、
温度以外の要因によってLEDの発光波長が変化しても
網膜反射像を顕著に撮影できる。
【0045】実施例6.図11は実施例6による運転者
撮影装置を示す構成図である。本実施例では赤外線LE
Dの発光波長の変化に対する対策として、発光中心波長
の異なるLEDを複数個設置し、温度によりLEDを切
り換えたものである。図において、20a、20b、2
0cは発光中心波長の異なる複数個のLEDである。図
12は各LEDの発光中心波長と温度との関係を示す特
性図であり、曲線AはLED20a、曲線BはLED2
0b、曲線CはLED20cの温度特性である。なお、
BPF40は実施例2と同様、860nmを中心波長と
して30nmの帯域幅ををもつ光学的BPFであり、C
CDカメラ10の前に設置されている
【0046】次に動作について説明する。本実施例では
温度センサ42により温度を検知し、LEDとして、温
度が15度以下では、LED20aを使い、温度が15
〜23度ではLED20bを用い、温度が23度以上で
はLED20cを用いる様に、LED駆動回路21でコ
ントロールする。以下の動作は実施例2と同様である。
このように、LEDを温度により切り換えることによ
り、発光波長が変化しても網膜反射像を顕著に撮影でき
る。
【0047】実施例7.なお、上記実施例では温度を検
知してLEDを切り換えていたが、図13に示すよう
に、温度センサ42の代わりに、BPFと同じ860n
mの波長に対し感度を有する光電変換素子24を設置し
て、各LED20a、20b、20cのパワーを検出
し、最大のパワーを示すLEDを選択し、このLEDを
用いるように切り換えてもよい。このようにすれば、温
度以外の要因によってLEDの発光波長が変化しても網
膜反射像を顕著に撮影できる。
【0048】実施例8.また、上記各実施例では複数の
BPFを設けたり、複数のLEDを設けて、LEDの中
心波長のずれの影響を補償するようにしたが、温度の変
化によって中心波長がずれることがないように、車載の
空調機でLEDを冷却または、暖房するようにしても良
い。
【0049】実施例9.上記実施例2〜8は曇り程度の
外乱光では、網膜反射像が顕著に撮影できるが、晴天な
ど外乱光が極めて高い状態では、瞳孔は明るくは観察さ
れるが、頬等に比べて輝度が充分高く観察されないとい
う問題がある。本実施例では信号処理によってさらに外
乱光の影響を除去するものであり、図14に本実施例の
構成を示す。図において、60はタイミング発生回路、
61はフレームメモリ1、62はフレームメモリ2、6
3は差分回路、64はフレームメモリ3であり、60〜
64は画像処理手段600を構成する。図15は実施例
9の運転者撮影装置の動作を説明するタイミングチャー
トであり、タイミング発生回路60は、例えば30mS
ごとにタイミング信号を発生する。LED駆動回路21
は上記タイミング発生回路60からのタイミングに従っ
て、30mS毎にLEDのオンオフを繰り返すLED信
号を発生する。CCDカメラ10はタイミング発生回路
60からのタイミングに従って、30mSごとに1画面
を発生するが、結果としてLED20が発光している顔
面の像と、LED20が発光していない顔面の像とが交
互に、発生することになる。フレームメモリは1画面の
画像データを記憶するメモリである。フレームメモリ1
の画像データはフレームメモリ2に毎フレーム転送され
る。従って、フレームメモリ2はいつもフレームメモリ
1の30mS前の画像データを記憶する。即ち、フレー
ムメモリ1がLEDオンの画像の時は、フレームメモリ
2の画像はLEDオフのときの画像である。次の30m
S後には逆となる。差分回路63は、フレームメモリ1
がLEDオンの画像を記憶しているときフレームメモリ
1とフレームメモリ2との画像データの差分を取る。こ
のとき差分回路63から出力される顔画像は、(外乱光
+LEDオンの画像)から(外乱光による画像)を引く
ことになり、結果として赤外線LED照明光のみによる
顔画像がフレームメモリ3で得ることができる。この画
像は、外乱光の影響を信号処理により除外しているの
で、瞳孔の輝度が高い画像を60mS毎に得ることがで
きる。
【0050】実施例10.上記実施例ではLEDを駆動
するLED信号によりLEDのオンオフを交互に繰り返
したが、LEDからの照明光を遮断するシャッタの開閉
によりオンオフ制御してもよい。図16は実施例10に
よる運転者撮影装置を示す構成図である。図において、
11はシャッタであり、例えば液晶シャッタで実現す
る。12はシャッタ駆動回路である。図17は実施例1
0の運転者撮影装置の動作を説明するタイミングチャー
トであり、シャッタ駆動回路12はタイミング発生回路
60からのタイミングに従って、例えば30mS毎にシ
ャッタ11の開閉を繰り返す信号を発生する。以下の動
作は実施例9と同様である。
【0051】実施例11.なお、上記実施例9、10で
は、LEDのオンまたはオフの周期を30mS、運転者
挙動検出回路100への映像信号を60mS毎にした
が、この繰り返しの周期は30mSにこだわらない。例
えばLEDの周期を15mS、カメラの信号出力周期を
15mS、フレームメモリからの信号出力周期を30m
Sとしても良い。
【0052】実施例12.また、上記実施例9、10で
は、フレームメモリを設けて差分をとったが、一旦画像
を運転者挙動検出回路100に送り、運転者挙動回路1
00内の、ソフトの処理により差分画像をとっても良
い。図18は実施例12による運転者撮影装置を示す構
成図、図19はその動作を説明するタイミングチャート
である。図において、タイミング発生回路60からのタ
イミングに従って、LED駆動回路21はLEDのオン
オフを繰り返すLED信号を発生する。CCDカメラ1
0はタイミング発生回路60からのタイミングに従っ
て、例えば30mSに1画面を発生するが、結果として
LED20が発光している顔面の像と、LED20が発
光していない顔面の像とが交互に発生する。本実施例で
は運転者挙動回路100において上記両画像の差分画像
をとり、実施例9と同様の赤外線LED照明光のみによ
る顔画像を得る。
【0053】なお、上記実施例では常に運転者挙動回路
100において差分画像をとり、顔画像を得るようにし
たが、昼は上記実施例と同様、照明光が有無の両画像を
用いた差分画像により、夜は照明光が有の時だけの画像
により顔画像を得るようにしてもよく、その結果、画像
処理が簡略化する。なお、昼と夜の識別は照度センサや
自動車のライトのオンオフ信号により検出すればよい。
【0054】また、運転者挙動回路100において、昼
間、差分画像から網膜情報を得るだけでなく、照明光が
無の時の画像信号を用いて顔面の他の情報を得るように
してもよい。
【0055】実施例13.上記実施例9において、LE
D20の発光タイミングを30mSごとにしたが、運転
者の目が高速に移動した場合を考慮すると、画像を取り
込む時間間隔は短い方がよい。実施例9では画像取り込
みの時間間隔は30mSであったが、CCD10に液晶
シャッタ11を設けて、短い時間だけのLEDオンの時
の画像とオフの時の画像をとっても良い。図20は実施
例13による運転者撮影装置を示す構成図、図21はそ
の動作を説明するタイミングチャートである。図におい
て、タイミング発生回路60からのタイミングに従っ
て、LED駆動回路21は例えば30mS毎にLEDの
オンオフを繰り返すLED信号を発生する。シャッタ駆
動回路12はタイミング発生回路60からのタイミング
に従って、図21に示すように、LEDのオンオフにあ
わせて、30mS毎にシャッタ11を5mS間だけ開く
信号を発生する。以下の動作は上記実施例9と同じであ
るが、本実施例ではLED20のオンオフ状態にあわ
せ、図21に示すように5mSのみCCD10のシャッ
タ11が開いているため、各画像を取り込む時間間隔が
短くでき、動きが速い場合でも、ぶれの少ない画像が得
られる。
【0056】なお、上記実施例の場合、シャッタの開放
時間は30mS以内であれば5mSに限らない。
【0057】実施例14. また、上記実施例13において、運転者の目がさらに高
速に移動した場合を考慮すると、LEDオンの時の画像
とオフの時の画像を取り込む時間の時間差も小さい方が
よく、得られる差画像には照明光の有無による差がで
る。図22はこの様な実施例を示すタイミングチャート
である。図22において、シャッタ駆動回路12はタイ
ミング発生回路60からのタイミングに従って、例えば
60mS毎にLEDのオン・オフ状態にまたがって、シャッ
タ11を10mS間だけ開く信号を発生する。以下の動
作は上記実施例9と同じであるが、本実施例ではLED
20のオン状態にあわせ、図22に示すように5mSの
みCCD10のシャッタ11が開くとともに、LED2
0のオフ状態にあわせ、引続き5mS間、CCD10の
シャッタ11が開いているため、LEDオンの画像とオ
フの画像を取り込む時間の時間差が、実施例9及び13
では30mSであったのに対し、本実施例では5mSに
することができる。このため、得られる差画像には照明
光の有無よる差がより顕著にとらえられるので、運転
者の目の動きが早い場合にも、ぶれの少ない画像が得ら
れる。
【0058】実施例15.なお、上記実施例においては
LEDの前にシャッタ11を設け、LEDのオンオフに
あわせて、上記シャッタ11を開閉したが、LEDとシ
ャッタの代わりに、ある時間において画像を取り込むか
否かの選択機能を持つデバイス、例えばCID(Carge
Injection Device)で電子的に光入力を制御してもよ
い。
【0059】実施例16.図23は実施例16による運
転者撮影装置を示す構成図であり、13はCCD、43
は図24に示すように800nmを中心波長として30
nmの帯域幅をもつ光学的BPF(第2のBPF)であ
り、BPF40(第1のBPF)(図5(b)の波長特
性・・・中心波長860nm)とは波長特性が異なって
いる。600は画像処理手段である。
【0060】次に動作について説明する。図5(a)の
発光特性を有する赤外線LED20の光は、ハーフミラ
ー30で反射され、運転者1の顔面を照射する。このL
ED20の光による運転者1の画像は光路l3 、l4 で
ハーフミラー30、31を通り、図5(b)に示すよう
な同様の波長特性を有するBPF40で光の成分のほと
んどが通過し、実施例2と同様に、CCDカメラ10に
到達し、CCDカメラ10は運転者1の画像を取り込
む。一方、ハーフミラー30を通り、ハーフミラー31
で反射された、LED20の光による運転者1の画像は
(光路l3 、l5 )、図24に示すような波長特性を有
するBPF43で光の成分のほとんどがカットされ、C
CDカメラ13には到達しない。CCD13には、80
0nm付近の成分の外乱光に照らされた運転者1の像の
みが入力する。画像処理手段600はCCD10で得ら
れた画像とCCD13で得られた画像の差分画像をと
り、実施例9と同様の赤外線LED照明光のみによる顔
画像を得る。この画像は、外乱光の影響が信号処理によ
り除外されているので、上記各実施例と同様、瞳孔の輝
度が著しく高い画像となる。
【0061】実施例17.図25は実施例17による運
転者撮影装置を示す構成図であり、車室内の照度を測定
する照度センサ25を設けたものである。本実施例で
は、例えばLED20で構成される照明手段は、照度セ
ンサ25により検出された車室内の照度に応じて、発光
強度が変化できるように構成されている。このように構
成された運転者撮影装置は、外乱光によらず、一定の照
度で運転者が撮像できるので得られる顔画像のコントラ
ストは一定となり、常に鮮明な網膜反射像が得られる。
【0062】実施例18. また、図26は実施例18による運転者撮影装置を示す
構成図である。本実施例は車室内の照度を測定する照度
センサ25を設け、照度センサ25により検出された車
室内の照度に応じて、LED20と異なる位置(同軸落
射でない位置)に設置され、運転者1を照明する第2の
LED27の発光強度をLED駆動回路26によって変
化させるようにしたものである。このように構成された
運転者撮影装置は、外乱光の影響が一定となり、得られ
る顔画像のコントラストは一定となる
【0063】なお、上記実施例17、18においては、
車室内の照度を測定する照度センサ25を設けたが、照
度センサ25を設けずにCCD10自身の強度を見て、
その平均値が所定の範囲になるように照明光の強さを変
えるようにしてもよい。あるいは、照度センサ25を設
けずに車のライトのオンオフ信号により照明光の強さを
切り換えるようにしてもよい。
【0064】実施例19また、図27は実施例19によ
る運転者撮影装置を示す構成図である。本実施例は、実
施例18と同様、LED20と異なる位置(同軸落射で
ない位置)にLED20と同程度の照度となる第2のL
ED27を設置し、LED20と第2のLED27とを
タイミング発生回路60により切り換えて運転者を照明
し、運転者挙動検出回路100で各LEDの切り換えに
対応して得られた各画像の差画像を取ることにより、顔
面上の瞳孔以外の部分と瞳孔との輝度差が大きな画像が
得られ、照明光により顔が照らされる影響が除去でき、
顕著な網膜反射像が撮影できる。さらに、第2のLED
27により得られる画像は多くの情報を有しているた
め、タイミング発生回路60により照明を第2のLED
27に切り換えて、運転者の他の特徴点を夜間でもつか
まえることができるようになる。
【0065】実施例20.また、図28は実施例20に
よる運転者撮影装置を示す構成図である。図において、
50は例えばインパネ3上に設けられた超音波送信機、
51は超音波受信機、52は測距回路である。
【0066】次に動作について説明する。超音波送信機
50はパルスを運転者に送り、その反射音を超音波受信
機51が入力する。測距回路52は送受信の時間差によ
り運転者までの距離を測定する。LED駆動回路21は
測定された距離を入力し、距離が遠いと照明光を強くす
るように、LEDの照明光強度を測定距離に応じて変化
させ、常に一定の照度で運転者を照明する。その結果、
得られる顔画像のコントラストは一定となり、常に鮮明
な網膜反射像が得られる。
【0067】実施例21.図29は実施例21による運
転者撮影装置を示す構成図である。図において、70は
画像コード生成回路、71は画像選択回路である。ま
た、図30は実施例20の動作を説明するタイミングチ
ャートである。本実施例では画像にタイムコード等の識
別信号を付加し、画像の種類を運転者挙動検出回路10
0が識別できるようにするものである。
【0068】次に動作を説明する。図29において、画
像コード生成回路70はタイミング発生回路60からの
タイミングに従ってフレーム毎にコード信号(1、2、
3、・・・)を生成する。画像選択回路71は、図30
に示すように、タイミング発生回路60からの選択信号
に従って、フレームメモリ2の内容(画像信号A)とフ
レームメモリ3の内容(画像信号B)を規則的に選択
し、選択された出力信号Cにコード信号を重畳させて運
転者挙動検出回路100に送る。
【0069】なお、識別コードは1、2、3、4、・・
・と加えていくのでなく、1、2、1、2、・・・とし
ていってもよい。
【0070】また、画像の選択はフレームメモリ2とフ
レームメモリ3の切り換えにこだわらない。フレームメ
モリ2だけを選択して1、2、1、2、・・・と付加し
てもよい。この時、1のコードはLEDがオン、2のコ
ードはLEDがオフと規定しておく。
【0071】なお、上記各実施例においてカメラはCC
Dにこだわらない。例えばCIDカメラでも良い。
【0072】また、撮影系は一つのカメラで説明した
が、複数の同軸落射照明とカメラのセットでも良い。
【0073】また、同軸落射照明はハーフミラーの場合
のみを示したが、同軸落射で有ればこのような構造にこ
だわらない。例えばカメラのレンズ中心に発光素子があ
り、運転者を直接照射する構造にしても良い。
【0074】
【発明の効果】以上のように、この発明の第1の構成
よれば、照明手段の照明光照射方向と、運転者と光入力
手段を結ぶ光軸とが、少なくとも運転者近傍においてほ
ぼ同軸になるように、照明手段と光入力手段とを設置し
たので、簡単な画像処理で目の位置を容易に検出できる
効果がある。また、外乱光の影響を除去または制限する
外乱光制限手段を設けたので、外乱光が強い場合でも鮮
明な網膜反射像が得られる。
【0075】また、第2の構成によれば、照明光を所定
の波長とするとともに、外乱光を制限するフィルタを光
入力手段と運転者を結ぶ光路上に設置したので、外乱光
が強い場合でも鮮明な網膜反射像が容易に得られる。
【0076】また、第3の構成によれば、照明光を所定
の波長とするとともに、光入力手段を上記特定の波長近
傍にのみ感度をもつもので構成したので、外乱光が強い
場合でも鮮明な網膜反射像が容易に得られる。
【0077】また、第4ないし第7の構成によれば、L
EDの発光波長のずれが生じても上記ずれの影響を補償
するように構成したので、常に顕著な網膜反射像が撮影
できる。
【0078】また、第8の構成によれば、照明光が有る
場合の運転者の画像と照明光が無い場合の運転者の画像
を得、両画像の差画像から網膜反射像を得るようにした
ので、外乱光の影響が信号処理により除外され、顕著な
網膜反射像が撮影できる。
【0079】また、第9の構成によれば、上記運転者撮
影装置に対して、照明光の有無にあわせて所定時間だけ
運転者の像を入力するように構成したので、ぶれが少な
く、目の動きが速い場合でも顕著な像が撮影できる。
【0080】また、第10の構成によれば、照明光の有
無にまたがり連続して所定時間だけ運転者の像を入力す
るようにしたので、得られる差画像には照明光の有無だ
けの差がでてくるため、動きがより速い場合でも顕著な
像が撮影できる。
【0081】また、第11の構成によれば、照明光を所
定の波長とするとともに、照明手段が有する光成分を通
過させる第1のフィルタ及び上記光成分による運転者の
画像を入力する第1の光入力手段、上記光成分とは異な
る光成分を通過させる第2のフィルタ及び上記異なる成
分による運転者の画像を入力する第2の光入力手段、並
びに各光入力手段で得られた各画像、あるいは上記各画
像の差を取って生成された画像を出力する画像処理手段
を備えたので、外乱光の影響が除外されて、顕著な網膜
反射像が撮影できる。
【0082】また、第12または第13の構成によれ
ば、車室内の照度により照射手段の照明光の強さ、ある
いは上記照明手段と異なる位置に設置された第2の照明
手段の照明光の強さを変えるように構成したので、得ら
れる顔画像のコントラストは一定となり、常に鮮明な網
膜反射像が得られる。
【0083】また、第14の構成によれば、運転者と照
明手段との距離に応じて照明光の強さを変えるようにし
たので、常に一定の照度で運転者が照明でき、得られる
顔画像のコントラストは一定となり、常に鮮明な網膜反
射像が得られる。
【0084】また、第15の構成によれば、運転者の標
準的な顔面位置を基準にして、第1の照明手段の照明光
照射方向と、運転者と光入力手段とを結ぶ光軸とが、少
なくとも運転者近傍においてほぼ同軸になるように、第
1の照明手段と光入力手段とを設置し、第1の照明手段
と同程度の照度となる第2の照明手段を、第1の照明手
段と異なる位置に設置するとともに、光軸を通って光入
力手段に入力する両照明手段からの光に対する外乱光の
影響を除去または制限する外乱光制限手段を設け、第1
の照明手段により撮影された運転者の画像と第2の照明
手段により撮影された運転者の画像との差画像を得て、
第1の照明手段により撮影された運転者の瞳孔部分以外
の画像に対する照明光による影響を除去または制限する
ようにしたので、外乱光が強い場合でも鮮明な網膜反射
像が得られ、顕著な網膜反射像が撮影できる。
【図面の簡単な説明】
【図1】この発明の実施例1による運転者撮影装置を示
す構成図である。
【図2】この発明の実施例1による運転者撮影装置によ
り撮像された運転者の撮影画像を示す説明図である。
【図3】この発明の実施例1による運転者撮影装置によ
り処理された運転者の撮影画像を示す説明図である。
【図4】この発明の実施例2による運転者撮影装置を示
す構成図である。
【図5】この発明の実施例2に係わる赤外線LED、B
PF、及び外乱光の特性を示す特性図である。
【図6】この発明の実施例3による運転者撮影装置を示
す構成図である。
【図7】この発明の実施例3に係わるランプ、及びBP
Fの特性を示す特性図である。
【図8】この発明の実施例4による運転者撮影装置を示
す構成図である。
【図9】この発明の実施例4に係わるLEDの発光中心
波長と温度との関係を示す特性図である。
【図10】この発明の実施例4に係わるBPFの波長特
性を示す特性図である。
【図11】この発明の実施例6による運転者撮影装置を
示す構成図である。
【図12】この発明の実施例6に係わるLEDの発光中
心波長と温度との関係を示す特性図である。
【図13】この発明の実施例7による運転者撮影装置を
示す構成図である。
【図14】この発明の実施例9による運転者撮影装置を
示す構成図である。
【図15】この発明の実施例9による運転者撮影装置の
動作を説明するタイミングチャートである。
【図16】この発明の実施例10による運転者撮影装置
を示す構成図である。
【図17】この発明の実施例10による運転者撮影装置
の動作を説明するタイミングチャートである。
【図18】この発明の実施例12による運転者撮影装置
を示す構成図である。
【図19】この発明の実施例12による運転者撮影装置
の動作を説明するタイミングチャートである。
【図20】この発明の実施例13による運転者撮影装置
を示す構成図である。
【図21】この発明の実施例13による運転者撮影装置
の動作を説明するタイミングチャートである。
【図22】この発明の実施例14による運転者撮影装置
の動作を説明するタイミングチャートである。
【図23】この発明の実施例16による運転者撮影装置
を示す構成図である。
【図24】この発明の実施例16に係わる第2のBPF
の波長特性を示す特性図である。
【図25】この発明の実施例17による運転者撮影装置
を示す構成図である。
【図26】この発明の実施例18による運転者撮影装置
を示す構成図である。
【図27】この発明の実施例19による運転者撮影装置
を示す構成図である。
【図28】この発明の実施例20による運転者撮影装置
を示す構成図である。
【図29】この発明の実施例21による運転者撮影装置
を示す構成図である。
【図30】この発明の実施例21による運転者撮影装置
の動作を説明するタイミングチャートである。
【図31】従来の運転者撮影装置を示す構成図である。
【図32】従来の運転者撮影装置により撮像された運転
者の撮影画像を示す説明図である。
【図33】運転者撮影装置における外乱光による影響を
説明する説明図である。
【符号の説明】
1 運転者 6 瞳孔 10 CCDカメラ 11 シャッタ 12 シャッタ駆動回路 13 CCDカメラ 20 赤外線LED 20a LED 20b LED 20c LED 21 LED駆動回路 22 ランプ 23 ランプ駆動回路 24 光電変換素子 25 照度センサ 26 LED駆動回路 27 LED 30 ハーフミラー 31 ハーフミラー 40 BPF 40a BPF 40b BPF 40c BPF 41 フィルタ切り換え回路 42 温度センサ 43 BPF 50 超音波送信機 51 超音波受信機 52 測距回路 60 タイミング発生回路 61 フレームメモリ1 62 フレームメモリ2 63 差分回路 64 フレームメモリ3 100 運転者挙動検出回路 600 画像処理手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森廣 義晴 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 産業システム研究所内 (56)参考文献 特開 平7−61256(JP,A) 特開 平6−270711(JP,A) 特開 平7−32907(JP,A) 特開 平7−120256(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08G 1/16 B60K 28/06

Claims (15)

    (57)【特許請求の範囲】
  1. 【請求項1】 車室内の運転者を照明する照明手段、及
    び上記運転者の顔面を含む所定の領域を撮影できる位置
    に設置し、上記運転者の像を入力する光入力手段を備え
    た運転者撮影装置において、上記運転者の標準的な顔面
    位置を基準にして、上記照明手段の照明光照射方向と、
    上記運転者と上記光入力手段とを結ぶ光軸とが、少なく
    とも上記運転者近傍においてほぼ同軸になるように、上
    記照明手段と上記光入力手段とを設置するとともに、上
    記光軸を通って上記光入力手段に入力する上記照明手段
    からの光に対する外乱光の影響を除去または制限する外
    乱光制限手段を設けたことを特徴とする運転者撮影装
    置。
  2. 【請求項2】 外乱光制限手段は、運転者を照明する照
    明手段からの照明光を所定の波長とするとともに、運転
    者と光入力手段とを結ぶ光軸上に、上記照明光を通過さ
    せ、外乱光を制限するフィルタを設けて構成したことを
    特徴とする請求項1記載の運転者撮影装置。
  3. 【請求項3】 外乱光制限手段は、運転者を照明する照
    明手段からの照明光を所定の波長とするとともに、光入
    力手段を上記特定の波長近傍にのみ感度をもつもので構
    したことを特徴とする請求項1記載の運転者撮影装
    置。
  4. 【請求項4】 照明手段の中心波長の変化に対応して、
    上記中心波長のずれの影響を補償する波長特性補償手段
    を設けたことを特徴とする請求項1ないし3のいずれか
    記載の運転者撮影装置。
  5. 【請求項5】 異なる波長特性を持つフィルタを複数個
    備え、照明手段の中心波長の変化に対応して上記フィル
    を切り換えるようにした請求項記載の運転者撮影装
    置。
  6. 【請求項6】 照明手段を異なる波長特性を持つ複数個
    の単色発光素子で構成し、フィルタの波長特性に近い特
    性を持つ上記単色発光素子を、上記単色発光素子の中心
    波長の変化に対応して切り換えるようにした請求項
    載の運転者撮影装置。
  7. 【請求項7】 波長感度の異なる光入力手段を複数個備
    え、照明手段の中心波長の変化に対応して上記光入力手
    段を切り換えるようにした請求項3記載の運転者撮影装
    置。
  8. 【請求項8】 外乱光制限手段は、照明光の有無を制御
    する照明光制御手段、及び上記照明光が有の場合の運転
    者の画像と照明光が無の場合の運転者の画像、あるいは
    上記両画像の差を取って生成された画像を出力する画像
    処理手段を有することを特徴とする請求項1ないし
    いずれかに記載の運転者撮影装置。
  9. 【請求項9】 光入力手段は、照明光の有無にあわせて
    所定時間だけ運転者の像を入力する光入力制御手段を有
    することを特徴とする請求項記載の運転者撮影装置。
  10. 【請求項10】 光入力制御手段は、照明光の有無にま
    たがり連続して所定時間だけ運転者の像を入力すること
    を特徴とする請求項記載の運転者撮影装置。
  11. 【請求項11】 第1の光入力手段と第2の光入力手段
    を備え、外乱光制限手段は、運転者を照明する照明手段
    からの照明光を所定の波長とするとともに、運転者と第
    1の光入力手段とを結ぶ光軸上に設けられた、上記特定
    の波長の光を通過させる第1のフィルタと、運転者と第
    2の光入力手段とを結ぶ光軸上に設けられた、上記照明
    光とは異なる波長の光を通過させる第2のフィルタと、
    上記各光入力手段で得られた各画像、あるいは上記各画
    像の差を取って生成された画像を出力する画像処理手段
    を備えたことを特徴とする請求項記載の運転者撮影
    装置。
  12. 【請求項12】 外乱光制限手段は、車室内の照度によ
    り照明光の強さを変える手段を有することを特徴とする
    請求項1ないし11のいずれかに記載の運転者撮影装
    置。
  13. 【請求項13】 照明光照射方向と光入力手段の光軸と
    が、運転者近傍においてほぼ同軸になるように配置され
    た第1の照明手段、第1の照明手段と異なる位置に設置
    し、運転者を照明する第2の照明手段、及び車室内の照
    度により第2の照明手段における照明光の強さを変える
    手段を有することを特徴とする請求項ないし11のい
    ずれかに記載の運転者撮影装置。
  14. 【請求項14】 外乱光制限手段は、運転者と照明手段
    との距離を測定する測距手段を有し、照明手段は上記距
    離により照明光の強さを変えることを特徴とする請求項
    1ないし13のいずれかに記載の運転者撮影装置。
  15. 【請求項15】 車室内の運転者を照明する照明手段、
    及び上記運転者の顔面を含む所定の領域を撮影できる位
    置に設定し、上記運転者の像を入力する光入力手段を備
    えた運転者撮影装置において、上記運転者の標準的な顔
    面位置を基準にして、第1の照明手段の照明光照射方向
    と、上記運転者と上記光入力手段とを結ぶ光軸とが、少
    なくとも上記運転者近傍においてほぼ同軸になるよう
    に、第1の照明手段と上記光入力手段とを設置し、第1
    の照明手段と同程度の照度となる第2の照明手段を、第
    1の照明手段と異なる位置に設置するとともに、上記光
    軸を通って上記光入力手段に入力する上記両照明手段か
    らの光に対する外乱光の影響を除去または制限する外乱
    光制限手段を設け、第1の照明手段により撮影された運
    転者の画像と第2の照明手段により撮影された運転者の
    画像との差画像を得て、第1の照明手段により撮影され
    た運転者の瞳孔部分以外の画像に対する照明光による影
    響を除去または制限するようにしたことを特徴とする運
    転者撮影装置。
JP28250293A 1993-11-11 1993-11-11 運転者撮影装置 Expired - Fee Related JP3214195B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP28250293A JP3214195B2 (ja) 1993-11-11 1993-11-11 運転者撮影装置
US08/288,936 US5598145A (en) 1993-11-11 1994-08-10 Driver photographing apparatus
DE4441332A DE4441332B4 (de) 1993-11-11 1994-11-08 Vorrichtung zur Bestimmung der Position der Pupillen eines Fahrers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28250293A JP3214195B2 (ja) 1993-11-11 1993-11-11 運転者撮影装置

Publications (2)

Publication Number Publication Date
JPH07134800A JPH07134800A (ja) 1995-05-23
JP3214195B2 true JP3214195B2 (ja) 2001-10-02

Family

ID=17653280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28250293A Expired - Fee Related JP3214195B2 (ja) 1993-11-11 1993-11-11 運転者撮影装置

Country Status (3)

Country Link
US (1) US5598145A (ja)
JP (1) JP3214195B2 (ja)
DE (1) DE4441332B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103595A1 (ja) 2009-03-13 2010-09-16 ナルックス株式会社 受光素子用フィルタおよび受光装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4085793A (en) * 1992-05-27 1993-12-30 Plastisign Limited Method of cold laminating rigid plastics and stationery and apparatus therefor
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3355076B2 (ja) * 1995-09-14 2002-12-09 三菱電機株式会社 顔画像処理装置
JP2000028315A (ja) 1998-07-13 2000-01-28 Honda Motor Co Ltd 対象物検出装置
DE19921488A1 (de) * 1999-05-08 2000-11-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines Fahrzeugs
WO2001000459A1 (de) * 1999-06-24 2001-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur sitzüberwachung mittels einer optoelektronischen triangulationstechnik
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
DE10160843B4 (de) * 2001-12-12 2005-12-29 Daimlerchrysler Ag Biometrisches Erkennungssystem
US7199767B2 (en) * 2002-03-07 2007-04-03 Yechezkal Evan Spero Enhanced vision for driving
JP4134653B2 (ja) * 2002-09-20 2008-08-20 松下電器産業株式会社 目位置検出装置及び方法
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
DE102004005163B3 (de) * 2004-02-02 2005-06-02 Braun, Uwe Peter, Dipl.-Ing. Vorrichtung zur Erfassung der Fahrtüchtigkeit eines Fahrers in einem Fahrzeug
DE102004010725A1 (de) * 2004-02-27 2005-10-06 Technische Universität Ilmenau Abteilung Forschungsförderung und Technologietransfer Vorrichtung zur Optimierung von Farbaufnahmen
US7720264B2 (en) * 2004-05-10 2010-05-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for pupil detection for security applications
JP4442472B2 (ja) * 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置
JP4548162B2 (ja) * 2005-03-17 2010-09-22 横浜ゴム株式会社 移動物体の検知装置及び速度計測装置
US7430365B2 (en) * 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
WO2007023798A1 (ja) 2005-08-23 2007-03-01 National University Corporation Shizuoka University 瞳孔検出装置及び瞳孔検出方法
JP4528980B2 (ja) * 2005-08-23 2010-08-25 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
JP4462231B2 (ja) * 2006-05-09 2010-05-12 株式会社デンソー 車両用オートライト装置
US7578593B2 (en) * 2006-06-01 2009-08-25 Delphi Technologies, Inc. Eye monitoring method with glare spot shifting
JP4863840B2 (ja) * 2006-10-27 2012-01-25 株式会社リコー 画素形成装置、光走査装置、光走査方法、画像形成装置、カラー画像形成装置
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
JP4853389B2 (ja) 2007-06-07 2012-01-11 株式会社デンソー 顔画像撮像装置
DE102008045774A1 (de) * 2008-09-04 2010-03-11 Claudius Zelenka Methode zur Erkennung der Blickrichtung
JP5519413B2 (ja) * 2010-06-03 2014-06-11 パナソニック株式会社 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
JP6072417B2 (ja) * 2012-02-10 2017-02-01 日本電気株式会社 撮像システムおよび撮像方法
US9361672B2 (en) * 2012-03-26 2016-06-07 Google Technology Holdings LLC Image blur detection
JP6613028B2 (ja) * 2014-03-25 2019-11-27 キヤノン株式会社 撮像装置
US20180007760A1 (en) * 2016-06-29 2018-01-04 Intel Corporation Compensation for led temperature drift
JP2018114266A (ja) * 2017-01-19 2018-07-26 パナソニックIpマネジメント株式会社 脈波計測装置、制御方法、及び、プログラム
JP2018173459A (ja) * 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 撮像装置、光学部品及び撮像システム
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US11763598B2 (en) 2018-12-18 2023-09-19 Nec Corporation Image processing device, image processing method, and storage medium
CN111307035A (zh) * 2020-02-20 2020-06-19 北京天智航医疗科技股份有限公司 光学定位***
GB2608800A (en) * 2021-07-07 2023-01-18 Continental Automotive Gmbh An in-vehicle monitoring system and method for the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2726380A (en) * 1954-01-25 1955-12-06 Campisi Hugo Amilio Sleep warning device
US4397531A (en) * 1981-06-29 1983-08-09 Honeywell Inc. Eye closure discrimination system
GB2133598A (en) * 1983-01-10 1984-07-25 Xanadu Ltd Apparatus for producing an alarm in response to the sensed dozing of a subject
JPS60158303A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd 車両運転者の眼の位置認識装置
US4854329A (en) * 1987-07-21 1989-08-08 Walruff James C Apparatus and method for noninvasive testing of voluntary and involuntary motor response patterns
GB2215040A (en) * 1988-02-13 1989-09-13 William George David Ritchie A method and apparatus for monitoring the driver of a vehicle
DE4122752A1 (de) * 1991-07-10 1993-01-21 Dornier Gmbh Videobildaufzeichznung der blickrichtung der augen von personen
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103595A1 (ja) 2009-03-13 2010-09-16 ナルックス株式会社 受光素子用フィルタおよび受光装置
US8369007B2 (en) 2009-03-13 2013-02-05 Nalux Co., Ltd. Filter for light receiving element, and light receiving device

Also Published As

Publication number Publication date
US5598145A (en) 1997-01-28
DE4441332B4 (de) 2008-04-24
DE4441332A1 (de) 1995-05-18
JPH07134800A (ja) 1995-05-23

Similar Documents

Publication Publication Date Title
JP3214195B2 (ja) 運転者撮影装置
US6082858A (en) Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
JP4593942B2 (ja) 瞳孔検知装置及び方法
US7015944B2 (en) Device for improving visibility in vehicles
JP4853389B2 (ja) 顔画像撮像装置
JP4442472B2 (ja) 対象物の部位判別装置
CN104838644B (zh) 求取检测区域图像信息的摄像机***和方法
US20040047491A1 (en) Image capturing device with reflex reduction
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
US20180015879A1 (en) Side-view mirror camera system for vehicle
JPH0883344A (ja) 画像処理装置及び人物状態判定装置
CN111160081B (zh) 监控***
CN107431758B (zh) 成像装置、成像方法、信号处理装置、信号处理方法和记录介质
JP4992197B2 (ja) 暗視装置
CN109819175A (zh) 一种拍照方法及拍照装置
US20210223446A1 (en) Camera device
US11283985B2 (en) Imaging system for iris authentication and driver monitoring
JP2003104121A (ja) 後方視界表示装置
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
US20150208005A1 (en) Camera system, especially for a vehicle, and method for ascertaining image information of a signal source pulsed as a function of time
JP3296119B2 (ja) 車両用視線方向計測装置
KR101694785B1 (ko) 졸음 운전 방지 시스템
JPH07156712A (ja) 運転者撮影装置
JP2017011632A (ja) 撮像装置
US20240073540A1 (en) Illumination control for an imaging system

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070727

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080727

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090727

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees