JP3324295B2 - 車両用視線方向計測装置 - Google Patents

車両用視線方向計測装置

Info

Publication number
JP3324295B2
JP3324295B2 JP22962694A JP22962694A JP3324295B2 JP 3324295 B2 JP3324295 B2 JP 3324295B2 JP 22962694 A JP22962694 A JP 22962694A JP 22962694 A JP22962694 A JP 22962694A JP 3324295 B2 JP3324295 B2 JP 3324295B2
Authority
JP
Japan
Prior art keywords
image
lighting
human
illumination
gaze direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22962694A
Other languages
English (en)
Other versions
JPH0889481A (ja
Inventor
卓夫 石若
浩 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP22962694A priority Critical patent/JP3324295B2/ja
Priority to US08/524,950 priority patent/US5621457A/en
Publication of JPH0889481A publication Critical patent/JPH0889481A/ja
Application granted granted Critical
Publication of JP3324295B2 publication Critical patent/JP3324295B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、車両運転者の視線方向
を遠隔から非接触で計測する車両用視線方向計測装置に
関する。
【０００２】
【従来の技術】このような、視線方向計測装置は、車両
用の非接触ヒューマンマシンインタフェイスとして、例
えば車両運転者の注目している方向に視覚情報を表示す
るとか、視線方向に応じて特定のスイッチを動作させる
など、種々の利用が期待されている。
【０００３】このようなインタフェイスを構成するため
に必要な、車両運転者の視線方向の計測装置として、従
来、眼球の角膜反射像の位置を画像情報として取り入れ
て計測する装置が提案されている。
【０００４】角膜反射像は、眼球への照射光が眼球を構
成する光学系の各面で反射、屈折することによって生じ
る像であり、プルキンエ像とも呼ばれている。
【０００５】この種の従来の視線方向計測装置は、例え
ば特開平２−１３４１３０号公報に開示されているよう
に、光源と共軸系をなすカメラによって人間の角膜反射
像を写し、光源の反射光の座標とカメラの座標を結び、
角膜球の中心を通る直線の式を求め、同時に瞳孔の中心
座標を求めるという作業を、互いに離隔して設けられた
２台のカメラによって行い、この求めた２本の直線の交
点からなる角膜球の中心座標と瞳孔の中心座標とを結ぶ
直線を視線方向として検出している。
【０００６】しかし上述した従来の視線方向計測装置で
は、視線方向を検出するために２台のカメラを必要とす
るため、装置が高くなるという問題点がある。
【０００７】この問題を解決するため、本出願人は先に
特願平５−５０６１９号として、カメラを１台とし、低
価格化を図った視線計測装置を出願した。この装置は、
互いに離隔して設けられた２個の照明を極めて短い時間
間隔で交互に点灯し、それぞれの照明の点灯に対して撮
影した２枚の画像ペアより、網膜反射像の座標値と角膜
反射像の座標値とを演算により求めるものである。ま
た、網膜反射像、角膜反射像の座標値を演算するに際し
ては、撮影した前記２枚の画像ペアの差分処理が行なわ
れる。
【０００８】
【発明が解決しようとする課題】しかしながら、上述し
た特願平５−５０６１９号として出願された装置では、
実際の車両において、在来のＮＴＳＣ信号を利用したＴ
Ｖカメラを使用して前記差分処理を行おうとすると、走
行中の車両振動やこれに伴う運転者の振動などのため
に、２枚の画像ペアを取り込む時間間隔内に画像間で大
きな位置ずれが生じることがあり、このような場合に
は、角膜反射像の座標値にも位置ずれが発生し、これが
計測誤差発生の要因となり、正確な視線方向の計測が行
えないという問題があった。
【０００９】本発明は、上述の問題点に鑑みてなされた
もので、その目的とするところは、振動の伴う車両内に
あっても、在来の比較的に低価格なＮＴＳＣ方式を用い
たＴＶカメラを使用して、正確な視線計測を行なうこと
ができる視線計測装置を提供することにある。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め、本発明の視線方向計測装置は、請求項１では、人間
に向けられ、かつ人間に不可視な光を撮像するＴＶカメ
ラと、該ＴＶカメラと共軸系に配置され、かつ人間に不
可視な光を人間の眼球部に照明する第１の照明手段と、
該第１の照明手段とは別の場所に設置され、かつ人間に
不可視な光を人間の眼球部に照明する第２の照明手段
と、前記ＴＶカメラで撮像された画像から、眼球の瞳孔
中心位置を通る直線の式、前記第１の照明手段の反射光
位置を通る直線の式、および前記第２の照明手段の反射
光位置を通る直線の式を演算する第１の演算手段と、該
第１の演算手段により演算された前記第１の照明手段の
反射光位置を通る直線の式および前記第２の照明手段の
反射光位置を通る直線の式より角膜球の中心位置を演算
する第２の演算手段と、前記第１の演算手段により検出
された瞳孔中心位置を通る直線の式および前記第２の演
算手段により演算された角膜球の中心位置から人間の視
線方向を演算する第３の演算手段と、を有する車両用視
線方向計測装置であって、前記第１の照明手段と前記第
２の照明手段との双方を点灯して人間の眼球部を撮像し
て第１の画像を取得し、前記第１の画像を取得した時刻
とは異なる時刻にて、前記第２の照明手段のみを点灯し
て人間の眼球部を撮像して第２の画像を取得し、且つ、
前記第１の画像と第２の画像の差分画像を取得し、該差
分画像に基づいて、網膜反射像の重心位置および共軸系
角膜反射像の位置を抽出し、更に、前記第１の画像、お
よび前記共軸系角膜反射像の位置に基づいて、非共軸系
角膜反射像の位置を求め、前記網膜反射像の重心位置、
前記共軸系角膜反射像の位置、および前記非共軸系角膜
反射像の位置に基づいて、人間の視線方向を算出するこ
とを要旨とする。
【００１１】請求項２では、請求項１に記載の視線方向
計測装置において、前記第１の照明手段とは別の場所に
設置され、かつ人間に不可視な光を人間の眼球部に照明
する第３の少なくとも１つの照明手段を持ち、前記第１
の照明手段と前記第２の照明手段とを点灯して人間の眼
球部を撮像することにより、前記第１の画像を得、前記
第１の照明手段を点灯せずに、前記第２の照明手段、お
よび前記第３の照明手段のうちの少なくとも第３の照明
手段を点灯して人間の眼球部を撮像することにより、前
記第２の画像を得ることを要旨とする。
【００１２】また、請求項３では、請求項１に記載の視
線方向計測装置において、前記第１の照明手段とは別の
場所に設置され、かつ人間に不可視な光を人間の眼球部
に照明する第３の少なくとも１つの照明手段を持ち、前
記第１の照明手段と前記第２の照明手段と前記第３の照
明手段とを点灯して人間の眼球部を撮像することによ
り、前記第１の画像を得、前記第１の照明手段を点灯せ
ずに、第２の照明手段および第３の照明手段のうちの少
なくとも１つの照明手段を点灯して人間の眼球部を撮像
することにより、前記第２の画像を得ることを要旨とす
る。
【００１３】
【作用】第１の画像を、第１の照明手段と第２の照明手
段を点灯して撮像している。また、第２の画像を、第１
の照明手段を含まない照明手段を点灯して撮像してい
る。視線方向の算出には、網膜反射像位置と、第１の照
明手段による角膜反射像位置と、第２の照明手段による
角膜反射像位置を求めることにより行うのであるが、２
枚の画像の差分処理により、網膜反射像の座標値と角膜
反射像の座標値を算出しようとした場合にも、第１の画
像に、網膜反射像位置と、第１の照明手段による角膜反
射像位置と、第２の照明手段による角膜反射像位置とが
同時に撮像されているため、２枚の画像の取り込み時間
差に起因する位置ずれがない。このため振動を伴う状況
下であっても、正確に視線方向の検出が可能となる。
【００１４】また、第１の照明手段とは別の場所に第３
の少なくとも１つの照明手段を設置し、第１の画像を、
少なくとも第１の照明手段と第２の照明手段の両方を点
灯して撮像し、第２の画像を、第１の照明手段を含まな
い少なくとも１つの照明手段を点灯しても同様な作用が
ある。
【００１５】
【実施例】以下、図面を用いて本発明の第１の実施例を
説明する。
【００１６】図１及び図２を参照しつつ、第１の実施例
の構成を概略的に説明する。
【００１７】先ず図２の車内機器配置図に示すように、
ＣＣＤカメラ１が、メインスイッチ３とステアリングス
イッチ４とが配設されたステアリング５の左側に設置さ
れている。このＣＤＤカメラ１には近赤外光源（第１の
発散照明）１０が共軸系に配され、このＣＣＤカメラ１
と近赤外光源（第１の発散照明）１０とでセンサ部が構
成されている。また、ステアリング５の右側には、近赤
外光源（第２の発散照明）２が配設されている。これら
第１，第２の発散照明はいずれも人間には不可視であ
る。また、車両のウインドゥシールド８上には視線スイ
ッチエリア６とＨＵＤ表示エリア７とが表示されてい
る。
【００１８】図１に示すように、前記カメラ１では、車
両運転者１０１の眼球部を撮像しており、このカメラ１
０１から出力されるＮＴＳＣ方式のビデオ信号は、Ａ／
Ｄ変換器１０６を経て、ディジタルデータに変換された
後、画像データを格納する画像メモリ１０７に格納され
る。
【００１９】次に装置を構成するマイクロコンピュータ
では以下の処理が行なわれる。先ず、網膜反射像抽出部
１０４により、入力画像データから網膜反射像位置が抽
出される。共軸系角膜反射像抽出部１０５では抽出され
た網膜反射像位置に基いて、共軸系角膜反射像の位置が
特定される。非共軸系角膜反射像抽出部１０６では特定
された共軸系角膜反射像の位置をもとに、非共軸系角膜
反射像の位置を特定される。反射像確認部１０７では反
射像の位置が確認され、確認後に、視線方向算出部１０
８において、これら網膜反射像の位置と角膜反射像の位
置とから、運転者の視線方向が算出され、停留判断部１
０９に供給されるようになっている。
【００２０】停留判断部１０９は、フロントウインドゥ
シールド８上の視線スイッチエリア６内の停留位置を判
断し、コントローラ切り替え部１１０への制御情報を出
力する。
【００２１】コントローラ切り替え部１１０は、停留判
断部１０９から得られる視線停留位置に基づき、オーデ
ィオコントローラ１１１、エアコンコントローラ１１
２、ラジオコントローラ１１３、ＡＳＣＤ（定速走行装
置）コントローラ１１４のいずれかを制御する信号を出
力する。
【００２２】ＨＵＤ（ヘッドアップディスプレイ）表示
制御部１１５は、コントローラ切り替え部１１０を通し
て出力される各コントローラ（１１１，１１２，１１
３，１１４）の信号に基づき、ＨＵＤ表示部１１６に対
して該当する表示を行なう。
【００２３】また、前記ステアリングスイッチ４の信号
は、コントローラ切り替え部１１０を通して各コントロ
ーラ（１１１，１１２，１１３，１１４）に与えられ
る。
【００２４】また、メインスイッチ３の信号は、全体制
御部１１７に供給され、この全体制御部１１７で生成さ
れる制御信号は、前記第１の発散照明１０、第２の発散
照明２を制御する照明発光制御部１１８に供給されると
ともに、前記Ａ／Ｄ変換器１０２に供給されている。
【００２５】次に、この第１の実施例の作用をエアコン
の設定温度を変更する場合を例にとって説明する。
【００２６】車両運転者がエアコンを操作したいと考え
たとき、ウインドゥシールド８上の視線スイッチエリア
６のうち、エアコンの領域（図２（ｂ）中のＡ／Ｃ領
域）を注視する。同時に車両運転者は、ステアリング５
のメインスイッチ３を押す。すると、図１に示される視
線方向計測装置が動作を開始し、以下の処理によって車
両運転者の視線方向の計測が行われる。
【００２７】すなわち、図３，図４に示すフローチャー
トにおいて、先ず全体制御部１１７から計測開始信号が
出力され（ステップ３０１）、これに基づき照明発光制
御部１１８からのトリガ信号が発せられて、第１の発散
照明１０と第２の発散照明２との双方が点灯され、車両
運転者１０１の顔面が照明される（ステップ３０２）。
【００２８】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、画像情報がＡ／Ｄ変換器
１０２によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ１（ｘ，ｙ）として、画像メモリ１０３に格納され
る（ステップ３０３）。
【００２９】引き続き、照明発光制御部１１８からのト
リガ信号によって、第２の発散照明２のみが点灯され、
車両運転者１０１の顔面が照明される（ステップ３０
４）。この照明された顔面領域の画像がカメラ１によっ
て取り込まれ、上述と同様に画像情報がＡ／Ｄ変換器１
０２によりＡ／Ｄ変換されて、ディジタルの画像データ
Ｉ２（ｘ，ｙ）として、画像メモリ１０３に格納される
（ステップ３０５）。
【００３０】このように、本実施例では、第１回目の画
像データ取り込みに際しては第１の発散照明１０と第２
の発散照明２との双方が点灯され、第２回目の画像デー
タ取り込みに際しては第２の発散照明２のみが点灯され
る。
【００３１】この後、図４に示されるように、網膜反射
像抽出部１０４により、画像データＩ１（ｘ，ｙ）、Ｉ
２（ｘ，ｙ）から車両運転者１０１の網膜反射像重心位
置が計測される（ステップ３０６）。ここでは、共軸系
としてレイアウトされた、カメラ１と第１の発散照明１
０との組み合わせによって、運転者１０１の網膜から反
射光が戻って来ることが利用される。
【００３２】網膜反射像重心位置の候補の抽出は、図５
のフローチャートに示される処理により行なわれる。
【００３３】先ず、画像データＩ１（ｘ，ｙ）と画像デ
ータＩ２（ｘ，ｙ）との差分が求められ、画像データＩ
３（ｘ，ｙ）が生成される（ステップ４０１）。なお、
差分時に負となったデータは０とする。また画像データ
Ｉ１（ｘ，ｙ）は、後の処理に使用するため、引き続き
記憶しておく。
【００３４】次いで、画像データＩ３（ｘ，ｙ）は、予
め設定した一定しきい値Ｔｈ１（Ｔｈ１＞０）で２値化
され、ノイズを除去した画像データＩ４（ｘ，ｙ）が生
成される（ステップ４０２）。
【００３５】次いで、上記抽出された各領域の画像デー
タＩ４（ｘ，ｙ）に番号付けを行うラベリング処理が施
される（ステップ４０３）。これは、抽出した各領域に
番号付けをする処理で、画像処理では汎用的に用いられ
るものであり、処理の詳細は省略する。
【００３６】次いで、ラベリング処理後の各領域の面積
が計算される（ステップ４０４）。ここでは、メモリ中
に各領域毎の面積を記憶したテーブルが作成される。次
いで、領域の面積のうち、最大のものについて外接四角
形が求められ、その縦、横の辺の長さが計算される（ス
テップ４０５）。
【００３７】次いで、外接四角形がｍ×ｎ領域内に必ず
入っているかの判定が行なわれる（ステップ４０６）。
これは、外接四角形の （横の辺の長さ）＜ｍ （縦の辺の長さ）＜ｎ を同時に満たすことを意味する。ｍ×ｎ領域内にあれ
ば、ステップ４０８へ進み、ｍ×ｎ領域よりも対象領域
が大きければ、ステップ４０７に進む。
【００３８】ｍ×ｎ領域内にないと判定されると（ステ
ップ４０６Ｎｏ）、対象領域の面積は０とされ（ステッ
プ４０７）、次に面積の大きい領域について、再度比較
が行なわれる（ステップ４０５）。
【００３９】なおこの時、もしも運転者が眼鏡を装着し
ており、眼鏡フレームからの反射が発生した場合、その
反射像は、円形とは限らず、直線状、曲線状、楕円形な
どの形状を持つ。しかし、網膜反射像は一般に円形とな
る。瞳孔の直径は最大でも１０ｍｍであり、この領域を
必ず含むように予め設定した（横）ｍ×（縦）ｎ領域と
比較することにより、眼鏡フレームからの反射像を除去
する。この演算を、ステップ４０５〜ステップ４０７に
ついて行っている。すなわち、ラベリングされた領域の
中で、ｍ×ｎ領域内に収まる最大の面積を持つものが、
網膜反射像候補である。
【００４０】次いで、網膜反射像の重心位置が演算によ
り求められる（ステップ４０８）。以上のステップ４０
１〜ステップ４０８が、ステップ３０６の内容を示して
おり、網膜反射像抽出手段を構成している。
【００４１】次に、網膜反射像重心位置が特定出来れ
ば、この位置を基にして共軸系角膜反射像位置を特定す
ることができる。
【００４２】すなわち、先ず、網膜反射像重心位置の候
補の近傍に、輝点位置を探索するための領域が設定され
る（ステップ３０７）。探索領域は、網膜反射像の重心
位置を中心に設定するものとする。図６のように、ｐ×
ｑ領域が探索領域として設定される。なおこの係数ｐ，
ｑは予め設定されているものとする。
【００４３】次いで、領域内の最高輝度の点が探索され
る（ステップ３０８）。この時の座標を（ｘ１，ｙ１）
とする。ステップ３０７およびステップ３０８が共軸系
角膜反射像抽出手段を構成している。
【００４４】次いで、画像データＩ１（ｘ，ｙ）から、
ステップ３０８にて抽出された、最高輝度の点の座標
（ｘ１，ｙ１）の近傍領域を探索するためのｒ×ｓ領域
が設定される（ステップ３０９）。対応する反射像は、
発散照明１０と発散照明２を結ぶ線分と平行になること
を利用し、また発散照明２の反射像は必ず発散照明１０
の反射像よりも左になることを利用し、図７のように設
定される。
【００４５】次いで、領域内の最高輝度の点が探索され
る（ステップ３１０）。この時の座標を（ｘ２，ｙ２）
とする。ステップ３０９およびステップ３１０が、非共
軸系角膜反射像抽出手段を構成している。
【００４６】ところで、非共軸系角膜反射像は、以上の
処理においてはＩ１（ｘ，ｙ）から探索されているが、
その理由は次の通りである。仮に画像Ｉ１（ｘ，ｙ）
と、画像Ｉ２（ｘ，ｙ）の時間間隔に全く振動が無かっ
たとすれば、画像間での位置ずれは発生しないため、第
２の発散照明２による反射像位置は、画像Ｉ１（ｘ，
ｙ）と画像Ｉ２（ｘ，ｙ）で同じとなる。したがって、
差分した画像データＩ３（ｘ，ｙ）を非共軸系角膜反射
像の探索に用いると、非共軸系角膜反射像が抽出出来な
い場合があるからである。
【００４７】画像Ｉ１（ｘ，ｙ）には外部環境から、第
２の発散照明２による反射像以外の反射像が発生してい
る可能性もあるが、これがたまたまステップ３０９で設
定したｒ×ｓ領域に発生する確率は低く、また発生した
としてもステップ３１１で選択を行う。
【００４８】次いで、（ｘ１，ｙ１）と（ｘ２，ｙ２）
が角膜反射像のペアであるかの判断が行なわれる（ステ
ップ３１１）。ここでは、ｙ座標の差が予め設定した値
Ｔｈ２（Ｔｈ２＞０）よりも小さいものを平行として判
定する。ここで角膜反射像のペアが見つからなければ、
ステップ４０７に戻り、次に面積の大きい領域を網膜反
射像として再度比較が行なわれる。
【００４９】ステップ３１１が、反射像確認手段を構成
している。この後、注目方向算出部１１０において、こ
れまでに求められた２つの角膜反射像の重心座標および
瞳孔領域の重心座標から、車両運転者１０１の視線方向
が算出される（ステップ３１０）。
【００５０】次に、図８を参照して、視線方向算出部１
０８において視線方向の算出を説明する。光源とカメラ
の光軸を一致させれば、照明位置・角膜反射像・角膜球
中心は１直線上にあるか、カメラの焦点とカメラのＣＣ
Ｄ面上の角膜反射像を結ぶ直線は、角膜球中心を通過す
ると考えられる。すなわち、角膜球中心０は直線Ｆ1 Ｂ
上にある。また、瞳孔中心Ｑは直線Ｆ1 Ａ上にある。
【００５１】カメラ１の焦点距離をｆ、その焦点位置を
原点Ｆ1 （０，０，０）とし、ＣＣＤ面のｘ軸（水平
軸）方向をＸ軸、ｙ軸（垂直軸）方向をＹ軸、カメラ１
の光軸方向をＺ軸とするワールド座標系Ｆ1 −ＸＹＺを
考える。
【００５２】また、第２の照明２はＦ2 （ａ，ｂ，ｃ）
にあるものとする。第２の照明２の照明光は、角膜表面
で正反射してカメラ１に観測される。従って、その正反
射点Ｐは、直線Ｆ1 Ｃ上にある。
【００５３】ここで、人間の角膜球の半径は、人によら
ずほぼ一定で、約７，８ｍｍである。従って、直線Ｆ1
Ｃ上に正反射点Ｐを仮置きし、半径７，８ｍｍの球面Ａ
を描けば、球面Ａと直線Ｆ1 Ｂの交点として、角膜球中
心の候補点Ｏが一意に定まる。なお、２つの交点のう
ち、カメラ１から遠方側をＯとする。
【００５４】ここで、点Ｐでの正反射条件
【数１】∠Ｆ1 ＰＴ（Ｔは半直線ＯＰの延長上の点）＝
∠Ｆ2 ＰＴ が満足されていることを確認できれば、点Ｏが決定す
る。
【００５５】更に、角膜球中心と瞳孔中心（水晶体前
面）の距離は約４．２ｍｍであるので、決定した点Ｏを
中心とする半径４．２ｍｍの球面Ｂと直径Ｆ1 Ａの交点
を求めれば、瞳孔中心Ｑが決定し、視線ベクトルＯＱが
決定する。また、２つの交点のうち、カメラに近い側を
Ｑとする。なお、眼球の各光学定数は、Gullstrandの模
型眼によるものである。
【００５６】以上の視線方向の計測を繰り返し、ステッ
プ３１３において、視線方向の停留時間を、停留判断部
１１１において判断する。
【００５７】ステップ３１４において、視線方向が視線
スイッチエリア６のエアコン領域に一定時間（例えば
０．３秒）停留していることが確認されると、車両運転
者１０１がエアコンスイッチを見ていると判断し、ステ
ップ３１５へと進む。
【００５８】ステップ３１２〜ステップ３１４が、視線
方向計測手段を構成している。
【００５９】次いでコントローラ切り替え部１１０によ
り、エアコンコントローラ１１２が選択され、またＨＵ
Ｄ表示エリア７には現在のエアコン設定温度が表示され
る。それと同時に、視線方向計測の動作が停止する（ス
テップ３１５）。
【００６０】ＨＵＤ表示エリアにエアコン表示がなされ
ると、ステアリングスイッチ４のアップ・ダウンボタン
がエアコン設定温度の上下を行うように機能するように
なる。
【００６１】運転者１０１は、ステアリングスイッチ４
のアップ・ダウンボタンを操作して、ＨＵＤ表示を見な
がら、所定の設定温度にセットする。セットした情報に
より、エアコンコントローラ１１２により所定の温度制
御が行われる。コントローラ切り替え部１１０は、一定
時間（例えば５秒間）、ステアリングスイッチ４が操作
されないと、操作が終了したものと判断し、一連の処理
を終了する。また、ステップ３１４において、停留して
いると認識されない場合は、再びステップ３０２へと進
み、視線方向の計測が繰り返される。ステップ３１５
が、情報伝達手段を構成している。
【００６２】なお、上記の実施例において、第２の画像
を撮像する際の、第２の光源の発光する光量について、
眼球部以外の背景（例えば、頬、額など）の濃度値が、
第１の画像と第２の画像で等しくなるようにすれば、差
分時に、網膜反射像、角膜反射像以外の不要な情報が除
去されるため、更に反射像の識別処理が容易になる。た
だし、背景の濃度値は、光源の出射位置の違いのため、
現実的には全く同じにすることはできないが、図９に示
すように、第１の発散照明１０から運転者までの距離Ｌ
１と、第２の発散照明２から運転者までの距離Ｌ２が同
じであれば、第１の画像を撮像する際の第１の照明１０
の光量と第２の照明２の光量の総和が、第２の画像を撮
像する際の第２の照明２の光量に等しくすればよい。こ
のようにすれば、ステップ４０３で行うラベリング処理
で検出される領域が少なくなるため、処理を高速化でき
る。すなわち、第１の画像撮像時に、第１の照明の光量
と第２の照明の光量を等しく発光させたとすれば、第２
の画像撮像時の第２の照明２の光量は、第１の画像撮像
時の２倍にすればよい。
【００６３】次に本発明の第２の実施例について説明す
る。この第２の実施例の特徴は、第１の実施例における
発散照明をさらに１個追加した点にある。すなわち、図
１０及び図１１に示されるように、ＣＣＤカメラ１の光
軸と照射方向が一致するように配した近赤外光源からな
る第１の発散照明１０とは別の場所に、同様な近赤外光
源からなる第３の発散照明９が、第２の発散照明２とは
別に取付けられている。この第３の発散照明９の設置以
外は、第１の実施例とほぼ同様である。
【００６４】次に、この第２の実施例の作用を図１２の
フローチャートに基づいて説明する。まず、全体制御部
１１７から計測開始信号が出力されると（ステップ１１
０１）、これに基づき照明発光制御部１１８からのトリ
ガ信号が発せられて、第１の発散照明１０と第２の発散
照明２との双方が点灯され、車両運転者１０１の顔面が
照明される（ステップ１１０２）。
【００６５】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、画像情報がＡ／Ｄ変換器
１０２によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ１（ｘ，ｙ）として、画像メモリ１０３に格納され
る（ステップ１１０３）。
【００６６】引き続き、照明発光制御部１１８からのト
リガ信号によって、第３の発散照明９が点灯され、車両
運転者１０１の顔面が照明される（ステップ１１０
４）。
【００６７】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、上述と同様に画像情報が
Ａ／Ｄ変換器１０２によりＡ／Ｄ変換されて、ディジタ
ルの画像データＩ２（ｘ，ｙ）として、画像メモリ１０
３に格納される。以後の処理の手順は第１の実施例と同
様であり、図４のステップ３０６へと続く。
【００６８】なお、第３の照明９は、かならずしも１つ
の光源でなくても良い。すなわち、第３の照明９には、
第１の画像を撮像する際に使用する、第１の照明１０の
光源および第２の照明２の光源と同じ仕様のものをそれ
ぞれもう一つずつ用意して使用してもよい。これは特に
第１の照明１０の光源と第２の照明２の光源を定格上限
で発光させる場合に有効である。
【００６９】次に、本発明の第３の実施例について説明
する。この実施例における車内機器配置は図１１に示さ
れる第２の実施例と同様である。
【００７０】次に、この第３の実施例の作用を図１３の
フローチャートに基づいて説明する。まず、全体制御部
１１７から計測開始信号が出力されると（ステップ１２
０１）、これに基づき照明発光制御部１１８からのトリ
ガ信号が発せられて、第１の発散照明１０と第２の発散
照明２との双方が点灯され、車両運転者１０１の顔面が
照明される（ステップ１２０２）。
【００７１】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、画像情報がＡ／Ｄ変換器
１０２によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ１（ｘ，ｙ）として、画像メモリ１０３に格納され
る（ステップ１２０３）。
【００７２】引き続き、照明発光制御部１１８からのト
リガ信号によって、第２の発散照明２と第３の発散照明
９との双方が点灯され、車両運転者１０１の顔面が照明
される（ステップ１２０５）。
【００７３】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、上述と同様に画像情報が
Ａ／Ｄ変換器１０２によりＡ／Ｄ変換されて、ディジタ
ルの画像データＩ２（ｘ，ｙ）として、画像メモリ１０
３に格納される（ステップ１２０５）。以後の処理の手
順は第１の実施例と同様であり、図４のステップ３０６
へと続く。
【００７４】本実施例は、第１の照明１０の光量と第３
の照明９の光量をほぼ等しくするだけで、第２の照明２
の光量によらず、差分処理で容易に背景が除去できると
いう利点がある。
【００７５】次に、本発明の第４の実施例について説明
する。この実施例における車内機器配置は、図１１に示
される第２の実施例と同様である。
【００７６】次に、この第４の実施例の作用を図１４，
図１５，図１６のフローチャートに基づいて説明する。
まず、全体制御部１１７から計測開始信号が出力される
と（ステップ１３０１）、これに基づき照明発光制御部
１１８からのトリガ信号が発せられて、第１の発散照明
１０と第２の発散照明２と第３の発散照明９とが全て点
灯され、車両運転者１０１の顔面が照明される（ステッ
プ１３０２）。
【００７７】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、画像情報がＡ／Ｄ変換器
１０２によりＡ／Ｄ変換されて、ディジタルの画像デー
タＩ１（ｘ，ｙ）として、画像メモリ１０３に格納され
る（ステップ１３０３）。
【００７８】引き続き、照明発光制御部１１８からのト
リガ信号によって、第２の発散照明２（図１４のステッ
プ１３０４Ａで示す）または第３の発散照明９（図１５
のステップ１３０４Ｂで示す）のいずれか、または第２
の発散照明２と第３の発散照明９の両方（図１６のステ
ップ１３０４Ｃで示す）が点灯され、車両運転者１０１
の顔面が照明される。
【００７９】次いで、この照明された顔面領域の画像が
カメラ１によって取り込まれ、上述と同様に画像情報が
Ａ／Ｄ変換器１０２によりＡ／Ｄ変換されて、ディジタ
ルの画像データＩ２（ｘ，ｙ）として、画像メモリ１０
３に格納される（ステップ１３０５）。以後の処理の手
順は第１の実施例と同様であり、図４のステップ３０６
へと続く。
【００８０】この第４の実施例によれば、第１，第２，
第３の実施例の効果に加え、パタンマッチングを行える
という利点がある。すなわち、ステップ３０７におい
て、第１の実施例では反射像が水平な位置に発生すると
して処理を行ってきたが、例えば図１７のような光源の
配置では、反射像も同図に示すようになる。
【００８１】同図の場合、パタンマッチングは、第１の
照明１０による反射像ｒｆ１と第２の照明２による反射
像ｒｆ２と第３の照明９による反射像ｒｆ３とを結ぶ形
状（同図の場合には直角三角形）を画像上で探索するこ
とにより行えばよい。
【００８２】パタンマッチングを行えば、ステップ３０
７の反射像確認手段での処理精度が向上するなど、より
ノイズに強い角膜反射像抽出処理が行える利点がある。
【００８３】以上説明してきたように、本実施例によれ
ば、視線を前方からそらすことなくスイッチ操作ができ
るようになるため、運転時の安全性が高まるという効果
が得られる。また、インスツルメントパネル、センタコ
ンソール周辺のスイッチ類を減らすことができるため、
デザイン上の自由度が大きくなるという効果も得られ
る。さらに、車両振動下での計測時でも、従来のＴＶカ
メラを用いて構成できるため、低価格化を実現すること
ができる。
【００８４】
【発明の効果】以上説明したように、本発明によれば、
第１の画像を、第１の照明手段と第２の照明手段とを含
む照明手段を点灯して撮像し、第２の画像を、第１の照
明手段を含まない照明手段を点灯して撮像するととも
に、網膜反射像位置と、第１の照明手段による角膜反射
像位置と、第２の照明手段による角膜反射像位置とを求
めることにより視線方向の計測を行うのであるが、第１
の画像に、網膜反射像位置と、第１の照明手段による角
膜反射像位置と、第２の照明手段による角膜反射像位置
とが全て撮像されているため、２枚の画像の取り込み時
間差に起因する位置ずれがないため、振動を伴う状況下
であっても、差分処理を用いた正確な視線方向の検出が
容易に行える利点がある。また、第３の照明手段を搭載
する構成とすれば、第１の照明手段の光量と第３の照明
手段の光量をほぼ等しくするだけで、第２の照明手段の
光量によらず、差分処理で容易に背景除去を行うことが
できる。
【図面の簡単な説明】
【図１】第１の実施例の構成を示すブロック図である。
【図２】第１の実施例の車両運転席部分の機器配置を示
す図である。
【図３】第１の実施例における視線方向計測処理を示す
フローチャートである。
【図４】第１の実施例における視線方向計測処理を示す
フローチャートである。
【図５】ステップ３０７における網膜反射像の輝点重心
位置を算出する流れを示すフローチャートである。
【図６】ｐ×ｑ領域の設定例を示す図である。
【図７】ｒ×ｓ領域の設定例を示す図である。
【図８】視線方向算出処理の具体例を説明するための図
である。
【図９】発散照明と運転者との配置を説明した図であ
る。
【図１０】第２の実施例における車両運転席部分の機器
配置を示すブロック図である。
【図１１】第２の実施例の照明配置の要部のみを示す図
である。
【図１２】第２の実施例における視線方向計測処理の要
部のみを示すフローチャートである。
【図１３】第３の実施例における視線方向計測処理の要
部のみを示すフローチャートである。
【図１４】第４の実施例における視線方向計測処理の要
部の一例を示すフローチャートである。
【図１５】第４の実施例における視線方向計測処理の要
部の他の例を示すフローチャートである。
【図１６】第４の実施例における視線方向計測処理の要
部の他の例を示すフローチャートである。
【図１７】第４の実施例における追加作用を示す図で、
照明配置の例と、それに対応した反射パタンを説明する
図である。
【符号の説明】
１ カメラ ２ 第２の発散照明 ３ メインスイッチ ４ ステアリングスイッチ ５ ステアリング ６ 視線スイッチエリア ７ ＨＵＤ表示エリア ８ ウインドゥシールド ９ 第３の発散照明 １０ 第１の発散照明 １１ 眼球 １０１ 車両運転者 １０２ Ａ／Ｄ変換器 １０３ 画像メモリ １０４ 網膜反射像抽出部 １０５ 共軸系角膜反射像抽出部 １０６ 非共軸系角膜反射像抽出部 １０７ 反射像確認部 １０８ 視線方向算出部 １０９ 停留判断部 １１０ コントローラ切り替え部 １１１ オーディオコントローラ １１２ エアコンコントローラ １１３ ラジオコントローラ １１４ ＡＳＣＤコントローラ １１５ ＨＵＤ（ヘッドアップディスプレイ）表示制御
部 １１６ ＨＵＤ（ヘッドアップディスプレイ）表示部 １１７ 全体制御部 １１８ 照明発光制御部 ｒｆ１ 第１の発散照明による反射像 ｒｆ２ 第２の発散照明による反射像 ｒｆ３ 第３の発散照明による反射像
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−261863（ＪＰ，Ａ) 特開 平２−138673（ＪＰ，Ａ) 特開 平６−27365（ＪＰ，Ａ) 特開 平４−138431（ＪＰ，Ａ) 特開 平４−138432（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) A61B 3/00 - 3/16

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項１】人間に向けられ、かつ人間に不可視な光を
    撮像するＴＶカメラと、 該ＴＶカメラと共軸系に配置され、かつ人間に不可視な
    光を人間の眼球部に照明する第１の照明手段と、 該第１の照明手段とは別の場所に設置され、かつ人間に
    不可視な光を人間の眼球部に照明する第２の照明手段
    と、 前記ＴＶカメラで撮像された画像から、眼球の瞳孔中心
    位置を通る直線の式、前記第１の照明手段の反射光位置
    を通る直線の式、および前記第２の照明手段の反射光位
    置を通る直線の式を演算する第１の演算手段と、 該第１の演算手段により演算された前記第１の照明手段
    の反射光位置を通る直線の式および前記第２の照明手段
    の反射光位置を通る直線の式より角膜球の中心位置を演
    算する第２の演算手段と、 前記第１の演算手段により検出された瞳孔中心位置を通
    る直線の式および前記第２の演算手段により演算された
    角膜球の中心位置から人間の視線方向を演算する第３の
    演算手段と、を有する車両用視線方向計測装置であっ
    て、 前記第１の照明手段と前記第２の照明手段との双方を点
    灯して人間の眼球部を撮像して第１の画像を取得し、 前記第１の画像を取得した時刻とは異なる時刻にて、 前
    記第２の照明手段のみを点灯して人間の眼球部を撮像し
    て第２の画像を取得し、 且つ、前記第１の画像と第２の画像の差分画像を取得
    し、 該差分画像に基づいて、網膜反射像の重心位置およ
    び共軸系角膜反射像の位置を抽出し、 更に、前記第１の画像、および前記共軸系角膜反射像の
    位置に基づいて、非共軸系角膜反射像の位置を求め、 前記網膜反射像の重心位置、前記共軸系角膜反射像の位
    置、および前記非共軸系角膜反射像の位置に基づいて、
    人間の視線方向を算出することを特徴とする車両用視線
    方向計測装置。
  2. 【請求項２】前記第１の照明手段とは別の場所に設置さ
    れ、かつ人間に不可視な光を人間の眼球部に照明する第
    ３の少なくとも１つの照明手段を持ち、 前記第１の照明手段と前記第２の照明手段とを点灯して
    人間の眼球部を撮像することにより、前記第１の画像を
    得、 前記第１の照明手段を点灯せずに、前記第２の照明手
    段、および前記第３の照明手段のうちの少なくとも第３
    の照明手段を点灯して人間の眼球部を撮像することによ
    り、前記第２の画像を得ることを特徴とする請求項１に
    記載の車両用視線方向計測装置。
  3. 【請求項３】前記第１の照明手段とは別の場所に設置さ
    れ、かつ人間に不可視な光を人間の眼球部に照明する第
    ３の少なくとも１つの照明手段を持ち、 前記第１の照明手段と前記第２の照明手段と前記第３の
    照明手段とを点灯して人間の眼球部を撮像することによ
    り、前記第１の画像を得、 前記第１の照明手段を点灯せずに、第２の照明手段およ
    び第３の照明手段のうちの少なくとも１つの照明手段を
    点灯して人間の眼球部を撮像することにより、前記第２
    の画像を得ることを特徴とする請求項１に記載の車両用
    視線方向計測装置。
JP22962694A 1994-09-26 1994-09-26 車両用視線方向計測装置 Expired - Fee Related JP3324295B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22962694A JP3324295B2 (ja) 1994-09-26 1994-09-26 車両用視線方向計測装置
US08/524,950 US5621457A (en) 1994-09-26 1995-09-08 Sighting direction detecting device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22962694A JP3324295B2 (ja) 1994-09-26 1994-09-26 車両用視線方向計測装置

Publications (2)

Publication Number Publication Date
JPH0889481A JPH0889481A (ja) 1996-04-09
JP3324295B2 true JP3324295B2 (ja) 2002-09-17

Family

ID=16895148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22962694A Expired - Fee Related JP3324295B2 (ja) 1994-09-26 1994-09-26 車両用視線方向計測装置

Country Status (2)

Country Link
US (1) US5621457A (ja)
JP (1) JP3324295B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7533989B2 (en) 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126583B1 (en) * 1999-12-15 2006-10-24 Automotive Technologies International, Inc. Interactive vehicle display system
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
US7860626B2 (en) * 1995-06-07 2010-12-28 Automotive Technologies International, Inc. Vehicular heads-up display system with adjustable viewing
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
JPH1120606A (ja) * 1997-07-01 1999-01-26 Mitsubishi Electric Corp 乗員拘束装置
JPH11318828A (ja) * 1998-05-08 1999-11-24 Topcon Corp 眼科装置
SE518836C2 (sv) * 1999-05-25 2002-11-26 Flir Systems Ab Anordning och förfarande för ett infrarött bildanalyserande autofokus
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US6947575B2 (en) * 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
US8626380B2 (en) * 2002-09-06 2014-01-07 Jaguar Cars Limited Control systems
US20040174497A1 (en) * 2003-03-07 2004-09-09 Manish Sharma Method and system for controlling the movement of a device
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
US7354166B2 (en) * 2003-11-25 2008-04-08 Temic Automotive Of North America, Inc. Automatic viewing of vehicle blind spot
US8358337B2 (en) * 2005-08-23 2013-01-22 National University Corporation Shizuoka University Pupil detection device and pupil detection method
GB2441560B (en) * 2006-07-27 2011-07-13 Autoliv Dev A vehicle safety system
ES2308939A1 (es) * 2007-06-28 2008-12-01 Universidad Politecnica De Madrid Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles.
WO2009038504A1 (en) * 2007-09-20 2009-03-26 Volvo Lastvagnar Ab Position detection arrangement and operating method for a position detection arrangement
DE102007049710A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Visuelles Auslösen von Vorgängen in einem Kraftfahrzeug
JP2009136551A (ja) * 2007-12-07 2009-06-25 Denso Corp 車両用顔特徴量検出装置及び顔特徴量検出方法
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
WO2014181775A1 (ja) * 2013-05-08 2014-11-13 国立大学法人静岡大学 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
CN105094300B (zh) * 2014-05-16 2017-12-12 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪***及方法
KR101673701B1 (ko) * 2014-11-24 2016-11-07 현대자동차주식회사 눈 검출장치 및 방법
CN107111863B (zh) * 2014-12-10 2020-11-17 瑞典爱立信有限公司 角膜成像的设备和方法
ES2660309T3 (es) 2015-02-10 2018-03-21 Juan Dominguez-Montes Sistema de reproducción estereoscópica por transparencia
US11146775B2 (en) * 2017-11-07 2021-10-12 Symbol Technologies, Llc Methods and apparatus for dimensioning an object using proximate devices
JP2019185218A (ja) * 2018-04-04 2019-10-24 アイシン精機株式会社 警報装置
CN110579879B (zh) * 2019-09-17 2021-11-02 中国第一汽车股份有限公司 一种车载抬头显示***及其控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3533683A (en) * 1967-06-13 1970-10-13 Whittaker Corp Dynamic pupillometers using television camera system
US4075657A (en) * 1977-03-03 1978-02-21 Weinblatt Lee S Eye movement monitoring apparatus
US4648052A (en) * 1983-11-14 1987-03-03 Sentient Systems Technology, Inc. Eye-tracker communication system
US4748502A (en) * 1986-08-18 1988-05-31 Sentient Systems Technology, Inc. Computer vision system based upon solid state image sensor
JP2739331B2 (ja) * 1988-11-16 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 非接触視線検出装置
JP2988178B2 (ja) * 1993-03-11 1999-12-06 日産自動車株式会社 視線方向計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7533989B2 (en) 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device

Also Published As

Publication number Publication date
JPH0889481A (ja) 1996-04-09
US5621457A (en) 1997-04-15

Similar Documents

Publication Publication Date Title
JP3324295B2 (ja) 車両用視線方向計測装置
JP2988178B2 (ja) 視線方向計測装置
US10722113B2 (en) Gaze detection apparatus and gaze detection method
JP6322986B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3606706B2 (ja) 眼科装置
JPH0796803A (ja) 車両用インタフェース
TW201416908A (zh) 瞳孔追蹤裝置
JPH09167049A (ja) コンソール用視線入力装置
JP3735947B2 (ja) 視線入力装置
WO2021246012A1 (ja) 視線検出装置、視線検出方法、及び視線検出プログラム
JP3185522B2 (ja) 車両用視線方向計測装置
JP3627468B2 (ja) 動作検出装置
JPH09212082A (ja) 視線入力装置
JP3796840B2 (ja) 身振り入力装置及びそれを含む入力装置
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JPH08297019A (ja) 車両用視線方向計測装置
JPH06323832A (ja) 車両用インターフェイス
JP3296119B2 (ja) 車両用視線方向計測装置
JP2988235B2 (ja) 車両用視線方向検出装置
US20210290133A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
JPH09251539A (ja) 視線計測装置
JP2018190213A (ja) 顔認識装置及び視線検出装置
JP3232873B2 (ja) 車両用視線方向検出装置
JPH0868630A (ja) 車両用視線方向計測装置およびこれに用いる画像入力装置
JPH07248216A (ja) 車両用視線方向計測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees