JP4654434B2 - 視線方向特定システム - Google Patents
視線方向特定システム Download PDFInfo
- Publication number
- JP4654434B2 JP4654434B2 JP2004338939A JP2004338939A JP4654434B2 JP 4654434 B2 JP4654434 B2 JP 4654434B2 JP 2004338939 A JP2004338939 A JP 2004338939A JP 2004338939 A JP2004338939 A JP 2004338939A JP 4654434 B2 JP4654434 B2 JP 4654434B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- line
- sight
- black
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Description
また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるので、複数の基準画像から目尻検出、口元検出及び黒目中心検出を行うことができ精度が向上すると共に、黒目方向特定手段が異なる注視点の基準画像を比較することで容易に黒目方向の特定を行うことができる。
さらに、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し、検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心を求めることができる。
本発明の第1の実施形態に係る視線方向特定システムについて、図1ないし図5に基づき説明する。図1は本実施形態に係る視線方向特定システムの構成ブロック図、図2は本実施形態に係る視線方向特定システムの前に使用者が対面した概観図、図3は本実施形態に係る視線方向特定システムのディスプレイに表示されたシンボル、図4は本実施形態に係る視線方向特定システムの動作フローチャート、図5は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。なお、図5のキーボードでは、各キーの数字、アルファベット等のラベルの印字は省略している(図6も同様である)。
前記指定する注視点としては、前記ディスプレイ30の中心(図3のa)、ディスプレイ30の四隅(図3のb、c、d、e)とする。ここで、注視点としては、ディスプレイ30の他の部分であってもよい。
前記口元検出手段22は、前記同様に輪郭画像にし、鼻付近の横方向の直線を検出し、口元の座標を求める。
ここで、確定、キー入力の終了、停止、一時停止等の操作は、手を振る、頭を振る等の身振り手振りでシステムに認識して行う。
また、本実施形態に係る視線方向特定システムにおいては、目尻と口元を対象としているが、容易に検出できる特徴点であれば顔の他の部位であってもよい。
本発明の第2の実施形態に係る視線方向特定システムについて、図6に基づき説明する。図6は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、使用者の視線方向を検出し、前記ディスプレイの表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを異にする構成である。
なお、本実施形態に係る視線方向特定システムにおいては、前記カーソルをそのままGUIのカーソル操作に用いることもできる。
本発明の第3の実施形態に係る視線方向特定システムについて、図7に基づき説明する。図7は本実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
本実施形態に係る視線方向特定システムは、前記第1の実施形態に係る視線方向特定システムと同様に構成され、ディスプレイ30に前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを異にする構成である。具体的には、図に示すように検出した目尻、口元及び黒目中心を明示する。
前記各実施形態に係る視線方向特定システムにおいては、黒目方向特定手段25がより具体的には、シンボルaについての基準画像のときの眼が図8(a)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、シンボルdについて画像のときの眼が図8(b)のように目頭、黒目中心、目尻の3点で構成される三角形の各辺、角度が形成され、他のシンボルのときも形成される三角形が異なり、この三角形の各辺、角度(一部であってもよい)の比率により黒目方向を特定することができる。また、一方の目の目尻及び黒目中心と、他方の目の目頭とでできる三角形であってもよい。
11 CCDカメラ
21 目尻検出手段
22 口元検出手段
23 黒目中心検出手段
24 顔位置方向特定手段
25 黒目方向特定手段
26 視線方向特定手段
27 表示手段
28 選択キー特定手段
30 ディスプレイ
40 コンピュータ
Claims (6)
- 任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で指定される複数の注視点を注視する毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元(口角)を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における前記使用者の黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えることを
特徴とする視線方向特定システム。 - 前記請求項1の視線方向特定システムにおいて、
表示装置を備え、
前記基準面が表示装置の表示面であることを
特徴とする視線方向特定システム。 - 前記請求項2に記載の視線方向特定システムにおいて、
前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定することを
特徴とする視線方向特定システム。 - 前記請求項2又は3に記載の視線方向特定システムにおいて、
使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを
特徴とする視線方向特定システム。 - 前記請求項2なしい4のいずれか記載の視線方向特定システムにおいて、
前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを
特徴とする視線方向特定システム。 - 前記請求項1ないし5のいずれかに記載の視線方向特定システムにおいて、
前記基準画像が、可視波長の画像であることを
特徴とする視線方向特定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004338939A JP4654434B2 (ja) | 2004-11-24 | 2004-11-24 | 視線方向特定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004338939A JP4654434B2 (ja) | 2004-11-24 | 2004-11-24 | 視線方向特定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006141862A JP2006141862A (ja) | 2006-06-08 |
JP4654434B2 true JP4654434B2 (ja) | 2011-03-23 |
Family
ID=36622185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004338939A Active JP4654434B2 (ja) | 2004-11-24 | 2004-11-24 | 視線方向特定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4654434B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4966816B2 (ja) | 2007-10-25 | 2012-07-04 | 株式会社日立製作所 | 視線方向計測方法および視線方向計測装置 |
JP4998364B2 (ja) | 2008-04-28 | 2012-08-15 | オムロン株式会社 | 視線検出装置および方法、並びに、プログラム |
KR101458295B1 (ko) * | 2013-02-14 | 2014-11-04 | 인하대학교 산학협력단 | 눈추적 기술을 이용한 키보드 입력 장치 및 그 입력 방법 |
JP2016057906A (ja) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | 視点位置の計測方法及び計測システム |
JP7016263B2 (ja) * | 2015-03-10 | 2022-02-04 | アイフリー アシスティング コミュニケ-ション リミテッド | アイフィードバックによるコミュニケーションを可能にするシステム及び方法 |
US11612342B2 (en) | 2017-12-07 | 2023-03-28 | Eyefree Assisting Communication Ltd. | Eye-tracking communication methods and systems |
JP7503308B2 (ja) | 2020-12-15 | 2024-06-20 | 株式会社Fact4 | コンテンツ提案装置、感情測定端末、コンテンツ提案システム、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02138673A (ja) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | 瞳孔画像撮影装置 |
JPH0546309A (ja) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | 視線認識装置 |
JPH05298015A (ja) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | 視線検出システムおよび情報処理システム |
JPH06105808A (ja) * | 1992-09-29 | 1994-04-19 | A T R Shichokaku Kiko Kenkyusho:Kk | 奥行き知覚分析装置 |
JP2003015816A (ja) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | ステレオカメラを使用した顔・視線認識装置 |
JP2003079577A (ja) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
JP2003196017A (ja) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | データ入力方法及び同装置等 |
-
2004
- 2004-11-24 JP JP2004338939A patent/JP4654434B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02138673A (ja) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | 瞳孔画像撮影装置 |
JPH0546309A (ja) * | 1991-08-19 | 1993-02-26 | Fuji Xerox Co Ltd | 視線認識装置 |
JPH05298015A (ja) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | 視線検出システムおよび情報処理システム |
JPH06105808A (ja) * | 1992-09-29 | 1994-04-19 | A T R Shichokaku Kiko Kenkyusho:Kk | 奥行き知覚分析装置 |
JP2003015816A (ja) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | ステレオカメラを使用した顔・視線認識装置 |
JP2003079577A (ja) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 |
JP2003196017A (ja) * | 2001-12-25 | 2003-07-11 | Gen Tec:Kk | データ入力方法及び同装置等 |
Also Published As
Publication number | Publication date |
---|---|
JP2006141862A (ja) | 2006-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9921663B2 (en) | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium | |
US8135173B2 (en) | Eye-tracking method and eye-tracking system for implementing the same | |
US8861797B2 (en) | Calibrating vision systems | |
JP6499583B2 (ja) | 画像処理装置及び画像表示装置 | |
JP2005100366A (ja) | 眼球運動を用いた視線入力コミュニケーション方法 | |
JPH113429A (ja) | 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
US11079840B2 (en) | Operation determination device and operation determination method | |
TW200947262A (en) | Non-contact type cursor control method using human eye, pupil tracking system and storage media | |
GB2598016A (en) | Biometric authentication apparatus and biometric authentication method | |
WO2020054760A1 (ja) | 画像表示制御装置および画像表示制御用プログラム | |
US11080888B2 (en) | Information processing device and information processing method | |
JP4654434B2 (ja) | 視線方向特定システム | |
WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
JP2007041831A (ja) | 生体判別装置および認証装置ならびに生体判別方法 | |
CN114022514A (zh) | 一种融合头部姿态和眼球跟踪的实时视线推断方法 | |
EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
JPWO2022074865A5 (ja) | 生体検知装置、制御方法、及びプログラム | |
Takemura et al. | Estimating point-of-regard using corneal surface image | |
EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
JP6390260B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101844367B1 (ko) | 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치 | |
JP5951966B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US20210383098A1 (en) | Feature point extraction device, feature point extraction method, and program storage medium | |
JP2010038879A (ja) | 物体形状認識システム及び物体形状認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |