JP7046347B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP7046347B2 JP7046347B2 JP2017234588A JP2017234588A JP7046347B2 JP 7046347 B2 JP7046347 B2 JP 7046347B2 JP 2017234588 A JP2017234588 A JP 2017234588A JP 2017234588 A JP2017234588 A JP 2017234588A JP 7046347 B2 JP7046347 B2 JP 7046347B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- right eyes
- calculated
- dimensional coordinates
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
まず、図1~4を用いて、実施形態に係る画像処理装置である視線検出装置1の構成を説明する。視線検出装置1は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置1および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置1を利用することができる。
次に、図5及び図6を用いて、視線検出装置1による視線検出方法(画像処理方法)の基本動作について説明する。図5は、視線検出方法の基本動作を示すフローチャート、図6は、視線検出装置1による視線の検出を説明するための図である。
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
算出部23は、画像取得部22から入力された明瞳孔画像および暗瞳孔画像のそれぞれから左右の眼における角膜反射を検出する。具体的には、算出部23は1枚の画像に対してPタイル法による2値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から左右の眼における角膜反射を選択する。このような処理により、算出部23は明瞳孔画像および暗瞳孔画像のそれぞれから、左右の眼における角膜反射を得る。
続いて、算出部23は左右の瞳孔中心の3次元座標を求める。具体的には、算出部23はステレオ法を用いて、2つのカメラ10から取得した差分画像を用いて算出した左右の瞳孔中心の座標から、左右の瞳孔中心の3次元位置をそれぞれ計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、算出部23は、2台のカメラ10からの画像データを基に検出した画像座標系における瞳孔中心の座標と、3次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部23は、関係式から世界座標系における対象者Aの瞳孔中心の3次元座標を求める。
算出部23は、左右の瞳孔中心の3次元座標、差分画像上における瞳孔中心の位置、及び差分画像上における角膜反射の位置に基づいて光軸を算出する。なお、算出部23は、左右の眼のいずれか眼の瞳孔中心の位置、及び左右の眼のいずれか眼の角膜反射の位置に基づいて、その眼の光軸を検出してもよいし、左右の眼の両方の瞳孔中心の位置、及び左右の眼の両方の角膜反射の位置に基づいて、両方の眼の光軸を検出してもよい。以降では、いずれか一方の眼の光軸を検出することを例に説明する。
θ=f1(r)=k×|r| …(1)
算出部23によるずれ角度ベクトルの算出手順を説明する前に、ずれ角度ベクトルの算出の必要性について説明する。
r=r’-r0
で補正し、補正したベクトルrを用いて視軸のベクトルPTを検出していた。
Δφ=Δφ0+(α1-α0)
このようにして、算出部23は、視軸を検出する際に用いる角度ベクトルVθ=(Δθ0,Δφ)を決定する。なお、対象者Aに較正用の規定点POを注視させた状態での傾きα0及び角度ベクトルVθの初期値Δθ0,Δφ0の算出は、最初の視軸検出時に一度実行されればよく、それらの値がその後の複数回の視軸の検出時に繰り返し用いられてもよい。
Q=nPT+P
Claims (7)
- 対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも1台のカメラと、
前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、
前記算出部は、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に、前記対象者における前記左右の目の一方の前記基準線周りの前記左右の目の他方の目の位置の回転角度である、前記対象者の頭部の傾きの回転角度を算出し、
前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出し、
予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、
画像処理装置。 - 前記算出部は、前記基準線に沿って見たときの前記頭部の傾きの回転角度を算出する、
請求項1記載の画像処理装置。 - 前記算出部は、前記基準線を含み所定軸に沿った基準平面と、前記基準線と前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標とを含む顔方向平面とを設定し、前記基準平面に対する前記顔方向平面の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、
請求項1又は2に記載の画像処理装置。 - 前記算出部は、前記基準平面の法線と前記顔方向平面の法線との間の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、
請求項3記載の画像処理装置。 - 前記眼画像を取得する2台のカメラを備え、
前記算出部は、前記2台のカメラによって取得された前記眼画像を基に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を算出する、
請求項1~4のいずれか1項に記載の画像処理装置。 - 前記算出部は、前記左右の眼の特徴点として、瞳孔、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、前記左右の眼の周辺部の特徴点として、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、
請求項1~5のいずれか1項に記載の画像処理装置。 - 対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、
前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、
前記算出ステップでは、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に、前記対象者における前記左右の目の一方の前記基準線周りの前記左右の目の他方の目の位置の回転角度である、前記対象者の頭部の傾きの回転角度を算出し、
前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出し、
予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234588A JP7046347B2 (ja) | 2017-12-06 | 2017-12-06 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017234588A JP7046347B2 (ja) | 2017-12-06 | 2017-12-06 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019098024A JP2019098024A (ja) | 2019-06-24 |
JP7046347B2 true JP7046347B2 (ja) | 2022-04-04 |
Family
ID=66974893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017234588A Active JP7046347B2 (ja) | 2017-12-06 | 2017-12-06 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7046347B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110750157B (zh) * | 2019-10-18 | 2023-12-01 | 天津理工大学 | 基于3d眼球模型的眼控辅助输入装置及方法 |
JP7338696B2 (ja) | 2019-11-05 | 2023-09-05 | 日本電気株式会社 | 虹彩認証装置及び虹彩認証方法 |
CN112597872B (zh) * | 2020-12-18 | 2024-06-28 | 深圳地平线机器人科技有限公司 | 视线角度估计方法和装置、存储介质、电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130188834A1 (en) | 2010-08-09 | 2013-07-25 | Yoshinobu Ebisawa | Gaze point detection method and gaze point detection device |
JP2015169959A (ja) | 2014-03-04 | 2015-09-28 | 国立大学法人静岡大学 | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム |
JP2016024616A (ja) | 2014-07-18 | 2016-02-08 | 国立大学法人静岡大学 | 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム |
JP2016099759A (ja) | 2014-11-20 | 2016-05-30 | 国立大学法人静岡大学 | 顔検出方法、顔検出装置、及び顔検出プログラム |
-
2017
- 2017-12-06 JP JP2017234588A patent/JP7046347B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130188834A1 (en) | 2010-08-09 | 2013-07-25 | Yoshinobu Ebisawa | Gaze point detection method and gaze point detection device |
JP2015169959A (ja) | 2014-03-04 | 2015-09-28 | 国立大学法人静岡大学 | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム |
JP2016024616A (ja) | 2014-07-18 | 2016-02-08 | 国立大学法人静岡大学 | 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム |
JP2016099759A (ja) | 2014-11-20 | 2016-05-30 | 国立大学法人静岡大学 | 顔検出方法、顔検出装置、及び顔検出プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019098024A (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
JP5915981B2 (ja) | 注視点検出方法及び注視点検出装置 | |
WO2018030515A1 (ja) | 視線検出装置 | |
JP4649319B2 (ja) | 視線検出装置、視線検出方法、および視線検出プログラム | |
WO2015190204A1 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
JP5167545B2 (ja) | 視点検出装置 | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
JP2005185431A (ja) | 視線検出方法および視線検出装置 | |
CN108697321B (zh) | 用于在限定操作范围内进行视线跟踪的装置 | |
US11624907B2 (en) | Method and device for eye metric acquisition | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008264341A (ja) | 眼球運動計測方法および眼球運動計測装置 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6324119B2 (ja) | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム | |
JP6452235B2 (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP6468755B2 (ja) | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7046347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |