JP2688527B2 - 視線方向検出方法 - Google Patents
視線方向検出方法Info
- Publication number
- JP2688527B2 JP2688527B2 JP1307183A JP30718389A JP2688527B2 JP 2688527 B2 JP2688527 B2 JP 2688527B2 JP 1307183 A JP1307183 A JP 1307183A JP 30718389 A JP30718389 A JP 30718389A JP 2688527 B2 JP2688527 B2 JP 2688527B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- eye
- iris
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は，人の肩上画像より，目の中の虹彩部付近の
情報を抽出し，視線方向を検出する視線方向検出方法に
関するものである。
情報を抽出し，視線方向を検出する視線方向検出方法に
関するものである。
人の視線方向を検出する技術は，手による諸コンピュ
ーターへのコマンド入力の一助として利用されることが
期待される。また，テレビ会議等の将来の画像通信での
アイコンタクト実現のためにも，非接触状態の下で視線
方向を検出し利用できるようにすることが考えられてい
る。しかしながら，画像処理に依存した視線方向検出
は，その大きさ，色等に顕著な特徴点となっていないた
めに，一般にその検出は難しいとされている。しかし，
人が知覚できない赤外線領域での人の頭部画像は，特徴
的なものであることが判っている。これは，頭部を構成
する皮膚，眼球，頭髪等が相互に赤外線に対する分光反
射特性において異なることによると考えられる。
ーターへのコマンド入力の一助として利用されることが
期待される。また，テレビ会議等の将来の画像通信での
アイコンタクト実現のためにも，非接触状態の下で視線
方向を検出し利用できるようにすることが考えられてい
る。しかしながら，画像処理に依存した視線方向検出
は，その大きさ，色等に顕著な特徴点となっていないた
めに，一般にその検出は難しいとされている。しかし，
人が知覚できない赤外線領域での人の頭部画像は，特徴
的なものであることが判っている。これは，頭部を構成
する皮膚，眼球，頭髪等が相互に赤外線に対する分光反
射特性において異なることによると考えられる。
第７図は従来技術における視線検出を説明する図であ
る。光源駆動装置３を用いて時分割で２つの異なる近赤
外線4,5を目６に照射する。目を構成する虹彩７と瞳孔
８とから反射像が,TVカメラ２に取り込まれ，画像処理
装置１で処理される。
る。光源駆動装置３を用いて時分割で２つの異なる近赤
外線4,5を目６に照射する。目を構成する虹彩７と瞳孔
８とから反射像が,TVカメラ２に取り込まれ，画像処理
装置１で処理される。
第８図は画像処理装置内部における処理の流れ図であ
る。可視光領域での目付近の画像の例11においては、目
の中の瞳孔，虹彩の形がある程度わかるが，しきい値処
理による単純な処理では，視線を抽出することは困難で
ある。人の目の構造上，視線上に光源を置いた場合に
は，強い反射像が目から得られる。ストロボ撮影で生じ
た赤目現象と呼ばれるのがその例として挙げられる。そ
こで，時分割装置により,2つの異なった赤外線波長をカ
メラのレンズ方向上より照射することで，目から２つの
特徴的な反射画像12,14が得られる。瞳孔付近から比較
的強い反射13,15が得られている。一方，虹彩付近から
も比較的強い反射が得られている。この２つの画像12,1
4から差分器16によって差分画像を生成した後，適当な
しきい値を設定することで，瞳孔付近の反射像17が抽出
できる。輝度分布図18を考慮すると,2つの山19は，瞳孔
部において生じる。これを用いて視線方向を検出する。
る。可視光領域での目付近の画像の例11においては、目
の中の瞳孔，虹彩の形がある程度わかるが，しきい値処
理による単純な処理では，視線を抽出することは困難で
ある。人の目の構造上，視線上に光源を置いた場合に
は，強い反射像が目から得られる。ストロボ撮影で生じ
た赤目現象と呼ばれるのがその例として挙げられる。そ
こで，時分割装置により,2つの異なった赤外線波長をカ
メラのレンズ方向上より照射することで，目から２つの
特徴的な反射画像12,14が得られる。瞳孔付近から比較
的強い反射13,15が得られている。一方，虹彩付近から
も比較的強い反射が得られている。この２つの画像12,1
4から差分器16によって差分画像を生成した後，適当な
しきい値を設定することで，瞳孔付近の反射像17が抽出
できる。輝度分布図18を考慮すると,2つの山19は，瞳孔
部において生じる。これを用いて視線方向を検出する。
この技術では,2つの異なる赤外線を分別する検出器が
必要なため，構成装置としては，高価かつ大きくなる問
題があった。
必要なため，構成装置としては，高価かつ大きくなる問
題があった。
人物の環境の照度の変化を受ける瞳孔の抽出を行って
いるので，照明が明るくなるに従って，瞳孔が閉り，瞳
孔部の存在範囲が画像中のノイズレベルとほぼ同レベル
になるので，その分より高い検出精度が必要となるなど
の問題があった。
いるので，照明が明るくなるに従って，瞳孔が閉り，瞳
孔部の存在範囲が画像中のノイズレベルとほぼ同レベル
になるので，その分より高い検出精度が必要となるなど
の問題があった。
より反射率の高い画像を得るために，カメラの光軸に
近い位置に照明を置き，瞳孔部を抽出していたために，
カメラ部自体の装置が大きくなり，また，頭部に照らす
照明を視線方向検出用としたものと併用することができ
ない問題があった。
近い位置に照明を置き，瞳孔部を抽出していたために，
カメラ部自体の装置が大きくなり，また，頭部に照らす
照明を視線方向検出用としたものと併用することができ
ない問題があった。
本発明は，上記従来の問題点を解決し，光源を任意の
位置から照射し，複数の赤外線波長を用いることなく，
瞳孔に比べて比較的検出面積の大きな虹彩の検出を行
い，視線方向を検出することを目的とする。
位置から照射し，複数の赤外線波長を用いることなく，
瞳孔に比べて比較的検出面積の大きな虹彩の検出を行
い，視線方向を検出することを目的とする。
本発明においては，人物と可視光領域に感度を有する
カメラとを結ぶ光路上にハーフミラーを配置し，赤外領
域に感度を有するカメラに入射するようにする。人物像
からの光路は，ハーフミラーにより，それぞれのカメラ
に入力する。人物像に対しては，特定の方向より照明を
あてる。可視光感知カメラより取り込まれた画像は，濃
淡画像に変換する。赤外光感知カメラからは，濃淡画像
として人が知覚できる画像として出力される。
カメラとを結ぶ光路上にハーフミラーを配置し，赤外領
域に感度を有するカメラに入射するようにする。人物像
からの光路は，ハーフミラーにより，それぞれのカメラ
に入力する。人物像に対しては，特定の方向より照明を
あてる。可視光感知カメラより取り込まれた画像は，濃
淡画像に変換する。赤外光感知カメラからは，濃淡画像
として人が知覚できる画像として出力される。
赤外領域における画像では，目の中の虹彩部付近から
の反射像に特徴がでる。そこで,2つの濃淡画像を差分し
た後，適当なしきい値を設定することで，差分画像から
視線方向が明瞭に抽出することができる。
の反射像に特徴がでる。そこで,2つの濃淡画像を差分し
た後，適当なしきい値を設定することで，差分画像から
視線方向が明瞭に抽出することができる。
従来技術とは，カメラの光軸に依存しない任意の方向
に光源装置でき，複数の赤外線波長を用いないので，赤
外光感知カメラ部の縮小化を行うことができ，瞳孔に比
べて比較的検出面積の大きな虹彩の検出を行うので，画
像処理上瞳孔検出の場合のように，高分解能を必要とし
ない。
に光源装置でき，複数の赤外線波長を用いないので，赤
外光感知カメラ部の縮小化を行うことができ，瞳孔に比
べて比較的検出面積の大きな虹彩の検出を行うので，画
像処理上瞳孔検出の場合のように，高分解能を必要とし
ない。
第１図は本発明の一実施例を示す光学的測定体系図で
ある。被験者は，ハーフミラー21を介して,2つのカメラ
22,23に入力される。２つのカメラは，それぞれ可視光
感知カメラ22と赤外光感知カメラ23とである。このよう
に２つカメラを用いる場合には，カメラの相対的な補正
が不可欠である。第一の補正として，幾何学的な補正を
行う。補正用に，ワイヤーフレーム状の構造をもつ物体
29を入力するようにする。物体は予め画像の歪み量抽出
が容易であるように直交格子で構成されており，また，
各方向（縦，横，奥行き）は，色相による抽出が容易で
あるように，色付けされている。この物体を入力し，カ
メラ22,23間のずれ量を検出した後，記憶部24,25にずれ
量を記憶しておく。各カメラから入力された画像は，逐
次ずれ量に応じた幾何学的変換を施し，差分器26によっ
て差分画像を生成する。そしてしきい値処理を施した
後，視線方向検出部27において，検出される２つの虹彩
の相対的な位置変化から最終的に被験者の視線を抽出す
る。
ある。被験者は，ハーフミラー21を介して,2つのカメラ
22,23に入力される。２つのカメラは，それぞれ可視光
感知カメラ22と赤外光感知カメラ23とである。このよう
に２つカメラを用いる場合には，カメラの相対的な補正
が不可欠である。第一の補正として，幾何学的な補正を
行う。補正用に，ワイヤーフレーム状の構造をもつ物体
29を入力するようにする。物体は予め画像の歪み量抽出
が容易であるように直交格子で構成されており，また，
各方向（縦，横，奥行き）は，色相による抽出が容易で
あるように，色付けされている。この物体を入力し，カ
メラ22,23間のずれ量を検出した後，記憶部24,25にずれ
量を記憶しておく。各カメラから入力された画像は，逐
次ずれ量に応じた幾何学的変換を施し，差分器26によっ
て差分画像を生成する。そしてしきい値処理を施した
後，視線方向検出部27において，検出される２つの虹彩
の相対的な位置変化から最終的に被験者の視線を抽出す
る。
第２図は本発明を実施するための処理の流れ図であ
る。カメラ入力部31は，可視光感知カメラ22と赤外光感
知カメラ23とを制御する時分割カメラ選択部34からの信
号を受けるよう構成されている。各カメラから入力され
た画像は，差分器（差分フレーム生成）26において，差
分画像がシリアルに生成される。しきい値処理部36で
は，差分画像から目の中の虹彩領域を抽出するために，
適当に設定されたしきい値を用いた処理により，虹彩領
域を切り出すようにされる。
る。カメラ入力部31は，可視光感知カメラ22と赤外光感
知カメラ23とを制御する時分割カメラ選択部34からの信
号を受けるよう構成されている。各カメラから入力され
た画像は，差分器（差分フレーム生成）26において，差
分画像がシリアルに生成される。しきい値処理部36で
は，差分画像から目の中の虹彩領域を抽出するために，
適当に設定されたしきい値を用いた処理により，虹彩領
域を切り出すようにされる。
視線方向検出部27では，切り出された２つの虹彩部の
面積の変化，相対的な位置の変化を追従することで，被
験者の視線方向が抽出される。
面積の変化，相対的な位置の変化を追従することで，被
験者の視線方向が抽出される。
第３図は被験者に対して視線検出を行った例を説明す
る図である。図示の符号41はハーフミラーを通す前の被
験者の目付近の像である。この段階においては，視線を
抽出するだけの特徴量は存在しない。そこで，第一のカ
メラから目付近の可視光領域の濃淡画像42と第二のカメ
ラから目付近の赤外光領域の濃淡画像43との２つの画像
から差分画像44を生成する。第二の画像には，可視光領
域の画像では得られなかった特徴量が目の虹彩部40で生
じる。２つの画像において，目付近を除いた領域では，
ほぼ同様な輝度分布画像であることから．適当なしきい
値を設定することで，容易に虹彩部付近が抽出できる。
る図である。図示の符号41はハーフミラーを通す前の被
験者の目付近の像である。この段階においては，視線を
抽出するだけの特徴量は存在しない。そこで，第一のカ
メラから目付近の可視光領域の濃淡画像42と第二のカメ
ラから目付近の赤外光領域の濃淡画像43との２つの画像
から差分画像44を生成する。第二の画像には，可視光領
域の画像では得られなかった特徴量が目の虹彩部40で生
じる。２つの画像において，目付近を除いた領域では，
ほぼ同様な輝度分布画像であることから．適当なしきい
値を設定することで，容易に虹彩部付近が抽出できる。
第４図は人の眼球の詳細図である。参照光が目に入っ
た場合，光は，眼球内部の異なった部位から反射され
る。最も輝度の高い反射像は，角膜100からの反射111と
して得られる。これは，第一プルキンエ像と呼ばれてい
る。その他に，虹彩101の表面からの反射像112,水晶体1
02の表面からの反射像113,その裏面からの反射像114が
ある（第４プルキンエ像）。本発明では，特に，参照光
が赤外線である場合には，虹彩部を光が通過し，水晶体
からの反射像が顕著に得られる特性を利用したものであ
る。
た場合，光は，眼球内部の異なった部位から反射され
る。最も輝度の高い反射像は，角膜100からの反射111と
して得られる。これは，第一プルキンエ像と呼ばれてい
る。その他に，虹彩101の表面からの反射像112,水晶体1
02の表面からの反射像113,その裏面からの反射像114が
ある（第４プルキンエ像）。本発明では，特に，参照光
が赤外線である場合には，虹彩部を光が通過し，水晶体
からの反射像が顕著に得られる特性を利用したものであ
る。
第５図はカメラ補正処理の流れ図である。カメラ入力
部31からワイヤーフレーム状の立体を取り込む。カラー
座標変換部52で，立体を構成する複数の色相で色づけさ
れたフレームを抽出するために，色空間を変換する。色
相により分離抽出された各方向のフレームの傾きを検出
するために,Hough変換処理部53にて処理を施す。このよ
うにして，カメラ間の相対的な補正をカメラ入力画像補
正部54で行い，ずれ量を補正量記憶部55に記憶してお
く。
部31からワイヤーフレーム状の立体を取り込む。カラー
座標変換部52で，立体を構成する複数の色相で色づけさ
れたフレームを抽出するために，色空間を変換する。色
相により分離抽出された各方向のフレームの傾きを検出
するために,Hough変換処理部53にて処理を施す。このよ
うにして，カメラ間の相対的な補正をカメラ入力画像補
正部54で行い，ずれ量を補正量記憶部55に記憶してお
く。
第６図はカメラ補正における色処理部とHough変換処
理部での詳細な説明図である。RGB空間61は,3原色がそ
れぞれ任意の比で線形に結合表現された空間であるの
で，色相情報を抽出する場合には,RGBカラー情報を座標
変換62を施して色成分を抽出する必要がある。ワイヤー
フレーム画像から色相分離抽出された例63が頻度の形で
示される。ワイヤーフレームを構成する直線成分は,Hou
gh変換により取り出される。２つの直線抽出の例64を示
す。原点と検出される代表点との距離と点が横軸となす
角度を関数として，複数の代表点について同一の平面に
記述するといくつかの交点を示す図65が生じる。これら
の交点のなかで，最も曲線が重なりあった配位が一つの
直線に対応する。
理部での詳細な説明図である。RGB空間61は,3原色がそ
れぞれ任意の比で線形に結合表現された空間であるの
で，色相情報を抽出する場合には,RGBカラー情報を座標
変換62を施して色成分を抽出する必要がある。ワイヤー
フレーム画像から色相分離抽出された例63が頻度の形で
示される。ワイヤーフレームを構成する直線成分は,Hou
gh変換により取り出される。２つの直線抽出の例64を示
す。原点と検出される代表点との距離と点が横軸となす
角度を関数として，複数の代表点について同一の平面に
記述するといくつかの交点を示す図65が生じる。これら
の交点のなかで，最も曲線が重なりあった配位が一つの
直線に対応する。
以上説明したように，本発明によれば，従来の非接触
に視線を検出する方法に比べて，より簡素な検出装置で
構成することができる。また参照光として，専用の赤外
線投光器を用いることなく，通常室内で用いられる白熱
灯等を用いれば，特徴のある画像が得られ，視線方向を
検出することが実現できる。
に視線を検出する方法に比べて，より簡素な検出装置で
構成することができる。また参照光として，専用の赤外
線投光器を用いることなく，通常室内で用いられる白熱
灯等を用いれば，特徴のある画像が得られ，視線方向を
検出することが実現できる。
第１図は本発明の一実施例を示す光学的測定体系図，第
２図は本発明を実施するための処理の流れ図，第３図は
被験者に対して視線検出を行った例を説明する図，第４
図は人の眼球の詳細図，第５図はカメラ補正処理の流れ
図，第６図はカメラ補正における色処理部とHough変換
処理部での詳細な説明図，第７図は従来技術における視
線検出を説明する図，第８図は画像処理装置内部におけ
る処理の流れ図である。 21:ハーフミラー,22:可視光感知カメラ,23:赤外光感知
カメラ,24,25:カメラの補正量記憶部,26:差分器,27:視
線方向検出部,31:カメラ入力部,34:時分割カメラ選択
部,36:しきい値処理部,40:虹彩部,41:処理前の目付近の
像,42:可視光感知カメラより取り出された濃淡画像,43:
赤外光感知カメラより取り出された虹彩付近の濃淡画
像,44:差分画像,52:カラー座標変換部,53:Hough変換処
理部,54:カメラ入力画像補正部,55:補正量記憶部。
２図は本発明を実施するための処理の流れ図，第３図は
被験者に対して視線検出を行った例を説明する図，第４
図は人の眼球の詳細図，第５図はカメラ補正処理の流れ
図，第６図はカメラ補正における色処理部とHough変換
処理部での詳細な説明図，第７図は従来技術における視
線検出を説明する図，第８図は画像処理装置内部におけ
る処理の流れ図である。 21:ハーフミラー,22:可視光感知カメラ,23:赤外光感知
カメラ,24,25:カメラの補正量記憶部,26:差分器,27:視
線方向検出部,31:カメラ入力部,34:時分割カメラ選択
部,36:しきい値処理部,40:虹彩部,41:処理前の目付近の
像,42:可視光感知カメラより取り出された濃淡画像,43:
赤外光感知カメラより取り出された虹彩付近の濃淡画
像,44:差分画像,52:カラー座標変換部,53:Hough変換処
理部,54:カメラ入力画像補正部,55:補正量記憶部。
Claims (1)
- 【請求項１】人物像を撮像する構成において光路上にハ
ーフミラーを配置して２つの光路に分離し，それぞれの
光路上に可視光領域に高い感度を有する画像入力手段と
赤外光領域に高い感度を有する画像入力手段とを配置し
て，それぞれの画像入力手段から得られた画像の差分画
像を生成した値から，目の中の虹彩部に対応する情報を
抽出することを特徴とする視線方向検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1307183A JP2688527B2 (ja) | 1989-11-27 | 1989-11-27 | 視線方向検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1307183A JP2688527B2 (ja) | 1989-11-27 | 1989-11-27 | 視線方向検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03165737A JPH03165737A (ja) | 1991-07-17 |
| JP2688527B2 true JP2688527B2 (ja) | 1997-12-10 |
Family
ID=17966038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1307183A Expired - Fee Related JP2688527B2 (ja) | 1989-11-27 | 1989-11-27 | 視線方向検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2688527B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3257310B2 (ja) * | 1994-12-22 | 2002-02-18 | トヨタ自動車株式会社 | 漫然運転検出装置 |
| JP3272906B2 (ja) * | 1995-05-29 | 2002-04-08 | シャープ株式会社 | 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置 |
| JPH10192333A (ja) * | 1996-12-27 | 1998-07-28 | Nidek Co Ltd | 眼科手術装置 |
| JP2001242417A (ja) * | 2000-02-28 | 2001-09-07 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及びそれを用いた画像表示装置 |
| JP4088282B2 (ja) * | 2004-08-20 | 2008-05-21 | 清実 中村 | コンピュータ入力方法と装置 |
| JP4931078B2 (ja) * | 2007-11-14 | 2012-05-16 | 株式会社タイトー | 観者の視点移動に対応した立体オブジェクトの擬似３次元画像を表示する方法及び装置 |
| JP6737993B2 (ja) * | 2016-08-08 | 2020-08-12 | 神港精機株式会社 | 眼科検査装置 |
| US11763598B2 (en) | 2018-12-18 | 2023-09-19 | Nec Corporation | Image processing device, image processing method, and storage medium |
-
1989
- 1989-11-27 JP JP1307183A patent/JP2688527B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03165737A (ja) | 1991-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6088470A (en) | Method and apparatus for removal of bright or dark spots by the fusion of multiple images | |
| US20230334894A1 (en) | Detecting device, detecting method, and recording medium | |
| US7801335B2 (en) | Apparatus and methods for detecting the presence of a human eye | |
| JP6286481B2 (ja) | オブジェクト向上のためのライティング・システムおよび方法 | |
| US20160206204A1 (en) | Organ Imaging Device | |
| JPH11288459A (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| KR101014325B1 (ko) | 적외선을 이용한 얼굴인식 시스템 및 방법 | |
| US10552675B2 (en) | Method and apparatus for eye detection from glints | |
| KR20050096187A (ko) | 사칭 검출 장치 및 사칭 검출 방법 | |
| KR20160050755A (ko) | 전자 장치 및 그의 홍채 인식 방법 | |
| WO2020027210A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2688527B2 (ja) | 視線方向検出方法 | |
| KR20220052828A (ko) | 생체 인증 장치 및 생체 인증 방법 | |
| JP6900994B2 (ja) | 視線検出装置及び視線検出方法 | |
| US11179035B2 (en) | Real-time removal of IR LED reflections from an image | |
| WO2015027289A1 (en) | Method and apparatus for eye detection from glints | |
| JP2007058507A (ja) | 視線検出装置 | |
| US20050110868A1 (en) | System and method for inputting contours of a three-dimensional subject to a computer | |
| CN113688707B (zh) | 脸部反欺骗方法 | |
| US10928894B2 (en) | Eye tracking | |
| JP3342810B2 (ja) | 虹彩画像取得装置 | |
| JP2648198B2 (ja) | 注視方向検出方法 | |
| JP6693149B2 (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
| JP7179164B2 (ja) | 画像対の修正方法及び装置 | |
| JPH06323832A (ja) | 車両用インターフェイス |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070822 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |