JP4260715B2

JP4260715B2 - 視線測定方法および視線測定装置

Info

Publication number: JP4260715B2
Application number: JP2004278547A
Authority: JP
Inventors: 健彦大野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-09-24
Filing date: 2004-09-24
Publication date: 2009-04-30
Anticipated expiration: 2024-09-24
Also published as: JP2006087751A

Description

本発明は、人の視線を測定する技術に係わり、特に、光源から発せられる近赤外線を眼球に照射し、画像処理によって得られる瞳孔および角膜反射像を用いて視線を測定する、視線測定方法および視線測定装置に関する。

従来、人の視線を測定する方法に、近赤外線の点光源を眼球に照射し、カメラで撮影した眼球像から瞳孔および角膜表面における反射光（角膜反射像）の位置を算出し、その角膜反射像および瞳孔の位置から視線を算出する方法があった。

近赤外線の点光源を配置する位置としては、瞳孔撮影用カメラのレンズ周辺に設置する場合と、レンズから離れた位置に設置する場合の２種類がある。レンズ周辺に設置した場合、瞳孔が虹彩に対して白く観察されるので、その輝度差から瞳孔を算出する（明瞳孔法）。また、ハーフミラーを利用して、レンズと点光源の光軸を一致させる方法も上記した明瞳孔法の一種である。
一方、点光源をレンズから離して配置した場合、瞳孔は虹彩に対して黒く観察される。そこで、瞳孔と虹彩の輝度差から、瞳孔を検出する（暗瞳孔法）。いずれの場合も、角膜反射像は、角膜上の輝点として観察される。
なお、明瞳孔法と暗瞳孔法を併用するために、レンズ周囲と離れた位置の両方に点光源を用意し、交互に点滅させる手法も提案されている（例えば、非特許文献１参照）。この場合も、観察される角膜反射像は１個である。

また、明瞳孔法による視線測定ユニットを２個配置した視線測定装置も提案されている（例えば、非特許文献２参照）。この場合、眼球像には角膜反射像が２個観察される。しかしながら、近赤外線光源はディスプレイ部の両端に設置されており、その間隔は例えば１８インチディスブレイの場合で３０cm程度と広いため、得られる角膜反射像の間隔も広く、他要因による反射光との識別は困難であった。
C．H．Morimoto，D．Koons，A．Amir，and．M．Flickner: Pupil detection and tracking using multiple light，Image and Vision Computing，Vol．１８，pp．331−335，2000． David Beymer and Myron Flickner：Eyc Gaze Tracking Using an Active Stereo Head，Proceedings of Computer Vision and Pattern Recognition，Vol．2，pp．451−458，2003．

近赤外線の点光源を眼球に照射すると、様々な個所で反射光が観察される。例えば、眼鏡を装着している利用者の場合、眼鏡表面において反射光が発生する場合が多い。また、近赤外線点光源以外の要因によって反射光が発生する場合もある。例えば天井に設置されている照明による反射光が、角膜表面で発生する場合等である。
これらの反射光を角膜反射像と区別することは困難であった。特に、両者が近接して位置しており、形状も類似しているとき、どちらが角膜反射像であるかを正しく判定することは極めて困難である。

本発明は上記事情に鑑みてなされたものであり、角膜反射像と他の反射光との区別を容易にするために複数個の光源を用意して眼球表面に照射し、適切な位置関係にある組み合わせを選出して角膜反射像とすることで、角膜反射像の誤検出を低減することが可能な、視線測定方法および視線測定装置を提供することを目的とする。

上記した課題を解決するために本発明は、近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から演算装置により視線を算出する視線測定装置に用いられる視線測定方法であって、２点以上の近赤外線光源から照射される近赤外線を前記利用者の眼球方向へ照射する第１のステップと、前記利用者の眼球を撮影して取り込む第２のステップと、前記カメラにより取り込まれた眼球像から前記利用者の瞳孔位置および角膜反射像位置を検出する第３のステップと、前記検出された角膜反射像位置が、前記近赤外線光源の配置位置との対応が取れていることを検証する第４のステップと、前記検出された瞳孔位置および角膜反射像位置から視線を算出する第５のステップと、を有することを特徴とする。

また、本発明において、前記第４のステップは、前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックするサブステップと、存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップを含むことを特徴とする。

また、本発明において、前記第４のステップは、他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出するサブステップと、当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップ、を更に含むことを特徴とする。

また、本発明において、前記光源は、点光源あるいは面光源であることを特徴とする。

また、本発明は、近赤外線の点光源を利用者の眼球に照射し、カメラで撮影した眼球像から視線を算出する視線測定装置であって、前記利用者の眼球を撮影して取り込む眼球撮影取込み部と、２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する近赤外線照射部と、前記眼球撮影取込み部により取り込まれた画像から前記利用者の瞳孔位置を検出する瞳孔検出部と、前記眼球撮影取込み部により取り込まれた画像から前記利用者の角膜反射像位置を検出する角膜反射像検出部と、前記角膜反射像検出部で検出された角膜反射像位置が、前記近赤外線照射部における近赤外線光源の配置位置との対応が取れていることを検証する角膜反射像検証部と、前記瞳孔検出部、前記角膜反射像検出部のそれぞれにより検出された瞳孔位置および角膜反射像位置から視線を算出する視線算出部と、を具備することを特徴とする。

また、本発明において、前記近赤外線照射部は、２以上の光源が隣接して配置された近赤外線を備えていることを特徴とする。

本発明によれば、近接した複数の光源を用い、カメラにより撮影された画像を角膜反射像検出部に取り込み、角膜反射像検証部が光源の位置関係と相対する位置関係にある反射像を正しい角膜反射像と判定することで、正しい角膜反射像位置を抽出して視線を測定することができる。このため、眼球上に角膜反射像以外の反射光が発生した場合にも正しい角膜反射像位置の検出が可能になる。

図１は、本発明の一実施形態に係わる視線測定装置１の内部構成を示すブロック図である。
本発明の視線測定装置１は、眼球撮影取込み部１０１と、角膜反射像検出部１０２と、角膜反射像検証部１０３と、瞳孔検出部１０４と、視線算出部１０６と、近赤外線照射部１１５で構成される。

近赤外線照射部１１５は２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する。眼球撮影取込み部１０１は、カメラを用い利用者の眼球画像１１１を撮影して演算装置内部に取り込み、角膜反射像検出部１０２と瞳孔検出部１０４へ供給する。
角膜反射像検出部１０２は、眼球撮影取込み部１０１により取り込まれた画像から利用者の角膜反射像位置１１２を検出し、瞳孔検出部１０４は、眼球撮影取込み部１０１により取り込まれた画像から利用者の瞳孔位置１１３を検出する。角膜反射像検証部１０３は、角膜反射像検出部１０２で検出された角膜反射像が、近赤外線照射部１１５における近赤外線光源の配置位置との対応が取れていることを検証して視線算出部１０６を制御する。視線算出部１０６は、瞳孔検出部１０４、角膜反射像検出部１０２のそれぞれにより検出された瞳孔位置１１３および角膜反射像位置１１２から視線１１４を算出する。

図８、図９は、図１に示す本発明実施形態の動作を説明するために引用したフローチャートである。
以下、図８、図９に示すフローチャートを参照しながら図１に示す本発明実施形態の動作について詳細に説明する。

近赤外線照射部１１５は、近赤外線を利用者の眼球１１６方向へ照射する（Ｓ８１）。なお、近赤外線の代替として可視光線も利用可能であるが、利用者が眩しく感じるという問題があるため、近赤外線を利用する方が望ましい。
また、眼球撮影取込み部１０１は、利用者の眼球１１６を、ＣＣＤ（Charge Coupled Device）カメラ等を利用して撮影し、これを取込む（Ｓ８２）。取込まれた眼球画像１１１は、瞳孔検出部１０４および角膜反射像検出部１０２に送られる。

瞳孔検出部１０４は、利用者の瞳孔位置１１３を、眼球画像１１１から画像処理によって取得する。また、角膜反射像検出部１０２は、利用者の角膜反射像位置１１２を、眼球画像１１１から画像処理によって取得する（Ｓ８３）。
得られた角膜反射像位置１１２は、角膜反射像検証部１０３によって、正しい角膜反射像であるか否かの検証を行う（Ｓ８４）。検証の手順は、図９にフローチャートで示されている。

すなわち、まず、角膜反射像位置１１２の周囲における一定領域（例えば検出された角膜反射像の３倍）で、他に角膜反射像があるか否かをチェックする（Ｓ８４１）。他に角膜反射像があった場合には双方の中心位置および大きさを比較し（Ｓ８４２）、中心位置のＹ座標および大きさがほぼ同等であれば（Ｓ８４３、Ｙｅｓ）、正しい角膜反射像であると判定し、“正”を戻り値として図８のＳ８５の処理に戻す（Ｓ８４４）。

他に角膜反射像がなかった場合には（Ｓ８４１、ＮＯ）、得られた角膜反射像について、その角膜反射像に外接する矩形領域４０５の縦および横の辺の長さをチェックする（Ｓ８４５）。
図５に、正しい角膜反射像である場合の角膜反射像を示す。図５において、縦辺Ｌ_Ｖ（４０１）と横辺Ｌ_Ｈ（４０２）の比が、ほぼ１：２であり、かつ外接する長方形の中央部における縦方向の角膜反射像領域長を示す中央部縦長Ｖ_Ｃ（４０３）が、反射像縦長Ｖ_Ｉ（４０４）より短ければ（Ｓ８４６、Ｙｅｓ）、正しい角膜反射像であると判定し、“正”を戻り値として図８のＳ８５の処理に戻す（Ｓ８４４）。ただし、反射像縦長Ｖ_Ｉは縦辺Ｌ_Ｖに等しい。

説明を図８に戻し、最後に、正しい角膜反射像である場合は（Ｓ８５“正”）、視線算出部１０６において、別途算出した瞳孔位置１１３と、角膜反射像位置１１２から、視線１１４を算出する（Ｓ８６）。

視線測定装置１の一部である眼球撮影取込み部１０１と近赤外線照射部１１５の外観構造の一例を図２に示す。ここでは、利用者の眼球を撮影するための眼球撮影用カメラ１１、および眼球に近赤外線を照射する２個の近赤外線光源１２ａと１２ｂから構成されている。近赤外線光源１２ａと１２ｂはそれぞれ点光源であるが、あまり小さいとカメラにおいて撮影できない。また、近赤外線光源１２ａと１２ｂの中心間の距離についても、あまり近すぎると角膜反射像が１の輝点として観察される。このため、視線測定装置１から眼球までの距離が６０ｃｍ程度の場合、近赤外線光源１２ａ及び１２ｂをそれぞれＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）をアレイ状に並べた２〜５ｃｍ四方程度の一定の面積を有した面光源とし、また近赤外線光源１２ａと１２ｂの中心間の距離は８ｃｍ程度とすることが望ましい。

眼球撮影取込み部１０１で撮影した利用者の眼球画像を模式化したものを図３に示す。ここでは、１個の瞳孔３０１、および近接した２個の角膜反射像３０２が観察されている。ここで、２個の角膜反射像３０２の位置関係は、２個の近赤外線光源１２ａと１２ｂの位置関係と対応しており、近赤外線光源が左右に配置されている場合は、眼球上の角膜反射像の位置も左右に位置する。
照明など、他の光源に起因する角膜上の反射光は、このように隣接して現れることは稀であるため、角膜上に他の反射光が存在する場合でも、容易に角膜反射像を検出可能である。

なお、角膜反射像は、人と視線測定装置１との距離関係により、１個としてしか観察されない場合がある。図４にその例が示されている。この場合、角膜反射像３０２は、２個の円が接合した形状となるため、形状特徴を利用することで、容易に他の反射光と区別が可能であり、角膜反射像を検出することが可能である。

本実施形態では、近赤外線光源が２個設置された例を示したが、より多くても実現可能である。図６にその一例が示されている。
図６に示す例では、近赤外線光源が３個設置されている。この場合も、３個の近赤外線光源１２ａと１２ｂと１２ｃのそれぞれの中心間の距離は８ｃｍ程度離れていることが望ましい。また、眼球撮影用カメラ１１と近赤外線光源１２ａと１２ｂと１２ｃとが近接していると暗瞳孔が観察されないため、眼球撮影用カメラと近赤外線光源１２ａと１２ｂと１２ｃとは２ｃｍ以上離れていることが望ましい。

以上説明ように本発明は、近接した複数の点光源を用い、カメラにより撮影された画像を角膜反射像検出部に取り込み、角膜反射像検証部が点光源の位置関係と相対する位置関係にある反射像を正しい角膜反射像と判定することで、正しい角膜反射像を抽出して視線を測定するものである。このことにより、眼球上に角膜反射像以外の反射光が発生した場合にも、角膜反射像の検出が可能となる。

図７に、角膜反射像３０２ならびに他の要因による反射光３０３が存在する眼球像の例を示す。従来は、このような眼球像が観察された場合、角膜反射像の検出が不可能となるが、本発明によれば、近接した２個の光源を求めることにより、識別が可能となる。

本発明実施形態に係わる視線測定装置の内部構成を示すブロック図である。本発明実施形態に係わる視線測定装置の眼球撮影取込み部と近赤外線照射部の外観構造の一例を示す図である。眼球撮影取込み部により撮影され取込まれた眼球像の模式図（１個の角膜反射像が存在）である。眼球撮影取込み部により撮影され取込まれた眼球像の模式図（１個の角膜反射像が存在）である。１個の角膜反射像が観察された場合の角膜反射像の一例を示す図である。本発明実施形態に係わる視線測定装置の眼球撮影取込み部と近赤外線照射部の外観構造の他の例を示す図である。角膜反射像および他の要因で反射光が発生した場合の眼球の模式図である。本発明実施形態に係わる視線測定装置の動作を説明するために引用したフローチャートである。本発明実施形態に係わる視線測定装置の動作を説明するために引用したフローチャートである。

符号の説明

１０１…眼球撮影取込み部、１０２…角膜反射像検出部、１０３…角膜反射像検証部、１０４…瞳孔検出部、１０６…視線算出部、１１５…近赤外線照射部

Claims

近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から演算装置により視線を算出する視線測定装置に用いられる視線測定方法であって、
２点以上の近赤外線光源から照射される近赤外線を前記利用者の眼球方向へ照射する第１のステップと、
前記利用者の眼球を撮影して取り込む第２のステップと、
前記カメラにより取り込まれた眼球像から前記利用者の瞳孔位置および角膜反射像位置を検出する第３のステップと、
前記検出された角膜反射像位置が、前記近赤外線光源の配置位置との対応が取れていることを検証する第４のステップと、
前記検出された瞳孔位置および角膜反射像位置から視線を算出する第５のステップと、
を有し、
前記第４のステップは、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックするサブステップと、
他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出するサブステップと、
当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップ、
を更に含むことを特徴とする視線測定方法。
前記第４のステップは、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップを含むことを特徴とする請求項１に記載の視線測定方法。
前記光源は、点光源あるいは面光源であることを特徴とする請求項１又は２に記載の視線測定方法。
近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から視線を算出する視線測定装置であって、
前記利用者の眼球を撮影して取り込む眼球撮影取込み部と、
２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する近赤外線照射部と、
前記眼球撮影取込み部により取り込まれた画像から前記利用者の瞳孔位置を検出する瞳孔検出部と、
前記眼球撮影取込み部により取り込まれた画像から前記利用者の角膜反射像位置を検出する角膜反射像検出部と、
前記角膜反射像検出部で検出された角膜反射像位置が、前記近赤外線照射部における近赤外線光源の配置位置との対応が取れていることを検証する角膜反射像検証部と、
前記瞳孔検出部、前記角膜反射像検出部のそれぞれにより検出された瞳孔位置および角膜反射像位置から視線を算出する視線算出部と、
を具備し、
前記角膜反射像検証部は、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックし、他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出し、当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定する、
ことを特徴とする視線測定装置。
前記角膜反射像検証部は、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定することを特徴とする請求項４に記載の視線測定装置。
前記近赤外線照射部は、
２以上の光源が隣接して配置された近赤外線を備えていることを特徴とする請求項４又は５に記載の視線測定装置。