TWI489969B - 注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體 - Google Patents

注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體 Download PDF

Info

Publication number
TWI489969B
TWI489969B TW102127200A TW102127200A TWI489969B TW I489969 B TWI489969 B TW I489969B TW 102127200 A TW102127200 A TW 102127200A TW 102127200 A TW102127200 A TW 102127200A TW I489969 B TWI489969 B TW I489969B
Authority
TW
Taiwan
Prior art keywords
reflection point
eyeball
point
subject
light
Prior art date
Application number
TW102127200A
Other languages
English (en)
Other versions
TW201414450A (zh
Inventor
Atsushi Nakazawa
Christian Nitschke
Original Assignee
Japan Science & Tech Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science & Tech Agency filed Critical Japan Science & Tech Agency
Publication of TW201414450A publication Critical patent/TW201414450A/zh
Application granted granted Critical
Publication of TWI489969B publication Critical patent/TWI489969B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體
本發明係關於檢測出受試者對周邊環境之注視點的注視點檢測裝置和注視點檢測方法，個人參數算出裝置與個人參數算出方法、程式、以及電腦可讀取的記錄媒體，該個人參數算出裝置與個人參數算出方法係算出顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數。
檢測出受試者的注視點係對構築現代、下一代的資訊環境而言重要且必要之技術。使用注視點資訊的使用者界面或普適/周邊(ubiquitous/ambient)環境，人的行動認識、理解或交流分析等，關於注視點檢測的技術之應用範圍甚為廣泛。因此，很多技術已被實用化，其中包括商用產品。
在非專利文獻1所記載的技術已揭示，以使用眼球表面的環境反射像之方法作為新的注視點檢測方法 。此技術中，藉由對眼球表面上反射之環境的圖像與環境攝影機所拍攝的場景點直接建立對應來實現注視點的檢測。此技術中，(1)系統設置為容易、(2)不需要對受試者安裝機器、(3)可以應付不同縱深的複雜環境等，有很多長處。
[先前技術文獻] [專利文獻]
[非專利文獻1]「使用眼球的表面反射與高速活動光投影的非安裝、不需要事先校對的注視點推定」圖像的認識、理解研討會(MIRU2011)論文集，第2011冊，pp.41-48(2011)，中澤，Nitschke，Radkov，竹村
在非專利文獻1所記載的技術需要求出在眼球表面上反射來自視線方向之光的反射點的方法。藉由比較眼球圖像中的反射點的圖像特徵與環境圖像的圖像特徵，能夠推定環境中的注視點。
此技術中，假定眼球的光軸方向與受試者的視線方向為相同。然而，因實際上眼球的光軸方向與受試者的視線方向具有個人差異，所以注視點的推定在精度上有限。
本發明係鑒於上述課題而完成者，其目的在於提供一種考量到顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數的注視點檢測裝置、注視 點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體。
本發明係為一種注視點檢測裝置，該注視點檢測裝置檢測出受試者對周邊環境的注視點，其中包含：眼球圖像取得手段，其取得受試者的眼球圖像；反射點推定手段，其藉由眼球圖像推定來自受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出手段，其根據顯示受試者的視線方向與眼球的光軸方向之差的個人參數來修正第1反射點，並算出修正之後的第1反射點即修正反射點；以及注視點檢測手段，其根據修正反射點的光與周邊環境的光，檢測注視點。
於一實施方式中，注視點檢測裝置包含從眼球圖像算出眼球姿勢之姿勢算出手段，反射點推定手段係根據眼球的姿勢與幾何模式進行推定第1反射點。
於一實施方式中，反射點推定手段係根據受試者的視線方向平行於受試者的眼球的光軸方向之假定模式，進行推定第1反射點。
於一實施方式中，周邊環境的光為LED陣列投影機的光。
於一實施方式中，周邊環境的光為圖案發光標誌的光。
本發明係為一種注視點檢測方法，該注視點檢測方法檢測受試者對周邊環境的注視點，具有：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定 步驟，其藉由眼球圖像推定來自眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示受試者的視線方向與眼球的光軸方向之差的個人參數來修正第1反射點，而算出修正之後的第1反射點即修正反射點；注視點檢測步驟，其根據修正反射點的光與周邊環境的光進行檢測注視點。
本發明係為一種個人參數算出裝置，該個人參數算出裝置算出顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數，具有：眼球圖像取得手段，其取得受試者的眼球圖像；反射點推定手段，其藉由眼球圖像推定來自眼球的光軸方向的光所反射的第1反射點；反射點檢測手段，其藉由眼球圖像檢測來自注視點的光所反射的第2反射點；個人參數算出手段，其根據第1反射點與第2反射點算出受試者的個人參數。
於一實施方式中，個人參數算出裝置具備從眼球圖像算出眼球姿勢的姿勢算出手段，其中反射點推定手段係根據眼球的姿勢與眼球的幾何模式推定第1反射點。
於一實施方式中，反射點推定手段根據受試者的視線方向係平行於受試者的眼球之光軸方向的假定模式推定第1反射點。
本發明係為一種個人參數算出方法，該個人參數算出方法係算出顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數，包含：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定步驟，其 藉由眼球圖像推定來自受試者的眼球的光軸方向的光所反射的第1反射點；反射點檢測步驟，其藉由眼球圖像檢測來自受試者的注視點的光所反射的第2反射點；個人參數算出步驟，其根據第1反射點與第2反射點，算出受試者的個人參數。
本發明係為一種程式，該程式使電腦執行檢測受試者對周邊環境的注視點之注視點檢測處理，包含：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定步驟，其藉由眼球圖像推定來自受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示受試者的視線方向與眼球的光軸方向之差的個人參數來修正第1反射點，而算出修正之後的第1反射點即修正反射點；以及注視點檢測步驟，其根據修正反射點的光與周邊環境的光檢測注視點。
本發明係為一種程式，該程式使電腦執行算出顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數的個人參數算出處理，包含：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定步驟，其藉由該眼球圖像推定來自受試者的眼球的光軸方向的光所反射的第1反射點；反射點檢測步驟，其藉由眼球圖像檢測來自受試者的注視點的光所反射的第2反射點；以及個人參數算出步驟，其根據第1反射點與第2反射點，算出受試者的個人參數。
本發明係為一種電腦可讀取的記錄媒體，該電腦可讀取的記錄媒體係記錄有用以使電腦執行檢測受 試者對周邊環境之注視點的注視點檢測處理的程式，其中該程式包含：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定步驟，其藉由眼球圖像推定來自受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示受試者的視線方向與眼球的光軸方向之差的個人參數來修正第1反射點，而算出修正之後的第1反射點即修正反射點；以及注視點檢測步驟，其根據修正反射點的光與周邊環境的光，檢測注視點。
本發明係為一種電腦可讀取的記錄媒體，該電腦可讀取的記錄媒體記錄使電腦執行算出顯示受試者的視線方向與受試者的眼球的光軸方向之差的個人參數，其中該程式包含：眼球圖像取得步驟，其取得受試者的眼球圖像；反射點推定步驟，其藉由眼球圖像推定來自眼球的光軸方向的光所反射的第2反射點；反射點檢測步驟，其藉由眼球圖像檢測來自受試者的注視點的光所反射的第1反射點；以及個人參數算出步驟，其根據第1反射點與第2反射點，算出受試者的個人參數。
A‧‧‧受試者
PoG‧‧‧注視點
GRP‧‧‧第1反射點
CRP‧‧‧第2反射點
cGRP‧‧‧修正反射點
100‧‧‧注視點檢測裝置
102‧‧‧眼球圖像取得手段
104‧‧‧反射點推定手段
106‧‧‧修正反射點算出手段
108‧‧‧注視點檢測手段
110‧‧‧姿勢算出手段
112‧‧‧環境光檢測裝置
200‧‧‧個人參數算出裝置
206‧‧‧反射點檢測手段
208‧‧‧個人參數算出手段
第1圖為表示本發明實施方式1之注視點檢測裝置的示意圖。
第2圖為表示本發明實施方式1之注視點檢測裝置的動作的流程圖。
第3圖(a)~(c)為表示藉由暗瞳孔法的眼睛輪廓檢測結果。
第4圖為用以說明利用眼睛的投影像而進行的眼球姿勢推定的示意圖。
第5圖(a)、(b)為表示眼球的表面反射與反射點之關係的示意圖。
第6圖(a)~(d)為表示LED-AP之構成的照片。
第7圖(a)~(c)為用以表示對成為光源的LED的識別進行說明的示意圖。
第8圖(a)、(b)為表示圖案發光標誌的構成以及眼球的反射像的示意圖。
第9圖為表示本發明的實施方式2之個人參數算出裝置的示意圖。
第10圖為表示本發明的實施方式2之個人參數算出裝置的動作的流程圖。
第11圖為表示注視點推定角度誤差的表。
第12圖為表示在條件1之下的注視點推定結果的圖表。
第13圖為表示在條件2之下的注視點推定結果的圖表。
[實施發明之形態]
以下，參照圖面針對本發明的注視點檢測裝 置、注視點檢測方法、個人參數算出裝置以及個人參數算出方法的實施方式進行說明。但是，本發明並不侷限於以下的實施方式。
[實施方式1：注視點檢測]
第1圖為表示，本發明實施方式1的注視點檢測裝置100的示意圖。注視點檢測裝置100檢測出受試者A對周邊環境的注視點PoG。所謂周邊環境係受試者A的周邊空間，可以為由XY座標表示的空間或由XYZ座標表示的空間。注視點檢測裝置100包含：取得受試者A的眼球圖像的眼球圖像取得手段102、反射點推定手段104、修正反射點算出手段106、以及注視點檢測手段108。注視點檢測裝置100進一步可以具備環境光檢測裝置112。
眼球圖像取得手段102，例如為數位照相機、CCD照相機或旋轉變焦式攝影機(PTZ攝影機)，能夠檢測可見光區域的光。眼球圖像取得手段102取得在靜止狀態的受試者A之眼球或在活動狀態的受試者A之眼球。反射點推定手段104藉由眼球圖像推定來自受試者A的眼球的光軸方向的光所反射的第1反射點GRP(Gaze Reflection Point)。注視點檢測裝置100進一步可以具備：從眼球圖像算出眼球的姿勢之姿勢算出手段110。
反射點推定手段104根據眼球的姿勢與幾何模式，從眼球圖像推定第1反射點GRP。
修正反射點算出手段106根據顯示受試者A的視線方向與眼球的光軸方向之差的個人參數進行修正第1反射點GRP，算出修正之後第1反射點的修正反射點 cGRP(corrected GRP)。
環境光檢測裝置112是例如數位照相機、CCD照相機、旋轉變焦式攝影機，能夠檢測出可見光區域的光。環境光檢測裝置112能夠檢測出受試者A所注視之受試者A的周邊環境的光。周邊環境的光形成周邊環境的圖像。注視點檢測手段108根據修正反射點cGRP的光與周邊環境的光進行檢測注視點PoG。例如，注視點檢測手段108對照藉由修正反射點算出手段106所算出的修正反射點cGRP的光與藉由環境光檢測裝置112所檢測的周邊環境之光，而進行檢測注視點PoG。
反射點推定手段104、修正反射點算出手段106、注視點檢測手段108、姿勢算出手段110、例如可以為個人電腦等電子計算機。
此外，注視點檢測手段108根據修正反射點cGRP的光與周邊環境的光檢測出注視點PoG，但是周邊環境的光的檢測並不侷限於用環境光檢測裝置112來檢測。
例如，注視點檢測裝置100可以具備投影手段與投影光檢測手段來代替環境光檢測裝置112。投影手段具有光源，對周邊環境投影光。投影手段例如為投影機。投影手段，例如，可投影對周邊環境顯示景色的可見光或者顯示格雷碼圖案的可見光。如參照附件的圖B1和圖B2對此詳細說明，投影手段也可以為LED陣列投影機。在周邊環境為房間內的牆壁的情況下，投影手段把光投影在房間的牆壁。在周邊環境為山的岩壁的情況下， 投影手段把光投影在凹凸的岩壁。進一步，若投影手段為三維影像裝置，在除了空氣以外沒有任何東西存在的空間中，能夠投影由點陣列所形成之作為真實的三維影像。
投影光檢測手段檢測出從投影手段所投影的投影光。投影光檢測手段，例如數位照相機或者CCD照相機，能夠檢測出可見光區域的光。注視點檢測裝置108對照藉由修正反射點裝置106所算出的修正反射點cGRP的光與藉由投影光檢測手段所檢測的投影光，而進行檢測注視點PoG。
進一步舉例，注視點檢測裝置100可以具備顯示手段來代替環境光檢測裝置112。表示手段顯示周邊環境的光。顯示手段是，例如，發光的顯示面板或顯示器畫面。如參照附件的圖B1和圖B2對此詳細說明，顯示手段也可以為圖案發光標誌。以周邊環境的光作為顯示在顯示手段的顯示像數據發送到注視點檢測手段108。注視點檢測手段108對照藉由修正反射點手段106所算出的修正反射點cGRP的光與藉由顯示手段所顯示的顯示像的光，而進行檢測注視點PoG。
第2圖為表示注視點檢測裝置100之動作的流程圖。參照第1圖與第2圖對注視點檢測方法進行說明。如下所示，藉由注視點檢測裝置100執行從步驟202到步驟208則實現本發明實施方式1的注視點檢測處理。
步驟202：眼球圖像取得手段102取得受試者A的眼球圖像。
步驟204：反射點推定手段104藉由眼球圖像推定來 自受試者A的眼球的光軸方向入射的光所反射的第1反射點GRP。
步驟206：修正反射點算出手段106根據個人參數進行修正第1反射點GRP，並算出被修正之後的第1反射點之修正反射點cGRP。
步驟208：注視點檢測手段108根據修正反射點cGRP的光與周邊環境的光，進行檢測注視點PoG。
此外，實現注視點檢測處理的裝置，並不侷限於注視點檢測裝置100。注視點檢測裝置100只要有具備眼球圖像取得裝置102、反射點推定裝置104、修正反射點裝置106以及注視點檢測裝置108之功能，可以為任意的裝置。例如，注視點檢測方法也可以由個人電腦來實現。又可以由構成注視點檢測裝置100的一部分之個人電腦來實現。
在藉由個人電腦實現注視檢測方法的情況下，注視點檢測方法由注視點檢測處理程式的形式來執行。該個人電腦具備儲存器和中央處理器。該儲存器儲存注視點檢測處理程式。該中央處理器從該儲存器讀取注視檢測處理程式，以使具有眼球圖像取得手段102的機能之手段執行步驟202的方式，更進一步以使具有反射點推定手段104的機能之手段執行步驟204的方式，對每一個具有眼球圖像取得手段102以及反射點推定手段104的機能之手段進行控制。
該中央處理器進一步從該儲存器讀取注視檢測處理程式，以使具有修正反射點算出手段106的機能之 手段執行步驟206的方式，更進一步以使具有注視點檢測手段108的機能之手段執行步驟208的方式，對每一個具有修正反射點算出手段106以及注視點檢測手段108的機能之裝置進行控制。
藉由從記錄有注視點檢測處理程式的、個人電腦的外部之記錄媒體讀出注視點檢測處理程式，能夠安裝在該個人電腦的儲存器。作為個人電腦外部的記錄媒體，可以使用軟碟、CD-ROM、CD-R、DVD、MO等任意媒體。另，經由網際網路等任意網路下載注視點檢測處理程式，以能夠安裝在該個人電腦的儲存器。
以下，對注視點檢測裝置100以及注視點檢測方法的細節進行說明。在本實施方式中，導入眼球的幾何模式。附件的圖A1為表示眼球的示意圖，附件的圖A2為表示眼球的近似幾何模式。眼球並不是單一的球面，而是由角膜部分的球面(角膜球面)與眼球本體(眼球面)的兩個不同球面近似地構成。在近似幾何模式使用規定的值(眼睛半徑rL=5.6mm，角膜球半徑rC=7.7mm)。近似幾何模式在幾何方面單純又在解析方面容易處理。在眼球表面反射解析上認為具有充分的精度。
在本實施方式，從眼球圖像推定第1反射點GRP之前，先推定眼球的姿勢。姿勢算出手段110檢測瞳孔的輪廓與眼睛的輪廓，並從眼球圖像算出眼球的姿勢。瞳孔的輪廓與眼睛的輪廓之檢測以利用紅外光而實現。首先，利用暗瞳孔法擷取瞳孔區域。暗瞳孔法是利用瞳孔與其他區域之間的光之反射、吸收特性之不同的手 法。詳細內容可以參考下列文獻。
R. Kothari及J. L. Mitchell：“Detection of eye locations in unconstained visual images”, Proc. Int. Conf. on Image Processing(ICIP), pp.519-522(1996).
第3圖為表示暗瞳孔法之眼睛輪廓的檢測結果。第3圖(a)為表示第1幀，第3圖(b)表示第2幀(紅外光點燈)，第3圖(c)為表示瞳孔以及眼睛輪廓的檢測結果。在第3圖(c)中，白色實線表示眼睛輪廓，在於白色實線內側的白色點線表示由暗瞳孔法所得到的瞳孔輪廓，白色○標誌表示眼睛輪廓的中心，白色×標誌表示角膜球面的中心，而白色△標誌表示第1反射點GRP。
被安裝在眼球圖像取得手段102的紅外LED，在第1幀(frame)變成關閉狀態，在第2幀變成打開狀態。眼球區域中，因瞳孔會吸收來自外部的光而在兩幀中都被映照得黑暗，但是其他區域會反射光而在第2幀中映照得明亮。藉由取得第1幀與第2幀的攝影圖像之差分，把值小的區域可以當作為瞳孔區域。
第4圖為用以說明利用眼睛的投影像而進行推定眼球姿勢的示意圖。參照第4圖繼續說明。對瞳孔區域的輪廓適用RANSAC的橢圓偵測，獲得橢圓B(x,y,cx,cy,a,b,)。但是，(cx,cy)為中心位置，a、b為短徑以及長徑，為旋轉角。利用瞳孔輪廓的推定結果进行兩個步驟的最小化，而推定眼睛輪廓。
步驟S1：利用瞳孔的中心以及旋轉角(cx,cy,)，只使直徑的參數(a,b)產生變化而使以下函數 變成最小化，並獲得眼睛的直徑之初始參數a0、b0。
在此Ex(x,y)為輸入圖像的X微分，並且為a0>a,b0>b。只使用圖像的X微分是為了避免對眼瞼的影響。另，sgn(cx-x)是為了評價從眼睛的中心座標朝外側方向具有黑眼變成白眼的變化。
步驟S2：利用所獲得的直徑之初始個人參數，以相同的評價函數收斂橢圓的所有參數，並獲得眼睛輪廓的參數(c’x,c’y,a’,b’,)。
利用這些參數，在以下的數式(3)中求得視線方向g。
在此τ表示眼睛之縱深方向的傾斜，能夠以τ=±arccos(rmin/rmax)求之。並且在此利用由L到C的已知的長度dLC(=5.6mm)與視線向量g可以求得角膜球面的中心點C。
反射點推定手段104係利用所得到的眼球的3維姿勢，推定來自注視點PoG的光在眼球表面所反射的 點(第1反射GRP)。眼球圖像取得手段102的眼球表面反射像的攝影可以視為與反射光學系(Catadioptic system)相同，第1反射點GRP可以使用反射球面的角膜球面的幾何模式與從眼球圖像取得手段102所得到的眼球姿勢而求之。在非專利文獻1有揭示透視投影模式與弱透視投影模式作為第1反射點GRP的推定模式。
舉例敘述在本實施方式中活用弱透視投影模式作為第1反射點GRP的模式。在眼球表面的光之入射、反射，可以認為在一個平面內發生。在弱透視投影模式的情況下，此面包含眼睛的投影像(橢圓)的短軸，對圖像面成垂直的平面。來自受試者A的注視點PoG的光假定為從眼球的光軸方向來的光，光線的途徑如第5圖(a)所示。第5圖(a)為表示與視線方向(眼球光軸方向)平行地從受試者A的注視點PoG入射的光在角膜表面反射，並入射到眼球圖像手段102的狀態。參照第5圖(a)，利用在角膜表面上的反射關係會得到以下的式子。
C．nS=g．nS,C=[0 1]T,g=[cos τ sin τ]T,nS=[cos θ sin θ]T. (4)
在此，利用表示眼球光軸方向的τ可以得到表示第1反射點GRP的角度θ。
θ=arctan((1-sin τ)/cos τ)=τ/2. (5)
再者，求取弱透視投影之局部投影面上的眼睛的中心與第1反射點GRP之間的距離|IS-IL|時，則，|I S -I L |=r c sin θ-d LC sin τ. (6)
其次，考量到以眼睛的中心視為物體中心的弱透視投影時，在眼球圖像的第1反射點GRP的位置iS可由以下求之。
iS=iL+s．v sm |I S -I L |,s=γ max/γ L , (7) 在此s為弱透視投影的比例因子，而iL為表示眼睛中心的座標，vsm為表示眼睛的投影像(橢圓)的短軸之2維向量。
修正反射點算出手段106在眼球的姿勢推定所得到的眼睛中心座標系Re，藉由只旋轉個人參數(δx、δy)而修正第1反射點GRP，並算出作為修正之後的第1反射點即修正反射點cGRP。具體而言，如下式，
其中Rx以及Ry為表示繞x軸、y軸的旋轉之行列。在此得到的τ*作為τ代入算式(6)，進一步以v*sm作為vsm代入算式(7)，則求得修正反射點cGRP。
注視點檢測手段108根據修正反射點cGRP的 光與周邊環境的光，檢測出注視點PoG。例如，注視點檢測手段108將表示修正反射點cGRP的光之數位資料與表示周邊環境的光之數位資料建立對應，並從建立對應的數位數據檢測包含在周邊環境的注視點PoG。此外，在本說明書中，受試者A的注視點PoG為表示受試者A所注視的點、區域或部分。
本實施方式中，例如，藉由主動照明法能夠得到表示周邊環境的光之數位數據。主動照明法，例如可以藉由裝備LED陣列投影機(LED-AP)或圖案發光標誌而執行。
附件的圖B1和圖B2為表示利用LED-AP的系統構成與利用圖案發光標誌的系統構成。附件的圖B1是利用LED-AP的系統構成，而藉由LED-AP把光高速投影在場景。以眼球圖像取得手段102取得照在眼球表面的反射光而推定注視點PoG，可以把注視點PoG作為場景中的任意之點而得之。
附件的圖B2為利用圖案發光標誌的系統構成，在此構成中把標誌裝設在注視對象物體，以求取是否注視其物體，或者是否注視複數的對象物體之中的任何一個。雖然所得到的注視資訊以對象物體為單位，但只要在對象物體上裝設小型的標誌即可，能夠以更簡易的構成實現注視點推定。此外，亦具有所得到的注視數據的後續解析變得容易之優點。
第6圖為表示LED-AP的構成。第6圖(a)為表示LED陣列(42LED)單元，包含高亮度LED(可見光或紅外 光)以及用於聚光的菲涅爾透鏡。第6圖(b)為表示LED陣列(9LED)單元。第6圖(c)及第6圖(d)為表示實驗環境及照光圖案。
LED-AP係包含配置成格子狀的高亮度LED群、透鏡、控制器。每一個LED能夠以0.05ms控制閃光，且每一個LED可以投影不同時間序列(time serious)的二值圖案。另，由於可以個別改變每一個LED的方向，能夠以覆蓋廣泛區域的方式來配置照明光。
使每一個LED的時間序列(time serious)照明圖案具備獨特的ID，可以由照相機的拍攝圖像列復原ID並認定作為光源的LED(第7圖)。另一方面，環境中的空間解析度因由LED的數量決定故有其限。為了彌補此缺點，由組合線形內插來推定注視點PoG。也就是說，在眼球反射圖像中，求出靠近第1反射點GRP的3個LED之投影點，並求出3個LED的投影點與第1反射點GRP之間的相對位置關係。從環境圖像中也求出各LED的投影點，並利用與第1反射點GRP之間已得到的相對位置關係，推定環境圖像中的注視點PoG。處理的過程為如下。
首先，從眼球反射圖像列進行時間序列(time serious)代碼的復原，求出各畫素的ID。基於所復原的ID進行標號，求出具有超過一定面積的標誌，且将其重心位置作為相對於各LED的表面反射點。LED-AP安裝有可見光LED或紅外LED。因此，能夠在受試者沒有感覺到投影光的情況下推定注視點PoG。
第8圖為表示圖案發光標誌的構成及眼球的 反射像。如第8圖(a)所示，圖案發光標誌構成為如使LED-AP的每一個LED獨立，並具備微控制器與紅外線LED。圖案發光標誌將每一個標誌發光其不同時間序列(time serious)的圖案。使標誌安裝在注視對象物體上，能夠判定受試者A是否注視其對象物體。
第8圖(b)為表示兩種對象物體在受試者A的前面移動的狀況。每一個對象物體都有安裝圖案發光標誌。白色的橢圓表示眼睛輪廓，白色的四角框表示第1反射點GRP。可以理解在圖案發光標誌中的1個與第1反射點GRP為一致。
由於每一個標誌均安裝有微控制器，故藉由即時時脈進行同步而可以保持所同步的發光圖案。從此標誌的眼球表面上的第1反射點GRP與修正反射點cGRP的位置關係，能夠計算標誌與視線方向的角度，因此，藉由進行角度的閾值處理等可以判定是否有在注視。
[實施方式2：算出個人參數]
第9圖係為表示本發明實施方式的個人參數算出裝置200的示意圖。個人參數算出裝置200係算出表示受試者A的視線方向與受試者A的眼球之光軸方向之差的個人參數。個人參數算出裝置200包含：取得受試者A的眼球圖像的眼球圖像取得手段102、從眼球圖像推定來自眼球的光軸方向的光所反射的第1反射點GRP的反射點推定手段104、從眼球圖像檢測出來自受試者A的注視點PoG的光所反射的第2反射點CRP(Calibration reflection point)的反射點檢測手段206、以及根據第1反射點GRP與 第2反射點CRP，算出受試者A的個人參數的個人參數算出手段208。
此外，眼球圖像取得手段102與參照第1圖所說明的眼球圖像取得手段102具有同樣的機能，而反射點推定手段104與參照第1圖所說明的反射點推定手段104具有同樣的機能，故省略詳細說明。
第10圖為表示個人參數算出裝置200之動作的流程圖。參照第9、10圖對個人參數算出方法進行說明。如下列所示，藉由個人參數算出裝置200執行步驟302至步驟308實現本發明的實施方式2的個人參數算出處理。
步驟302：眼球圖像取得手段102係取得受試者A的眼球圖像。
步驟304：反射點推定手段104係從眼球圖像推定第1反射點GRP。
步驟306：反射點檢測手段206係從眼球圖像檢測來自受試者A的注視點PoG的光所反射的第2反射點CRP。
步驟308：個人參數算出手段208係根據第1反射點GRP與第2反射點CRP，算出受試者A的個人參數。
此外，實現個人參數算出處理的裝置並不侷限於個人參數算出裝置200。只要是具備眼球圖像取得手段102、反射點推定手段104、反射點檢測手段206以及個人參數算出手段208之機能的裝置，可以為任意的裝置。例如，個人參數的算出方法也可以由個人電腦來實現。另，也可以由個人電腦來實現，該個人電腦為構成個人 參數算出裝置200的一部分。
在藉由個人電腦實現個人參數的算出方法的情況下，以個人參數算出處理程式的形式來執行個人參數的算出方法。該個人電腦具有儲存器與中央處理器。該儲存器儲存個人參數算出處理程式。該中央處理器從該儲存器讀取個人參數算出處理程式，以具有眼球圖像取得手段102的機能之手段執行步驟302的方式，進一步以具有反射點推定手段104的機能之手段執行步驟304的方式，控制每一個具有眼球圖像取得手段102以及反射點推定手段104的機能之手段。
該中央處理器進一步從該儲存器讀取個人參數算出處理程式，以具有反射點檢測手段206的機能之手段執行步驟306的方式，進一步以具有個人參數算出手段208的機能之手段執行步驟306的方式，控制每一個具有反射點檢測手段206以及個人參數算出手段208的機能之裝置。
藉由從記錄有個人參數算出處理程式的個人電腦外部之記錄媒體讀取個人參數算出處理程式，而可安裝在該個人電腦的儲存器。個人電腦外部之記錄媒體係可以使用軟碟、CD-ROM、CD-R、DVD、MO等任意媒體。此外，藉由網際網路等任意的網路下載個人參數算出處理程式，而可安裝在該個人電腦的儲存器。
以下，對個人參數算出裝置200以及個人參數算出方法進行詳細說明。雖然第1反射點GRP係根據受試者A的視線方向與眼球的光軸方向會一致的假定之下推 定，然而，有被指出受試者A的視線方向與眼球的光軸方向並不會一致的情況。受試者A的視線方向與眼球的光軸方向之偏差(個人參數)係依存於個人的值，所以有必要在推定注視點之前以某種方法取得。
因此，與第1反射點GRP的導出一樣，以活用眼球的表面反射圖像來開發個人參數算出的方法。這個新的校對法與先前的校對法不同，受試者A只要注視場景中的1點，能夠大幅地減輕受試者A在校對時所需要的負擔。
個人參數係由臉座標系統所定義的固定參數。以臉座標系統定義臉的前方為zface，從左眼到右眼的方向為xface，而與這些正交的軸為yface，個人參數則為，繞xface(tilt)軸的旋轉角為1.5~3度，繞yface(pan)軸的旋轉角為4~5度左右。
以眼睛為中心的座標系統定義為Re=[xeyeze]。然而，xe,ye係為眼睛圖像中的長軸及短軸方向。第5圖(b)為表示通過眼睛的投影像的短軸方向之平面(yeze-plane)。在第5圖(b)顯示眼球光軸方向與視線方向之差異。受試者A的視線方向(g’)與光軸方向(g)不會一致。來自視線方向的光在修正反射點cGRP(T)反射，並投影在圖像上的IT。
受試者A注視場景中的校對點，而眼球圖像取得手段102取得受試者A的眼球圖像。反射點推定手段104從眼球圖像推定第1反射點GRP。反射點檢測手段206從眼球圖像獲得第2反射點CRP之後，個人參數算出手段 208在此平面內，能夠由以下求出第1反射點GRP與第2反射點CRP之間的角度γ。
但是，IT、iT係為第2反射點CRP的位置以及其在圖像中的投影位置。
考量到第2反射點CRP的眼球表面反射時，可以由以下求出此平面內的個人參數δxe。
2．(γ+δx e)=τ+δx e, (13) δx e=τ-2．γ. (14)
同樣，可以由以下求出垂直於此面的個人參數δye。
但是vlm係為眼睛的投影像的長軸方向。
一般而言，由於眼球圖像取得手段102設置於臉的前方方向，故在上述所得到的臉座標系統的個人參數，可以藉由以下的算式轉換成相機座標系。
ex=[1 0 0]T,ey=[0 1 0]T,ez=[0 0 1]T.
得到個人參數之後，可以求出修正反射點cGRP。修正反射點cGRP係藉由使姿勢算出手段110所進行的眼球的姿勢推定所得到的眼睛中心座標系統Re，只旋轉個人參數(δx,δy)就可以得到。
[實施例]
為了確認本發明實施方式的有效性，對本發明實施方式再加上組裝常用在注視點檢測裝置之商用系統的內插法之注視點檢測，並互相比較。內插法的注視點檢測係為在商用系統常用的系統，並使用兩種紅外光源。其中一種光源用於暗瞳孔法的瞳孔檢測，另一種點光源(CAM-LED)用於為了得到眼球的表面反射。由此，利用瞳孔中心與CAM-LED的表面反射點之間的相對位置關係求出視線方向。在內插法用4個點之校對點取出試樣點，以輸入幀的瞳孔中心與CAM-LED的表面反射點之間的位置關係表示為校對點的線形內插，而求出注視點。
第6圖(下段右)為表示LED-AP的實驗環境。 實驗在一般的室內照明環境中進行，而受試者A坐在從壁面離開的位置，並注視壁面上的20點標誌。眼球圖像取得手段102位於受試者A的臉的稍微下方之處，而臉與眼球圖像取得手段102之間的距離為約0.6m。環境光檢測裝置112位於受試者A的後方，並被設置為能夠拍攝所有壁面上的標誌。
以Point Grey Dragonfly Express照相機(640×480畫素，B/W，30Hz)作為眼球圖像取得手段102來使用，而以飛利浦社製作的9個Luxeon Rebel High-Power LED(3W，白色)作為LED-AP的光源來使用。圖案光投影、攝影及取得圖像藉由個人電腦(Intel Core i7-960 3.06Ghs，8GB RAM)所進行，而圖像處理由同一個個人電腦上的Matlab R2010b以及Image Processing Toolkit的環境中所進行。在圖案發光標誌的實驗中，雖然受試者A與眼球圖像取得手段102之間的位置關係、取得圖像及處理機器的結構為相同，但使用了4個低輸出(15mA)的近紅外LED。
為了評價在不同縱深的環境中的注視點推定誤差，以受試者A與壁面的距離設定為1900mm(條件1)、3000mm(條件2)的兩個進行實驗。在條件1所得到的受試者A的個人參數適用於藉由條件1的推定及藉由條件2的推定。另，內插法的校對也同樣在條件1之下進行。
第11圖為表示受試者A的眼睛視為(x,y,z)=(900,600,1900)[mm]及(900,600,3000)[mm]時的注視點推定角度誤差(先前的手法(內插法)與導入個人參數的本發 明的手法之間的比較)。單位係為「deg(degree)」。另，第12圖為表示在條件1的注視點推定結果，而第13圖為表示在條件2的注視點推定結果。第12圖及第13圖中，「+」為表示注視對象標誌(Ground truth)，每一個「○」、「●」、「△」、「▲」以及「□」分別為表示本發明之手法對不同的受試者的推定結果。受試者的人數為5個使用者(5個受試者)。「×」表示使用者1(受試者1)在內插法的結果。
但是，LED-AP的投影光在本座標系統中投影在(1490,1200)、(895,1200)、(300,1200)、(1430,750)、(835,750)、(300,750)、(1450,300)、(820,300)、(320,300)[mm]。並且，眼球位於(900,600,1900)[mm](條件1)以及(900,600,3000)[mm](條件2)。本發明的實施例(本發明的手法)中，可以確認在不同縱深的2個條件下均以1度以下的誤差可以推定。可以了解雖然內插法在與進行校對時相同的條件(條件1)下得到良好的結果，但是在具有不同縱深的條件下精度變得不好。
[產業上之可利用性]
根據本發明，因能夠檢測出顧客在店內的視線，故可以實現經濟效率好的商品展示，也可以安裝在自動售貨機上提升銷售效率。再者，在生活空間中能夠解析受試者A的視線之動作，從而對受試者A可以實現方便的生活環境之設計。另，能夠開發在生活空間中利用視線資訊的普適周邊環境之界面，作為使用者界面的應用。例如，由於能夠監視、警告駕駛者的注視點，所以 能夠貢獻於汽車等安全駕駛。
特別是，作為從小孩或老年人獲得的資訊，視線係為重要的，而非安裝型的視線追蹤界面能夠發揮很大的作用。例如，視線資訊係對自閉症等小孩的發育障礙的診斷很重要，而可以利用在實驗室環境中所得到的視線資訊來診斷小孩。藉由實現本發明實施方式的注視點檢測裝置、注視點檢測方法、個人參數算出裝置以及個人參數算出方法，能夠以非安裝的方式得到嬰幼兒的高精度之視線資訊，並且能夠期待對生活科學區域、機器人區域的很大的貢獻。
進一步，根據本發明能夠推定受試者的周邊視覺。也就是說，在本發明取得受試者的眼球的表面反射圖像。故，根據表面反射圖像，可以判定從受試者的注視中心位置在多少程度的角度時受試者才能看到在受試者的周邊視野中的物體。結果，能夠判定受試者是否有看到受試者的周邊視野中的物體，又能夠測量在多少程度的視野區域時才有看到物體。例如，對汽車的駕駛人而言周邊視覺的資訊(例如人的衝進等狀況)係重要，即能夠正確地測量周邊視覺的資訊。
更進一步，藉由先前的注視點檢測法，檢測注視點之前，例如對眼球測量相機上所照的受試者的瞳孔的中心位置與受試者的注視點進行校對。故，在校對之後眼球測量相機從安裝位置偏移的情況下，則無法推定受試者的注視點。根據本發明，從受試者的眼球圖像推定眼球的姿勢，並根據所推定的眼球姿勢來推定受試者的注 視點，即使在檢測注視點之前眼球測量相機從安裝位置偏移，能夠抑制對注視點推定結果的影響。
A‧‧‧受試者
PoG‧‧‧注視點
GRP‧‧‧第1反射點
100‧‧‧注視點檢測裝置
102‧‧‧眼球圖像取得手段
104‧‧‧反射點推定手段
106‧‧‧修正反射點算出手段
108‧‧‧注視點檢測手段
110‧‧‧姿勢算出手段
112‧‧‧環境光檢測裝置

Claims (14)

  1. 一種注視點檢測裝置，該注視點檢測裝置係檢測受試者對周邊環境的注視點，具備：眼球圖像取得手段，其取得該受試者的眼球圖像；反射點推定手段，其從該眼球圖像推定來自該受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出手段，其根據顯示該受試者的視線方向與該眼球的該光軸方向之差的個人參數來修正該第1反射點，並算出該修正之後的該第1反射點，該修正之後的該第1反射點是修正反射點；以及注視點檢測手段，其根據該修正反射點的光與該周邊環境的光，檢測出該注視點。
  2. 如申請專利範圍第1項之注視點檢測裝置，該注視點檢測裝置具備：姿勢算出手段，其從該眼球圖像算出該眼球的姿勢；其中該反射點推定裝置根據該眼球的該姿勢與該眼球的幾何模式推定該第1反射點。
  3. 如申請專利範圍第1或2項之注視點檢測裝置，該反射點推定手段根據假定該受試者的該視線方向係平行於該受試者的該眼球之該光軸方向的模式，推定該第1反射點。
  4. 如申請專利範圍第1項之注視點檢測裝置，其中該周邊環境的光是LED陣列投影機的光。
  5. 如申請專利範圍第1項之注視點檢測裝置，其中該周邊環境的光是圖案發光標誌的光。
  6. 一種注視點檢測方法，具備：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示該受試者的視線方向與該眼球的該光軸方向之差的個人參數來修正第1反射點，而算出該修正之後的該第1反射點，該修正之後的該第1反射點是修正反射點；以及注視點檢測步驟，其根據該修正反射點的光與該周邊環境的光檢測該注視點。
  7. 一種個人參數算出裝置，該個人參數算出裝置係算出顯示受試者的視線方向與該受試者的眼球的光軸方向之差的個人參數，具備：眼球圖像取得手段，其取得該受試者的眼球圖像；反射點推定手段，其由該眼球圖像推定來自該眼球的光軸方向的光所反射的第1反射點；反射點檢測手段，其由該眼球圖像檢測來自該受試者之注視點的光所反射的第2反射點；以及個人參數算出手段，其根據該第1反射點與該第2反射點算出該受試者的該個人參數。
  8. 如申請專利範圍第7項之個人參數算出裝置，該個人參數算出裝置具備姿勢算出手段，其從該眼球圖像算出該眼球的姿勢，其中：該反射點推定手段根據該眼球的該姿勢與該眼球的幾何模式推定第1反射點。
  9. 如申請專利範圍第7或8項之個人參數算出裝置，其中：該反射點推定手段根據假定該受試者的該視線方向係平行於該受試者的該眼球之該光軸方向的模式，推定該第1反射點。
  10. 一種個人參數算出方法，該個人參數算出方法係算出顯示受試者的視線方向與該受試者的眼球的光軸方向之差的個人參數，具備：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該眼球的光軸方向的光所反射的第1反射點；反射點檢測步驟，其由該眼球圖像檢測出來自該受試者的注視點的光所反射的第2反射點；以及個人參數算出步驟，其根據該第1反射點與該第2反射點，算出該受試者的該個人參數。
  11. 一種程式，該程式使電腦執行檢測受試者對周邊環境的注視點之注視點檢測處理，包含：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示該受試者的視線方向與該眼球的該光軸方向之差的個人參數來修正該第1反射點，而算出該修正之後的該第1反射點，該修正之後的該第1反射點是修正反射點；以及注視點檢測步驟，其根據該修正反射點的光與該周邊環境的光，檢測該注視點。
  12. 一種程式，該程式係使電腦執行算出顯示受試者的視線方向與該受試者的眼球的光軸方向之差的個人參數之個人參數算出處理，包含：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該眼球的光軸方向的光所反射的第1反射點；反射點檢測步驟，其由該眼球圖像檢測來自該受試者的注視點的光所反射的第2反射點；以及個人參數算出步驟，其根據該第1反射點與該第2反射點，算出該受試者的該個人參數。
  13. 一種電腦可讀取的記錄媒體，該電腦可讀取的記錄媒體係記錄有用以使電腦執行檢測受試者對周邊環境的注視點的注視點檢測處理之程式，該程式包含：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該受試者的眼球的光軸方向的光所反射的第1反射點；修正反射點算出步驟，其根據顯示該受試者的視線方向與該眼球的該光軸方向之差的個人參數來修正該第1反射點，而算出該修正之後的該第1反射點，該修正之後的該第1反射點是修正反射點；以及注視點檢測步驟，其根據該修正反射點的光與該周邊環境的光，檢測該注視點。
  14. 一種電腦可讀取的記錄媒體，該電腦可讀取的記錄媒體係記錄有用以使電腦執行算出顯示受試者的視線方 向與該受試者的眼球的光軸方向之差的個人參數之個人參數算出處理的程式，其中該程式包含：眼球圖像取得步驟，其取得該受試者的眼球圖像；反射點推定步驟，其由該眼球圖像推定來自該眼球的光軸方向的光所反射的第2反射點；反射點檢測步驟，其由該眼球圖像檢測來自該受試者的注視點的光所反射的第1反射點；以及個人參數算出步驟，其根據該第1反射點與該第2反射點，算出該受試者的該個人參數。
TW102127200A 2012-07-31 2013-07-30 注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體 TWI489969B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012169223 2012-07-31

Publications (2)

Publication Number Publication Date
TW201414450A TW201414450A (zh) 2014-04-16
TWI489969B true TWI489969B (zh) 2015-07-01

Family

ID=50027847

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102127200A TWI489969B (zh) 2012-07-31 2013-07-30 注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體

Country Status (8)

Country Link
US (1) US9262680B2 (zh)
EP (1) EP2826414B1 (zh)
JP (1) JP5467303B1 (zh)
KR (1) KR101506525B1 (zh)
CN (1) CN104244807B (zh)
CA (1) CA2870751C (zh)
TW (1) TWI489969B (zh)
WO (1) WO2014021169A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
US11699301B2 (en) 2020-05-20 2023-07-11 Industrial Technology Research Institute Transparent display system, parallax correction method and image outputting method

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3011952B1 (fr) * 2013-10-14 2017-01-27 Suricog Procede d'interaction par le regard et dispositif associe
WO2015146491A1 (ja) * 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
US10761601B2 (en) 2015-03-23 2020-09-01 Controlrad Systems Inc. Eye tracking system including an eye tracker camera and a positioning camera
JP6334477B2 (ja) * 2015-08-24 2018-05-30 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
KR101745140B1 (ko) 2015-09-21 2017-06-08 현대자동차주식회사 시선 추적 장치 및 방법
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
US10082866B2 (en) * 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
CN109661194B (zh) * 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
KR102450441B1 (ko) 2016-07-14 2022-09-30 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
IL281241B (en) 2016-08-22 2022-08-01 Magic Leap Inc An augmented reality display device with deep learning sensors
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
EP3305176A1 (en) 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
IL281321B (en) 2016-10-04 2022-07-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
US10621747B2 (en) 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
AU2017370555B2 (en) 2016-12-05 2022-12-15 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
US10319108B2 (en) * 2017-02-14 2019-06-11 Jx Imaging Arts, Llc System and method for machine vision object orientation measurement
EP3596659A4 (en) 2017-03-17 2021-01-27 Magic Leap, Inc. SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES
CA3068448A1 (en) 2017-07-26 2019-01-31 Magic Leap, Inc. Training a neural network with representations of user interface devices
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
EP3685313A4 (en) 2017-09-20 2021-06-09 Magic Leap, Inc. PERSONALIZED NEURAL EYE TRACKING NETWORK
CA3078530A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
TWI647472B (zh) * 2018-01-22 2019-01-11 國立臺灣大學 雙模式視線追蹤方法與系統
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
CN110334579B (zh) * 2019-05-06 2021-08-03 北京七鑫易维信息技术有限公司 一种虹膜识别图像确定方法、装置、终端设备及存储介质
CN111281337B (zh) * 2020-03-02 2023-03-14 南方科技大学 图像采集设备及基于图像采集设备的眼底视网膜成像方法
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、***和装置
RU2739519C1 (ru) * 2020-06-26 2020-12-25 Общество С Ограниченной Ответственностью "Тотал Вижен" (Ооо "Тотал Вижен") Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение
CN112329718A (zh) * 2020-11-26 2021-02-05 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
US20100066975A1 (en) * 2006-11-29 2010-03-18 Bengt Rehnstrom Eye tracking illumination
JP2011172853A (ja) * 2010-02-25 2011-09-08 Kobe Univ 視線計測装置、方法及びプログラム
WO2011117776A1 (en) * 2010-03-22 2011-09-29 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359601B1 (en) * 1993-09-14 2002-03-19 Francis J. Maguire, Jr. Method and apparatus for eye tracking
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US7015950B1 (en) * 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
WO2003034705A2 (en) * 2001-10-19 2003-04-24 University Of North Carolina At Chapel Hill Methods and systems for dynamic virtual convergence and head mountable display
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
WO2006101943A2 (en) * 2005-03-16 2006-09-28 Lc Technologies, Inc. System and method for eyeball surface topography as a biometric discriminator
ES2880475T3 (es) * 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
JP2010259605A (ja) 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US8860729B2 (en) * 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
GB0920809D0 (en) * 2009-11-27 2010-01-13 Qinetiq Ltd Eye tracking apparatus
JP5511336B2 (ja) * 2009-12-01 2014-06-04 日立アロカメディカル株式会社 パッケージラック
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
CN102043952B (zh) 2010-12-31 2012-09-19 山东大学 一种基于双光源的视线跟踪方法
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
US20100066975A1 (en) * 2006-11-29 2010-03-18 Bengt Rehnstrom Eye tracking illumination
JP2011172853A (ja) * 2010-02-25 2011-09-08 Kobe Univ 視線計測装置、方法及びプログラム
WO2011117776A1 (en) * 2010-03-22 2011-09-29 Koninklijke Philips Electronics N.V. System and method for tracking the point of gaze of an observer

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
US11699301B2 (en) 2020-05-20 2023-07-11 Industrial Technology Research Institute Transparent display system, parallax correction method and image outputting method

Also Published As

Publication number Publication date
CA2870751A1 (en) 2014-02-06
EP2826414A1 (en) 2015-01-21
US9262680B2 (en) 2016-02-16
CA2870751C (en) 2015-08-18
US20150154758A1 (en) 2015-06-04
KR20140126419A (ko) 2014-10-30
TW201414450A (zh) 2014-04-16
EP2826414B1 (en) 2016-11-30
JPWO2014021169A1 (ja) 2016-07-21
CN104244807A (zh) 2014-12-24
CN104244807B (zh) 2016-10-19
KR101506525B1 (ko) 2015-03-27
EP2826414A4 (en) 2015-12-02
JP5467303B1 (ja) 2014-04-09
WO2014021169A1 (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
TWI489969B (zh) 注視點檢測裝置、注視點檢測方法、個人參數算出裝置、個人參數算出方法、程式、以及電腦可讀取的記錄媒體
JP2020034919A (ja) 構造化光を用いた視線追跡
EP3075304B1 (en) Line-of-sight detection assistance device and line-of-sight detection assistance method
US20100208207A1 (en) Automatic direct gaze detection based on pupil symmetry
US7810926B2 (en) Lateral gaze angle estimation using relative eye separation
US10634918B2 (en) Internal edge verification
US20170278269A1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
US20160210497A1 (en) Method and apparatus for eye detection from glints
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
WO2016142489A1 (en) Eye tracking using a depth sensor
SE541262C2 (en) Method and device for eye metric acquisition
WO2015027289A1 (en) Method and apparatus for eye detection from glints
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
JP4765008B2 (ja) 瞳孔と鼻孔を用いた頭部の方向を検出する方法
JP6780161B2 (ja) 視線検出装置及び視線検出方法
JP2012055418A (ja) 視線検出装置及び視線検出方法
JP7269617B2 (ja) 顔画像処理装置、画像観察システム、及び瞳孔検出システム
JP6468755B2 (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム
US20230335024A1 (en) Position information acquisition device, head-mounted display, and position information acquisition method
WO2015080003A1 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
WO2020049665A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2004085280A (ja) 視線方向検出方法及び同システム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees