TWI577327B - 瞳孔定位方法與裝置及其電腦程式產品 - Google Patents

瞳孔定位方法與裝置及其電腦程式產品 Download PDF

Info

Publication number
TWI577327B
TWI577327B TW103127951A TW103127951A TWI577327B TW I577327 B TWI577327 B TW I577327B TW 103127951 A TW103127951 A TW 103127951A TW 103127951 A TW103127951 A TW 103127951A TW I577327 B TWI577327 B TW I577327B
Authority
TW
Taiwan
Prior art keywords
pupil
image
curvature
eye
nostril
Prior art date
Application number
TW103127951A
Other languages
English (en)
Other versions
TW201605407A (zh
Inventor
鄒嘉駿
林伯聰
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW103127951A priority Critical patent/TWI577327B/zh
Priority to US14/521,477 priority patent/US9723979B2/en
Priority to CN201410598865.2A priority patent/CN105373766B/zh
Priority to JP2015077802A priority patent/JP6040274B2/ja
Publication of TW201605407A publication Critical patent/TW201605407A/zh
Application granted granted Critical
Publication of TWI577327B publication Critical patent/TWI577327B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Description

瞳孔定位方法與裝置及其電腦程式產品
本發明是有關於一種視覺辨識技術，且特別是有關於一種瞳孔定位方法與裝置及其電腦程式產品。
目前眼動追蹤技術主要可區分為與侵入性(invasive)與非侵入性(non-invasive)兩種。侵入性的眼動追蹤技術主要是在眼睛中設置搜尋線圈法(search Coil)或使用眼動電波圖(electrooculogram)。而非侵入性的眼動追蹤技術則可區分為免頭戴式(free-head)或頭戴式(head-mount)人眼追蹤技術。而隨著科技的發展，眼動追蹤技術大幅應用於各種領域，例如神經科學、心理學、工業工程、人因工程、行銷廣告、電腦科學等。
藉由眼動追蹤技術來協助口說不便與肢體困難者進行溝通及輔助所需，帶給了許多行動不便者更多的便利。例如，藉由眼動電子產品的輔助，而能夠以眼睛代替滑鼠來完成溝通、上網和影音娛樂活動等。然而，由於上述侵入性(invasive)與非侵入 性(non-invasive)兩種眼動追蹤技術還需搭配昂貴的軟硬體設備，並且需要複雜校正的程序，因此執行狀態的穩定度不佳，成本亦相對高，使得眼動追蹤技術無法普及化。
本發明提供一種瞳孔定位方法與裝置及其電腦程式產品，可精確定位瞳孔的位置，進而實現準確的眼動追蹤。
本發明的瞳孔定位方法包括：取得瞳孔影像；自瞳孔影像獲得瞳孔輪廓；根據瞳孔輪廓的曲率資訊獲得橢圓特徵；以及根據橢圓特徵判斷視線方向。
在本發明的一實施例中，上述曲率資訊包括一或多個曲線區段的曲率。在上述根據瞳孔輪廓的曲率資訊獲得橢圓特徵的步驟，其包括：自瞳孔輪廓中的起始點往預設方向計算瞳孔輪廓在多個曲線的曲率；在誤差容忍範圍下，判斷各曲線的曲率是否符合同一曲率方程式；將在誤差容忍範圍下符合同一曲率方程式的連續多個曲線視為同一個曲線區段；以及基於自瞳孔輪廓所獲得的上述曲線區段，獲得橢圓特徵。
在本發明的一實施例中，上述根據瞳孔輪廓的曲率資訊獲得橢圓特徵的步驟中，還可進一步濾除不符合預設曲面方向的曲線區段。
在本發明的一實施例中，上述根據橢圓特徵判斷視線方向的步驟包括：自資料庫中查詢橢圓特徵所對應的視線方向。
在本發明的一實施例中，上述瞳孔定位方法中還可進一步計算瞳孔位移量，據以獲得視線落點的位移量。
在本發明的一實施例中，上述瞳孔定位方法更包括：接收原始影像，從原始影像取出臉部影像，偵測臉部影像的鼻孔區域而獲得鼻孔位置資訊，基於鼻孔位置資訊獲得眼部影像，以及自眼部影像取得瞳孔影像。
在本發明的一實施例中，上述基於鼻孔位置資訊獲得眼部影像的步驟包括：依據鼻孔位置資訊中的第一鼻孔中心點與第二鼻孔中心點之間的距離，預估眼部搜尋框的中心點及長寬距離，以自眼部搜尋框獲得眼部影像。
本發明的瞳孔定位裝置包括取像單元、儲存單元以及處理單元。取像單元用以取得原始影像。儲存單元包括影像分析模組。處理單元耦接至取像單元及儲存單元。處理單元透過影像分析模組自原始影像取得瞳孔影像，並自瞳孔影像獲得瞳孔輪廓，而根據瞳孔輪廓的曲率資訊獲得橢圓特徵，以及根據橢圓特徵判斷視線方向。
本發明的電腦程式產品，用於瞳孔定位裝置，當瞳孔定位裝置載入並執行電腦程式產品的電腦程式後，可完成上述瞳孔定位方法。
基於上述，本發明可快速並精確地偵測瞳孔的視線方向以及瞳孔位移量，從而實現準確的眼動追蹤，而達到多元的應用。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉 實施例，並配合所附圖式作詳細說明如下。
100‧‧‧瞳孔定位裝置
110‧‧‧處理單元
120‧‧‧取像單元
130‧‧‧儲存單元
140‧‧‧影像分析模組
150‧‧‧資料庫
201‧‧‧人臉偵測模組
203‧‧‧鼻孔偵測模組
205‧‧‧眼部偵測模組
207‧‧‧瞳孔偵測模組
209‧‧‧曲率計算模組
211‧‧‧視線判斷模組
410、420‧‧‧眼部搜尋框
411、421‧‧‧眼部影像
500‧‧‧瞳孔影像
a1‧‧‧起始點
arc1~arc6、Er1~Er2‧‧‧曲線區段
C1、C2‧‧‧中心點
D‧‧‧距離
E‧‧‧眼球物件
h‧‧‧高度
k1‧‧‧第一估計值
k2‧‧‧第二估計值
N1‧‧‧第一鼻孔中心點
N2‧‧‧第二鼻孔中心點
P‧‧‧瞳孔物件
w‧‧‧寬度
S305~S325‧‧‧步驟
a~d‧‧‧橢圓形狀
e~h‧‧‧視線方向
圖1是依照本發明一實施例的瞳孔定位裝置的方塊圖。
圖2是依照本發明一實施例的影像分析模組的方塊圖。
圖3是依照本發明一實施例的瞳孔定位方法的流程圖。
圖4是依照本發明一實施例的預估眼部搜尋框流程的示意圖。
圖5A是依照本發明一實施例的瞳孔影像的示意圖。
圖5B是依照本發明一實施例的瞳孔輪廓的示意圖。
圖6是依照本發明一實施例的橢圓形狀與視線方向對應關係的示意圖。
一般眼動技術是利用光源照射在使用者眼睛上，進而在眼球表面形成光斑，透過瞳孔與光斑的相對位置來判斷使用者的視線方向。然而，傳統方式在使用之前都必須先進行校正程序，以避免轉換成螢幕位置時的誤差。為此，本發明提出一種瞳孔定位方法與裝置及其電腦程式產品，利用瞳孔的曲率作為特徵，藉以進行眼動控制。
圖1是依照本發明一實施例的瞳孔定位裝置的方塊圖。 在此，透過瞳孔定位裝置100將使用者的瞳孔位置轉換為螢幕上的游標位置。而瞳孔定位裝置100可以內建一螢幕，或外接至螢幕。瞳孔定位裝置100例如可以是桌上型電腦、筆記型電腦、平板電腦、智慧型手機等具有運算能力的電子裝置或電子產品。
請參照圖1，瞳孔定位裝置100主要包括處理單元110、取像單元120以及儲存單元130。處理單元110耦接至取像單元120及儲存單元130。處理單元110例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。
取像單元120例如為攝影機或照相機，具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭。取像單元120用以擷取一影像序列(包括多張原始影像)。
儲存單元130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。
本實施例例如是以程式碼來實現瞳孔的定位。即，儲存單元130中儲存有多個程式碼片段，上述程式碼片段在被安裝後，會由處理單元110來執行。例如，儲存單元130中包括由一或多個程式碼片段所組成的影像分析模組140，藉由影像分析模組140來分別執行多個功能。另外，儲存單元130中還包括資料庫150。資料庫150中儲存了多個預設橢圓特徵及其所對應的視線方向。
由於三維的眼球體轉換為二維影像時，在二維影像的瞳孔會產生一些曲率的形變，據此，藉由分析曲率資訊來判斷視線方向。具體而言，處理單元110可透過影像分析模組140自原始影像來取得瞳孔影像，並自瞳孔影像獲得瞳孔輪廓，而根據瞳孔輪廓的曲率資訊獲得橢圓特徵，以及根據橢圓特徵判斷視線方向。例如，影像分析模組140可藉由查詢上述資料庫150，並根據橢圓特徵所符合的預設橢圓特徵來獲得對應的視線方向。在此，橢圓特徵例如為橢圓方程式。
底下舉例來說明影像分析模組140。圖2是依照本發明一實施例的影像分析模組的方塊圖。影像分析模組140包括人臉偵測模組201、鼻孔偵測模組203、眼部偵測模組205、瞳孔偵測模組207、曲率計算模組209以及視線判斷模組211。人臉偵測模組201用以從原始影像取出臉部影像。鼻孔偵測模組203用以偵測臉部影像的鼻孔區域，而獲得鼻孔位置資訊。眼部偵測模組205用以基於鼻孔位置資訊獲得眼部影像。瞳孔偵測模組207用以自眼部影像取得瞳孔影像，並自瞳孔影像獲得瞳孔輪廓。曲率計算模 組209用以計算瞳孔輪廓的曲率資訊，並藉此獲得橢圓特徵。視線判斷模組211用以根據橢圓特徵來判斷視線方向。
接著，搭配上述瞳孔定位裝置100來說明瞳孔定位方法。圖3是依照本發明一實施例的瞳孔定位方法的流程圖。首先，在步驟S305中，透過影像分析模組140來取得瞳孔影像。例如，在透過取像單元120接收到原始影像之後，處理單元110透過影像分析模組140先從原始影像取出臉部影像；接著偵測臉部影像的鼻孔區域而獲得鼻孔位置資訊；再基於鼻孔位置資訊獲得眼部影像；之後，利用瞳孔偵測演算法自眼部影像取得瞳孔影像。
以圖2所示的影像分析模組140為例，人臉偵測模組201透過人臉辨識演算法來偵測取像單元120所擷取的原始影像中是否存在有臉部物件，而從原始影像取出臉部影像。例如，儲存單元130儲存有一特徵資料庫。此特徵資料庫包括了臉部特徵樣本(pattern)。而人臉偵測模組201藉由與特徵資料庫中的樣本進行比對來獲得臉部物件。於較佳實施例中，可利用基於Haar-like特徵的AdaBoost演算法或其他現有的人臉辨識演算法來獲得各原始影像中的臉部影像。
接著，鼻孔偵測模組203自人臉偵測模組201接收臉部影像，並且偵測臉部影像的鼻孔區域，而獲得鼻孔位置資訊。這是因為，由於人臉中鼻孔為呈現黑色而易於被正確地辨識出來，因此，在本實施例中利用鼻孔的特徵來獲得臉部其他的特徵。上述鼻孔位置資訊例如為兩個鼻孔的第一鼻孔中心點與第二鼻孔中 心點。
由於一般人的五官比例，在統計上有大概的範圍值，因此可根據統計上的五官比例關係，在獲得鼻孔位置資訊之後，眼部偵測模組205便可基於鼻孔位置資訊來獲得眼部區域位置。例如，眼部偵測模組205可依據鼻孔位置資訊中的第一鼻孔中心點與第二鼻孔中心點連線之中間點，預估一眼部搜尋框的中心點及長寬距離，以自此眼部搜尋框來獲得眼部影像。
舉例來說，圖4是依照本發明一實施例的預估眼部搜尋框流程的示意圖。在找到第一鼻孔中心點N1與第二鼻孔中心點N2之後，計算出第一鼻孔中心點N1與第二鼻孔中心點N2之間的距離D。接著，依據距離D來分別估測兩眼的眼部搜尋框的中心點及長寬距離。具體而言，以座標為(N1_x,N1_y)的第一鼻孔中心點N1作為起算點，將X軸座標加上第一估計值k1，將Y軸座標加上第二估計值k2，藉此獲得一中心點C1。即，中心點C1的X座標C_x=N1_x+k1，Y座標C_y=N1_y+k2。k1與k2的設定例如可以為：k1=D×e1，k1=D×e2，其中1.3<e1<2.0，而1.5<e2<2.2，可視需求來進行調整，在此並不限制。在獲得中心點C1之後，依據事先定義的寬度w及高度h而獲得眼部搜尋框410，其中寬度w大於高度h。例如，寬度w為2×22個像素，高度h為2×42個像素。
又，與上述方法類似，以第二鼻孔中心點N2(N2_x,N2_y)作為起算點，將X軸座標減去第一估計值k1，將Y軸座標加上第 二估計值k2，來獲得另一中心點C2。並在獲得中心點C2之後，依據事先定義的寬度w及高度h而獲得另一眼部搜尋框420。另外，在其他實施例中，起算點亦可以為第一鼻孔中心點N1與第二鼻孔中心點N2之間的中間點，在此並不限制。在獲得眼部搜尋框410、420之後，處理單元110進一步在眼部搜尋框410、420中獲得更為精準的眼部影像411、421。
之後，眼部偵測模組205調整眼部影像411、421的對比而獲得加強影像，並對此加強影像進行去雜點處理而獲得去雜點影像，再對去雜點影像進行邊緣銳利化處理而獲得銳化影像，以及對銳化影像進行二值化處理，而獲得二值化影像，之後，再次對二值化影像進行邊緣銳利化處理，進而可獲得眼部物件。然後，瞳孔偵測模組207分別對眼部物件執行一瞳孔偵測演算法而獲得瞳孔影像。
然，上述關於獲得瞳孔影像的實施方式僅為其中一例，並不以此為限。例如，影像分析模組140亦可直接利用眼部特徵來找出眼部影像，而省略取得鼻孔位置資訊的步驟等。
接著返回圖3，在步驟S310中，影像分析模組140自瞳孔影像獲得瞳孔輪廓。舉例來說，圖5A是依照本發明一實施例的瞳孔影像的示意圖。圖5B是依照本發明一實施例的瞳孔輪廓的示意圖。參照圖5A及圖5B，瞳孔偵測模組207自瞳孔影像500偵測到其包括有眼球物件E以及瞳孔物件P。接著，瞳孔偵測模組207對瞳孔物件P執行邊緣偵測演算法而獲得如圖5B所示的瞳孔 輪廓510。
在獲得瞳孔輪廓510之後，在步驟S315中，影像分析模組140根據瞳孔輪廓510的曲率資訊獲得橢圓特徵。具體而言，曲率計算模組209會計算瞳孔輪廓510所包括的一或多個曲線區段的曲率。上述曲率資訊包括各曲線區段的曲率。而本實施例中，圖5B所示的瞳孔輪廓510包括多個曲線區段。另外，在其他實施例中，於瞳孔輪廓510呈現圓形的情況下，則瞳孔輪廓510僅包括一個曲線區段。
曲率計算模組209自瞳孔輪廓510中的起始點a1往預設方向(在此為順時針方向)計算瞳孔輪廓510中多個曲線的曲率。在誤差容忍範圍下，利用最小平方差(Least Square Error，LSE)、修正型緩坡方程式(Modified Mild-Slope Equation，MMSE)、類神經演算法、基因演算法等演算法，判斷這些曲線的曲率是否符合同一曲率方程式。並且，將在誤差容忍範圍下符合同一曲率方程式的曲線視為同一個曲線區段。以圖5B為例，瞳孔輪廓510可獲得曲線區段arc1~arc6以及曲線區段Er1~Er2。並且，曲率計算模組209會進一步濾除不符合預設曲面方向的曲線區段Er1~Er2(內凹、外凸)。之後，曲率計算模組209基於自瞳孔輪廓510所獲得的曲線區段arc1~arc6，來獲得橢圓特徵，例如為一橢圓方程式。而由此橢圓特徵便可獲得對應的橢圓形狀。
之後，在步驟S320中，影像分析模組140根據橢圓特徵來判斷視線方向。例如，視線判斷模組211以所獲得的橢圓特徵 來查詢資料庫150，並根據橢圓特徵所符合的預設橢圓方程式來獲得對應的視線方向。舉例來說，圖6是依照本發明一實施例的橢圓形狀與視線方向對應關係的示意圖。圖6僅列舉4種預設橢圓方程式所對應的橢圓形狀，每種橢圓形狀皆有其對應的視線方向。如圖6所示，橢圓形狀a對應至左上右下的視線方向e，橢圓形狀b對應至右上左下的視線方向f，橢圓形狀c對應至水平的視線方向g，橢圓形狀d對應至垂直的視線方向h。然，並不以此為限。根據橢圓特徵所符合的預設橢圓方程式獲得對應的橢圓形狀，進而獲得對應的視線方向。
而在獲得視線方向之後，視線判斷模組211還會進一步計算瞳孔位移量，而以視線方向配合瞳孔位移量來獲得視線落點的位移方向及位移量，藉以使得螢幕中的游標進行移動。例如，計算前後兩張瞳孔影像中的瞳孔中心點的位移量。
在此，處理單元110可利用座標系統轉換方法先將初始的瞳孔位置轉換為螢幕的游標座標。例如藉由透視轉換(perspective transformation)法來產生座標轉換矩陣，此座標轉換矩陣是用以將眼部影像的瞳孔位置轉換為螢幕的座標位置。之後，再依據後續接收到的原始影像所獲得的視線方向及瞳孔位移量，使得螢幕中的游標進行移動。
本發明另提出一種電腦程式產品，用於瞳孔定位裝置。上述電腦程式產品基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、 以及部署程式碼片段)。當瞳孔定位裝置載入並執行電腦程式產品的電腦程式後，可完成上述瞳孔定位方法及瞳孔定位裝置的功能。
綜上所述，本發明根據分析瞳孔輪廓所包括的曲線區段的數量及其曲率，而可獲得瞳孔輪廓對應的橢圓形。據此，可快速地判斷瞳孔的視線方向以及瞳孔位移量，從而可精確地偵測瞳孔位置，從而實現準確的眼動追蹤，而達到多元的應用。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S305~S325‧‧‧步驟

Claims (14)

  1. 一種瞳孔定位方法，包括：取得一瞳孔影像；自該瞳孔影像獲得一瞳孔輪廓；根據該瞳孔輪廓的曲率資訊獲得一橢圓特徵；根據該橢圓特徵判斷一視線方向，其中該橢圓特徵對應至一橢圓形狀，且該橢圓特徵為該瞳孔影像的水平軸與該橢圓形狀的長軸所形成的角度；以及計算一瞳孔位移量，據以根據該視線方向與該瞳孔位移量獲得一視線落點的位移量。
  2. 如申請專利範圍第1項所述的瞳孔定位方法，其中該曲率資訊包括一或多個曲線區段的曲率，而上述根據該瞳孔輪廓的曲率資訊獲得該橢圓特徵的步驟包括：自該瞳孔輪廓中的一起始點往一預設方向計算該瞳孔輪廓內之多個曲線的曲率；在一誤差容忍範圍下，判斷該些曲線的曲率是否符合一同一曲率方程式；將在該誤差容忍範圍下符合該同一曲率方程式的該些曲線視為同一個曲線區段；以及基於自該瞳孔輪廓所獲得的該曲線區段，獲得一橢圓方程式。
  3. 如申請專利範圍第2項所述的瞳孔定位方法，其中根據該瞳孔輪廓的曲率資訊獲得該橢圓方程式的步驟，更包括： 濾除不符合一預設曲面方向的曲線區段。
  4. 如申請專利範圍第2項所述的瞳孔定位方法，其中根據該橢圓特徵判斷該視線方向的步驟包括：自一資料庫中查詢該橢圓方程式所對應的該視線方向。
  5. 如申請專利範圍第1項所述的瞳孔定位方法，更包括：接收一原始影像；從該原始影像取出一臉部影像；偵測該臉部影像的鼻孔區域，而獲得一鼻孔位置資訊；基於該鼻孔位置資訊獲得一眼部影像；以及自該眼部影像取得該瞳孔影像。
  6. 如申請專利範圍第5項所述的瞳孔定位方法，其中基於該鼻孔位置資訊獲得該眼部影像的步驟包括：依據該鼻孔位置資訊中的一第一鼻孔中心點與一第二鼻孔中心點之間的距離，預估一眼部搜尋框的中心點及長寬距離，以自該眼部搜尋框獲得該眼部影像。
  7. 一種瞳孔定位裝置，包括：一取像單元，取得一原始影像；一儲存單元，包括一影像分析模組；以及一處理單元，耦接至該取像單元及該儲存單元，其中該處理單元透過該影像分析模組自該原始影像取得一瞳孔影像，並自該瞳孔影像獲得一瞳孔輪廓，而根據該瞳孔輪廓的曲率資訊獲得一橢圓特徵，以及根據該橢圓特徵判斷一視線方向，其中該橢圓特 徵對應至一橢圓形狀，且該橢圓特徵為該瞳孔影像的水平軸與該橢圓形狀的長軸所形成的角度，其中該影像分析模組包括：一視線判斷模組，根據該橢圓特徵判斷該視線方向，以及計算一瞳孔位移量，據以根據該視線方向與該瞳孔位移量獲得一視線落點的位移量。
  8. 如申請專利範圍第7項所述的瞳孔定位裝置，其中該影像分析模組包括：一瞳孔偵測模組，自一眼部影像取得該瞳孔影像，並自該瞳孔影像獲得該瞳孔輪廓，其中該眼部影像是自該原始影像獲得；以及一曲率計算模組，計算該瞳孔輪廓的曲率資訊，並藉此獲得該橢圓特徵。
  9. 如申請專利範圍第8項所述的瞳孔定位裝置，其中該曲率計算模組計算該瞳孔輪廓所包括的一或多個曲線區段的曲率，而該曲率資訊包括上述一或多個曲線區段的曲率，該曲率計算模組自該瞳孔輪廓中的一起始點往一預設方向計算該瞳孔輪廓在多個點的曲率，並且在一誤差容忍範圍下，判斷該些點的曲率是否符合同一曲率方程式；該曲率計算模組將在該誤差容忍範圍下符合同一曲率方程式的連續多個上述點視為同一個曲線區段，並且基於自該瞳孔輪廓所獲得的上述曲線區段，獲得該橢圓特徵。
  10. 如申請專利範圍第9項所述的瞳孔定位裝置，其中該曲 率計算模組會濾除不符合一預設曲面方向的曲線區段。
  11. 如申請專利範圍第8項所述的瞳孔定位裝置，其中該儲存單元更包括：一資料庫，儲存有多個預設橢圓特徵及其所對應的該視線方向；其中，該視線判斷模組查詢該資料庫，並根據該橢圓特徵所符合的該些預設橢圓特徵其中之一來獲得對應的該視線方向。
  12. 如申請專利範圍第8項所述的瞳孔定位裝置，其中該影像分析模組更包括：一人臉偵測模組，從該原始影像取出一臉部影像；一鼻孔偵測模組，偵測該臉部影像的鼻孔區域，而獲得一鼻孔位置資訊；以及一眼部偵測模組，基於該鼻孔位置資訊獲得該眼部影像。
  13. 如申請專利範圍第12項所述的瞳孔定位裝置，其中該眼部偵測模組依據該鼻孔位置資訊中的一第一鼻孔中心點與一第二鼻孔中心點之間的距離，預估一眼部搜尋框的中心點及長寬距離，以自該眼部搜尋框獲得該眼部影像。
  14. 一種電腦程式產品，用於一瞳孔定位裝置，當該瞳孔定位裝置載入並執行該電腦程式產品的電腦程式後，可完成如申請專利範圍第1項至7項其中之一所述之瞳孔定位方法。
TW103127951A 2014-08-14 2014-08-14 瞳孔定位方法與裝置及其電腦程式產品 TWI577327B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW103127951A TWI577327B (zh) 2014-08-14 2014-08-14 瞳孔定位方法與裝置及其電腦程式產品
US14/521,477 US9723979B2 (en) 2014-08-14 2014-10-23 Method, apparatus and computer program product for positioning pupil
CN201410598865.2A CN105373766B (zh) 2014-08-14 2014-10-30 瞳孔定位方法与装置
JP2015077802A JP6040274B2 (ja) 2014-08-14 2015-04-06 瞳孔位置検出方法、瞳孔位置検出装置および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103127951A TWI577327B (zh) 2014-08-14 2014-08-14 瞳孔定位方法與裝置及其電腦程式產品

Publications (2)

Publication Number Publication Date
TW201605407A TW201605407A (zh) 2016-02-16
TWI577327B true TWI577327B (zh) 2017-04-11

Family

ID=55301196

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103127951A TWI577327B (zh) 2014-08-14 2014-08-14 瞳孔定位方法與裝置及其電腦程式產品

Country Status (4)

Country Link
US (1) US9723979B2 (zh)
JP (1) JP6040274B2 (zh)
CN (1) CN105373766B (zh)
TW (1) TWI577327B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692729B (zh) * 2017-12-27 2020-05-01 大陸商北京七鑫易維信息技術有限公司 確定瞳孔位置的方法和裝置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6179224B2 (ja) * 2013-07-02 2017-08-16 富士通株式会社 画像処理フィルタの作成装置及びその方法
CN106354777B (zh) * 2016-08-22 2019-09-17 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
US20180335839A1 (en) * 2017-05-22 2018-11-22 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN107277375B (zh) * 2017-07-31 2020-03-27 维沃移动通信有限公司 一种自拍方法和移动终端
CN107578382A (zh) * 2017-08-18 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN107784280A (zh) * 2017-10-18 2018-03-09 张家港全智电子科技有限公司 一种动态瞳孔跟踪方法
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108983976B (zh) * 2018-07-09 2019-06-18 清华大学 柔***互装置以及信息交互方法及装置
CN109145821B (zh) * 2018-08-16 2020-11-06 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
TWI704473B (zh) 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、***和视线追踪设备
US11195301B1 (en) * 2020-07-26 2021-12-07 Nec Corporation Of America Estimation of head yaw in an image
CN112926536B (zh) * 2021-04-06 2024-04-16 科大讯飞股份有限公司 变形瞳孔定位方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499303A (en) * 1991-01-31 1996-03-12 Siemens Aktiengesellschaft Correction of the gaze direction for a videophone
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US7948493B2 (en) * 2005-09-30 2011-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for determining information about shape and/or location of an ellipse in a graphical image
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600114B2 (ja) 1994-11-28 1997-04-16 工業技術院長 ノイズに強い正確な楕円近似による計測方法
WO2008007781A1 (fr) 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
JP4998364B2 (ja) * 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム
TWI401104B (zh) 2010-02-12 2013-07-11 Utechzone Co Ltd Control system for sports equipment
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
CN102749991B (zh) * 2012-04-12 2016-04-27 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499303A (en) * 1991-01-31 1996-03-12 Siemens Aktiengesellschaft Correction of the gaze direction for a videophone
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US7948493B2 (en) * 2005-09-30 2011-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for determining information about shape and/or location of an ellipse in a graphical image
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dongshi Xia, Ruan Zongcai"IR Image Based Eye Gaze Estimation",Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing, 2007. SNPD 2007. Eighth ACIS International Conference on (Volume:1 ), July 30 2007-Aug. 1 2007, page220-224. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI692729B (zh) * 2017-12-27 2020-05-01 大陸商北京七鑫易維信息技術有限公司 確定瞳孔位置的方法和裝置

Also Published As

Publication number Publication date
CN105373766B (zh) 2019-04-23
US20160045109A1 (en) 2016-02-18
JP6040274B2 (ja) 2016-12-07
JP2016042348A (ja) 2016-03-31
US9723979B2 (en) 2017-08-08
TW201605407A (zh) 2016-02-16
CN105373766A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
TWI577327B (zh) 瞳孔定位方法與裝置及其電腦程式產品
US10083366B2 (en) Edge-based recognition, systems and methods
JP5873442B2 (ja) 物体検出装置および物体検出方法
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
US9480417B2 (en) Posture estimation device, posture estimation system, and posture estimation method
Guo et al. Contact-free hand geometry-based identification system
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
WO2018032861A1 (zh) 一种手指静脉识别方法及装置
US20150062010A1 (en) Pointing-direction detecting device and its method, program and computer readable-medium
US9436872B2 (en) System and method for detecting and tracking multiple parts of an object
JP2017054532A5 (zh)
Ahmed et al. Gait recognition based on Kinect sensor
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
US10289908B2 (en) Method, apparatus, and computer program product for tracking eye gaze and eye movement
JP2012123667A (ja) 姿勢推定装置および姿勢推定方法
CN104573634A (zh) 一种三维人脸识别方法
WO2018170695A1 (zh) 一种表观特征的描述属性识别方法及装置
JP6658188B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN104200200A (zh) 融合深度信息和灰度信息实现步态识别的***及方法
KR20150127381A (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP7419999B2 (ja) 情報処理装置および情報処理方法
Bei et al. Sitting posture detection using adaptively fused 3D features
WO2019024350A1 (zh) 生物特征识别方法及装置
JP2016045884A (ja) パターン認識装置およびパターン認識方法