CN105373766A - 瞳孔定位方法与装置 - Google Patents

瞳孔定位方法与装置 Download PDF

Info

Publication number
CN105373766A
CN105373766A CN201410598865.2A CN201410598865A CN105373766A CN 105373766 A CN105373766 A CN 105373766A CN 201410598865 A CN201410598865 A CN 201410598865A CN 105373766 A CN105373766 A CN 105373766A
Authority
CN
China
Prior art keywords
mentioned
pupil
image
curvature
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410598865.2A
Other languages
English (en)
Other versions
CN105373766B (zh
Inventor
邹嘉骏
林伯聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN105373766A publication Critical patent/CN105373766A/zh
Application granted granted Critical
Publication of CN105373766B publication Critical patent/CN105373766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种瞳孔定位方法与装置。在取得瞳孔图像之后，自瞳孔图像获得瞳孔轮廓。并且，根据瞳孔轮廓的曲率信息获得椭圆特征，进而根据椭圆特征判断视线方向。

Description

瞳孔定位方法与装置
技术领域
本发明是有关于一种视觉辨识技术，且特别是有关于一种瞳孔定位方法与装置。
背景技术
目前眼动追踪技术主要可区分为与侵入性(invasive)与非侵入性(non-invasive)两种。侵入性的眼动追踪技术主要是在眼睛中设置搜寻线圈法(searchCoil)或使用眼动电波图(electrooculogram)。而非侵入性的眼动追踪技术则可区分为免头戴式(free-head)或头戴式(head-mount)人眼追踪技术。而随着科技的发展，眼动追踪技术大幅应用于各种领域，例如神经科学、心理学、工业工程、人因工程、行销广告、电脑科学等。
通过眼动追踪技术来协助口说不便与肢体困难者进行沟通及辅助所需，带给了许多行动不便者更多的便利。例如，通过眼动电子产品的辅助，而能够以眼睛代替鼠标来完成沟通、上网和影音娱乐活动等。然而，由于上述侵入性(invasive)与非侵入性(non-invasive)两种眼动追踪技术还需搭配昂贵的软硬件设备，并且需要复杂校正的程序，因此执行状态的稳定度不佳，成本也相对高，使得眼动追踪技术无法普及化。
发明内容
本发明提供一种瞳孔定位方法与装置，可精确定位瞳孔的位置，进而实现准确的眼动追踪。
本发明的瞳孔定位方法包括：取得瞳孔图像；自瞳孔图像获得瞳孔轮廓；根据瞳孔轮廓的曲率信息获得椭圆特征；以及根据椭圆特征判断视线方向。
在本发明的一实施例中，上述曲率信息包括一或多个曲线区段的曲率。在上述根据瞳孔轮廓的曲率信息获得椭圆特征的步骤，其包括：自瞳孔轮廓中的起始点往预设方向计算瞳孔轮廓在多个曲线的曲率；在误差容忍范围下，判断各曲线的曲率是否符合同一曲率方程式；将在误差容忍范围下符合同一曲率方程式的连续多个曲线视为同一个曲线区段；基于自瞳孔轮廓所获得的上述曲线区段，获得椭圆特征；以及自数据库中查询椭圆特征所对应的视线方向。
在本发明的一实施例中，上述瞳孔定位方法中还可进一步计算瞳孔位移量，据以获得视线落点的位移量。
在本发明的一实施例中，上述瞳孔定位方法还包括：接收原始图像，从原始图像取出脸部图像，检测脸部图像的鼻孔区域而获得鼻孔位置信息，基于鼻孔位置信息获得眼部图像，以及自眼部图像取得瞳孔图像。其中，依据鼻孔位置信息中的第一鼻孔中心点与第二鼻孔中心点之间的距离，预估眼部搜寻框的中心点及长宽距离，以自眼部搜寻框获得眼部图像。
本发明的瞳孔定位装置包括取像单元、存储单元以及处理单元。取像单元用以取得原始图像。存储单元包括图像分析模块。处理单元耦接至取像单元及存储单元。处理单元通过图像分析模块自原始图像取得瞳孔图像，并自瞳孔图像获得瞳孔轮廓，而根据瞳孔轮廓的曲率信息获得椭圆特征，以及根据椭圆特征判断视线方向。
基于上述，本发明可快速并精确地检测瞳孔的视线方向以及瞳孔位移量，从而实现准确的眼动追踪，而达到多元的应用。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例的瞳孔定位装置的方块图；
图2是依照本发明一实施例的图像分析模块的方块图；
图3是依照本发明一实施例的瞳孔定位方法的流程图；
图4是依照本发明一实施例的预估眼部搜寻框流程的示意图；
图5A是依照本发明一实施例的瞳孔图像的示意图；
图5B是依照本发明一实施例的瞳孔轮廓的示意图；
图6是依照本发明一实施例的椭圆形状与视线方向对应关系的示意图。
附图标记说明：
100：瞳孔定位装置；
110：处理单元；
120：取像单元；
130：存储单元；
140：图像分析模块；
150：数据库；
201：人脸检测模块；
203：鼻孔检测模块；
205：眼部检测模块；
207：瞳孔检测模块；
209：曲率计算模块；
211：视线判断模块；
410、420：眼部搜寻框；
411、421：眼部图像；
500：瞳孔图像；
510：瞳孔轮廓；
a1：起始点；
arc1～arc6、Er1～Er2：曲线区段；
C1、C2：中心点；
D：距离；
E：眼球物件；
h：高度；
k1：第一估计值；
k2：第二估计值；
N1：第一鼻孔中心点；
N2：第二鼻孔中心点；
P：瞳孔物件；
w：宽度；
S305～S320：步骤；
a～d：椭圆形状；
e～h：视线方向。
具体实施方式
一般眼动技术是利用光源照射在使用者眼睛上，进而在眼球表面形成光斑，通过瞳孔与光斑的相对位置来判断使用者的视线方向。然而，传统方式在使用之前都必须先进行校正程序，以避免转换成屏幕位置时的误差。为此，本发明提出一种瞳孔定位方法与装置及其电脑程序产品，利用瞳孔的曲率作为特征，藉以进行眼动控制。
图1是依照本发明一实施例的瞳孔定位装置的方块图。在此，通过瞳孔定位装置100将使用者的瞳孔位置转换为屏幕上的游标位置。而瞳孔定位装置100可以内建一屏幕，或外接至屏幕。瞳孔定位装置100例如可以是台式电脑、笔记本电脑、平板电脑、智能手机等具有运算能力的电子装置或电子产品。
请参照图1，瞳孔定位装置100主要包括处理单元110、取像单元120以及存储单元130。处理单元110耦接至取像单元120及存储单元130。处理单元110例如是中央处理单元(CentralProcessingUnit，简称CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignalProcessor，简称DSP)、可程序化控制器、特殊应用集成电路(ApplicationSpecificIntegratedCircuits，简称ASIC)、可程序化逻辑装置(ProgrammableLogicDevice，简称PLD)或其他类似装置或这些装置的组合。
取像单元120例如为摄影机或照相机，具有电荷耦合元件(Chargecoupleddevice，简称CCD)镜头、互补式金氧半电晶体(Complementarymetaloxidesemiconductortransistors，简称CMOS)镜头、或红外线镜头。取像单元120用以获取一图像序列(包括多张原始图像)。
存储单元130例如是任意型式的固定式或可移动式随机存取存储器(RandomAccessMemory，简称RAM)、只读存储器(Read-OnlyMemory，简称ROM)、快闪存储器(Flashmemory)、硬盘或其他类似装置或这些装置的组合。
本实施例例如是以程序码来实现瞳孔的定位。即，存储单元130中存储有多个程序码片段，上述程序码片段在被安装后，会由处理单元110来执行。例如，存储单元130中包括由一或多个程序码片段所组成的图像分析模块140，通过图像分析模块140来分别执行多个功能。另外，存储单元130中还包括数据库150。数据库150中存储了多个预设椭圆特征及其所对应的视线方向。
由于三维的眼球体转换为二维图像时，在二维图像的瞳孔会产生一些曲率的形变，据此，通过分析曲率信息来判断视线方向。具体而言，处理单元110可通过图像分析模块140自原始图像来取得瞳孔图像，并自瞳孔图像获得瞳孔轮廓，而根据瞳孔轮廓的曲率信息获得椭圆特征，以及根据椭圆特征判断视线方向。例如，图像分析模块140可通过查询上述数据库150，并根据椭圆特征所符合的预设椭圆特征来获得对应的视线方向。在此，椭圆特征例如为椭圆方程式。
底下举例来说明图像分析模块140。图2是依照本发明一实施例的图像分析模块的方块图。图像分析模块140包括人脸检测模块201、鼻孔检测模块203、眼部检测模块205、瞳孔检测模块207、曲率计算模块209以及视线判断模块211。人脸检测模块201用以从原始图像取出脸部图像。鼻孔检测模块203用以检测脸部图像的鼻孔区域，而获得鼻孔位置信息。眼部检测模块205用以基于鼻孔位置信息获得眼部图像。瞳孔检测模块207用以自眼部图像取得瞳孔图像，并自瞳孔图像获得瞳孔轮廓。曲率计算模块209用以计算瞳孔轮廓的曲率信息，并藉此获得椭圆特征。视线判断模块211用以根据椭圆特征来判断视线方向。
接着，搭配上述瞳孔定位装置100来说明瞳孔定位方法。图3是依照本发明一实施例的瞳孔定位方法的流程图。首先，在步骤S305中，通过图像分析模块140来取得瞳孔图像。例如，在通过取像单元120接收到原始图像之后，处理单元110通过图像分析模块140先从原始图像取出脸部图像；接着检测脸部图像的鼻孔区域而获得鼻孔位置信息；再基于鼻孔位置信息获得眼部图像；之后，利用瞳孔检测算法自眼部图像取得瞳孔图像。
以图2所示的图像分析模块140为例，人脸检测模块201通过人脸辨识算法来检测取像单元120所获取的原始图像中是否存在有脸部物件，而从原始图像取出脸部图像。例如，存储单元130存储有一特征数据库。此特征数据库包括了脸部特征样本(pattern)。而人脸检测模块201通过与特征数据库中的样本进行比对来获得脸部物件。在较佳实施例中，可利用基于Haar-like特征的AdaBoost算法或其他现有的人脸辨识算法来获得各原始图像中的脸部图像。
接着，鼻孔检测模块203自人脸检测模块201接收脸部图像，并且检测脸部图像的鼻孔区域，而获得鼻孔位置信息。这是因为，由于人脸中鼻孔为呈现黑色而易于被正确地辨识出来，因此，在本实施例中利用鼻孔的特征来获得脸部其他的特征。上述鼻孔位置信息例如为两个鼻孔的第一鼻孔中心点与第二鼻孔中心点。
由于一般人的五官比例，在统计上有大概的范围值，因此可根据统计上的五官比例关系，在获得鼻孔位置信息之后，眼部检测模块205便可基于鼻孔位置信息来获得眼部区域位置。例如，眼部检测模块205可依据鼻孔位置信息中的第一鼻孔中心点与第二鼻孔中心点连线之中间点，预估一眼部搜寻框的中心点及长宽距离，以自此眼部搜寻框来获得眼部图像。
举例来说，图4是依照本发明一实施例的预估眼部搜寻框流程的示意图。在找到第一鼻孔中心点N1与第二鼻孔中心点N2之后，计算出第一鼻孔中心点N1与第二鼻孔中心点N2之间的距离D。接着，依据距离D来分别估测两眼的眼部搜寻框的中心点及长宽距离。具体而言，以坐标为(N1_x,N1_y)的第一鼻孔中心点N1作为起算点，将X轴坐标加上第一估计值k1，将Y轴坐标加上第二估计值k2，藉此获得一中心点C1。即，中心点C1的X坐标C_x＝N1_x+k1，Y坐标C_y＝N1_y+k2。k1与k2的设定例如可以为：k1＝D×e1，k1＝D×e2，其中1.3<e1<2.0，而1.5<e2<2.2，可视需求来进行调整，在此并不限制。在获得中心点C1之后，依据事先定义的宽度w及高度h而获得眼部搜寻框410，其中宽度w大于高度h。例如，宽度w为2×22个像素，高度h为2×42个像素。
又，与上述方法类似，以第二鼻孔中心点N2(N2_x,N2_y)作为起算点，将X轴坐标减去第一估计值k1，将Y轴坐标加上第二估计值k2，来获得另一中心点C2。并在获得中心点C2之后，依据事先定义的宽度w及高度h而获得另一眼部搜寻框420。另外，在其他实施例中，起算点也可以为第一鼻孔中心点N1与第二鼻孔中心点N2之间的中间点，在此并不限制。在获得眼部搜寻框410、420之后，处理单元110进一步在眼部搜寻框410、420中获得更为精准的眼部图像411、421。
之后，眼部检测模块205调整眼部图像411、421的对比而获得加强图像，并对此加强图像进行去杂点处理而获得去杂点图像，再对去杂点图像进行边缘锐利化处理而获得锐化图像，以及对锐化图像进行二值化处理，而获得二值化图像，之后，再次对二值化图像进行边缘锐利化处理，进而可获得眼部物件。然后，瞳孔检测模块207分别对眼部物件执行一瞳孔检测算法而获得瞳孔图像。
然，上述关于获得瞳孔图像的实施方式仅为其中一例，并不以此为限。例如，图像分析模块140也可直接利用眼部特征来找出眼部图像，而省略取得鼻孔位置信息的步骤等。
接着返回图3，在步骤S310中，图像分析模块140自瞳孔图像获得瞳孔轮廓。举例来说，图5A是依照本发明一实施例的瞳孔图像的示意图。图5B是依照本发明一实施例的瞳孔轮廓的示意图。参照图5A及图5B，瞳孔检测模块207自瞳孔图像500检测到其包括有眼球物件E以及瞳孔物件P。接着，瞳孔检测模块207对瞳孔物件P执行边缘检测算法而获得如图5B所示的瞳孔轮廓510。
在获得瞳孔轮廓510之后，在步骤S315中，图像分析模块140根据瞳孔轮廓510的曲率信息获得椭圆特征。具体而言，曲率计算模块209会计算瞳孔轮廓510所包括的一或多个曲线区段的曲率。上述曲率信息包括各曲线区段的曲率。而本实施例中，图5B所示的瞳孔轮廓510包括多个曲线区段。另外，在其他实施例中，在瞳孔轮廓510呈现圆形的情况下，则瞳孔轮廓510仅包括一个曲线区段。
曲率计算模块209自瞳孔轮廓510中的起始点a1往预设方向(在此为顺时针方向)计算瞳孔轮廓510中多个曲线的曲率。在误差容忍范围下，利用最小平方差(LeastSquareError，简称LSE)、修正型缓坡方程式(ModifiedMild-SlopeEquation，简称MMSE)、类神经算法、基因算法等算法，判断这些曲线的曲率是否符合同一曲率方程式。并且，将在误差容忍范围下符合同一曲率方程式的曲线视为同一个曲线区段。以图5B为例，瞳孔轮廓510可获得曲线区段arc1～arc6以及曲线区段Er1～Er2。并且，曲率计算模块209会进一步滤除不符合预设曲面方向的曲线区段Er1～Er2(内凹、外凸)。之后，曲率计算模块209基于自瞳孔轮廓510所获得的曲线区段arc1～arc6，来获得椭圆特征，例如为一椭圆方程式。而由此椭圆特征便可获得对应的椭圆形状。
之后，在步骤S320中，图像分析模块140根据椭圆特征来判断视线方向。例如，视线判断模块211以所获得的椭圆特征来查询数据库150，并根据椭圆特征所符合的预设椭圆方程式来获得对应的视线方向。举例来说，图6是依照本发明一实施例的椭圆形状与视线方向对应关系的示意图。图6仅列举4种预设椭圆方程式所对应的椭圆形状，每种椭圆形状皆有其对应的视线方向。如图6所示，椭圆形状a对应至左上右下的视线方向e，椭圆形状b对应至右上左下的视线方向f，椭圆形状c对应至水平的视线方向g，椭圆形状d对应至垂直的视线方向h。然，并不以此为限。根据椭圆特征所符合的预设椭圆方程式获得对应的椭圆形状，进而获得对应的视线方向。
而在获得视线方向之后，视线判断模块211还会进一步计算瞳孔位移量，而以视线方向配合瞳孔位移量来获得视线落点的位移方向及位移量，藉以使得屏幕中的游标进行移动。例如，计算前后两张瞳孔图像中的瞳孔中心点的位移量。
在此，处理单元110可利用坐标***转换方法先将初始的瞳孔位置转换为屏幕的游标坐标。例如通过透视转换(perspectivetransformation)法来产生坐标转换矩阵，此坐标转换矩阵是用以将眼部图像的瞳孔位置转换为屏幕的坐标位置。之后，再依据后续接收到的原始图像所获得的视线方向及瞳孔位移量，使得屏幕中的游标进行移动。
本发明另提出一种电脑程序产品，用于瞳孔定位装置。上述电脑程序产品基本上是由多数个程序码片段所组成的(例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段)。当瞳孔定位装置载入并执行电脑程序产品的电脑程序后，可完成上述瞳孔定位方法及瞳孔定位装置的功能。
综上所述，本发明根据分析瞳孔轮廓所包括的曲线区段的数量及其曲率，而可获得瞳孔轮廓对应的椭圆形。据此，可快速地判断瞳孔的视线方向以及瞳孔位移量，从而可精确地检测瞳孔位置，从而实现准确的眼动追踪，而达到多元的应用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种瞳孔定位方法，其特征在于，包括：
取得瞳孔图像；
自上述瞳孔图像获得瞳孔轮廓；
根据上述瞳孔轮廓的曲率信息获得椭圆特征；以及
根据上述椭圆特征判断视线方向。
2.根据权利要求1所述的瞳孔定位方法，其特征在于，上述曲率信息包括一或多个曲线区段的曲率，而上述根据上述瞳孔轮廓的曲率信息获得上述椭圆特征的步骤包括：
自上述瞳孔轮廓中的起始点往预设方向计算上述瞳孔轮廓内的多个曲线的曲率；
在误差容忍范围下，判断上述曲线的曲率是否符合同一曲率方程式；
将在上述误差容忍范围下符合上述同一曲率方程式的上述曲线视为同一个曲线区段；
基于自上述瞳孔轮廓所获得的上述曲线区段，获得上述椭圆方程式；以及
自数据库中查询上述椭圆方程式所对应的上述视线方向。
3.根据权利要求1所述的瞳孔定位方法，其特征在于，还包括：
计算瞳孔位移量，据以获得视线落点的位移量。
4.根据权利要求1所述的瞳孔定位方法，其特征在于，还包括：
接收原始图像；
从上述原始图像取出脸部图像；
检测上述脸部图像的鼻孔区域，而获得鼻孔位置信息；
基于上述鼻孔位置信息获得眼部图像；以及
自上述眼部图像取得上述瞳孔图像；
其中依据上述鼻孔位置信息中的第一鼻孔中心点与第二鼻孔中心点之间的距离，预估眼部搜寻框的中心点及长宽距离，以自上述眼部搜寻框获得上述眼部图像。
5.一种瞳孔定位装置，其特征在于，包括：
取像单元，取得原始图像；
存储单元，包括图像分析模块；以及
处理单元，耦接至上述取像单元及上述存储单元，其中上述处理单元通过上述图像分析模块自上述原始图像取得瞳孔图像，并自上述瞳孔图像获得瞳孔轮廓，而根据上述瞳孔轮廓的曲率信息获得椭圆特征，以及根据上述椭圆特征判断视线方向。
6.根据权利要求5所述的瞳孔定位装置，其特征在于，上述图像分析模块包括：
瞳孔检测模块，自眼部图像取得上述瞳孔图像，并自上述瞳孔图像获得上述瞳孔轮廓，其中上述眼部图像是自上述原始图像获得；
曲率计算模块，计算上述瞳孔轮廓的曲率信息，并藉此获得上述椭圆特征；以及
视线判断模块，根据上述椭圆特征判断上述视线方向。
7.根据权利要求6所述的瞳孔定位装置，其特征在于，上述曲率计算模块计算上述瞳孔轮廓所包括的一或多个曲线区段的曲率，而上述曲率信息包括上述一或多个曲线区段的曲率；
上述曲率计算模块自上述瞳孔轮廓中的起始点往预设方向计算上述瞳孔轮廓在多个曲线的曲率，并且在误差容忍范围下，判断上述曲线的曲率是否符合同一曲率方程式；上述曲率计算模块将在上述误差容忍范围下符合同一曲率方程式的连续多个上述曲线视为同一个曲线区段，并且基于自上述瞳孔轮廓所获得的上述曲线区段，获得上述椭圆特征；
其中，上述存储单元还包括：数据库，存储有多个预设椭圆特征及其所对应的上述视线方向；
而上述视线判断模块查询上述数据库，并根据上述椭圆特征所符合的上述预设椭圆特征其中一个来获得对应的上述视线方向。
8.根据权利要求6所述的瞳孔定位装置，其特征在于，上述视线判断模块还计算瞳孔位移量，据以获得视线落点的位移量。
9.根据权利要求6所述的瞳孔定位装置，其特征在于，上述图像分析模块还包括：
人脸检测模块，从上述原始图像取出脸部图像；
鼻孔检测模块，检测上述脸部图像的鼻孔区域，而获得鼻孔位置信息；以及
眼部检测模块，基于上述鼻孔位置信息获得上述眼部图像，
其中，上述眼部检测模块依据上述鼻孔位置信息中的第一鼻孔中心点与第二鼻孔中心点之间的距离，预估眼部搜寻框的中心点及长宽距离，以自上述眼部搜寻框获得上述眼部图像。
CN201410598865.2A 2014-08-14 2014-10-30 瞳孔定位方法与装置 Active CN105373766B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103127951A TWI577327B (zh) 2014-08-14 2014-08-14 瞳孔定位方法與裝置及其電腦程式產品
TW103127951 2014-08-14

Publications (2)

Publication Number Publication Date
CN105373766A true CN105373766A (zh) 2016-03-02
CN105373766B CN105373766B (zh) 2019-04-23

Family

ID=55301196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410598865.2A Active CN105373766B (zh) 2014-08-14 2014-10-30 瞳孔定位方法与装置

Country Status (4)

Country Link
US (1) US9723979B2 (zh)
JP (1) JP6040274B2 (zh)
CN (1) CN105373766B (zh)
TW (1) TWI577327B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354777A (zh) * 2016-08-22 2017-01-25 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
CN107277375A (zh) * 2017-07-31 2017-10-20 维沃移动通信有限公司 一种自拍方法和移动终端
CN107784280A (zh) * 2017-10-18 2018-03-09 张家港全智电子科技有限公司 一种动态瞳孔跟踪方法
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔***互装置以及信息交互方法及装置
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测***

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6179224B2 (ja) * 2013-07-02 2017-08-16 富士通株式会社 画像処理フィルタの作成装置及びその方法
CN107578382A (zh) * 2017-08-18 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
CN108280403B (zh) * 2017-12-27 2020-08-04 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN109145821B (zh) * 2018-08-16 2020-11-06 新智数字科技有限公司 一种对人眼图像中瞳孔图像进行定位的方法及装置
TWI704473B (zh) 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、***和视线追踪设备
US11195301B1 (en) * 2020-07-26 2021-12-07 Nec Corporation Of America Estimation of head yaw in an image
CN112926536B (zh) * 2021-04-06 2024-04-16 科大讯飞股份有限公司 变形瞳孔定位方法、装置以及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1789925B1 (de) * 2005-09-30 2008-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zum ermitteln einer information über eine form und/oder eine lage einer ellipse in einem graphischen bild
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
TW201127451A (en) * 2010-02-12 2011-08-16 Utechzone Co Ltd Control system of athletic equipment
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4102895C1 (zh) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
JP2600114B2 (ja) 1994-11-28 1997-04-16 工業技術院長 ノイズに強い正確な楕円近似による計測方法
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
DE602007009990D1 (de) 2006-07-14 2010-12-02 Panasonic Corp Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1789925B1 (de) * 2005-09-30 2008-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zum ermitteln einer information über eine form und/oder eine lage einer ellipse in einem graphischen bild
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
CN102149325A (zh) * 2008-09-26 2011-08-10 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
TW201127451A (en) * 2010-02-12 2011-08-16 Utechzone Co Ltd Control system of athletic equipment
CN101813976A (zh) * 2010-03-09 2010-08-25 华南理工大学 基于soc的视线跟踪人机交互方法及装置
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGSHI XIA等: ""IR Image based eye Gaze Estimation"", 《SOFTWARE ENGINEERING,ARTIFICIAL INTELLIGENCE,NETWORKING,AND PARALLEL/DISTRIBUTED COMPUTING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354777A (zh) * 2016-08-22 2017-01-25 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN106354777B (zh) * 2016-08-22 2019-09-17 广东小天才科技有限公司 一种应用于电子终端的搜题方法及装置
CN107092873A (zh) * 2017-04-08 2017-08-25 闲客智能（深圳）科技有限公司 一种眼动方向识别方法及装置
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN108958473A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US10572009B2 (en) 2017-05-22 2020-02-25 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN108958473B (zh) * 2017-05-22 2020-08-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN107277375A (zh) * 2017-07-31 2017-10-20 维沃移动通信有限公司 一种自拍方法和移动终端
CN109464236A (zh) * 2017-09-08 2019-03-15 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测***
CN109464236B (zh) * 2017-09-08 2022-08-02 拉碧斯半导体株式会社 护目镜式显示装置、视线检测方法以及视线检测***
CN107784280A (zh) * 2017-10-18 2018-03-09 张家港全智电子科技有限公司 一种动态瞳孔跟踪方法
CN108983976A (zh) * 2018-07-09 2018-12-11 清华大学 柔***互装置以及信息交互方法及装置

Also Published As

Publication number Publication date
JP6040274B2 (ja) 2016-12-07
JP2016042348A (ja) 2016-03-31
TW201605407A (zh) 2016-02-16
TWI577327B (zh) 2017-04-11
CN105373766B (zh) 2019-04-23
US9723979B2 (en) 2017-08-08
US20160045109A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN105373766A (zh) 瞳孔定位方法与装置
US20210241487A1 (en) Pupil positioning method and apparatus, vr/ar apparatus and computer readable medium
US11715231B2 (en) Head pose estimation from local eye region
CN103210421B (zh) 物体检测装置及物体检测方法
US20150241967A1 (en) Eye Gaze Tracking
US9508004B2 (en) Eye gaze detection apparatus, computer-readable recording medium storing eye gaze detection program and eye gaze detection method
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
US10289908B2 (en) Method, apparatus, and computer program product for tracking eye gaze and eye movement
US9082000B2 (en) Image processing device and image processing method
US9740931B2 (en) Image processing device, electronic apparatus, and glasses characteristic determination method
JP6592132B2 (ja) 肌状態検出方法及び電子機器
KR101865253B1 (ko) Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
KR102434703B1 (ko) 생체 이미지 처리 방법 및 이를 포함한 장치
US20180004287A1 (en) Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium
Wan et al. Robust and accurate pupil detection for head-mounted eye tracking
Yang et al. Wearable eye-tracking system for synchronized multimodal data acquisition
Cheng et al. EasyGaze: Hybrid eye tracking approach for handheld mobile devices
US10180717B2 (en) Information processing device, information processing method, and program
KR20080049394A (ko) 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
Fukuda et al. Model-based eye-tracking method for low-resolution eye-images
JP2021043869A (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
TW201533609A (zh) 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
Khairunnisaa et al. Facial-paralysis diagnostic system based on 3D reconstruction
JP6721169B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant