CN111488775A - 注视度判断装置及方法 - Google Patents

注视度判断装置及方法 Download PDF

Info

Publication number
CN111488775A
CN111488775A CN201910095688.9A CN201910095688A CN111488775A CN 111488775 A CN111488775 A CN 111488775A CN 201910095688 A CN201910095688 A CN 201910095688A CN 111488775 A CN111488775 A CN 111488775A
Authority
CN
China
Prior art keywords
image
face
pupil
generate
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910095688.9A
Other languages
English (en)
Other versions
CN111488775B (zh
Inventor
陈弘恩
卓韦佑
邱璟明
许聿灵
张晓珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN111488775A publication Critical patent/CN111488775A/zh
Application granted granted Critical
Publication of CN111488775B publication Critical patent/CN111488775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种注视度判断装置及方法。该装置包含存储器，存储注视度判断模型；影像撷取器，用以撷取一影像；处理器，电性连接至该存储器及该影像撷取器，且执行下列运作：分析该影像，以产生多个脸部三轴定位值及多个脸部标记识别点；从该等脸部标记识别点取得多个特定标记识别点以产生热区图，将该热区图与一标准热区图比对以产生影像补偿值；基于该影像及该影像补偿值来执行脸部校正处理，以产生虚拟校正影像；分析该虚拟校正影像，以取得瞳孔位移值；以及根据该注视度判断模型、该等脸部三轴定位值及该瞳孔位移值，判断一使用者的注视度。

Description

注视度判断装置及方法
技术领域
本发明关于一种注视度判断装置及方法。具体而言，本发明关于一种经由辨识影像以判断影像中一人员注视度的装置及方法。
背景技术
随着科技的快速发展，影像处理技术已逐渐地应用于各种摄像装置(例如：监控工厂操作员使用操作面板的摄影装置、卖场货架周围的一般摄影装置)，并因此达到依据目标使用者目光所在的位置，而提供各式相关的信息、服务、推销或是辅助(例如：工厂操作员所注视的操作按钮信息、客户注视货架上产品的相关信息)。
习知的注视度追踪技术主要有两种，第一种是由使用者配戴特殊的眼镜，眼镜上具有可侦测追踪使用者瞳孔移动的传感器，再结合商场的其他传感器或***，以判断使用者的注视目标。然而，由于需要使用者配戴额外的硬件且设置额外的传感器，在使用上并不便利且造成布建成本提升，因而无法有效地应用在一般工厂或是卖场中。
习知的第二种注视度追踪技术主要是拍摄使用者的脸部影像，解析影像取得眼睛位置再进一步取得瞳孔位置，然后在不同时间点影像中来追踪瞳孔位移及方向，来判断使用者的注视方向。此类技术需要事先精准地对瞳孔定位，后续才能正确地追踪瞳孔的位移和方向以判断使用者的注视度，通常影像必须具有一定清晰度，才能提高判断的精准度，所以拍摄影像的距离不能太远，通常是在计算机屏幕上安装摄影机进行拍摄。使用者在使用时需要经由使用接口进行繁杂的定位流程，将脸部及五官于使用接口的预设区域进行定位和校正侦测(例如：需在特定焦距内方符合预设的五官大小)，相当费时且使用不便。此外，由于习知的技术在做影像解析取得脸部影像时仅考虑正脸的情形(即，预设人脸的角度是固定的)，而未考虑人脸偏移、转向、侧脸时的角度，因而可能造成明显的误差，且由于需要清晰的脸部影像，使得此类的技术限制在近距离(例如：使用者与摄影机距离在30至45公分之间)的侦测，因此仍然无法有效的运用在商场、工厂或其他环境中。
有鉴于此，如何有效率且精准的判断人员的注视度，而不需要增加额外的硬件建置成本以及繁杂的瞳孔定位，乃业界亟需努力的目标。
发明内容
本发明的一目的在于提供一种注视度判断装置。该装置包含一存储器、一影像撷取器及一处理器，该处理器电性连接至该存储器及该影像撷取器。该存储器存储一注视度判断模型。该影像撷取器，用以撷取一影像。该处理器分析该影像，以产生多个脸部三轴定位值及多个脸部标记(landmark)识别点。该处理器从该等脸部标记识别点取得多个特定标记识别点，以产生一热区图(heatmap)，将该热区图与一标准热区图比对以产生一影像补偿值，其中该影像补偿值指示一脸部位移量。该处理器基于该影像及该影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像。该处理器分析该虚拟校正影像，以取得一瞳孔位移值。该处理器根据该注视度判断模型、该等脸部三轴定位值及该瞳孔位移值，计算一注视度。
本发明的另一目的在于提供一种注视度判断方法，适用于一注视度判断装置。该注视度判断装置包含一存储器、一影像撷取器及一处理器。该存储器存储一注视度判断模型，该影像撷取器用以撷取一影像。该注视度判断方法由该处理器所执行，且包含下列步骤：(a)分析该影像，以产生多个脸部三轴定位值及多个脸部标记识别点，(b)从该等脸部标记识别点取得多个特定标记识别点以产生一热区图，将该热区图与一标准热区图比对，以产生一影像补偿值，其中该影像补偿值指示一脸部位移量，(c)基于该影像及该影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像，(d)分析该虚拟校正影像，以取得一瞳孔位移值，以及(e)根据该注视度判断模型、该等脸部三轴定位值及该瞳孔位移值，计算一注视度。
由上述说明可知，本发明所提供的注视度判断技术(至少包含装置及方法)，先分析影像的脸部特征及脸部的角度后，分别产生多个脸部三轴定位值及多个脸部标记识别点。通过比对由脸部特征点所产生的热区图与标准热区图，产生影像补偿值。藉由影像及影像补偿值，产生经校正的虚拟脸部影像。分析已校正的虚拟脸部影像，产生瞳孔位移值。将该等脸部三轴定位值及瞳孔位移值输入至注视度判断模型，判断影像中使用者的注视度。通过前述运作，本发明可通过影像判断影像中使用者的注视度，免除了繁杂的瞳孔定位，且有效率的节省了额外的硬件建置成本，解决习知技术可能产生的问题。此外，本发明更在判断注视度前先将影像的人脸校正，因此可适用于使用者的各种脸部角度影像，在商场、工厂等场域皆能应用，更精确的判断使用者的注视度。
以下结合附图阐述本发明的详细技术及实施方式，使本发明本领域的技术人员能理解所请求保护的发明的技术特征。
附图说明
图1A描绘第一实施方式的注视度判断装置1的架构示意图；
图1B描绘脸部三轴定位值及脸部标记识别点的示意图；
图2A描绘影像203及影像205及其分别产生的热区图203h及热区图205h；
图2B描绘标准热区图S；
图3描绘产生虚拟校正影像203v的一具体范例；
图4描绘分析该虚拟校正影像以取得瞳孔位移值的一示意图；以及
图5描绘第二实施方式所执行方法的部分流程图。
附图标记
1：注视度判断装置；
11：存储器；
13：影像撷取器；
15：处理器；
101：影像；
203、205：影像；
203h、205h：热区图；
S：标准热区图；
203v：虚拟校正影像；
A、B、C、D：人员；
401、403、405：示意图像；
S501～S509：步骤。
具体实施方式
以下将通过实施方式来解释本发明所提供的一种注视度判断装置及方法。然而，该等实施方式并非用以限制本发明需在如该等实施方式所述的任何环境、应用或方式方能实施。因此，关于实施方式的说明仅为阐释本发明的目的，而非用以限制本发明的范围。应理解，在以下实施方式及附图中，与本发明非直接相关的组件已省略而未绘示，且各组件的尺寸以及组件间的尺寸比例仅为例示而已，而非用以限制本发明的范围。
本发明的第一实施方式为一种注视度判断装置1，其架构示意图描绘于图1A。注视度判断装置1包含一存储器11、一影像撷取器13及一处理器15，处理器15电性连接至存储器11及影像撷取器13。于本实施方式中，存储器11存储一注视度判断模型，该注视度判断模型可由注视度判断装置1本身建置，亦可自外部装置接收，关于该注视度判断模型的建置方式及其内容将在后面段落另详细说明。存储器11可为一存储器、一通用串行总线(UniversalSerial Bus；USB)碟、一硬盘、一光盘、一随身碟或本发明本领域的技术人员所知且具有相同功能的任何其他存储媒体或电路。
影像撷取器13用以撷取一影像。于某些实施方式中，影像撷取器13亦可从一监视装置或摄影装置(未绘示)所拍摄的影片中撷取影像或由外部直接接收影像。影像撷取器13可为各种感光耦合组件(Charge-Coupled Device；CCD)、互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor；CMOS)感光组件或本发明本领域的技术人员所知悉的其他可取得影像的影像撷取装置。处理器15可为各种处理器、中央处理单元、微处理器、数字信号处理器或本发明本领域的技术人员所知的其他计算装置。于一些实施方式中，注视度判断装置1可以但不限于和监控装置、录像机或辨识***的信息搜集装置等整合成一复合装置，亦可为一独立装置再和其他装置进行链结。
于本实施方式中，处理器15自影像撷取器13接收影像101。影像101中可包含一使用者(例如，待侦测注视度人员)的脸部影像，举例而言，影像101可以是关于工厂操作员正在使用操作面板的画面、或是客户于卖场货架前注视货架上的商品的画面等等。
随后，处理器15分析影像101以产生多个脸部三轴定位值及多个脸部标记识别点。脸部三轴定位值用以表示影像中人的脸部角度，于某些实施方式中，脸部三轴定位值可以包含一航偏角(yaw)、一俯仰角(pitch)及一滚转角(roll)，且其各自对应至一数值，多个脸部标记识别点用以标记影像中人的脸部特征位置。于某些实施方式中，该等脸部三轴定位值及该等脸部标记识别点可不限于同时产生。
举例而言，如图1B所例示，分析该影像后产生的脸部三轴定位值，其分别为滚转角11.45、航偏角-10.87、俯仰角2.58，脸部标记识别点可以标记出影像中的一脸部形状、一眼部(包含瞳孔、眼角位置、眼睛轮廓、眉毛等)、一鼻部及一嘴部(包含嘴巴的轮廓、两侧嘴角位置等)等等的脸部特征位置。应理解，图1B仅为了方便例示，本发明未限制脸部标记识别点的特征位置数量，脸部标记识别点亦可包含其他可帮助脸部辨识的脸部特征位置。处理器15可通过任何习知的人脸辨识技术(例如Google Facenet或其他)分析影像101，以产生脸部三轴定位值及脸部标记识别点，本领域的技术人员应可根据以上内容理解产生脸部标记识别点的细节，兹不赘言。
须说明者，由于一般卖场/工厂的摄影机或监控装置，不可能密集且毫无成本考虑的架设，而是由适量的摄影机或监控装置来拍摄特定的货架或操作面板为主。因此，影像101在拍摄/撷取时，目标人员是在自由移动或是随意移转脸部的状态，极有可能是在目标人员处于非正脸的状态拍摄，例如：由卖场摄影机所拍摄，客户在卖场货架前注视右边货架上商品的画面。因此，为了使得对于注视度的判断更为准确，于本实施方式中，处理器15将进一步先将影像101先进行校正，以模拟成正脸状态，再进行后续注视度的判断，以下将说明产生虚拟校正影像的运作方式。
具体而言，在产生该等脸部标记识别点后，处理器15从该等脸部标记识别点取得多个特定标记识别点，以产生一热区图，该热区图根据该等脸部特征位置产生。接着，处理器15将影像101所产生的热区图与一标准热区图比对，以产生一影像补偿值，该影像补偿值用以指示将影像中的侧脸转向至正脸时的位移量(即，脸部位移量)。
举例而言，如图2A及图2B所示，影像203及影像205为不同的二个人于不同角度拍摄的影像，处理器15从二张影像各自的多个脸部标记识别点中取得五个脸部特征位置作为特定标记识别点，分别为一左眼角、一右眼角(即，二个眼睛的眼角位置)、一鼻头、嘴巴左端及嘴巴右端(即，嘴巴两侧的嘴角位置)的五个特征位置，处理器15再根据二张影像各自该等特定标记识别点，分别产生图2A右方的热区图203h(对应至影像203)及热区图205h(对应至影像205)。接着，处理器15将热区图203h及与第2B的标准热区图S比对，以产生影像203的一影像补偿值。同样地，处理器15将热区图205h与第2B的标准热区图S比对，以产生影像205的一影像补偿值。
具体而言，处理器15可通过热区图上每个特定标记识别点移动至标准热区图S的各个相对位置的距离，计算将脸部转移至正向时的位移量(例如：偏移距离值)，作为该影像的影像补偿值。应理解，处理器15可事先根据一正脸影像或多张正脸影像通过统计(例如：平均特定标记识别点坐标)，产生作为比对标准的标准热区图S。
随后，处理器15即可基于影像101及影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像。具体而言，脸部校正处理是执行一脸部正向化(frontalization)处理。例如：前述处理器15将热区图203h及与第2B的标准热区图S比对，产生影像203的影像补偿值之后，通过热区图上每个特定标记识别点移动至标准热区图S的各个相对位置的距离，将脸部转移至正向。
以一实际例子举例而言，如图3所示，其显示出人员A、B、C及D在面对摄影机时的6种不同偏移角度(为便于说明，本例采用由左至右分别为偏移90度、75度、60度、45度、30度及15度，但实际使用状况可以是各种角度)的影像及其所分别产生的热区图。举例而言，当处理器15接收到人员A的的影像203，同前述例子，处理器15根据影像203的该等特定标记识别点，产生热区图203h。接着，处理器15将热区图203h与标准热区图S(即，影像补偿值为0)比对以产生对应影像203的影像补偿值(例如：偏移距离值为1.1)。随后，处理器15即可根据影像203及影像203的影像补偿值，仿真影像203正向化后的影像，产生虚拟校正影像203v。应理解，此处仅为方便例示，而非用以限制本发明的范围。
于某些实施方式中，在执行该脸部正向化处理之后，处理器15可更执行一双鉴别(couple-agent discriminator)处理，用以提升该虚拟校正影像的拟真度。举例而言，处理器15判断正向化后产生的虚拟校正影像，若虚拟校正影像的部分数值到达某一程度(例如：嘴巴宽度小于一设定值、各脸部器官间距离过近、产生不对称的歪斜等等)，就可使用双鉴别处理来校正，使得虚拟校正影像变得更自然且真实。须说明者，处理器15可利用对抗生成网络(Generative Adversarial Network；GAN)来完成双鉴别处理，本领域的技术人员应可根据上述内容理解其细节，兹不赘言。
接着，处理器15分析该虚拟校正影像，以取得一瞳孔位移值。具体而言，在分析该虚拟校正影像时包含下列运作，首先处理器15先分析虚拟校正影像，以产生多个脸部标记识别点。脸部标记识别点至少标记出虚拟校正影像中的一眼部(包含瞳孔、眼角位置、眼睛轮廓等信息)的特征位置。随后，根据该等脸部标记识别点，撷取多个眼部轮廓特征点，从该等眼部轮廓特征点撷取一瞳孔特征点。最后，处理器15基于该瞳孔特征点，取得一瞳孔位移值。
举例而言，如图4所示，多个脸部标记识别点标记出虚拟校正影像中的眼部的特征位置(图像401)，处理器15根据该等脸部标记识别点，撷取多个眼部轮廓特征点(图像403)。接着，进行瞳孔解析训练，以该等眼部轮廓特征点撷取一瞳孔特征点。最后，处理器15基于该瞳孔特征点，计算一瞳孔位移值。具体而言，处理器15可将瞳孔影像(即，眼部轮廓特征点)作二值化处理，结合卷积神经网络(Convolutional neural network；CNN)，辨识多个眼部轮廓特征点，将该等眼部轮廓特征点分为至少三类型(如图像405，其中数字1为上眼睑部分、数字2为瞳孔部分、数字3为下眼睑部分)，从该等眼部轮廓特征点撷取一瞳孔特征点。本领域的技术人员应可理解从特征点撷取瞳孔特征点以及基于瞳孔特征点计算瞳孔位移值的内容，兹不赘言。
接着，处理器15根据存储于存储器11的注视度判断模型、该等脸部三轴定位值及该瞳孔位移值，判断使用者的一注视度。具体而言，处理器15将由前述方法取得的脸部三轴定位值及瞳孔位移值，输入至注视度判断模型以判断注视度。
接着说明该注视度判断模型的建置方式，注视度判断模型可由注视度判断装置1本身建置。于某些实施方式中，注视度判断装置1亦可由外部直接接收已训练完成的该注视度判断模型。于本实施方式中，注视度判断模型由注视度判断装置1通过以下步骤自行建置。首先，由处理器15接收多张样本影像及对应各该样本影像的一瞳孔位移值。接着，由处理器15分析各该样本影像，以产生对应各该样本影像的多个脸部三轴定位值，产生脸部三轴定向的技术如前实施例中所述，不重复赘述。最后，由处理器15根据对应各该样本影像的该等第二脸部三轴定位值及该等第二瞳孔位移值，通过机器学习建立该注视度判断模型。
具体而言，在建置注视度判断模型时，为取得每一样本影像所对应的瞳孔位移值，可经由一瞳孔位移量测装置(例如：眼动仪)来量测瞳孔位移值。具体而言，可由一个或多个使用者戴上眼动仪进行操作，并通过监视装置或摄影装置拍摄使用者操作时的影像，以便同时产生多张样本影像并取得对应的瞳孔位移值。由于眼动仪可直接输出使用者实际的瞳孔位移值，因此可直接产生对应于各该样本影像的瞳孔位移值。接着，由处理器15分析各该样本影像，以产生对应各该样本影像的多个脸部三轴定位值。举例而言，可经由分析角度量测套件(例如：CV2Solve PnP)取得影像中人脸的航偏角、俯仰角及滚转角的数值。最后，处理器15即可通过前述方法所产生的多个样本数据，然后通过机器学习等技术建置注视度判断模型。由本实施方式可以使用二维样本影像及搭配眼动仪来建立该注视度判断模型，经由机器学习模型来提升注视度判断模型的准确度。须说明者，本技术领域的技术人员应可根据上述内容理解关于模型训练的方法，故不赘言。
于某些特定应用的实施方式中，处理器15更可根据该注视度及一注视目标物坐标，判断一相对注视坐标。具体而言，处理器15可根据不同应用的环境产生相对应的注视目标坐标。举例而言，不同的卖场具有不同的货架尺寸与货架坐标，每一个货架可以设定一独立的注视目标物坐标，同时具有对应的影像撷取器13来拍摄特定距离内的使用者影像，处理器15可经由影像分析来估算影像中使用者的一深度值，根据该深度值、所计算出来的注视度及注视目标物坐标，进而可判断使用者是在注视于卖场货架上的哪一个商品。又举例而言，操作面板亦可具有面板坐标、不同的面板尺寸及多个按钮，处理器15同样可根据影像分析出使用者的深度值、注视度及注视目标物坐标，判断使用者是在注视操作面板上的哪一个按钮。
于某些实施方式中，处理器15更可依据使用者所注视的商品或按钮，提供对应该商品或按钮的一数据给该使用者。具体而言，处理器15可根据相对注视坐标，提供各式相关的信息、服务、推销或是辅助(例如：工厂操作员所注视的操作按钮信息、客户注视货架上产品的相关信息)。
于某些实施方式中，本发明可不仅只参考单一影像，而可同时根据同一时间区间中，多张影像判断注视度的结果来综合判断(例如：注视度的平均值)，以更精确的判断使用者的注视度。本领域的技术人员应可根据以上内容理解多张影像的判断方式，兹不赘言。
由上述说明可知，注视度判断装置1藉由分析影像的脸部特征及脸部的角度后，分别产生多个脸部三轴定位值及多个脸部标记识别点，通过比对由脸部特征所产生的热区图与标准热区图，产生影像补偿值。藉由影像及影像补偿值，产生经校正的虚拟脸部影像。分析已校正的虚拟脸部影像，产生瞳孔位移值。将该等脸部三轴定位值及瞳孔位移值输入至注视度判断模型，判断影像中使用者的注视度。通过前述运作，本发明可通过影像判断影像中使用者的注视度，免除了繁杂的瞳孔定位，且有效率的节省了额外的硬件建置成本，解决习知技术可能产生的问题。此外，本发明更在判断注视度前先将影像的人脸校正，因此可适用于使用者的各种脸部角度影像，在商场、工厂等场域皆能应用，更精确的判断使用者的注视度。
图5绘示了本发明的第二实施方式的方法流程图。此方法适用于一电子装置，例如：第一实施方式所述的注视度判断装置1。该电子装置包含一存储器、一影像撷取器及一处理器，该存储器存储一注视度判断模型(例如：第一实施方式的注视度判断模型)，该影像撷取器用以撷取一影像，该注视度判断方法由该处理器所执行。该注视度判断方法通过步骤S501至步骤S509判断一使用者的一注视度。
于步骤S501，由该电子装置分析该影像，以产生多个脸部三轴定位值及多个脸部标记识别点。接着，于步骤S503，由该电子装置从该等脸部标记识别点取得多个特定标记识别点，以产生一热区图，将该热区图与一标准热区图比对，以产生一影像补偿值，其中该影像补偿值指示一脸部位移量。随后，于步骤S505，由该电子装置基于该影像及该影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像。
接着，于步骤S507，由该电子装置分析该虚拟校正影像，以取得一瞳孔位移值。最后，于步骤S509，由该电子装置根据该注视度判断模型、该等脸部三轴定位值及该瞳孔位移值，判断一使用者的一注视度。
于某些实施方式中，其中该等脸部三轴定位值包含一航偏角(yaw)、一俯仰角(pitch)及一滚转角(roll)，且其各自对应至一数值。
于某些实施方式中，其中该等第一脸部标记识别点用以标记多个脸部特征位置，该等脸部特征位置至少包含一左眼角、一右眼角、一鼻头、一嘴巴左端及一嘴巴右端的特征位置，该热区图根据该等脸部特征位置产生，且该脸部校正处理是执行一脸部正向化(frontalization)处理。
于某些实施方式中，其中执行该脸部校正处理更包含以下步骤：在执行该脸部正向化处理之后，更执行一双鉴别(couple-agent discriminator)处理，其中该双鉴别处理用以提升该虚拟校正影像的拟真度。
于某些实施方式中，其中分析该虚拟校正影像包含下列步骤：分析该虚拟校正影像，以产生多个脸部标记识别点；根据该等脸部标记识别点，撷取多个眼部轮廓特征点，从该等眼部轮廓特征点撷取一瞳孔特征点；以及基于该瞳孔特征点，取得一瞳孔位移值。
于某些实施方式中，其中该注视度判断模型由下列步骤建立：接收多张样本影像及对应各该样本影像的一瞳孔位移值；分析各该样本影像，以产生对应各该样本影像的多个脸部三轴定位值；以及根据对应各该样本影像的该等脸部三轴定位值及该等瞳孔位移值，通过机器学习建立该注视度判断模型。
于某些实施方式中，在建置注视度判断模型时，为取得每一样本影像所对应的瞳孔位移值，可经由一瞳孔位移量测装置(例如：眼动仪)来量测瞳孔位移值。
于某些实施方式中，其中该注视度判断方法更包含下列步骤：根据该注视度及一注视目标物坐标，判断一相对注视坐标。
于某些实施方式中，其中该注视度判断方法更包含下列步骤：判断该相对注视坐标所对应的一对象，提供对应该对象的一数据给该使用者。
除了上述步骤，第二实施方式亦能执行第一实施方式所描述的注视度判断装置1的所有运作及步骤，具有同样的功能，且达到同样的技术效果。本发明领域的技术人员可直接了解第二实施方式如何基于上述第一实施方式以执行此等运作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。
需说明者，于本发明专利说明书及权利要求书中，某些用语(例如：脸部三轴定位值、脸部标记识别点及瞳孔位移值)前被冠以「第一」或「第二」，该等「第一」及「第二」仅用来区分不同的用语。
综上所述，本发明所提供的注视度判断技术(至少包含装置及方法)，先分析影像的脸部特征及脸部的角度后，分别产生多个脸部三轴定位值及多个脸部标记识别点。通过比对由脸部特征所产生的热区图与标准热区图，产生影像补偿值。藉由影像及影像补偿值，产生经校正的虚拟脸部影像。分析已校正的虚拟脸部影像，产生瞳孔位移值。将该等脸部三轴定位值及瞳孔位移值输入至注视度判断模型，判断影像中使用者的注视度。通过前述运作，本发明可通过影像判断影像中使用者的注视度，免除了繁杂的瞳孔定位，且有效率的节省了额外的硬件建置成本，解决习知技术可能产生的问题。此外，本发明更在判断注视度前先将影像的人脸校正，因此可适用于使用者的各种脸部角度影像，在商场、工厂等场域皆能应用，更精确的判断使用者的注视度。
上述实施方式仅用来例举本发明的部分实施态样，以及阐释本发明的技术特征，而非用来限制本发明的保护范畴及范围。任何本发明本领域的技术人员可轻易完成的改变或均等性的安排均属于本发明所主张的范围，而本发明的权利保护范围以权利要求书为准。

Claims (18)

1.一种注视度判断装置，包含：
一存储器，存储一注视度判断模型；
一影像撷取器，用以撷取一影像；
一处理器，电性连接至该存储器及该影像撷取器，且执行下列运作：
分析该影像，以产生多个第一脸部三轴定位值及多个第一脸部标记识别点；
从该等第一脸部标记识别点取得多个特定标记识别点以产生一热区图，将该热区图与一标准热区图比对以产生一影像补偿值，其中该影像补偿值指示一脸部位移量；
基于该影像及该影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像；
分析该虚拟校正影像，以取得一第一瞳孔位移值；以及
根据该注视度判断模型、该等第一脸部三轴定位值及该第一瞳孔位移值，判断一使用者的一注视度。
2.如权利要求1所述的注视度判断装置，其特征在于，该等第一脸部三轴定位值包含一航偏角、一俯仰角及一滚转角，且其各自对应至一数值。
3.如权利要求1所述的注视度判断装置，其特征在于，该等第一脸部标记识别点用以标记多个脸部特征位置，该等脸部特征位置至少包含一左眼角、一右眼角、一鼻头、一嘴巴左端及一嘴巴右端的特征位置，该热区图是根据该等脸部特征位置产生，且该脸部校正处理是执行一脸部正向化处理。
4.如权利要求3所述的注视度判断装置，其特征在于，执行该脸部校正处理更包含以下运作：
在执行该脸部正向化处理之后，更执行一双鉴别处理，其中该双鉴别处理用以提升该虚拟校正影像的拟真度。
5.如权利要求1所述的注视度判断装置，其特征在于，分析该虚拟校正影像更包含下列运作：
分析该虚拟校正影像，以产生多个第二脸部标记识别点；
根据该等第二脸部标记识别点，撷取多个眼部轮廓特征点，从该等眼部轮廓特征点撷取一瞳孔特征点；以及
基于该瞳孔特征点，取得该第一瞳孔位移值。
6.如权利要求1所述的注视度判断装置，其特征在于，该注视度判断模型由下列步骤建立：
接收多张样本影像及对应各该样本影像的一第二瞳孔位移值；
分析各该样本影像，以产生对应各该样本影像的多个第二脸部三轴定位值；以及
根据对应各该样本影像的该等第二脸部三轴定位值及该等第二瞳孔位移值，通过机器学习建立该注视度判断模型。
7.如权利要求6所述的注视度判断装置，其特征在于，对应各该样本影像的该第二瞳孔位移值是经由一瞳孔位移量测装置于拍摄各该样本影像时所对应量测得到的数值。
8.如权利要求1所述的注视度判断装置，其特征在于，该处理器更根据该注视度及一注视目标物坐标，判断一相对注视坐标。
9.如权利要求8所述的注视度判断装置，其特征在于，该处理器更判断该相对注视坐标所对应的一对象，提供对应该对象的一数据给该使用者。
10.一种注视度判断方法，适用于一注视度判断装置，该注视度判断装置包含一存储器、一影像撷取器及一处理器，该存储器存储一注视度判断模型，该影像撷取器用以撷取一影像，该注视度判断方法由该处理器所执行，且包含下列步骤：
分析该影像，以产生多个第一脸部三轴定位值及多个第一脸部标记识别点；
从该等第一脸部标记识别点取得多个特定标记识别点以产生一热区图，将该热区图与一标准热区图比对以产生一影像补偿值，其中该影像补偿值指示一脸部位移量；
基于该影像及该影像补偿值来执行一脸部校正处理，以产生一虚拟校正影像；
分析该虚拟校正影像，以取得一第一瞳孔位移值；以及
根据该注视度判断模型、该等第一脸部三轴定位值及该第一瞳孔位移值，判断一使用者的一注视度。
11.如权利要求10所述的注视度判断方法，其特征在于，该等第一脸部三轴定位值包含一航偏角、一俯仰角及一滚转角，且其各自对应至一数值。
12.如权利要求10所述的注视度判断方法，其特征在于，该等第一脸部标记识别点用以标记多个脸部特征位置，该等脸部特征位置至少包含一左眼角、一右眼角、一鼻头、一嘴巴左端及一嘴巴右端的特征位置，该热区图是根据该等脸部特征位置产生，且该脸部校正处理是执行一脸部正向化处理。
13.如权利要求12所述的注视度判断方法，其特征在于，执行该脸部校正处理更包含以下步骤：
在执行该脸部正向化处理之后，更执行一双鉴别处理，其中该双鉴别处理用以提升该虚拟校正影像的拟真度。
14.如权利要求10所述的注视度判断方法，其特征在于，分析该虚拟校正影像包含下列步骤：
分析该虚拟校正影像，以产生多个第二脸部标记识别点；
根据该等第二脸部标记识别点，撷取多个眼部轮廓特征点，从该等眼部轮廓特征点撷取一瞳孔特征点；以及
基于该瞳孔特征点，取得一瞳孔位移值。
15.如权利要求10所述的注视度判断方法，其特征在于，该注视度判断模型由下列步骤建立：
接收多张样本影像及对应各该样本影像的一第二瞳孔位移值；
分析各该样本影像，以产生对应各该样本影像的多个第二脸部三轴定位值；以及
根据对应各该样本影像的该等第二脸部三轴定位值及该等第二瞳孔位移值，通过机器学习建立该注视度判断模型。
16.如权利要求15所述的注视度判断方法，其特征在于，对应各该样本影像的该第二瞳孔位移值是经由一瞳孔位移量测装置于拍摄各该样本影像时所对应量测得到的数值。
17.如权利要求10所述的注视度判断方法，其特征在于，该注视度判断方法更包含下列步骤：
根据该注视度及一注视目标物坐标，判断一相对注视坐标。
18.如权利要求17所述的注视度判断方法，其特征在于，该注视度判断方法更包含下列步骤：
判断该相对注视坐标所对应的一对象，提供对应该对象的一数据给该使用者。
CN201910095688.9A 2019-01-29 2019-01-31 注视度判断装置及方法 Active CN111488775B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108103319A TWI704530B (zh) 2019-01-29 2019-01-29 注視度判斷裝置及方法
TW108103319 2019-01-29

Publications (2)

Publication Number Publication Date
CN111488775A true CN111488775A (zh) 2020-08-04
CN111488775B CN111488775B (zh) 2023-04-28

Family

ID=71732718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910095688.9A Active CN111488775B (zh) 2019-01-29 2019-01-31 注视度判断装置及方法

Country Status (3)

Country Link
US (1) US10991124B2 (zh)
CN (1) CN111488775B (zh)
TW (1) TWI704530B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580673B1 (en) * 2019-06-04 2023-02-14 Duke University Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
US10842430B1 (en) * 2019-09-12 2020-11-24 Logitech Europe S.A. Eye fatigue detection using visual imaging
US11157773B2 (en) * 2020-02-26 2021-10-26 Adobe Inc. Image editing by a generative adversarial network using keypoints or segmentation masks constraints
CA3185605A1 (en) * 2020-06-17 2021-12-23 Warby Parker Inc. System and method for measuring pupillary distance and uses thereof
CN112001859B (zh) * 2020-08-10 2024-04-16 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103375A1 (en) * 2008-10-27 2010-04-29 Utechzone Co., Ltd. Eye-tracking method and system for implementing the same
TW201124917A (en) * 2010-01-15 2011-07-16 Utechzone Co Ltd Alignment method and alignment apparatus of pupil or facial characteristics
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
US9671619B2 (en) * 2013-02-28 2017-06-06 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with eye gaze sensor
CN104216118A (zh) 2013-06-03 2014-12-17 约翰·T·默里 具有远程控制件的头部安装式显示器
CN105425967B (zh) 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位***
TWI758231B (zh) 2016-07-15 2022-03-11 光程研創股份有限公司 眼動追蹤系統
WO2018092246A1 (ja) * 2016-11-17 2018-05-24 オリンパス株式会社 標本観察装置
KR101908851B1 (ko) * 2017-04-14 2018-10-17 한국 한의학 연구원 얼굴 자세 보정 장치 및 방법
TWI637288B (zh) 2017-10-11 2018-10-01 緯創資通股份有限公司 用於眼球視線校正的影像處理方法及其系統
CN108446943A (zh) 2018-01-30 2018-08-24 深圳市阿西莫夫科技有限公司 售货柜商品推荐方法、装置、计算机设备和存储介质
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
TWM569008U (zh) * 2018-07-20 2018-10-21 威盛電子股份有限公司 眼球定位校正系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103375A1 (en) * 2008-10-27 2010-04-29 Utechzone Co., Ltd. Eye-tracking method and system for implementing the same
TW201124917A (en) * 2010-01-15 2011-07-16 Utechzone Co Ltd Alignment method and alignment apparatus of pupil or facial characteristics
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Also Published As

Publication number Publication date
CN111488775B (zh) 2023-04-28
US10991124B2 (en) 2021-04-27
TWI704530B (zh) 2020-09-11
TW202029130A (zh) 2020-08-01
US20200242800A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US20200192464A1 (en) Gesture recognition using multi-sensory data
CN111488775B (zh) 注视度判断装置及方法
US10796179B2 (en) Living face verification method and device
US9164583B2 (en) Method and apparatus for gaze point mapping
EP3067861A2 (en) Determination of a coordinate conversion parameter
Pirri et al. A general method for the point of regard estimation in 3D space
US10692291B2 (en) Apparatus, method, and medium for generating a 3D model of a finger using captured image
US11321855B2 (en) Multi-camera homogeneous object trajectory alignment
WO2009061283A2 (en) Human motion analysis system and method
US20180307896A1 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及***
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
EP3074844A1 (en) Estimating gaze from un-calibrated eye measurement points
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
US20230326251A1 (en) Work estimation device, work estimation method, and non-transitory computer readable medium
US10600192B1 (en) Multi-camera homogeneous object alignment
TWI674518B (zh) 眼球追蹤的校正方法和其裝置
Lidegaard et al. Enhanced 3D face processing using an active vision system
Nazerian et al. A novel cost-effective postural tracking algorithm using marker-based video processing
Ko et al. An efficient method for extracting the depth data from the user
Ratthi et al. Human height estimation using AI-assisted computer vision for intelligent video surveillance system
Yu et al. Be Real in Scale: Swing for True Scale in Dual Camera Mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant