CN110969084B - 一种关注区域检测方法、装置、可读存储介质及终端设备 - Google Patents

一种关注区域检测方法、装置、可读存储介质及终端设备 Download PDF

Info

Publication number
CN110969084B
CN110969084B CN201911042436.6A CN201911042436A CN110969084B CN 110969084 B CN110969084 B CN 110969084B CN 201911042436 A CN201911042436 A CN 201911042436A CN 110969084 B CN110969084 B CN 110969084B
Authority
CN
China
Prior art keywords
characteristic value
eye
position information
screen
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911042436.6A
Other languages
English (en)
Other versions
CN110969084A (zh
Inventor
张�成
王杉杉
胡文泽
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201911042436.6A priority Critical patent/CN110969084B/zh
Publication of CN110969084A publication Critical patent/CN110969084A/zh
Priority to PCT/CN2020/109069 priority patent/WO2021082636A1/zh
Application granted granted Critical
Publication of CN110969084B publication Critical patent/CN110969084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。所述方法获取待检测的眼部图像；在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；根据所述视线特征值确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对眼部图像的图像分析处理，根据眼部关键点的位置信息计算出视线特征值，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。

Description

一种关注区域检测方法、装置、可读存储介质及终端设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种关注区域检测方法、装置、计算机可读存储介质及终端设备。
背景技术
随着图像识别技术的发展，利用人眼视线进行人机互动的方式开始成为研究者们积极探索的问题。在商业模式下，可以根据顾客关注方向判断其对商品的感兴趣程度，进而展开合理广告推荐。这不仅可以给顾客带来新颖的购物体验，还可以给商家带来较好的收益。眼球可见部分中虹膜的相对位置会随着关注方向的改变而移动，这使通过眼部关键点进行关注方向的预测成为一种可能。当关注的可变范围较小时，虹膜位置的偏移量较小，难以有效定量分析，更难以准确估计关注区域。现有技术中的眼动仪设备使用红外相机和精密的传感器可以跟踪眼部运动，但其价格十分昂贵，难以进行广泛应用。
发明内容
有鉴于此，本申请实施例提供了一种关注区域检测方法、装置、计算机可读存储介质及终端设备，以解决现有的关注区域检测方法价格十分昂贵，难以进行广泛应用的问题。
本申请实施例的第一方面提供了一种关注区域检测方法，可以包括：
获取待检测的眼部图像；
在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；
根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；
根据所述视线特征值确定眼部关注区域。
进一步地，所述眼部图像中的各个眼部关键点包括：虹膜中心点、左眼角和右眼角；
所述根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值包括：
根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离；
根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离；
根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
进一步地，所述根据所述视线特征值确定眼部关注区域包括：
获取预设的各个特征值区间，其中，每个特征值区间均对应于一个预设的屏幕区域；
将所述视线特征值所处的特征值区间确定为特征值目标区间；
将所述特征值目标区间对应的屏幕区域确定为所述眼部关注区域。
进一步地，在获取预设的各个特征值区间之前，所述关注区域检测方法还可以包括：
将预设的屏幕划分为SN个屏幕区域，SN为大于1的整数；
分别构造各个标定样本集，其中，第s个标定样本集中包括FS个特征值样本，每个特征值样本均为第s个屏幕区域被关注时的视线特征值，1≤s≤SN，FS为正整数；
分别计算各个标定样本集的平均特征值；
根据各个标定样本集的平均特征值确定各个特征值区间。
进一步地，所述分别构造各个标定样本集包括：
在所述屏幕的第s个屏幕区域的中心位置显示预设的图案；
分别采集各帧样本图像，所述样本图像为受试者关注所述图案时的眼部图像；
分别计算各帧样本图像的视线特征值；
将各帧样本图像的视线特征值构造为第s个标定样本集。
进一步地，所述根据各个标定样本集的平均特征值确定各个特征值区间包括：
在预设的参数区间内遍历各个分界参数；
根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式；
根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率；
选取最优划分方式，并按照所述最优划分方式确定各个特征值区间，所述最优划分方式为检测错误率最小的特征值区间划分方式。
进一步地，所述在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息包括：
使用Stacked Hourglass Model在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息。
本申请实施例的第二方面提供了一种关注区域检测装置，可以包括：
眼部图像获取模块，用于获取待检测的眼部图像；
眼部关键点检测模块，用于在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；
视线特征值计算模块，用于根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；
眼部关注区域确定模块，用于根据所述视线特征值确定眼部关注区域。
进一步地，所述眼部图像中的各个眼部关键点包括：虹膜中心点、左眼角和右眼角；
所述视线特征值计算模块包括：
第一特征距离计算子模块，用于根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离；
第二特征距离计算子模块，用于根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离；
视线特征值计算子模块，用于根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
进一步地，所述眼部关注区域确定模块包括：
特征值区间获取子模块，用于获取预设的各个特征值区间，其中，每个特征值区间均对应于一个预设的屏幕区域；
特征值目标区间确定子模块，用于将所述视线特征值所处的特征值区间确定为特征值目标区间；
眼部关注区域确定子模块，用于将所述特征值目标区间对应的屏幕区域确定为所述眼部关注区域。
进一步地，所述关注区域检测装置还可以包括：
屏幕区域划分模块，用于将预设的屏幕划分为SN个屏幕区域，SN为大于1的整数；
标定样本集构造模块，用于分别构造各个标定样本集，其中，第s个标定样本集中包括FS个特征值样本，每个特征值样本均为第s个屏幕区域被关注时的视线特征值，1≤s≤SN，FS为正整数；
平均特征值计算模块，用于分别计算各个标定样本集的平均特征值；
特征值区间确定模块，用于根据各个标定样本集的平均特征值确定各个特征值区间。
进一步地，所述标定样本集构造模块可以包括：
图案显示子模块，用于在所述屏幕的第s个屏幕区域的中心位置显示预设的图案；
样本图像采集子模块，用于分别采集各帧样本图像，所述样本图像为受试者关注所述图案时的眼部图像；
样本特征值计算子模块，用于分别计算各帧样本图像的视线特征值；
标定样本集构造子模块，用于将各帧样本图像的视线特征值构造为第s个标定样本集。
进一步地，所述特征值区间确定模块可以包括：
参数遍历子模块，用于在预设的参数区间内遍历各个分界参数；
划分方式确定子模块，用于根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式；
检测错误率计算子模块，用于根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率；
特征值区间确定子模块，用于选取最优划分方式，并按照所述最优划分方式确定各个特征值区间，所述最优划分方式为检测错误率最小的特征值区间划分方式。
进一步地，所述眼部关键点检测模块具体用于使用Stacked Hourglass Model在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种关注区域检测方法的步骤。
本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种关注区域检测方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述任一种关注区域检测方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例获取待检测的眼部图像；在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；根据所述视线特征值确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对眼部图像的图像分析处理，根据眼部关键点的位置信息计算出视线特征值，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种关注区域检测方法的一个实施例流程图；
图2为眼部图像中的各个眼部关键点的示意图；
图3为根据眼部图像中的各个眼部关键点的位置信息计算视线特征值的示意流程图；
图4为第一特征距离的示意图；
图5为第二特征距离的示意图；
图6为对各个特征值区间进行设置的示意流程图；
图7为一种屏幕区域划分情况的示意图；
图8为标定样本集的构造过程的示意流程图；
图9为各个屏幕区域的中心位置的示意图；
图10为依次在各个屏幕区域的中心位置进行图案显示的示意图；
图11为根据各个标定样本集的平均特征值确定各个特征值区间的示意流程图；
图12为本申请实施例中一种关注区域检测装置的一个实施例结构图；
图13为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例中一种关注区域检测方法的一个实施例可以包括：
步骤S101、获取待检测的眼部图像。
本申请实施例的执行主体可以为带有摄像头和屏幕的终端设备，包括但不限于桌上型计算机、笔记本、掌上电脑、智能手机及智能电视。
在本申请实施例的一种具体实现中，当用户在观看所述终端设备的屏幕时，所述终端设备可以通过朝向用户方向的摄像头采集图像，使用人脸检测算法从中检测到人脸图像，并进一步提取出其中的眼部图像。其中，人脸检测算法以及眼部图像的提取均为现有技术中较为常用的技术，具体可参照现有技术中的具体内容，本申请实施例对此不再赘述。
步骤S102、在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息。
如图2所示，所述眼部图像中的各个眼部关键点包括但不限于：虹膜中心点、虹膜上边缘、虹膜下边缘、虹膜左边缘、虹膜右边缘、上眼睑边缘、下眼睑边缘、左眼角和右眼角。
在本申请实施例的一种具体实现中，可以使用堆叠沙漏模型(Stacked HourglassModel，SHM)在所述眼部图像中进行眼部关键点检测，从而得到所述眼部图像中的各个眼部关键点的位置信息。所述堆叠沙漏模型能对图像进行多尺度变换，确保得到大的感受野(receptive field)，对模糊图像也有较好的泛化性能，这就使本申请实施例在使用普通摄像头的条件下也可以获得较高的准确率。
当然，在本申请实施例的其它具体实现中，可以使用其它现有技术中常用的检测模型在所述眼部图像中进行眼部关键点检测，本申请实施例对其不作具体限定。
步骤S103、根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值。
在本申请实施例的一种具体实现中，步骤S103具体可以包括如图3所示的过程：
步骤S1031、根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离。
此处可以将所述虹膜中心点的位置信息记为：(IrisCtX，IrisCtY)，其中，IrisCtX为所述虹膜中心点的位置的横坐标，IrisCtY为所述虹膜中心点的位置的纵坐标，将所述左眼角的位置信息记为：(LfCanthusX，LfCanthusY)，其中，LfCanthusX为所述左眼角的位置的横坐标，LfCanthusY为所述左眼角的位置的纵坐标，将所述第一特征距离记为Dis1，则可以根据下式计算所述第一特征距离：
Dis1＝|IrisCtX-LfCanthusX|
图4所示即为所述第一特征距离的示意图。
步骤S1032、根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离。
此处可以将所述右眼角的位置信息记为：(RtCanthusX，RtCanthusY)，其中，RtCanthusX为所述右眼角的位置的横坐标，RtCanthusY为所述右眼角的位置的纵坐标，将所述第二特征距离记为Dis2，则可以根据下式计算所述第二特征距离：
Dis2＝|RtCanthusX-LfCanthusX|
图5所示即为所述第二特征距离的示意图。
步骤S1033、根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
具体地，可以将所述第一特征距离与所述第二特征距离之间的比值确定为所述视线特征值，即：
r＝Dis1/Dis2
其中，r即为所述视线特征值。
通过图3所示的过程，使用第一特征距离(即虹膜中心点与左眼角之间的距离)与第二特征距离(即左眼角与右眼角之间的距离)之间的比值来作为视线特征值，这一特征值能够准确地反映出虹膜在眼部的相对位置，而虹膜在眼部的相对位置会随着关注区域的变化而进行相应的变化，以这一特征值为依据可以极大提高关注区域检测结果的准确率。
需要注意的是，图3所示的过程只是计算所述视线特征值的一种具体方式，在该计算过程中使用了虹膜中心点、左眼角和右眼角这几个眼部关键点的位置信息，在实际应用中，还可以根据具体情况选取其它眼部关键点的位置信息来进行所述视线特征值的计算，本申请实施例对此不作具体限定。
步骤S104、根据所述视线特征值确定眼部关注区域。
具体地，首先获取预设的各个特征值区间，其中，每个特征值区间均对应于一个预设的屏幕区域，然后将所述视线特征值所处的特征值区间确定为特征值目标区间，最后将所述特征值目标区间对应的屏幕区域确定为所述眼部关注区域。
在本申请实施例中，可以预先将所述终端设备的屏幕在水平方向上划分为SN个(SN为大于1的整数)屏幕区域，按照从左到右的顺序依次记为：屏幕区域1、屏幕区域2、…、屏幕区域s、…、屏幕区域SN，其中，1≤s≤SN，屏幕区域1对应的特征值区间为[r1,2，MaxVal]，屏幕区域2对应的特征值区间为[r2,3，r1,2)，…，屏幕区域s对应的特征值区间为[rs,s+1，rs-1,s)，…，屏幕区域SN对应的特征值区间为[MinVal，rSN-1,SN)，r1,2为屏幕区域1和屏幕区域2的分界值，r2,3为屏幕区域2和屏幕区域3的分界值，…，rs-1,s为屏幕区域s-1和屏幕区域s的分界值，…，rSN-1,SN为屏幕区域SN-1和屏幕区域SN的分界值，MinVal为预设的最小取值，MaxVal为预设的最大取值。
若r1,2≤r≤MaxVal，则可将屏幕区域1确定为所述眼部关注区域，若r2,3≤r<r1,2，则可将屏幕区域2确定为所述眼部关注区域，…，若rs,s+1≤r<rs-1,s，则可将屏幕区域s确定为所述眼部关注区域，…，若MinVal≤r<rSN-1,SN，则可将屏幕区域SN确定为所述眼部关注区域。
通过预先设置各个屏幕区域的特征值区间，在计算得到视线特征值之后，仅需要判断该视线特征值属于哪一个特征值区间，即可确定出对应的眼部关注区域，计算量极小，大大提升了关注区域检测的效率。
优选地，在步骤S104之前，可以预先通过图6所示的过程对各个特征值区间进行设置：
步骤S601、将屏幕划分为SN个屏幕区域。
在本申请实施例中，可以将所述终端设备的屏幕在水平方向上划分为SN个屏幕区域，按照从左到右的顺序依次记为：屏幕区域1、屏幕区域2、…、屏幕区域s、…、屏幕区域SN。
图7所示即为SN＝3时的屏幕区域划分情况。
步骤S602、分别构造各个标定样本集。
其中，第s个标定样本集中包括FS个特征值样本，每个特征值样本均为第s个屏幕区域被关注时的视线特征值，FS为正整数。
以其中的第s个标定样本集为例，其具体的构造过程可以包括如图8所示的步骤：
步骤S6021、在所述屏幕的第s个屏幕区域的中心位置显示预设的图案。
图9所示即为SN＝3时，各个屏幕区域的中心位置(圆圈所示位置)的示意图。在构造第s个标定样本集时，可以通过在所述屏幕的第s个屏幕区域的中心位置显示预设的图案，将受试者的目光吸引到第s个屏幕区域。所述图案可以根据实际情况设置为圆形图案、方形图案、三角图案等等，本申请实施例对其形式不作具体限定。需要注意的是，为了达到更好的吸引注意力的效果，所述图案可以采用与屏幕背景色反差较大的颜色，例如，若屏幕背景色为黑色，则所述图案可以以白色、红色、绿色、紫色等进行显示。
步骤S6022、分别采集各帧样本图像。
所述样本图像为受试者关注所述图案时的眼部图像。在所述屏幕的第s个屏幕区域的中心位置显示所述图案之后，受试者的目光会被吸引到所述图案上，此时则可以使用摄像头依次采集多帧所述受试者关注所述图案时的眼部图像，也即所述样本图像。例如，可以在20秒的时长内，每隔1秒采集一帧样本图像，则共可采集到20帧样本图像。
优选地，为了避免视线转换和疲劳导致注意力分散带来的误差影响，可以剔除掉最先采集的若干帧样本图像以及最后采集的若干帧样本图像。例如，若共采集到20帧样本图像，则可以将剔除掉其中的前3帧样本图像以及后3帧样本图像，共剩余14帧样本图像。
步骤S6023、分别计算各帧样本图像的视线特征值。
各帧样本图像的视线特征值的计算过程与步骤S103中的过程类似，具体可参照步骤S103中的详细过程，此处不再赘述。
步骤S6024、将各帧样本图像的视线特征值构造为第s个标定样本集。
仍以上述剩余的14帧样本图像(即原始采集的20帧样本图像的第4帧至第17帧)为例，将各帧样本图像的视线特征值依次记为：
Figure BDA0002252238700000102
将第s个标定样本集记为Ri，则有：
Figure BDA0002252238700000101
根据图8所示的过程遍历s从1到SN的取值，则可以构造出各个标定样本集。如图10所示，以SN＝3的情况为例，首先在第1个屏幕区域(即左边的屏幕区域)的中心位置进行图案显示，并根据采集的各帧样本图像构造出第1个标定样本集，然后在第2个屏幕区域(即中间的屏幕区域)的中心位置进行图案显示，并根据采集的各帧样本图像构造出第2个标定样本集，最后在第3个屏幕区域(即右边的屏幕区域)的中心位置进行图案显示，并根据采集的各帧样本图像构造出第3个标定样本集。
通过图8所示的过程，对于每一个屏幕区域，均以实测的方式采集到受试者关注该屏幕区域时的各帧样本图像，分别计算得到各帧样本图像的视线特征值，并构造出对应的标定样本集，从而为后续进行关注区域检测提供了大量的数据依据，使得最终的检测结果具有更高的准确率。
步骤S603、分别计算各个标定样本集的平均特征值。
对于任意一个标定样本集而言，可以对该标定样本集包含的所有视线特征值求均值，从而得到该标定样本集的平均特征值，也可以对该标定样本集进行下采样，即选取该标定样本集包含的部分视线特征值求均值，从而得到该标定样本集的平均特征值。
此处将第s个标定样本集的平均特征值记为rs，则各个标定样本集的平均特征值依次为：r1、r2、…、rs…、rSN。
步骤S604、根据各个标定样本集的平均特征值确定各个特征值区间。
通过图6所示的过程，预先采集了大量的实际测试得到的特征值样本，构造出各个屏幕区域分别对应的标定样本集，以这些实测数据作为依据来确定各个特征值区间，从而使得最终得到的特征值区间更加符合实际情况，以此为基础检测得到的眼部关注区域具有更高的准确率。
在本申请实施例的一种具体实现中，步骤S604具体可以包括如图11所示的过程：
步骤S6041、在预设的参数区间内遍历各个分界参数。
此处将分界参数记为α，其可取的参数区间可以根据实际情况进行设置，例如，可以将所述参数区间设置为[0.4,0.6]，若以0.02为间隔进行遍历取值，则选取的第一个分界参数为：α＝0.4，选取的第二个分界参数为：α＝0.42，选取的第三个分界参数为：α＝0.44，…，以此类推，共可选取11个分界参数。
步骤S6042、根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式。
对于任意一个分界参数而言，其对应的特征值区间划分方式具体为：
屏幕区域1和屏幕区域2的分界值r1,2＝r2+α(r1－r2)；
屏幕区域2和屏幕区域3的分界值r2,3＝r3+α(r2－r3)；
……
屏幕区域s-1和屏幕区域s的分界值rs-1,s＝rs+α(rs-1－rs)；
……
屏幕区域SN-1和屏幕区域SN的分界值rSN-1,SN＝rSN+α(rSN-1－rSN)。
屏幕区域1对应的特征值区间为[r1,2，MaxVal]，屏幕区域2对应的特征值区间为[r2,3，r1,2)，…，屏幕区域s对应的特征值区间为[rs,s+1，rs-1,s)，…，屏幕区域SN对应的特征值区间为[MinVal，rSN-1,SN)，r1,2为屏幕区域1和屏幕区域2的分界值，r2,3为屏幕区域2和屏幕区域3的分界值，…，rs-1,s为屏幕区域s-1和屏幕区域s的分界值，…，rSN-1,SN为屏幕区域SN-1和屏幕区域SN的分界值，MinVal为预设的最小取值，MaxVal为预设的最大取值。
步骤S6043、根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率。
对于任意一种特征值区间划分方式而言，使用SN个标定样本集中包含的所有特征值样本对该划分方式进行验证。具体地，若第s个标定样本集中的某一特征值样本按照步骤S104确定出其眼部关注区域为第s个屏幕区域，则说明该特征值样本验证成功，若第s个标定样本集中的某一特征值样本按照步骤S104确定出其眼部关注区域不是第s个屏幕区域，则说明该特征值样本验证失败。统计验证失败的特征值样本的总数，将其记为FN，统计验证成功的特征值样本的总数，将其记为TN，将该划分方式的检测错误率记为FailRatio，则有：FailRatio＝FN/(FN+TN)。
步骤S6044、选取最优划分方式，并按照所述最优划分方式确定各个特征值区间。
所述最优划分方式为检测错误率最小的特征值区间划分方式。
通过图11所示的过程，依次遍历各个分界参数，使用实测数据分别计算各种特征值区间划分方式的检测错误率，从中选取出检测错误率最小的，也即最优的划分方式，后续使用这一划分方式进行关注区域检测，可以得到较高的准确率。
综上所述，本申请实施例获取待检测的眼部图像；在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；根据所述视线特征值确定眼部关注区域。在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对眼部图像的图像分析处理，根据眼部关键点的位置信息计算出视线特征值，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种关注区域检测方法，图12示出了本申请实施例提供的一种关注区域检测装置的一个实施例结构图。
本实施例中，一种关注区域检测装置可以包括：
眼部图像获取模块1201，用于获取待检测的眼部图像；
眼部关键点检测模块1202，用于在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；
视线特征值计算模块1203，用于根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；
眼部关注区域确定模块1204，用于根据所述视线特征值确定眼部关注区域。
进一步地，所述眼部图像中的各个眼部关键点包括：虹膜中心点、左眼角和右眼角；
所述视线特征值计算模块包括：
第一特征距离计算子模块，用于根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离；
第二特征距离计算子模块，用于根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离；
视线特征值计算子模块，用于根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
进一步地，所述眼部关注区域确定模块包括：
特征值区间获取子模块，用于获取预设的各个特征值区间，其中，每个特征值区间均对应于一个预设的屏幕区域；
特征值目标区间确定子模块，用于将所述视线特征值所处的特征值区间确定为特征值目标区间；
眼部关注区域确定子模块，用于将所述特征值目标区间对应的屏幕区域确定为所述眼部关注区域。
进一步地，所述关注区域检测装置还可以包括：
屏幕区域划分模块，用于将预设的屏幕划分为SN个屏幕区域，SN为大于1的整数；
标定样本集构造模块，用于分别构造各个标定样本集，其中，第s个标定样本集中包括FS个特征值样本，每个特征值样本均为第s个屏幕区域被关注时的视线特征值，1≤s≤SN，FS为正整数；
平均特征值计算模块，用于分别计算各个标定样本集的平均特征值；
特征值区间确定模块，用于根据各个标定样本集的平均特征值确定各个特征值区间。
进一步地，所述标定样本集构造模块可以包括：
图案显示子模块，用于在所述屏幕的第s个屏幕区域的中心位置显示预设的图案；
样本图像采集子模块，用于分别采集各帧样本图像，所述样本图像为受试者关注所述图案时的眼部图像；
样本特征值计算子模块，用于分别计算各帧样本图像的视线特征值；
标定样本集构造子模块，用于将各帧样本图像的视线特征值构造为第s个标定样本集。
进一步地，所述特征值区间确定模块可以包括：
参数遍历子模块，用于在预设的参数区间内遍历各个分界参数；
划分方式确定子模块，用于根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式；
检测错误率计算子模块，用于根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率；
特征值区间确定子模块，用于选取最优划分方式，并按照所述最优划分方式确定各个特征值区间，所述最优划分方式为检测错误率最小的特征值区间划分方式。
进一步地，所述眼部关键点检测模块具体用于使用Stacked Hourglass Model在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息。
在本申请实施例中，无需使用价格昂贵的精密仪器，而是通过对眼部图像的图像分析处理，根据眼部关键点的位置信息计算出视线特征值，并以此来确定眼部关注区域，极大降低了成本，可以进行更广泛的应用。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块，子模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图13示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。
如图13所示，该实施例的终端设备13包括：处理器130、存储器131以及存储在所述存储器131中并可在所述处理器130上运行的计算机程序132。所述处理器130执行所述计算机程序132时实现上述各个关注区域检测方法实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述处理器130执行所述计算机程序132时实现上述各装置实施例中各模块/单元的功能，例如图12所示模块1201至模块1204的功能。
示例性的，所述计算机程序132可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器131中，并由所述处理器130执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序132在所述终端设备13中的执行过程。
所述终端设备13可以是桌上型计算机、笔记本、掌上电脑、智能手机及智能电视等计算设备。本领域技术人员可以理解，图13仅仅是终端设备13的示例，并不构成对终端设备13的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备13还可以包括输入输出设备、网络接入设备、总线等。
所述处理器130可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器130可以是所述终端设备13的神经中枢和指挥中心，所述处理器130可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
所述存储器131可以是所述终端设备13的内部存储单元，例如终端设备13的硬盘或内存。所述存储器131也可以是所述终端设备13的外部存储设备，例如所述终端设备13上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器131还可以既包括所述终端设备13的内部存储单元也包括外部存储设备。所述存储器131用于存储所述计算机程序以及所述终端设备13所需的其它程序和数据。所述存储器131还可以用于暂时地存储已经输出或者将要输出的数据。
所述终端设备13还可以包括通信模块，所述通信模块可以提供应用在网络设备上的包括无线局域网(Wireless Local Area Networks，WLAN)(如Wi-Fi网络)，蓝牙，Zigbee，移动通信网络，全球导航卫星***(Global Navigation Satellite System，GNSS)，调频(Frequency Modulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术(Infrared，IR)等通信的解决方案。所述通信模块可以是集成至少一个通信处理模块的一个或多个器件。该通信模块可以包括天线，该天线可以只有一个阵元，也可以是包括多个阵元的天线阵列。所述通信模块可以通过天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器。所述通信模块还可以从处理器接收待发送的信号，对其进行调频、放大，经天线转为电磁波辐射出去。
所述终端设备13还可以包括电源管理模块，所述电源管理模块可以接收外接电源、电池和/或充电器的输入，为所述处理器、所述存储器和所述通信模块等供电。
所述终端设备13还可以包括显示模块，所述显示模块可用于显示由用户输入的信息或提供给用户的信息。所述显示模块可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给所述处理器以确定触摸事件的类型，随后所述处理器根据触摸事件的类型在所述显示面板上提供相应的视觉输出。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在所述终端设备上运行时，使得所述终端设备可实现上述各个方法实施例中的步骤。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种关注区域检测方法，其特征在于，包括：
获取待检测的眼部图像；
在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；
根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；
根据所述视线特征值与预设的各个特征值区间确定眼部关注区域；
其中，各个特征值区间的设置过程包括：
在预设的参数区间内遍历各个分界参数；
根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式；其中，每个标定样本集均对应于一个预设的屏幕区域，屏幕区域s对应的特征值区间为[rs,s+1，rs-1,s)，rs-1,s＝rs+α(rs-1－rs)，rs为第s个标定样本集的平均特征值，α为所述分界参数，1≤s≤SN，SN为屏幕区域的数目，rs-1,s为屏幕区域s-1和屏幕区域s的分界值；
根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率；
选取最优划分方式，并按照所述最优划分方式确定各个特征值区间，所述最优划分方式为检测错误率最小的特征值区间划分方式。
2.根据权利要求1所述的关注区域检测方法，其特征在于，所述眼部图像中的各个眼部关键点包括：虹膜中心点、左眼角和右眼角；
所述根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值包括：
根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离；
根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离；
根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
3.根据权利要求1所述的关注区域检测方法，其特征在于，所述根据所述视线特征值确定眼部关注区域包括：
获取预设的各个特征值区间，其中，每个特征值区间均对应于一个预设的屏幕区域；
将所述视线特征值所处的特征值区间确定为特征值目标区间；
将所述特征值目标区间对应的屏幕区域确定为所述眼部关注区域。
4.根据权利要求3所述的关注区域检测方法，其特征在于，在获取预设的各个特征值区间之前，还包括：
将预设的屏幕划分为SN个屏幕区域；
分别构造各个标定样本集，其中，第s个标定样本集中包括FS个特征值样本，每个特征值样本均为第s个屏幕区域被关注时的视线特征值，FS为正整数；
分别计算各个标定样本集的平均特征值；
根据各个标定样本集的平均特征值确定各个特征值区间。
5.根据权利要求4所述的关注区域检测方法，其特征在于，所述分别构造各个标定样本集包括：
在所述屏幕的第s个屏幕区域的中心位置显示预设的图案；
分别采集各帧样本图像，所述样本图像为受试者关注所述图案时的眼部图像；
分别计算各帧样本图像的视线特征值；
将各帧样本图像的视线特征值构造为第s个标定样本集。
6.一种关注区域检测装置，其特征在于，包括：
眼部图像获取模块，用于获取待检测的眼部图像；
眼部关键点检测模块，用于在所述眼部图像中进行眼部关键点检测，得到所述眼部图像中的各个眼部关键点的位置信息；
视线特征值计算模块，用于根据所述眼部图像中的各个眼部关键点的位置信息计算视线特征值；
眼部关注区域确定模块，用于根据所述视线特征值与预设的各个特征值区间确定眼部关注区域；
特征值区间确定模块，用于确定各个特征值区间，包括：
参数遍历子模块，用于在预设的参数区间内遍历各个分界参数；
划分方式确定子模块，用于根据各个标定样本集的平均特征值分别确定各个分界参数对应的特征值区间划分方式；其中，每个标定样本集均对应于一个预设的屏幕区域，屏幕区域s对应的特征值区间为[rs,s+1，rs-1,s)，rs-1,s＝rs+α(rs-1－rs)，rs为第s个标定样本集的平均特征值，α为所述分界参数，1≤s≤SN，SN为屏幕区域的数目，rs-1,s为屏幕区域s-1和屏幕区域s的分界值；
检测错误率计算子模块，用于根据各个标定样本集分别计算各种特征值区间划分方式的检测错误率；
特征值区间确定子模块，用于选取最优划分方式，并按照所述最优划分方式确定各个特征值区间，所述最优划分方式为检测错误率最小的特征值区间划分方式。
7.根据权利要求6所述的关注区域检测装置，其特征在于，所述眼部图像中的各个眼部关键点包括：虹膜中心点、左眼角和右眼角；
所述视线特征值计算模块包括：
第一特征距离计算子模块，用于根据所述虹膜中心点的位置信息和所述左眼角的位置信息计算第一特征距离；
第二特征距离计算子模块，用于根据所述左眼角的位置信息和所述右眼角的位置信息计算第二特征距离；
视线特征值计算子模块，用于根据所述第一特征距离和所述第二特征距离计算所述视线特征值。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的关注区域检测方法的步骤。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的关注区域检测方法的步骤。
CN201911042436.6A 2019-10-29 2019-10-29 一种关注区域检测方法、装置、可读存储介质及终端设备 Active CN110969084B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911042436.6A CN110969084B (zh) 2019-10-29 2019-10-29 一种关注区域检测方法、装置、可读存储介质及终端设备
PCT/CN2020/109069 WO2021082636A1 (zh) 2019-10-29 2020-08-14 一种关注区域检测方法、装置、可读存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911042436.6A CN110969084B (zh) 2019-10-29 2019-10-29 一种关注区域检测方法、装置、可读存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN110969084A CN110969084A (zh) 2020-04-07
CN110969084B true CN110969084B (zh) 2021-03-05

Family

ID=70030164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911042436.6A Active CN110969084B (zh) 2019-10-29 2019-10-29 一种关注区域检测方法、装置、可读存储介质及终端设备

Country Status (2)

Country Link
CN (1) CN110969084B (zh)
WO (1) WO2021082636A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969084B (zh) * 2019-10-29 2021-03-05 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN116682071B (zh) * 2023-08-04 2023-11-10 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662470A (zh) * 2012-04-01 2012-09-12 西华大学 一种实现眼部操作的方法及***
CN106934365A (zh) * 2017-03-09 2017-07-07 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种可靠的青光眼患者自我检测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100343867C (zh) * 2005-06-15 2007-10-17 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN102662476B (zh) * 2012-04-20 2015-01-21 天津大学 一种视线估计方法
CN102930278A (zh) * 2012-10-16 2013-02-13 天津大学 一种人眼视线估计方法及其装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
CN106133752B (zh) * 2014-02-25 2019-08-30 眼验股份有限公司 眼睛注视跟踪
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
CN106529409B (zh) * 2016-10-10 2019-08-09 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN107193383B (zh) * 2017-06-13 2020-04-07 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
JP6946831B2 (ja) * 2017-08-01 2021-10-13 オムロン株式会社 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
CN108875524B (zh) * 2018-01-02 2021-03-02 北京旷视科技有限公司 视线估计方法、装置、***和存储介质
CN108875526B (zh) * 2018-01-05 2020-12-25 北京旷视科技有限公司 视线检测的方法、装置、***及计算机存储介质
CN108985210A (zh) * 2018-07-06 2018-12-11 常州大学 一种基于人眼几何特征的视线追踪方法及***
CN109901716B (zh) * 2019-03-04 2022-08-26 厦门美图之家科技有限公司 视线点预测模型建立方法、装置及视线点预测方法
CN110969084B (zh) * 2019-10-29 2021-03-05 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662470A (zh) * 2012-04-01 2012-09-12 西华大学 一种实现眼部操作的方法及***
CN106934365A (zh) * 2017-03-09 2017-07-07 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种可靠的青光眼患者自我检测方法

Also Published As

Publication number Publication date
WO2021082636A1 (zh) 2021-05-06
CN110969084A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110909611B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN109360396B (zh) 基于图像识别技术和NB-IoT技术的远程抄表方法及***
CN104200480B (zh) 一种应用于智能终端的图像模糊度评价方法及***
KR20180106527A (ko) 생체 정보의 위조를 식별하기 위한 전자 장치 및 방법
CN109345553B (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN110335157A (zh) 保险产品推荐方法、设备及存储介质
CN110969084B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN113192639A (zh) 信息预测模型的训练方法、装置、设备及存储介质
CN111627029B (zh) 图像实例分割结果的获取方法及装置
CN111281355B (zh) 一种用于确定脉搏采集位置的方法与设备
CN111161789B (zh) 一种模型预测的关键区域的分析方法及装置
CN115691793A (zh) 一种舌象数据处理方法、装置及相关设备
CN112203131B (zh) 一种基于显示设备的提示方法、装置及存储介质
CN110705447B (zh) 手部图像的检测方法、装置及电子设备
Guo et al. Multi-scale structural image quality assessment based on two-stage low-level features
CN108021648B (zh) 一种搜题的方法、装置及智能终端
CN112633143A (zh) 图像处理***、方法、头戴设备、处理设备及存储介质
CN112766759B (zh) 物流企业的加油管理方法及***
CN113227708B (zh) 确定俯仰角的方法、装置及终端设备
CN114120162A (zh) 一种模型测试方法、装置、终端及存储介质
US20240220685A1 (en) Method for training binding affinity detection model and binding affinity detection method
CN110765861A (zh) 无牌车车型识别方法、装置及终端设备
CN114782964A (zh) 图像处理方法、存储介质以及电子设备
CN117216719A (zh) 应用程序推荐方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant