CN107944385B - 一种用于确定眼镜框区域的方法及装置 - Google Patents

一种用于确定眼镜框区域的方法及装置 Download PDF

Info

Publication number
CN107944385B
CN107944385B CN201711172696.6A CN201711172696A CN107944385B CN 107944385 B CN107944385 B CN 107944385B CN 201711172696 A CN201711172696 A CN 201711172696A CN 107944385 B CN107944385 B CN 107944385B
Authority
CN
China
Prior art keywords
region
frame
discrete point
point
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711172696.6A
Other languages
English (en)
Other versions
CN107944385A (zh
Inventor
王刚
郝敬松
汪海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711172696.6A priority Critical patent/CN107944385B/zh
Priority to PCT/CN2017/118279 priority patent/WO2019100511A1/en
Priority to EP17932826.5A priority patent/EP3698269A4/en
Publication of CN107944385A publication Critical patent/CN107944385A/zh
Application granted granted Critical
Publication of CN107944385B publication Critical patent/CN107944385B/zh
Priority to US16/881,059 priority patent/US11501563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Eyeglasses (AREA)

Abstract

本发明公开了一种用于确定眼镜框区域的方法及装置，用以提高眼镜框区域的定位精度。该方法包括：根据特征点定位算法确定出与左右眼镜框的位置对应的若干离散点的位置坐标；根据每一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左右眼镜框的粗略区域；将遍历所有的离散点后得到的区域与左右眼镜框的粗略区域取交集确定出左右眼镜框区域；去除左右眼镜框区域中的噪声点，并根据离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据该方向向量确定出眼镜框的鼻梁区域，将鼻梁区域添加到去除了噪声点的左右眼镜框区域中，得到完整的眼镜框区域。

Description

一种用于确定眼镜框区域的方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于确定眼镜框区域的方法及装置。
背景技术
确定精确的眼镜框区域对眼镜框去除打下良好的基础，人脸眼镜框对识别有干扰，即不同的人戴相同的眼镜，相似度会提高，而同一人戴眼镜和不戴眼镜，相似度会下降，眼镜框的去除在一定程度上能减弱这种影响，从而提升与人脸有关的识别性能，例如人脸识别、性别识别、年龄识别等。
目前确定眼镜框区域较常用的方法是，先用不戴眼镜的人脸图片训练模型，然后，输入戴眼镜的人脸原图，用已训练模型对该人脸图进行重构，得出不戴眼镜的人脸重构图，最后，将重构图与原图相减，得出眼镜框区域。
但是现有技术通过重构方法得到的眼镜框区域很大程度上依赖于重构人脸，难以得到精确的眼镜框区域，从而难以精确地去除眼镜框。
发明内容
本发明实施例提供了一种用于确定眼镜框区域的方法及装置，用以提高眼镜框区域的定位精度。
本发明实施例提供的一种用于确定眼镜框区域的方法，包括：
接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
遍历所述第一离散点得到左眼镜框的第一区域，将所述第一区域与所述左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历所述第二离散点得到右眼镜框的第二区域，将所述第二区域与所述右眼镜框的粗略区域取交集确定出右眼镜框区域；
去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，并根据所述第一离散点和所述第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据所述方向向量确定出眼镜框的鼻梁区域，将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域。
由本发明实施例提供的眼镜框区域的确定方法，该方法根据特征点定位算法确定出与左右眼镜框的位置对应的若干离散点的位置坐标；根据每一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左右眼镜框的粗略区域；将遍历所有的离散点后得到的区域与左右眼镜框的粗略区域取交集确定出左右眼镜框区域；去除左右眼镜框区域中的噪声点，并根据离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据该方向向量确定出眼镜框的鼻梁区域，将鼻梁区域添加到去除了噪声点的左右眼镜框区域中，得到完整的眼镜框区域，与现有技术相比，本发明提供一种新的眼镜框区域的确定方法，该方法不需要通过重构的方法得到眼镜框区域，能够提高眼镜框区域的定位精度。
较佳地，所述根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域，包括：
对每一所述第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于所述第一曲线和所述第二曲线之间的区域确定为左眼镜框的粗略区域；
所述根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域，包括：
对每一所述第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于所述第三曲线和所述第四曲线之间的区域确定为右眼镜框的粗略区域。
较佳地，所述遍历所述第一离散点得到左眼镜框的第一区域，包括：
根据每一所述第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一所述第一离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为左眼镜框的像素值；
将确定出的所述左眼镜框的像素值组成的区域确定为左眼镜框的第一区域；
所述遍历所述第二离散点得到右眼镜框的第二区域，包括：
根据每一所述第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一所述第二离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为右眼镜框的像素值；
将确定出的所述右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
较佳地，所述去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，包括：
计算所述左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；
以及计算所述右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
较佳地，所述将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，该方法还包括：
将所述鼻梁区域根据所述方向向量进行反转得到该鼻梁区域的反转区域，若所述鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
本发明实施例还提供了一种用于确定眼镜框区域的装置，包括：
稀疏点定位模块，用于接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
眼镜框粗略定位模块，用于根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
眼镜框区域定位模块，用于遍历所述第一离散点得到左眼镜框的第一区域，将所述第一区域与所述左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历所述第二离散点得到右眼镜框的第二区域，将所述第二区域与所述右眼镜框的粗略区域取交集确定出右眼镜框区域；
眼镜框区域确定模块，用于去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，并根据所述第一离散点和所述第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据所述方向向量确定出眼镜框的鼻梁区域，将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域。
较佳地，所述眼镜框粗略定位模块具体用于，对每一所述第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于所述第一曲线和所述第二曲线之间的区域确定为左眼镜框的粗略区域；
以及对每一所述第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于所述第三曲线和所述第四曲线之间的区域确定为右眼镜框的粗略区域。
较佳地，所述眼镜框区域定位模块具体用于，根据每一所述第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一所述第一离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为左眼镜框的像素值；将确定出的所述左眼镜框的像素值组成的区域确定为左眼镜框的第一区域；
以及根据每一所述第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一所述第二离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为右眼镜框的像素值；将确定出的所述右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
较佳地，所述眼镜框区域确定模块具体用于，计算所述左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；以及计算所述右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
较佳地，所述将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，所述眼镜框区域确定模块具体还用于，将所述鼻梁区域根据所述方向向量进行反转得到该鼻梁区域的反转区域，若所述鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
附图说明
图1为本发明实施例提供的一种用于确定眼镜框区域的方法流程图；
图2为本发明实施例提供的确定出的第一离散点和第二离散点的示意图；
图3为本发明实施例提供的确定出的左眼镜框区域和右眼镜框区域的示意图；
图4为本发明实施例提供的一种用于确定眼镜框区域的装置方块图。
具体实施方式
本发明实施例提供了一种用于确定眼镜框区域的方法及装置，用以提高眼镜框区域的定位精度。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明具体实施例提供了一种用于确定眼镜框区域的方法，包括：
S101、接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
S102、根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
S103、遍历所述第一离散点得到左眼镜框的第一区域，将所述第一区域与所述左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历所述第二离散点得到右眼镜框的第二区域，将所述第二区域与所述右眼镜框的粗略区域取交集确定出右眼镜框区域；
S104、去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，并根据所述第一离散点和所述第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据所述方向向量确定出眼镜框的鼻梁区域，将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域。
首先，本发明具体实施例利用特征点定位算法得到眼镜框稀疏位置，具体地，如图2所示，首先接收包含眼镜框的灰度图像，如：接收输入的戴眼镜的人脸的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点21的位置坐标，以及与右眼镜框的位置对应的每一第二离散点22的位置坐标。
具体实施时，特征点定位算法指的是主动形状模型(Active Shape Models)算法，利用该算法可以定位出眼镜框位置，具体定位流程参考主动形状模型算法，主动形状模型算法与现有技术相同，这里不再赘述。采用该主动形状模型算法定位的结果如图2所示，眼镜框位置表示为：Shape＝{(x1,y1),…,(xt,yt),…,(xn,yn)}，其中(xi，yi)表示图2中单点的位置坐标，i取值范围从1到n，1到t是左眼镜框位置，t+1到n是右眼镜框位置，i、t、n均为正整数。
接着，本发明具体实施例利用步骤S101确定出的眼镜框稀疏位置进一步确定眼镜框的区域，首先确定左眼镜框的粗略区域与右眼镜框的粗略区域。
具体地，本发明具体实施例步骤S102中的根据每一第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域，包括：对每一第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于第一曲线和第二曲线之间的区域确定为左眼镜框的粗略区域。
具体实施时，例如：本发明具体实施例预先设定的缩放因子s＝0.8，缩小公式为：Shape0＝scale(Shape,s)，放大公式为：Shape1＝scale(Shape,2-s)。其中：
scale(Shape,m)＝{((x1-xc1)*m+xc1,(y1-yc1)*m+yc1),…((xn-xc2)*m+xc2,(yn-yc2)*m+yc2)}，这里的(xc1，yc1)为左眼镜框的中心点，(xc2，yc2)为右眼镜框的中心点，具体公式为：
本发明具体实施例将形成的第一曲线记为q0，将形成的第二曲线记为q1，将位于q0和q1之间的区域的像素值设为255，将其它区域的像素值设为0，得到左眼镜框的粗略区域G01，如图3所示，本发明具体实施例将位于q0和q1之间的区域的像素值设为255，将其它区域的像素值设为0，能够更好的去除眼镜框以外的其它像素点对眼镜框区域的影响，能够更加准确的确定出眼镜框的粗略区域。
具体地，本发明具体实施例步骤S102中的根据每一第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域，包括：对每一第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于第三曲线和第四曲线之间的区域确定为右眼镜框的粗略区域，如图3所示，本发明具体实施例确定的右眼镜框的粗略区域为G02。
接着，本发明具体实施例在步骤S102确定出的左眼镜框的粗略区域与右眼镜框的粗略区域的基础上，进一步确定左眼镜区域和右眼镜框区域。
具体地，本发明具体实施例步骤S103中的遍历所述第一离散点得到左眼镜框的第一区域，包括：
根据每一第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一第一离散点在半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出半径区域内的像素值为左眼镜框的像素值；
将确定出的左眼镜框的像素值组成的区域确定为左眼镜框的第一区域。
具体实施时，根据每一第一离散点与该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径，包括：将相邻两第一离散点通过直线相连，得到直线点集q，计算直线点集q中每一点到Shape0和Shape1的距离，对计算得到的所有距离取平均，将平均值作为半径r的值。具体实施时，只需把直线点集q中每个点p与Shape0组成的点集q0和Shape1组成的点集q1计算欧氏距离，取最小值作为当前点p到Shape0和Shape1的距离。
具体实施时，计算每一第一离散点在半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图，包括：从直线点集q中先取出一个点p，计算点p位置处半径为r区域的权重图，其中，直线点集q中每个点均需要计算，计算区域权重图公式为：weight(x,y)＝r-dist(x,y,q)，其中r表示半径，计算距离公式为：其中n是直线点集q包括的点的总数，(qxi，qyi)是直线点集q中第i个点的坐标。
之后根据统计权重直方图公式hist中的坐标在原始图片中取灰度像素值，该区域内的灰度像素值范围为0到255，再取出该区域内的像素值，统计该区域的权重直方图，统计权重直方图公式为：hist(I(x+px,y+py))＝hist(I(x+px,y+py))+weight(x+px,y+py)，公式中，x和y的取值范围为[-r,r]，px和py是点p的坐标，I(x，y)是点(x，y)处的像素值。由于步骤S101定位出来的第一离散点是准确的，说明半径区域r内的点离直线点集q处越近，眼镜框概率越大，离直线点集q处越远，眼镜框概率越小。
具体实施时，根据每一权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出半径区域内的像素值为左眼镜框的像素值，包括：得到直方图最大值所在的位置，即图片坐标位置，根据统计权重直方图公式hist得到像素值v，设定一个容差t，对该区域内的所有像素值进行判断，该区域内像素值若落入范围[v-t，v+t]内，则标记为眼镜框区域255，否则为0。直线点集q中其它点处理流程与点p一致，将直线点集q中所有点确定出的左眼镜框区域确定为左眼镜框的第一区域G1。
具体地，本发明具体实施例遍历第二离散点得到右眼镜框的第二区域的方法与遍历第一离散点得到左眼镜框的第一区域的方法相同，包括：
根据每一第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一第二离散点在半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出半径区域内的像素值为右眼镜框的像素值；
将确定出的右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
具体实施时，步骤S103中将第一区域与左眼镜框的粗略区域取交集确定出左眼镜框区域，包括：第一区域与左眼镜框的粗略区域相同位置处像素值都为255，则该位置处的最终像素值为255，否则该位置处的最终像素值为0。步骤S103中将第二区域与右眼镜框的粗略区域取交集确定出右眼镜框区域，包括：第二区域与右眼镜框的粗略区域相同位置处像素值都为255，则该位置处的最终像素值为255，否则该位置处的最终像素值为0。
最后，本发明具体实施例在以上步骤的基础上，去除噪声点，融合眼镜边框点，得到眼镜框的精确区域。
具体地，本发明具体实施例步骤S104中的去除左眼镜框区域和右眼镜框区域中的噪声点，包括：计算左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；以及，计算右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
具体实施时，通过步骤S103得到的眼镜框区域存在一定的噪声点，需要将其去除，这里的噪声点指的是非眼镜边框点，例如眼睛与黑框眼镜像素值极为相似，需要将眼睛噪声点去除。计算左眼镜框区域的宽度的方法是：求相邻两第一离散点之间直线的法线，该法线与第一区域G1相交的最长距离作为宽度，计算直线点集q中所有点对应位置处的宽度，最后求平均，得到左眼镜框宽度w。右眼镜框宽度的计算方法与左眼镜框宽度的计算方法相同，这里不再赘述。
具体实施时，步骤S104中的根据第一离散点和第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，包括：按照预先规定取出左右眼镜框点各自对称匹配点，共t组匹配点，实际设计时根据左右眼镜框点的具***置以及数量进行规定，求出t个方向向量，由t个方向向量得出平均向量，与平均向量距离最小的一组向量作为鼻梁眼镜框的方向向量v。
具体实施时，由用户根据位于鼻梁处左右眼镜框的点确定出步骤S104中眼镜框的鼻梁区域G3，求区域G3中每点p与该点法线方向点相减后取绝对值再平均值m，按照方向向量v统计区域G3中所有m值，m值最大的位置即为眼镜框位置，由该位置点向方向向量v作直线，直线与左眼镜框区域和右眼镜框区域相交，得出鼻梁处的眼镜边框线，再将该线处一定范围内像素容差t相近的值加入到左眼镜框区域和右眼镜框区域中。其中，上述法线方向点p确定方法是由方向向量v确定点p处的法线，再将法线与区域G3相交所得。
优选地，本发明具体实施例为了更精确的得到眼镜框区域，在将鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，还包括：将鼻梁区域根据方向向量进行反转得到该鼻梁区域的反转区域，若鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
具体实施时，将上述区域G3根据方向向量v进行反转，得到区域G4，若区域G3和区域G4相同位置处的像素值相同，则该值保持不变，若值不同，则计算该值与周边区域u中所有值的差值，周边区域u的区域大小在实际生成过程中，可以由用户根据实际需要进行设定，若差值小于设定阈值，则该点记为255，否则记为0，得到精确的眼镜框区域，该设定阈值按照眼镜框像素值与肤色像素值之间的差值设定。
基于同一发明构思，本发明具体实施例还提供了一种用于确定眼镜框区域的装置，如图4所示，包括：
稀疏点定位模块41，用于接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
眼镜框粗略定位模块42，用于根据每一第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
眼镜框区域定位模块43，用于遍历第一离散点得到左眼镜框的第一区域，将第一区域与左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历第二离散点得到右眼镜框的第二区域，将第二区域与右眼镜框的粗略区域取交集确定出右眼镜框区域；
眼镜框区域确定模块44，用于去除左眼镜框区域和右眼镜框区域中的噪声点，并根据第一离散点和第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据方向向量确定出眼镜框的鼻梁区域，将鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域。
具体地，本发明具体实施例中的眼镜框粗略定位模块具体用于，对每一第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于第一曲线和第二曲线之间的区域确定为左眼镜框的粗略区域；
以及对每一第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于第三曲线和第四曲线之间的区域确定为右眼镜框的粗略区域。
具体地，本发明具体实施例中的眼镜框区域定位模块具体用于，根据每一第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一第一离散点在半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出半径区域内的像素值为左眼镜框的像素值；将确定出的左眼镜框的像素值组成的区域确定为左眼镜框的第一区域；
以及根据每一第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一第二离散点在半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出半径区域内的像素值为右眼镜框的像素值；将确定出的右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
具体地，本发明具体实施例中的眼镜框区域确定模块具体用于，计算左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；以及计算右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
具体地，本发明具体实施例中将鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，眼镜框区域确定模块具体还用于，将鼻梁区域根据方向向量进行反转得到该鼻梁区域的反转区域，若鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
综上所述，本发明具体实施例提供的眼镜框区域的确定方法，该方法根据特征点定位算法确定出与左右眼镜框的位置对应的若干离散点的位置坐标；根据每一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左右眼镜框的粗略区域；将遍历所有的离散点后得到的区域与左右眼镜框的粗略区域取交集确定出左右眼镜框区域；去除左右眼镜框区域中的噪声点，并根据离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据该方向向量确定出眼镜框的鼻梁区域，将鼻梁区域添加到去除了噪声点的左右眼镜框区域中，得到完整的眼镜框区域，与现有技术相比，本发明提供一种新的眼镜框区域的确定方法，该方法不需要通过重构的方法得到眼镜框区域，能够提高眼镜框区域的定位精度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种用于确定眼镜框区域的方法，其特征在于，该方法包括：
接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
遍历所述第一离散点得到左眼镜框的第一区域，将所述第一区域与所述左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历所述第二离散点得到右眼镜框的第二区域，将所述第二区域与所述右眼镜框的粗略区域取交集确定出右眼镜框区域；
去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，并根据所述第一离散点和所述第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据所述方向向量确定出眼镜框的鼻梁区域，将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域；
所述遍历所述第一离散点得到左眼镜框的第一区域，包括：
根据每一所述第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一所述第一离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为左眼镜框的像素值；
将确定出的所述左眼镜框的像素值组成的区域确定为左眼镜框的第一区域；
所述遍历所述第二离散点得到右眼镜框的第二区域，包括：
根据每一所述第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；
计算每一所述第二离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；
根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为右眼镜框的像素值；
将确定出的所述右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
2.根据权利要求1所述的方法，其特征在于，所述根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域，包括：
对每一所述第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于所述第一曲线和所述第二曲线之间的区域确定为左眼镜框的粗略区域；
所述根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域，包括：
对每一所述第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于所述第三曲线和所述第四曲线之间的区域确定为右眼镜框的粗略区域。
3.根据权利要求1所述的方法，其特征在于，所述去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，包括：
计算所述左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；
以及计算所述右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
4.根据权利要求1所述的方法，其特征在于，所述将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，该方法还包括：
将所述鼻梁区域根据所述方向向量进行反转得到该鼻梁区域的反转区域，若所述鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
5.一种用于确定眼镜框区域的装置，其特征在于，包括：
稀疏点定位模块，用于接收包含眼镜框的灰度图像，根据特征点定位算法确定出与左眼镜框的位置对应的每一第一离散点的位置坐标，以及与右眼镜框的位置对应的每一第二离散点的位置坐标；
眼镜框粗略定位模块，用于根据每一所述第一离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出左眼镜框的粗略区域；以及，根据每一所述第二离散点的位置坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点，确定出右眼镜框的粗略区域；
眼镜框区域定位模块，用于遍历所述第一离散点得到左眼镜框的第一区域，将所述第一区域与所述左眼镜框的粗略区域取交集确定出左眼镜框区域；以及，遍历所述第二离散点得到右眼镜框的第二区域，将所述第二区域与所述右眼镜框的粗略区域取交集确定出右眼镜框区域；
眼镜框区域确定模块，用于去除所述左眼镜框区域和所述右眼镜框区域中的噪声点，并根据所述第一离散点和所述第二离散点确定一方向向量作为鼻梁眼镜框的方向向量，根据所述方向向量确定出眼镜框的鼻梁区域，将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中，得到完整的眼镜框区域；
所述眼镜框区域定位模块具体用于，根据每一所述第一离散点与将该第一离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一所述第一离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为左眼镜框的像素值；将确定出的所述左眼镜框的像素值组成的区域确定为左眼镜框的第一区域；
以及根据每一所述第二离散点与将该第二离散点的坐标值按照预先设定的缩放因子缩小和放大后分别对应的新的离散点确定一半径；计算每一所述第二离散点在所述半径区域的权重图，并取出该半径区域内的像素值，统计该半径区域内的像素值的权重直方图；根据每一所述权重直方图中的最大值位置处的像素值以及预先设置的容差，确定出所述半径区域内的像素值为右眼镜框的像素值；将确定出的所述右眼镜框的像素值组成的区域确定为右眼镜框的第二区域。
6.根据权利要求5所述的装置，其特征在于，所述眼镜框粗略定位模块具体用于，对每一所述第一离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第一曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第二曲线，将位于所述第一曲线和所述第二曲线之间的区域确定为左眼镜框的粗略区域；
以及对每一所述第二离散点的坐标值按照预先设定的缩放因子进行缩小和放大，将与缩小后的坐标值对应的相邻两新的离散点连接形成第三曲线，将与放大后的坐标值对应的相邻两新的离散点连接形成第四曲线，将位于所述第三曲线和所述第四曲线之间的区域确定为右眼镜框的粗略区域。
7.根据权利要求5所述的装置，其特征在于，所述眼镜框区域确定模块具体用于，计算所述左眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除；以及计算所述右眼镜框区域的宽度，将位于该宽度范围以外的点作为噪声点去除。
8.根据权利要求5所述的装置，其特征在于，所述将所述鼻梁区域添加到去除了噪声点的左眼镜框区域和右眼镜框区域中之后，所述眼镜框区域确定模块具体还用于，将所述鼻梁区域根据所述方向向量进行反转得到该鼻梁区域的反转区域，若所述鼻梁区域与该鼻梁区域的反转区域相同位置处的像素点的像素值相同，则确定该点为鼻梁区域的像素点；否则，计算该点与该点周边预设区域中所有像素点的像素值的差值，若计算得到的差值小于预先设定的值，则确定该点为鼻梁区域的像素点。
CN201711172696.6A 2017-11-22 2017-11-22 一种用于确定眼镜框区域的方法及装置 Active CN107944385B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711172696.6A CN107944385B (zh) 2017-11-22 2017-11-22 一种用于确定眼镜框区域的方法及装置
PCT/CN2017/118279 WO2019100511A1 (en) 2017-11-22 2017-12-25 An image processing method and system
EP17932826.5A EP3698269A4 (en) 2017-11-22 2017-12-25 IMAGE PROCESSING METHOD AND SYSTEM
US16/881,059 US11501563B2 (en) 2017-11-22 2020-05-22 Image processing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711172696.6A CN107944385B (zh) 2017-11-22 2017-11-22 一种用于确定眼镜框区域的方法及装置

Publications (2)

Publication Number Publication Date
CN107944385A CN107944385A (zh) 2018-04-20
CN107944385B true CN107944385B (zh) 2019-09-17

Family

ID=61929801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711172696.6A Active CN107944385B (zh) 2017-11-22 2017-11-22 一种用于确定眼镜框区域的方法及装置

Country Status (1)

Country Link
CN (1) CN107944385B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866436B (zh) * 2019-08-29 2023-04-07 西安理工大学 基于卷积神经网络特征重构的眼镜自动去除方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及***、人脸图像的眼镜框去除方法与装置
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242640A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 対象物検出方法および装置並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及***、人脸图像的眼镜框去除方法与装置
CN104408426A (zh) * 2014-11-27 2015-03-11 小米科技有限责任公司 人脸图像眼镜去除方法及装置

Also Published As

Publication number Publication date
CN107944385A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
US5488442A (en) Progressive multifocal ophthalmic lens
EP2224276B1 (en) Method for designing a pair of progressive refractive power lens
KR101902372B1 (ko) 누진 안경 렌즈
JP2859055B2 (ja) 眼鏡用のマルチフォーカルレンズ
US8079705B2 (en) Production of an ophthalmic element adapted for foveal and peripheral vision
JP2859054B2 (ja) 眼鏡用のマルチフォーカルレンズ
US5812238A (en) Progressive multifocal ophthalmic lens pair
US20020196410A1 (en) Progressive addition lenses
US11333906B2 (en) Determination of at least one optical parameter of a spectacle lens
KR102621579B1 (ko) 안과용 렌즈의 3차원 효율을 결정하는 방법 및 안과용 렌즈를 계산하는 연관된 방법
US20070030445A1 (en) Progressive addition lenses with reduced unwanted astigmatism
JP2005512121A (ja) バランスされた累進レンズ
CN101243352B (zh) 短通道渐进多焦点镜片
JP2012525599A (ja) 眼科用レンズの設計の光学特性を評価するための方法
CN107944385B (zh) 一种用于确定眼镜框区域的方法及装置
JPH08505482A (ja) 累進効果を有する眼鏡レンズ
CN115330663A (zh) 眼前节oct图像中巩膜镜和泪液镜边界分割方法
AU2002325154B2 (en) Progressive spectacle lens having a genuine short progression area
JP2022532028A (ja) 装用者に適合する眼用累進多焦点レンズ
CN107567595B (zh) 用于修改光学***的非屈光参数的方法
CN115147203B (zh) 基于大数据的金融风险分析方法
US20220390771A1 (en) System and method for fitting eye wear
EP4300172A1 (en) Method for determining lens fitting parameters
EP4227910A1 (en) Computer implemented method for determining a similarity score between a reference eyeglasses frame and a plurality of model eyeglasses frames
Asano et al. Eye detection method robust to facial pose changes for eye input device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant