CN111368678A - 图像处理方法及相关装置 - Google Patents

图像处理方法及相关装置 Download PDF

Info

Publication number
CN111368678A
CN111368678A CN202010120444.4A CN202010120444A CN111368678A CN 111368678 A CN111368678 A CN 111368678A CN 202010120444 A CN202010120444 A CN 202010120444A CN 111368678 A CN111368678 A CN 111368678A
Authority
CN
China
Prior art keywords
face
area
boundary frame
boundary
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010120444.4A
Other languages
English (en)
Other versions
CN111368678B (zh
Inventor
颜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010120444.4A priority Critical patent/CN111368678B/zh
Publication of CN111368678A publication Critical patent/CN111368678A/zh
Priority to PCT/CN2021/072461 priority patent/WO2021169668A1/zh
Application granted granted Critical
Publication of CN111368678B publication Critical patent/CN111368678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法及相关装置，应用于电子设备，包括：获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。本申请实施例有利于提高人脸关键点检测的精度。

Description

图像处理方法及相关装置
技术领域
本申请涉及移动终端技术领域，具体涉及一种图像处理方法及相关装置。
背景技术
人脸关键点检测应用领域十分广泛，通过人脸关键点检测能够精准定位到人脸的五官，从而可以对人脸的五官进行定位或调整。例如，智能手机和平板电脑等移动设备的人脸识别功能、相机拍照时的美颜和美妆功能，都需要精准的人脸关键点检测。基于深度学习的人脸关键点检测，首先通过人脸检测网络从人脸图像中识别出人脸区域，再将人脸区域输入到人脸关键点检测网络以获取人脸关键点，由于人脸的多样性，不同人脸图像检测出来的人脸区域在大小和形状上不一致，从而导致无法获取到更精准的人脸关键点。
发明内容
本申请实施例提供了一种图像处理方法及相关装置，有利于提高人脸关键点检测精度。
第一方面，本申请实施例提供一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；
对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；
将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；
将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备包括眼球追踪组件；所述图像处理装置包括处理单元和通信单元，其中，
所述处理单元，用于在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；以及用于识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；以及用于根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；以及用于根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。
第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备首先获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框，其次，对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框，然后，将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标，最后，将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。由于在将参考人脸区域的边界框调整为标准人脸区域的边界框得到过程中，将矩形边界框调整为了正方形边界框，且避免了人脸图像的变形和/或扭曲，从而，有利于提高人脸关键点检测的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种图像处理方法的流程示意图；
图1B是本申请实施例提供的一种参考人脸区域的示意图；
图1C是本申请实施例提供的一种标准人脸区域的示意图；
图1D是本申请实施例提供的一种待调整边界框的示意图；
图1E是本申请实施例提供的另一种待调整边界框的示意图；
图2是本申请实施例提供的另一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种电子设备的结构示意图；
图4是本申请实施例提供的一种图像处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理的精度。用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
传统的人脸关键点检测算法主要分为坐标回归方法和基于神经网络的深度学习方法。由于基于神经网络的深度学习方法，尤其是基于卷积神经网络的方法在许多计算机视觉任务中都取得了非常好的效果，对人脸关键点检测的性能提升也有显著帮助，因此目前的人脸关键点检测算法主要以基于卷积神经网络的深度学习方法为主。基于深度学习的人脸关键点检测的一般步骤是，首先通过人脸检测网络从给定图像中检测出人脸区域，然后再将检测出的人脸区域输入人脸关键点检测网络进行人脸关键点检测。由于人脸的多样性，不同图像检测出来的人脸区域在大小和形状上存在不一致，因此需要将其调整到统一尺寸，再输入人脸关键点检测网络中进行人脸关键点检测。
本申请中将人脸检测模型直接检测出的人脸区域称为参考人脸区域，将调整尺寸后准备输入到人脸关键点检测模型的人脸区域称为标准人脸区域，其中，标准人脸图像的形状为正方形。在现有技术中，将参考人脸区域转换成标准人脸区域，一般是使用强制将图片的尺寸变为预设尺寸的方法，强制变换对于参考人脸区域接近正方形的图像来说影响不大，但是对于不是正方形图像的参考人脸区域来说，通过强制变化会造成人脸变形和扭曲，从而对接下来的人脸关键点检测的精度造成很大的影响。因此，本申请提出一种统一的、用于将标准人脸图像转换为参考人脸图像的方法，保证了所有人脸图像的变换过程都是一致的，减少了人脸变形和扭曲情况的发生，有利于提高人脸关键点检测的精度。
本申请提出一种图像处理方法，该处图像处理方法用于提高人脸关键点检测的精度。本申请中获取到的标准人脸区域满足以下条件：标准人脸区域为正方形；标准人脸区域中包括大部分的人脸关键点；标准人脸区域尺寸合适，且标准人脸区域的边界框与人脸关键点之间的距离合适；标准人脸区域的边界框与参考人脸区域的边界框之间存在相关性。通过本申请提供的用于实现上述四个条件的人脸关键点检测方法，可以保证所有人脸图像获取到的人脸关键点更为准确，且本申请中的变换过程不利用人脸关键点相关的先验信息，并且变换后的人脸区域为正方形，不会出现强制变换带来的人脸变形和扭曲问题，对人脸关键点检测精度的提高有显著效果。
请参阅图1A，图1A是本申请实施例提供了一种图像处理方法的流程示意图，应用于电子设备。如图所示，本图像处理方法包括：
S101，所述电子设备获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框。
其中，可使用训练好的人脸检测模型对人脸图像进行人脸检测，从而确定参考人脸区域和参考人脸区域的边界框。如图1B所示，100为包含人脸关键点标注的人脸图像，101为参考人脸图像的边界框，边界框内为参考人脸图像，人脸关键点标注102的位置对应人脸关键点。通过大量的实验证明发现，虽训练好的人脸检测模型可以检测到大部分的人脸，包括侧脸与遮挡部分，但是人脸检测模型检测出的参考人脸区域存在以下问题：部分人脸关键点没有位于参考人脸区域的边界框对应的矩形区域内，参考人练区域的边界框形状为矩形而不是正方形，且位置偏向额头方向。
S102，所述电子设备对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框。
其中，参考人脸区域的边界框形状一般为矩形，因此需要将边界框。从举行调整为正方形，从而得到标准人脸区域的边界框。通过对大量参考人脸图像的边界框进行观察，发现参考人脸图像的边界框的高度一般总是大于宽度，因此在对参考人脸区域的边界框进行调整时，可以对边界框的宽度进行扩展，扩展后的边距框可以包括更多的人脸关键点，此外还发现，参考人脸区域的边界框一般位置相对于人脸偏上，经过调整后，如图1C所示，101为参考人脸区域的边界框，103为标准人脸区域的边界框，可见，相较于边界框101，边界框103包括了更多的人脸检测关键点。
S103，所述电子设备将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标。
其中，通过本申请提供的图像处理方法，标准人脸区域对应的人脸图像为正方形人脸图像，且该正方形人脸图像中没有出现人脸变形和扭曲的情况，同时包括了更多的人脸关键点，将该正方形人脸图像输入到第一神经网络模型，可得到人脸关键点坐标，将得到的人脸关键点坐标作为样本数据，可用于对第二神经网络模型进行训练，其中，第一神经网络模型用于对人脸图像中的人脸关键点进行定位，第二神经网络模型用于高精度检测人脸关键点。
S104，所述电子设备将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
其中，第二神经网络模型为卷积神经网络模型，通过样本数据对第二神经网络模型进行迭代训练和优化，可得到一个高精度的人脸关键点检测模型，样本数据包括所述人脸图像的人脸关键点坐标。
可以看出，本申请实施例中，电子设备首先获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框，其次，对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框，然后，将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标，最后，将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。由于在将参考人脸区域的边界框调整为标准人脸区域的边界框得到过程中，将矩形边界框调整为了正方形边界框，且避免了人脸图像的变形和/或扭曲，从而，有利于提高人脸关键点检测的精度。
在一个可能的示例中，所述对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，包括：确定所述参考人脸区域的边界框的高度和宽度；在检测到所述宽度小于所述高度时，计算所述宽度和所述高度的差值绝对值；将所述参考人脸区域的边界框的宽度调整为和所述高度一致，并将所述边界框向下移动得到所述标准人脸区域的边界框，其中，所述向下移动的距离为所述差值绝对值的四分之一。
其中，确定参考人脸区域的边界框的高度和宽度，一般情况下，参考人脸区域的边界框形状为矩形，且宽度小于高度，因此，在检测到宽度小于高度时，计算宽度和高度的差值绝对值，此时，可以将参考人脸区域的边界然后对呀框的宽度调整为和高度一致，并且将边界框向下移动得到标准人脸区域的边界框，向下移动的距离为差值绝对值的四分之一。通过对大量人脸图像的参考人脸区域的边界框和参考人脸区域内的人脸图像进行比较和位置调整，发现向下移动距离为差值绝对值的四分之一时，可以使更多的人脸检测关键点包含在边界框内。
可见，本示例中，由于参考人脸区域的边界框的宽度小于高度，因此将宽度调整为和高度一致后，可得到形状为正方形的边界框，且该正方形的边界框可以将更人脸关键点包含进来，由于参考人脸区域的边界框位置通常相对于人脸偏上，因此向下移动正方形边界框可以将更多人脸下部位的人脸关键点包含进来，有利于提高人脸关键点检测的准确度。
在一个可能的示例中，所述将所述边界框向下移动得到所述标准人脸区域的边界框，包括：判断下移后的所述边界框是否位于所述人脸图像的显示区域；若否，对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，所述调整用于使所述边界框位于所述人脸图像的显示区域内。
其中，若将所述边界框向下移动后，边界框被移出所述人脸图像的显示区域，则需要对下移后的所述边界框再次进行调整，其实所述边圈框完全位于所述人脸图像的显示区域内。如图1D所示，向下移动后得到的边界框103超出了人脸图像的显示区域，因此，需要对图1D中的边界框再次进行调整，使边界框103完全位于人脸图像的显示区域内。
可见，本示例中，在人脸图像位于显示区域边缘时，将边界框向下移动可能会导致边界框超出人脸显示区域，因此，在将所述边界框向下移动后，还需要判断下以后的边界框是否完全位于人脸图像的显示区域内，从而在检测到下移后的边界框没有完全位于显示区域内时，需要再次对边界框进行调整。
在一个可能的示例中，所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，包括：在检测到下移后的所述边界框面积小于所述人脸图像面积时，计算下移后的所述边界框相对于所述人脸图像的偏移距离和偏移方向；按照所述偏移方向的相反方向移动所述边界框，使移动距离等于所述偏移距离且移动后的所述边界框位于所述人脸图像的显示区域内。
其中，在对下移后的边界框进行调整时，首先采取移动边界框的策略，通过移动边界框使边界框可以完全平移到人脸图像的显示区域内，首先检测下移后的边界框面积是否小于人脸图像面积，若是，则计算下移后的边界框相对于人脸图像的偏移距离和偏移方向，如图1E所示，偏移距离为d，偏移方向向下，此时则可以按照偏移方向的相反方向移动边界框，且移动距离等于偏移距离，即向上移动边界框103，移动距离为d，此时，可使边界框103位于显示区域100内。
可见，本示例中，当下移后的边界框没有完全位于人脸图像的显示区域内时，首先检测边界框的面积是否小于人脸图像的面积，若是，则可以通过移动边界框的方式使边界框完全位于显示区域内，确定边界框相对于人脸图像显示区域的偏移方向和偏移距离，并按照偏移方向的反方向移动所述偏移距离，就可以得到位于人脸图像显示区域内的边界框。
在一个可能的示例中，所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，包括：确定下移后的所述边界框与所述人脸图像显示区域的相交区域，其中，所述相交区域为矩形区域；确定所述相交区域的较长边和较短边，并以所述较短边为基准从所述相交区域中裁剪一个正方形区域，确定所述正方形区域的边界框为所述标准人脸区域的边界框。
其中，若下移后的边界框没有完全位于人脸图像的显示区域，此时可以确定下移后的边界框与人脸图像显示区域的相交区域，可知，此相交区域一定为矩形区域，确定相交区域的较长边和较短边，并以较短边为基准，从相交区域中裁剪一个正方形区域，正方形区域的边长等于较短边长度，此时，得到一个位于相交区域内的正方形区域，该正方形区域可作为标准人脸区域。
可见，本示例中，若下移后的边界框没有完全位于人脸图像的显示区域内，为得到一个正方形的标准人脸区域的边界框，此时可以选择在相交区域中裁剪一个正方形区域，并将该正方形区域作为标准人脸区域。通过这种裁剪方式可以使得到的标准人脸图像区域的边界狂内包括更多的人脸检测关键点
在一个可能的示例中，所述以所述较短边为基准从所述相交区域中裁剪一个正方形区域，包括：检测所述相交区域是否存在和所述人脸图像显示区域边界、下移后的所述边界框同时重合的边；若是，则以重合边作为边长裁剪正方形区域，使裁剪出的正方形区域的边长长度等于所述相交区域较短边的长度；若否，从所述相交区域中对称裁剪出正方形区域，使裁剪出的正方形区域的中心和所述相交区域的中心重合。
其中，在检测到下移后的边界框和人脸区域显示区域之间的相交区域中，存在和人脸图像显示区域边界，以及下以后的边界框同时重合的边时，则以该重合的边作为边长，裁剪出一个正方形区域，裁剪出的正方形区域的边长长度等于相交区域较短边的长度，若没有重合的边时，则从相交区域中对称裁剪出一个正方形区域，裁剪出的正方形区域的中心和相交区域的中心重合。
可见，本示例中，从相交区域中裁剪出一个正方形区域作为标准人脸区域，首先检测相交区域中是否存在和人脸图像显示区域边界、以及下移后的边界框同时重合的边，若存在，则可以以该重合边为基准裁剪出一个正方形区域，从而保证裁剪出的正方形区域的边界框和下以后的边界框尽量重合，从而有利于保证该正方形区域内包括更多的人脸检测关键点。
在一个可能的示例中，所述方法还包括：在检测到所述人脸图像中包括多个人脸时，根据人脸数目将所述人脸图像划分为多个人脸图像区域；按照所述多个人脸的优先级，依次确定所述多个人脸图像区域的参考人脸区域。
其中，在检测到人脸图像中包括多个人脸时，可以根据人脸数目将人脸图像拆划分为多个人脸图像区域，依次对多个人脸区域中的每个人脸区域进行人脸关键点检测，如可以按照多个人脸的优先级依次确定多个人脸图像区域的参考人脸区域，进而确定多个人脸图像区域的人脸关键点。
可见，本示例中，在人脸图像为多人合照的情况下，人脸图像中会包括多个人脸，此时可以将人脸图像划分为多个人脸图像区域，依次对每个人脸图像区域中的人脸图像进行人脸关键点检测，从而可获取到每个人脸的人脸关键点。
与所述图1A所示的实施例一致的，请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，应用于电子设备。如图所示，本图像处理方法包括：
S201，所述电子设备获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框。
S202，所述电子设备确定所述参考人脸区域的边界框的高度和宽度。
S203，所述电子设备在检测到所述宽度小于所述高度时，计算所述宽度和所述高度的差值绝对值。
S204，所述电子设备将所述参考人脸区域的边界框的宽度调整为和所述高度一致，并将所述边界框向下移动得到所述标准人脸区域的边界框，其中，所述向下移动的距离为所述差值绝对值的四分之一。
S205，所述电子设备根据所述标准人脸区域的边界框确定标准人脸区域。
S206，所述电子设备将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标。
S207，所述电子设备将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
可以看出，本申请实施例中，电子设备首先获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框，其次，对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框，然后，将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标，最后，将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。由于在将参考人脸区域的边界框调整为标准人脸区域的边界框得到过程中，将矩形边界框调整为了正方形边界框，且避免了人脸图像的变形和/或扭曲，从而，有利于提高人脸关键点检测的精度。
此外，由于参考人脸区域的边界框的宽度小于高度，因此将宽度调整为和高度一致后，可得到形状为正方形的边界框，且该正方形的边界框可以将更人脸关键点包含进来，由于参考人脸区域的边界框位置通常相对于人脸偏上，因此向下移动正方形边界框可以将更多人脸下部位的人脸关键点包含进来，有利于提高人脸关键点检测的准确度。
与所述图1A、图2所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备300的结构示意图，该电子设备300运行有一个或多个应用程序和操作***，如图所示，该电子设备300包括处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在所述存储器320中，并且被配置由所述处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；
获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；
对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；
将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；
将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
可以看出，本申请实施例中，电子设备首先获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框，其次，对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框，然后，将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标，最后，将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。由于在将参考人脸区域的边界框调整为标准人脸区域的边界框得到过程中，将矩形边界框调整为了正方形边界框，且避免了人脸图像的变形和/或扭曲，从而，有利于提高人脸关键点检测的精度。
在一个可能的示例中，在所述对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框方面，所述程序中的指令具体用于执行以下操作：确定所述参考人脸区域的边界框的高度和宽度；在检测到所述宽度小于所述高度时，计算所述宽度和所述高度的差值绝对值；将所述参考人脸区域的边界框的宽度调整为和所述高度一致，并将所述边界框向下移动得到所述标准人脸区域的边界框，其中，所述向下移动的距离为所述差值绝对值的四分之一。
在一个可能的示例中，在所述将所述边界框向下移动得到所述标准人脸区域的边界框方面，所述程序中的指令具体用于执行以下操作：判断下移后的所述边界框是否位于所述人脸图像的显示区域；若否，对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，所述调整用于使所述边界框位于所述人脸图像的显示区域内。
在一个可能的示例中，在所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框方面，所述程序中的指令具体用于执行以下操作：在检测到下移后的所述边界框面积小于所述人脸图像面积时，计算下移后的所述边界框相对于所述人脸图像的偏移距离和偏移方向；按照所述偏移方向的相反方向移动所述边界框，使移动距离等于所述偏移距离且移动后的所述边界框位于所述人脸图像的显示区域内。
在一个可能的示例中，在所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框方面，所述程序中的指令具体用于执行以下操作：确定下移后的所述边界框与所述人脸图像显示区域的相交区域，其中，所述相交区域为矩形区域；确定所述相交区域的较长边和较短边，并以所述较短边为基准从所述相交区域中裁剪一个正方形区域，确定所述正方形区域的边界框为所述标准人脸区域的边界框。
在一个可能的示例中，在所述以所述较短边为基准从所述相交区域中裁剪一个正方形区域方面，所述程序中的指令具体用于执行以下操作：检测所述相交区域是否存在和所述人脸图像显示区域边界、下移后的所述边界框同时重合的边；若是，则以重合边作为边长裁剪正方形区域，使裁剪出的正方形区域的边长长度等于所述相交区域较短边的长度；若否，从所述相交区域中对称裁剪出正方形区域，使裁剪出的正方形区域的中心和所述相交区域的中心重合。
在一个可能的示例中，所述程序中的指令具体用于执行以下操作：在检测到所述人脸图像中包括多个人脸时，根据人脸数目将所述人脸图像划分为多个人脸图像区域；按照所述多个人脸的优先级，依次确定所述多个人脸图像区域的参考人脸区域。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的装置400的功能单元组成框图。该图像处理装置400应用于电子设备，图像处理装置400包括处理单元401和通信单元402，其中：
所述处理单元401，用于通过所述通信单元402获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；以及用于对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；以及用于将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；以及用于将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
可以看出，本申请实施例中，电子设备首先获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框，其次，对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框，然后，将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标，最后，将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。由于在将参考人脸区域的边界框调整为标准人脸区域的边界框得到过程中，将矩形边界框调整为了正方形边界框，且避免了人脸图像的变形和/或扭曲，从而，有利于提高人脸关键点检测的精度。
在一个可能的示例中，在所述对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框方面，所述处理单元401具体用于：确定所述参考人脸区域的边界框的高度和宽度；以及用于在检测到所述宽度小于所述高度时，计算所述宽度和所述高度的差值绝对值；以及用于将所述参考人脸区域的边界框的宽度调整为和所述高度一致，并将所述边界框向下移动得到所述标准人脸区域的边界框，其中，所述向下移动的距离为所述差值绝对值的四分之一。
在一个可能的示例中，在所述将所述边界框向下移动得到所述标准人脸区域的边界框方面，所述处理单元401具体用于：判断下移后的所述边界框是否位于所述人脸图像的显示区域；若否，对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，所述调整用于使所述边界框位于所述人脸图像的显示区域内。
在一个可能的示例中，在所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框方面，所述处理单元401具体用于：在检测到下移后的所述边界框面积小于所述人脸图像面积时，计算下移后的所述边界框相对于所述人脸图像的偏移距离和偏移方向；以及用于按照所述偏移方向的相反方向移动所述边界框，使移动距离等于所述偏移距离且移动后的所述边界框位于所述人脸图像的显示区域内。
在一个可能的示例中，在所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框方面，所述处理单元401具体用于：确定下移后的所述边界框与所述人脸图像显示区域的相交区域，其中，所述相交区域为矩形区域；以及用于确定所述相交区域的较长边和较短边，并以所述较短边为基准从所述相交区域中裁剪一个正方形区域，确定所述正方形区域的边界框为所述标准人脸区域的边界框。
在一个可能的示例中，在所述以所述较短边为基准从所述相交区域中裁剪一个正方形区域方面，所述处理单元401具体用于：检测所述相交区域是否存在和所述人脸图像显示区域边界、下移后的所述边界框同时重合的边；若是，则以重合边作为边长裁剪正方形区域，使裁剪出的正方形区域的边长长度等于所述相交区域较短边的长度；若否，从所述相交区域中对称裁剪出正方形区域，使裁剪出的正方形区域的中心和所述相交区域的中心重合。
在一个可能的示例中，所述处理单元401具体用于：在检测到所述人脸图像中包括多个人脸时，根据人脸数目将所述人脸图像划分为多个人脸图像区域；按照所述多个人脸的优先级，依次确定所述多个人脸图像区域的参考人脸区域。
其中，所述电子设备还可包括存储单元403，处理单元401和通信单元402可以是控制器或处理器，存储单元403可以是存储器。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：
获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；
对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；
将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；
将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，包括：
确定所述参考人脸区域的边界框的高度和宽度；
在检测到所述宽度小于所述高度时，计算所述宽度和所述高度的差值绝对值；
将所述参考人脸区域的边界框的宽度调整为和所述高度一致，并将所述边界框向下移动得到所述标准人脸区域的边界框，其中，所述向下移动的距离为所述差值绝对值的四分之一。
3.根据权利要求2所述的方法，其特征在于，所述将所述边界框向下移动得到所述标准人脸区域的边界框，包括：
判断下移后的所述边界框是否位于所述人脸图像的显示区域；
若否，对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，所述调整用于使所述边界框位于所述人脸图像的显示区域内。
4.根据权利要求3所述的方法，其特征在于，所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，包括：
在检测到下移后的所述边界框面积小于所述人脸图像面积时，计算下移后的所述边界框相对于所述人脸图像的偏移距离和偏移方向；
按照所述偏移方向的相反方向移动所述边界框，使移动距离等于所述偏移距离且移动后的所述边界框位于所述人脸图像的显示区域内。
5.根据权利要求3所述的方法，其特征在于，所述对下移后的所述边界框进行调整得到所述标准人脸区域的边界框，包括：
确定下移后的所述边界框与所述人脸图像显示区域的相交区域，其中，所述相交区域为矩形区域；
确定所述相交区域的较长边和较短边，并以所述较短边为基准从所述相交区域中裁剪一个正方形区域，确定所述正方形区域的边界框为所述标准人脸区域的边界框。
6.根据权利要求5所述的方法，其特征在于，所述以所述较短边为基准从所述相交区域中裁剪一个正方形区域，包括：
检测所述相交区域是否存在和所述人脸图像显示区域边界、下移后的所述边界框同时重合的边；
若是，则以重合边作为边长裁剪正方形区域，使裁剪出的正方形区域的边长长度等于所述相交区域较短边的长度；
若否，从所述相交区域中对称裁剪出正方形区域，使裁剪出的正方形区域的中心和所述相交区域的中心重合。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
在检测到所述人脸图像中包括多个人脸时，根据人脸数目将所述人脸图像划分为多个人脸图像区域；
按照所述多个人脸的优先级，依次确定所述多个人脸图像区域的参考人脸区域。
8.一种图像处理装置，其特征在于，应用于电子设备，所述图像处理装置包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取人脸图像的参考人脸区域，并确定所述参考人脸区域的边界框；以及用于对所述参考人脸区域的边界框进行调整，得到标准人脸区域的边界框，并根据所述标准人脸区域的边界框确定标准人脸区域，针对所述边界框的调整用于将矩形边界框调整为正方形边界框；以及用于将所述标准人脸区域输入到所述第一神经网络模型以得到所述人脸图像的人脸关键点坐标；以及用于将包含所述人脸关键点坐标的样本数据输入到第二神经网络模型以对所述第二神经网络模型进行训练，其中，所述训练后的第二神经网络模型为高精度人脸关键点检测模型。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的图像处理方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的图像处理方法。
CN202010120444.4A 2020-02-26 2020-02-26 图像处理方法及相关装置 Active CN111368678B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010120444.4A CN111368678B (zh) 2020-02-26 2020-02-26 图像处理方法及相关装置
PCT/CN2021/072461 WO2021169668A1 (zh) 2020-02-26 2021-01-18 图像处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010120444.4A CN111368678B (zh) 2020-02-26 2020-02-26 图像处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN111368678A true CN111368678A (zh) 2020-07-03
CN111368678B CN111368678B (zh) 2023-08-25

Family

ID=71208133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010120444.4A Active CN111368678B (zh) 2020-02-26 2020-02-26 图像处理方法及相关装置

Country Status (2)

Country Link
CN (1) CN111368678B (zh)
WO (1) WO2021169668A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464740A (zh) * 2020-11-05 2021-03-09 北京科技大学 一种用于自顶向下姿态识别过程的图像处理方法及***
CN112818908A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 关键点检测方法、装置、终端及存储介质
WO2021169668A1 (zh) * 2020-02-26 2021-09-02 Oppo广东移动通信有限公司 图像处理方法及相关装置
WO2022037535A1 (zh) * 2020-08-21 2022-02-24 海信视像科技股份有限公司 显示设备及摄像头追踪方法
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657357B (zh) * 2021-10-20 2022-02-25 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN114116182B (zh) * 2022-01-28 2022-07-08 南昌协达科技发展有限公司 一种消杀任务分配方法、装置、存储介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068470A (ja) * 2008-09-12 2010-03-25 Dainippon Printing Co Ltd 顔画像の自動トリミング装置
CN107871098A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸特征点的获取方法和装置
US20190102872A1 (en) * 2017-09-29 2019-04-04 Apple Inc. Glare Reduction in Captured Images
US20190294929A1 (en) * 2018-03-20 2019-09-26 The Regents Of The University Of Michigan Automatic Filter Pruning Technique For Convolutional Neural Networks
CN110807448A (zh) * 2020-01-07 2020-02-18 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、***以及模型训练方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
US10747224B2 (en) * 2018-06-19 2020-08-18 Toyota Research Institute, Inc. Debugging an autonomous driving machine learning model
CN110674874B (zh) * 2019-09-24 2022-11-29 武汉理工大学 基于目标精细组件检测的细粒度图像识别方法
CN111368678B (zh) * 2020-02-26 2023-08-25 Oppo广东移动通信有限公司 图像处理方法及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068470A (ja) * 2008-09-12 2010-03-25 Dainippon Printing Co Ltd 顔画像の自動トリミング装置
CN107871098A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸特征点的获取方法和装置
US20190102872A1 (en) * 2017-09-29 2019-04-04 Apple Inc. Glare Reduction in Captured Images
US20190294929A1 (en) * 2018-03-20 2019-09-26 The Regents Of The University Of Michigan Automatic Filter Pruning Technique For Convolutional Neural Networks
CN110807448A (zh) * 2020-01-07 2020-02-18 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、***以及模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋加涛,刘济林,池哲儒,王蔚: "人脸正面图像中眼睛的精确定位" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169668A1 (zh) * 2020-02-26 2021-09-02 Oppo广东移动通信有限公司 图像处理方法及相关装置
WO2022037535A1 (zh) * 2020-08-21 2022-02-24 海信视像科技股份有限公司 显示设备及摄像头追踪方法
CN112464740A (zh) * 2020-11-05 2021-03-09 北京科技大学 一种用于自顶向下姿态识别过程的图像处理方法及***
CN112818908A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 关键点检测方法、装置、终端及存储介质
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115908260B (zh) * 2022-10-20 2023-10-20 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Also Published As

Publication number Publication date
WO2021169668A1 (zh) 2021-09-02
CN111368678B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111368678A (zh) 图像处理方法及相关装置
CN108681743B (zh) 图像对象识别方法和装置、存储介质
CN105488511B (zh) 图像的识别方法及装置
CN109684980B (zh) 自动阅卷方法及装置
US20150178903A1 (en) Image correction apparatus for correcting distortion of an image
CN111126394A (zh) 文字识别方法、阅读辅助设备、电路和介质
EP3273388A1 (en) Image information recognition processing method and device, and computer storage medium
WO2022134771A1 (zh) 表格处理方法、装置、电子设备及存储介质
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
CN110619334A (zh) 基于深度学习的人像分割方法、架构及相关装置
CN110827301B (zh) 用于处理图像的方法和装置
CN111149101A (zh) 一种目标图案查找方法及计算机可读存储介质
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
CN112348025A (zh) 字符检测方法及装置、电子设备和存储介质
CN110490065A (zh) 人脸识别方法及装置、存储介质、计算机设备
CN113610864B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11367296B2 (en) Layout analysis
CN104635932A (zh) 一种调节显示内容的方法和设备
CN112036268B (zh) 构件识别方法及相关装置
CN117561547A (zh) 景别确定方法、装置及计算机可读存储介质
CN112613409A (zh) 手部关键点检测方法、装置、网络设备及存储介质
CN112541506A (zh) 文本图像的矫正方法及装置、设备和介质
CN113298098A (zh) 基础矩阵估计方法及相关产品
CN111522988A (zh) 图像定位模型获取方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant