CN106682587A - 图像库构建方法及装置 - Google Patents

图像库构建方法及装置 Download PDF

Info

Publication number
CN106682587A
CN106682587A CN201611099286.9A CN201611099286A CN106682587A CN 106682587 A CN106682587 A CN 106682587A CN 201611099286 A CN201611099286 A CN 201611099286A CN 106682587 A CN106682587 A CN 106682587A
Authority
CN
China
Prior art keywords
image
width
width image
predetermined patterns
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611099286.9A
Other languages
English (en)
Inventor
陈书楷
钱叶青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Central Intelligent Information Technology Co., Ltd.
Original Assignee
Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhongkong Biological Recognition Information Technology Co Ltd filed Critical Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority to CN201611099286.9A priority Critical patent/CN106682587A/zh
Publication of CN106682587A publication Critical patent/CN106682587A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于数字图像处理技术领域，提供了图像库构建方法及装置，包括：对N幅图像进行对齐操作，所述N为大于1的整数；对对齐后的所述N幅图像分别进行预设部位的关键点检测；根据所述关键点检测的结果，在所述N幅图像中定位并提取所述预设部位的区域图像；在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。本发明中通过图像对齐操作，预设部位关键点检测，提取预设部位的区域图像，进行区域图像互换，从而合成新的图像，基于少量图像样本便可以生成大样本量的图像库。

Description

图像库构建方法及装置
技术领域
本发明属于数字图像处理技术领域，尤其涉及一种图像库构建方法及装置。
背景技术
利用深度学习的方法识别人脸及其属性时，图像数据库的数量直接影响着识别准确率。目前主要采用的图像库构建方法为过采样方法，过采样方法是对一幅图像按照上下左右以及中心共5个方向进行截取，保存该图像及其镜像图，1张图像可扩充至10张图像。但是这种方法构建的图像库的图像数量不多，使得基于深度学习的方法识别人脸及其属性时的准确率不高。
发明内容
本发明实施例的目的在于提供一种图像库构建方法及装置，旨在解决目前构建的图像库图像数量不多的问题。
本发明实施例是这样实现的，一种图像库构建方法，包括：
对N幅图像进行对齐操作，所述N为大于1的整数；
对对齐后的所述N幅图像分别进行预设部位的关键点检测；
根据所述关键点检测的结果，在所述N幅图像中定位并提取所述预设部位的区域图像；
在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
本发明实施例的另一目的在于提供一种图像库构建装置，包括：
对齐单元，用于对N幅图像进行对齐操作，所述N为大于1的整数；
检测单元，对对齐后的所述N幅图像分别进行预设部位的关键点检测；
提取单元，用于根据所述关键点检测的结果，在所述N幅图像中定位并提取预设部位的区域图像；
互换单元，用于在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
在本发明实施例中，通过图像对齐操作，预设部位关键点检测，提取预设部位的区域图像，进行区域图像互换，从而合成新的图像，基于少量图像样本便可以生成大样本量的图像库。
附图说明
图1是本发明实施例提供的图像库构建方法的流程图；
图2是本发明实施例提供的图像库构建方法S101的具体实现流程图；
图3是本发明实施例提供的图像库构建方法S104的具体实现流程图；
图4A是本发明实施例提供的交换嘴巴前和后的示意图；
图4B是本发明实施例提供的交换左眼前和后的示意图；
图4C是本发明实施例提供的交换右眼前和后的示意图；
图4D是本发明实施例提供的交换鼻子前和后的示意图；
图4E是本发明实施例提供的交换剩余脸部前和后的示意图；
图5是本发明实施例提供的5个人合成100张图像中的部分合成效果图的示意图；
图6是本发明实施例提供的第三方测试库中的部分图像示意图；
图7是本发明实施例提供的图像库构建装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本发明实施例以人脸图像为例进行介绍，但构建的图像库包括但不限于人脸图像库，还可以包括其他内容的图像，例如动物图像、花草图像、机器图像等等。
图1是本发明实施例提供的一种图像库构建方法的流程图。
在S101中，对N幅图像进行对齐操作，所述N为大于1的整数。
在本发明实施例中，对N幅图像进行对齐操作，可以是将N幅图像中某一相同主题的图像内容进行对齐操作。例如，当图像为人脸图像时，对齐操作是指将图像中的人脸进行对齐操作，使得N幅图像中的人脸处于同一水平位置且人脸的大小基本相一致。具体地，当图像为人脸图像时，如图2所示，所述对N幅图像进对齐操作包括：
S201，将所述N幅图像中的预设五官对齐至同一水平位置。
S202，调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
在图2对应的实施例中，可以以人脸中的某一五官为基准，来实现人脸图像的对齐操作。具体地，首先将N幅图像进行水平位置调整，以使这N幅图像中的某五官对齐至同一水平位置，例如，使N幅图像中人脸的双眼均位于同一水平位置，或者使N幅图像中人脸的嘴巴均位于同一水平位置。在完成了水平位置调整之后，还需要对N幅图像的大小进行调整，以使这N幅图像中该五官的大小相一致。例如，当预设五官为双眼时，需要调整所述N幅图像的大小，直至所述N幅图像中的双眼间距相同；或者，当预设五官为嘴巴时，需要调整N幅图像的大小，直至N幅图像中嘴巴的宽度相一致；又或者，当预设五官为鼻子时，需要调整N幅图像的大小，直至N幅图像中鼻翼的宽度相一致。通过图2对应的实施例，便可以实现人脸图像中人脸区域的对齐，以保证N幅图像中的人脸的大小相一致，避免因为人脸大小不一而导致的后续生成的新人脸图像不符合人脸真实比例的情况出现。
优选地，对齐图像之后将所有图像裁剪为相同尺寸，例如，对于人脸图像来说，在保证其中人脸部分的完整性的同时，将N幅图像裁剪成相同大小，以使得最后建立的图像库中图像样本更加规范，易于使用。
在S102中，对对齐后的所述N幅图像分别进行预设部位关键点检测。
所述预设部位包括：眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
具体地，可以通过CFSS(Face Alignment by Coarse-to-Fine Shape Searching，由粗到精的搜索检测方法)、SDM(Supervised Descent Method，有监督的梯度下降法)、或LBF(Local Binary Fitting，局部二值拟合算法)等算法进行关键点检测。例如，当预设部分为眉毛时，通过关键点检测，可以检测出图像中眉毛的眉头、眉峰、眉尾等关键点，基于这些关键点，便可以确定出眉毛在图像中的所占区域。
在S103中，根据所述预设部位关键点检测的结果，在所述N幅图像中定位并提取预设部位的区域图像。
具体地，根据关键点检测结果，定位眉毛、眼睛、鼻子、嘴巴、脸部轮廓等所在位置的图像区域，并将该图像区域内的图像提取出来。
在S104中，在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
具体地，如图3所示，所述在所述N幅图像中进行相同所述预设部位的区域图像互换包括：
S301，在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像。
S302，将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位置，以生成N-1幅新图像。
图3对应的实施例中，实现的是在N幅图像中将其中一幅图像的预设部分的区域图像替换至剩余N-1幅图像的相同区域，即可以生成N-1幅新图像。由于将任意两幅图像之间一次相同预设部位的区域图像互换即可产生两幅新的图像，那么可以想到，在N幅图像中，任意俩俩图像之间相同预设部位的区域图像互换，或者，进一步地，在N幅图像中，任意俩俩图像之间多个预设部位的区域图像均进行区域图像互换，则会产生大量的新图像，从而可以简单高效地通过少量图像样本生成更多新的图像样本，以完成图像库的构建。
图4A-4E以两幅图像为例，示出了合成新图像的过程，左边两幅图像为原始图像，右边两幅图像为合成后的图像，具体为：
图4A是本发明实施例提供的交换嘴巴前和后的示意图；
图4B是本发明实施例提供的交换左眼前和后的示意图；
图4C是本发明实施例提供的交换右眼前和后的示意图；
图4D是本发明实施例提供的交换鼻子前和后的示意图；
图4E是本发明实施例提供的交换剩余脸部前和后的示意图；
其中，图4E中剩余脸部即除了左右眼、嘴巴、鼻子后的脸部。
具体地，如图4A所示，
首先将两张原始图像分别进行复制：
然后提取女士(男士)图像的嘴巴区域图像；
将女士(男士)图像的嘴巴区域图像叠加到复制后的男士(女士)图像的嘴巴区域图像上，从而形成一张新的图像。
同理，图4B-4E的合成图像过程与图4A的过程一样。
图5是本发明实施例提供的5个人合成100张图像中的部分合成效果图的示意图。
图6示出了第三方测试库expression-A中的部分图像，其中在此数据库中的图像包括悲伤表情和不悲伤表情，共752张图像，两类表情各376张。
表1
方法 最佳测试准确率(％) 速度(ms)
原始图像 51.46 30.01
过采样方法 52.13 25.39
合成图像 59.97 25.45
表1示出了训练悲伤表情的最佳模型在第三方库上的测试结果。从上表可以看出：
本发明实施例合成方法在人脸的悲伤表情识别方面，其准确率为59.97％，比对原始数据训练模型的最好测试结果高8.51％，比通过过采样方法的最好测试结果高7.84％；且本发明实施例识别速度较快，比对原始数据训练模型的识别速度快4.56ms，比通过过采样方法的识别速度快9.94ms。
所以，应用本发明实施例合成方法来增加人脸属性分析的训练样本是一种非常好的方法。
对应于该发明实施例提供的一种构建图像库的方法，图7示出了本发明实施例提供的一种图像库构建装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。
参照图7，该装置包括：
对齐单元71，对N幅图像进行对齐操作，所述N为大于1的整数；
检测单元72，对对齐后的所述N幅图像分别进行预设部位关键点检测；
提取单元73，根据所述预设部位关键点检测的结果，在所述N幅图像中定位并提取预设部位的区域图像；
互换单元74，在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
可选地，所述图像为人脸图像，所述对N幅图像进对齐操作包括：
将所述N幅图像中的预设五官对齐至同一水平位置；
调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
可选地，所述预设五官包括双眼，所述调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致包括：
调整所述N幅图像的大小，直至所述N幅图像中的双眼间距相同。
可选地，所述对对齐后的所述N幅图像分别进行预设部位关键点检测包括：
通过以下任一算法对对齐后的所述N幅图像分别进行预设部位的关键点检测：由粗到精的搜索检测方法CFSS、有监督的梯度下降法SDM和局部二值拟合算法LBF。
可选地，所述在所述N幅图像中进行相同所述预设部位的区域图像互换包括：
在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像；
将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位置，以生成N-1幅新图像。
在本发明实施例中，通过图像对齐操作，预设部位关键点检测，提取预设部位的区域图像，进行区域图像互换，从而合成新的图像，基于少量图像样本便可以生成大样本量的图像库。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像库构建方法，其特征在于，包括：
对N幅图像进行对齐操作，所述N为大于1的整数；
对对齐后的所述N幅图像分别进行预设部位的关键点检测；
根据所述关键点检测的结果，在所述N幅图像中定位并提取所述预设部位的区域图像；
在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
2.如权利要求1所述的方法，其特征在于，所述图像为人脸图像，所述对N幅图像进对齐操作包括：
将所述N幅图像中的预设五官对齐至同一水平位置；
调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
3.如权利要求2所述的方法，其特征在于，所述预设五官包括双眼，所述调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致包括：
调整所述N幅图像的大小，直至所述N幅图像中的双眼间距相同。
4.如权利要求1所述的方法，其特征在于，所述对对齐后的所述N幅图像分别进行预设部位的关键点检测包括：
通过以下任一算法对对齐后的所述N幅图像分别进行预设部位的关键点检测：由粗到精的搜索检测方法CFSS、有监督的梯度下降法SDM和局部二值拟合算法LBF。
5.如权利要求1所述的方法，其特征在于，所述在所述N幅图像中进行相同所述预设部位的区域图像互换包括：
在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像；
将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位置，以生成N-1幅新图像。
6.一种图像库构建装置，其特征在于，包括：
对齐单元，用于对N幅图像进行对齐操作，所述N为大于1的整数；
检测单元，对对齐后的所述N幅图像分别进行预设部位的关键点检测；
提取单元，用于根据所述关键点检测的结果，在所述N幅图像中定位并提取预设部位的区域图像；
互换单元，用于在所述N幅图像中进行相同所述预设部位的区域图像互换，并将得到的新图像存入图像库。
7.如权利要求6所述的装置，其特征在于，所述图像为人脸图像，所述对N幅图像进对齐操作包括：
将所述N幅图像中的预设五官对齐至同一水平位置；
调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致。
8.如权利要求7所述的方法，其特征在于，所述预设五官包括双眼，所述调整所述N幅图像的大小，直至所述N幅图像中的预设五官的大小相一致包括：
调整所述N幅图像的大小，直至所述N幅图像中的双眼间距相同。
9.如权利要求6所述的装置，其特征在于，所述对对齐后的所述N幅图像分别进行预设部位关键点检测包括：
通过以下任一算法对对齐后的所述N幅图像分别进行预设部位的关键点检测：由粗到精的搜索检测方法CFSS、有监督的梯度下降法SDM和局部二值拟合算法LBF。
10.如权利要求6所述的装置，其特征在于，所述在所述N幅图像中进行相同所述预设部位的区域图像互换包括：
在所述N幅图像的其中一幅图像中提取所述预设部位的区域图像；
将提取出的所述预设部位的区域图像分别叠加至剩余N-1幅图像的对应位置，以生成N-1幅新图。
CN201611099286.9A 2016-12-02 2016-12-02 图像库构建方法及装置 Pending CN106682587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611099286.9A CN106682587A (zh) 2016-12-02 2016-12-02 图像库构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611099286.9A CN106682587A (zh) 2016-12-02 2016-12-02 图像库构建方法及装置

Publications (1)

Publication Number Publication Date
CN106682587A true CN106682587A (zh) 2017-05-17

Family

ID=58867355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611099286.9A Pending CN106682587A (zh) 2016-12-02 2016-12-02 图像库构建方法及装置

Country Status (1)

Country Link
CN (1) CN106682587A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742342A (zh) * 2018-03-12 2020-10-02 日立产业控制解决方案有限公司 图像生成方法、图像生成装置以及图像生成***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877146A (zh) * 2010-07-15 2010-11-03 北京工业大学 一种扩充三维人脸数据库的方法
CN105095857A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于关键点扰动技术的人脸数据增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877146A (zh) * 2010-07-15 2010-11-03 北京工业大学 一种扩充三维人脸数据库的方法
CN105095857A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于关键点扰动技术的人脸数据增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742342A (zh) * 2018-03-12 2020-10-02 日立产业控制解决方案有限公司 图像生成方法、图像生成装置以及图像生成***

Similar Documents

Publication Publication Date Title
CN103914686B (zh) 一种基于证件照与采集照的人脸比对认证方法及***
US20180165511A1 (en) Three-dimensional facial recognition method and system
CN108288027A (zh) 一种图像质量的检测方法、装置及设备
US9978119B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
CN106709936A (zh) 一种基于卷积神经网络的单目标跟踪方法
CN107392110A (zh) 基于互联网的人脸美化***
CN106778584A (zh) 一种基于深层特征与浅层特征融合的人脸年龄估计方法
US11328455B2 (en) Method and apparatus for generating face model, storage medium, and terminal
CN104050448B (zh) 一种人眼定位、人眼区域定位方法及装置
CN106803084B (zh) 一种基于端到端循环网络的面部特征点定位方法
CN108765371A (zh) 一种病理切片中非常规细胞的分割方法
CN110110646A (zh) 一种基于深度学习的手势图像关键帧提取方法
CN102567716A (zh) 一种人脸合成***及实现方法
CN104615996B (zh) 一种多视角二维人脸特征点自动定位方法
CN108108676A (zh) 人脸识别方法、卷积神经网络生成方法及装置
CN109583443A (zh) 一种基于文字识别的视频内容判断方法
CN105426882B (zh) 一种人脸图像中快速定位人眼的方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN109598234A (zh) 关键点检测方法和装置
CN106339719A (zh) 一种图像识别方法及装置
CN104778238B (zh) 一种视频显著性的分析方法及装置
CN105139007B (zh) 人脸特征点定位方法和装置
CN107103311A (zh) 一种连续手语的识别方法及其装置
CN101493887A (zh) 基于半监督学习和哈希索引的眉毛图像分割方法
CN111814573A (zh) 一种人脸信息的检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170821

Address after: 361000, Xiamen three software park, Fujian Province, 8 North Street, room 2001

Applicant after: Xiamen Central Intelligent Information Technology Co., Ltd.

Address before: 361000 Fujian province Xiamen software park two sunrise Road No. 32 403 unit 02 District

Applicant before: XIAMEN ZHONGKONG BIOLOGICAL RECOGNITION INFORMATION TECHNOLOGY CO., LTD.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170517

RJ01 Rejection of invention patent application after publication