CN109063693A - 金字塔式编码的bgp人脸快速检索方法 - Google Patents

金字塔式编码的bgp人脸快速检索方法 Download PDF

Info

Publication number
CN109063693A
CN109063693A CN201811061979.8A CN201811061979A CN109063693A CN 109063693 A CN109063693 A CN 109063693A CN 201811061979 A CN201811061979 A CN 201811061979A CN 109063693 A CN109063693 A CN 109063693A
Authority
CN
China
Prior art keywords
bgp
coding
image
feature extraction
pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811061979.8A
Other languages
English (en)
Inventor
谢海斌
李立伟
李兴玮
徐婉莹
白圣建
郑永斌
庄东晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201811061979.8A priority Critical patent/CN109063693A/zh
Publication of CN109063693A publication Critical patent/CN109063693A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种金字塔式编码的BGP人脸快速检索方法，步骤包括：S1.对数据库中各人脸图像分别进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到数据库图像编码；S2.对待检图像进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到待检图像编码；S3.将待检图像编码与数据库图像编码进行逐层比较，由比较结果识别出目标人脸。本发明具有实现方法简单、检索效率及精度高、实时性好等优点。

Description

金字塔式编码的BGP人脸快速检索方法
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种金字塔式编码的BGP人脸快速检索方法。
背景技术
近年来人脸识别始终是图像处理、计算机视觉、模式识别、认知科学等领域研究的热点问题，广泛应用在安全验证、快捷支付、视频调查、个人鉴定等场合，其中一种广泛应用的人脸识别场景即是给定一张待检索图片，快速从数据库中检索到相似图片，这类问题即为基于人脸的快速检索。
目前实现快速检索方法主要包含以下几类：1)基于词袋模型的检索方法；2)基于KD树的检索方法；3)基于向量聚类和量化的检索方法；4)基于哈希的检索方法。上述几类快速检索方法通常实现复杂，且快速检索的对象通常是CIFAR-10、INRIA Holidays等以场景为主的数据库图片，通常不适用于实现人脸图像的快速检索，而由于人脸具有易变性质，对人脸的特征提取和描述易受表情、光照等影响，尤其是大型人脸数据库中人脸姿态、表情变化较剧烈，很难提取稳定的描述子进行快速检索，直接适用当前的快速检索方法来进行人脸快速检索并不能实现精确的检索。针对人脸快速检索，目标通常都是将待检索图片与数据库中的所有图片逐一比对，会产生较大的时间消耗，实际检索效率较慢。
目前的人脸识别算法可以分为以下几类：1)基于人脸局部特征的识别方法，如局部二值模式(Local Binary Pattern,简称LBP)、弹性图匹配、二进制梯度模式(BinaryGradient Pattern,简称BGP)等方法；2)基于人脸全局特征的识别方法，如线性判别分析(Linear Discriminant Analysis，简称LDA)、主成分分析(Principle ComponentAnalysis，简称PCA)、独立成分分析(Independent Component Analysis，简称ICA)等方法；3)基于全局特征和局部特征结合的方法，如基于特征脸和五官特征结合的方法；4)基于深度学习的方法，如facenet的提出和应用。
其中二进制梯度模式(BGP)是基于图像梯度方向(IGO)和二进制描述方式，其思想来源于Gradientfaces新型描述符，该描述符用图像梯度方向(IGO)取代像素强度来对人脸进行描述，以实现对照明变化的鲁棒性，即梯度域提取的特征比来自强度域的特征更具有判别性和鲁棒性。BGP算法中通过衡量图像梯度域中的局部像素之间的关系，并将底层局部结构有效编码为一组二进制字符串，不仅增加了判别力，更是大大简化了计算复杂度。
为了发现梯度域潜在结构，BGP是从多方向计算图像梯度，并将其编码为一系列二进制串，能够表示微小边界变化和纹理信息，因此具有很强的判别性，即使面对遮挡、光照、表情变化等，也能取得较好的识别精度，且由于采用BGP对图像进行编码时，每个编码值都蕴含了邻域像素关系的信息，而不仅仅是像素自身的强度信息，因此BGP编码后的图像对各种环境变化更鲁棒，尤其具有较强的光照不变性。BGP的基本描述子如图1所示，其中(a)对应为一个中心像素的八个邻像素(值为115)，(b)为四个方向，(c)为主要的二进制串，编码为0111，标签为7。基于人脸局部特征的识别方法中，二进制梯度模式(BGP)是一种简洁高效的人脸描述子，基于BGP在人脸识别中取得较高的识别精度。
如上述，二进制梯度模式具有计算简单、判别性强、鲁棒性好等特点，十分适合应用于难以区分的人脸识别中，BGP特征具体具有以下优点：BGP在图像梯度方向图中定义，具有良好的梯度特征，可以有效应对光照强度等变化；且在BGP中使用结构模式和多空间分辨率，结构化BGP作用相当于边缘检测器，这是准确识别和简洁表示的关键，同时，多空间分辨率策略增加了描述符覆盖不同半径邻域像素的能力。
虽然目前基于BGP的方法能够在人脸识别中取得较高的识别精度，但是在实现人脸识别时，通常都是使用BGP只对人脸提取一次特征，直接由提取得到的特征向量进行识别，而一次BGP提取后所得到的纹理信息实际并不足够丰富，相对于原图像来说，仍旧会存在一定信息损失，直接基于一次BGP提取的特征向量进行识别的精度仍有待提高，而传统的人脸识别算法通常难以兼顾识别精度以及识别效率，直接采用上述人脸识别算法的人脸检索效率不高。因此亟需提供一种人脸快速检索方法，以使得能够保证人脸检索精度的同时，提高人脸检索效率以及实时性。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、检索效率及精度高、实时性好的金字塔式编码的BGP人脸快速检索方法。
为解决上述技术问题，本发明提出的技术方案为：
一种金字塔式编码的BGP人脸快速检索方法，步骤包括：
S1.构建数据库图像编码：对数据库中各人脸图像分别基于BGP算法依次进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到数据库图像编码；
S2.构建待检图像编码：对待检图像基于BGP算法进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到待检图像编码；
S3.人脸检索：将所述待检图像编码与所述数据库图像编码进行逐层比较，由比较结果识别出目标人脸。
作为本发明的进一步改进：所述对每级BGP特征提取得到的特征向量进行编码时，通过调节BGP邻域半径或BGP分块数目使各层的BGP编码长度逐级缩短，形成金字塔式编码结构。
作为本发明的进一步改进：所述形成金字塔式编码结构具体预先确定金字塔的层数n，根据图像大小选定n组M、N及R参数，其中M*N为BGP分块数量，R为BGP邻域半径，根据选定的n组{Mi,Ni,Ri}计算出n层编码Pi，并且使得各层编码的长度满足D1>D2>D3….>Dn，其中i＝1…n。
作为本发明的进一步改进：所述金字塔式编码结构中每层的编码长度具体按式Di＝Mi*Ni*di计算得到，其中Di为第i层编码长度，Mi*Ni为第i级编码时BGP分块数量，di为第i级编码时BGP每个子块的统计直方图维度。
作为本发明的进一步改进：所述步骤S2中对待检图像进行特征提取前还包括对待检图像进行尺寸变换，以使得待检图像与数据库中图像的尺寸统一。
作为本发明的进一步改进：所述进行多级BGP特征提取时，由上一级BPG特征提取得到的BGP特征图像作为下一级BPG特征提取的输入，多级BGP特征提取后最终得到对应各级的多个特征向量。
作为本发明的进一步改进：所述上一级BPG特征提取得到的BGP特征图像作为下一级BPG特征提取的输入，具体包括将输入原始人脸图像进行一次BGP特征提取，得到第1级BGP特征图像以及第1级BGP特征向量，再依次将第i-1级BGP特征图像进行一次BGP特征提取，得到第i级特征图像以及第i级BGP特征向量，其中i＝2,3,4……n，n为所需执行的BGP特征提取级数。
作为本发明的进一步改进，所述基于BGP算法依次进行多级BGP特征提取中单级BGP特征提取的步骤为：
S11.基于BGP算法对输入图像数据进行特征提取，得到BGP特征图像；
S12.将所述步骤S11得到的所述BGP特征图像分成互不重叠的子块；
S13.统计所述步骤S12得到的每个子块的BGP直方图；
S14.将所述步骤S13得到的所有子块直方图按顺序拼接得到最终的BGP特征向量
作为本发明的进一步改进：所述步骤S3中，将所述待检图像编码与所述数据库图像编码依次从最高层至第一层进行逐层比较，每次比较时将待检图像编码中当前层的编码与上一次检索到的各图像的当前层的编码进行匹配比较，检索到匹配的多张图像后输出。
作为本发明的进一步改进，所述步骤S3的具体步骤包括：
S31.将所述待检图像编码中第n层编码Pn与所述数据库图像编码中第n层编码Pn进行比较，根据编码结果检索出数据库中与待检图像距离最近的若干张图片，n为所述金字塔式编码结构的层数；
S32.将待检图像编码中第n-1层编码与上一次检索出的各张图像的第n-1层编码进行比较，根据编码比较结果检索出上一次检索的各张图像中与待检图像距离最近的多张图，循环执行步骤S32，直到完成第一层编码的比较，检索出最相近的多张目标图像；
S33.将待检图像分别与所述最相近的多张目标图像进行比较，得到最终识别结果。
与现有技术相比，本发明的优点在于：
1、本发明金字塔式编码的BGP人脸快速检索方法，通过应用级联二进制梯度模式对人脸图像进行多级BGP，基于多级BGP的方式，能够充分挖掘图片的更深层次的边缘信息、纹理信息、梯度信息等有用信息，形成更加稳定更加鲁棒的特征表示，从而能够提取更丰富纹理信息，提高人脸识别精度，同时通过对多级BGP的特征向量进行编码，实现层级编码，形成金字塔式编码，检索时基于该金字塔式编码按照编码层级逐层检索，可以实现由模糊匹配到精确匹配、由粗到精的检索，能够保证检索精度的同时，有效提高检索效率，实现人脸快速检索。
2、本发明基于级联BGP的人脸识别方法，先在原图像基础上提取BGP特征，得到一幅BGP特征图，再次对该BGP特征图进行一次BGP特征提取，可以进一步提取出更深度、更隐含、更丰富的纹理信息和边缘信息等有用信息，将每级BGP特征编码图像都作为单级BGP算法的输入，得到多组特征向量，基于该多组特征向量的编码可实现精确的人脸识别。
3、本发明金字塔式编码的BGP人脸快速检索方法，进一步对每级BGP特征提取得到的特征向量进行编码时，通过调节BGP邻域半径或BGP分块数目使各层的BGP编码长度逐级缩短，结合BGP提取过程来形成长度不同的层级编码，构成金字塔式结构编码，后续基于该不同长度的层级编码可以实现由粗到精的快速检索。
4、本发明金字塔式编码的BGP人脸快速检索方法，进一步将待检图像编码与数据库图像编码依次从最高层至第一层进行逐层比较，每次比较时将待检图像编码中当前层的编码与上一次检索到的各图像的当前层的编码进行匹配比较，由每次编码的比较结果来快速缩小检索范围，可以有效提高检索效率，同时保证检索精度。
附图说明
图1是BGP基本描述子的原理示意图。
图2是本实施例金字塔式编码的BGP人脸快速检索方法的实现流程示意图。
图3是本实施例BGP求特征向量的实现流程示意图。
图4本实施例构建BGP金字塔式编码的实现流程示意图。
图5是本实施例构建得到的BGP金字塔式编码的原理示意图。
图6是本实例实现金字塔式编码的BGP人脸快速检索方法的实现流程示意图。
图7是Yale中一个人部分图像示意图。
图8是具体实施例中选取的目标图像示意图。
图9是具体实施例中采用传统方法检索的检索结果示意图。
图10是具体实施例中采用本发明检索方法得到的检索结果示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图2所示，本实施例金字塔式编码的BGP人脸快速检索方法，步骤包括：
S1.构建数据库图像编码：对数据库中各人脸图像分别基于BGP算法依次进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到数据库图像编码；
S2.构建待检图像编码：对待检图像基于BGP算法进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到待检图像编码；
S3.人脸检索：将待检图像编码与数据库图像编码进行逐层比较，由比较结果识别出目标人脸。
BGP(二进制梯度模式)使用图像梯度方向来取代像素强度对人脸进行描述，经过BGP编码后的图像，描述像素点的信息蕴含了邻域像素关系的信息，不仅是灰度值信息，且梯度域提取的特征比来自强度域的特征更具有判别性和鲁棒性，又由于BGP编码后的人脸特征图像仍旧是灰度图像，该图像依然蕴含灰度信息、纹理信息、边缘信息等丰富信息，在每级得到的BGP特征图像的基础上再次应用BGP时，得到的特征向量相对于原图像能够获取更深层次的信息。本实施例在利用BGP实现人脸识别的基础上，通过对输入图像进行多级BGP特征提取，基于多级BGP的方式，能够充分挖掘图片的更深层次的边缘信息、纹理信息、梯度信息等有用信息，形成更加稳定更加鲁棒的特征表示，从而能够提取更丰富纹理信息，提高人脸识别精度。
本实施例基于上述多级BGP方式，同时通过对多级BGP的特征向量进行编码，实现层级编码，形成金字塔式编码，检索时基于该金字塔式编码按照编码层级逐层检索，可以实现由模糊匹配到精确匹配、由粗到精的检索，能够保证检索精度的同时，有效提高检索效率。即本实施例以层级BGP方法为基础，通过对图像的多次BGP提取获得深度信息，应用不同的层数和分块数构建编码金字塔，检索时借鉴模糊匹配到精确匹配的方法，依据由粗到精的检索思想，按照编码金字塔逐层检索，实现人脸快速检索。
BGP的实现过程包括：给定一个中心像素和一系列局部邻像素(比如图1中8个邻像素)，根据公式(1)基于每个方向上的两个对称邻像素，计算出一对二进制编码(主要的和辅助的)，如图1的(b)(c)所示，从G1、G2、G3、G4等四个方向上可以得到4对二进制数；
通过四个主要二进制编码得到中心像素的标签，即BGP二进制位表示如公式(2)。
转化为十进制数如公式(3)：
四个方向上获得八个二进制数，每个方向上的主要和辅助的二进制数总是互补的，每个方向只需要一个二进制位来体现。为了简洁的表示，本实施例只需要主要的二进制位来计算标签(根据公式(3))。
对于一幅灰度图片，可以通过二进制梯度模式来求得特征向量(维数为d1)，若为彩色图像则需首先转换为灰度图像。本实施例具体基于结构化BGP实现人脸识别，由结构化BGP提取结构梯度模式作为二进制串来进行人脸识别，对光照、遮挡等均具有很强的鲁棒性。
本实施例进行多级BGP特征提取时，具体由上一级BPG特征提取得到的BGP特征图像作为下一级BPG特征提取的输入，多级BGP特征提取后最终得到对应各级的多个特征向量。具体先在原图像基础上提取BGP特征，得到一幅BGP特征图，该图仍旧具有灰度信息、纹理信息、梯度信息等，再次对该BGP特征图进行一次BGP特征提取，可以进一步提取出更深度、更隐含、更丰富的纹理信息和边缘信息等有用信息，按照该方式依次对编码特征图像进行特征提取后，可以得到多级BGP特征图像；将每级BGP特征编码图像都作为单级BGP算法的输入，则可以得到多组特征向量，最后将多组特征向量分别进行编码，以形成金字塔式编码。
如图3所示，本实施例单级BGP特征提取的步骤为：
S11.基于BGP算法对输入图像数据进行特征提取，得到BGP特征图像；
S12.将步骤S11得到的BGP特征图像分成互不重叠的子块；
S13.统计步骤S12得到的每个子块的BGP直方图；
S14.将步骤S13得到的所有子块直方图按顺序拼接得到最终的BGP特征向量。
上述步骤S1中，将输入数据库中各人脸图像分别按照上述步骤进行一次BGP特征提取，得到第1级BGP特征图像以及第1级BGP特征向量，再依次将第i-1级BGP特征图像按照上述步骤进行一次BGP特征提取，得到第i级特征图像以及第i级BGP特征向量；步骤S2中将待检图像按照上述步骤进行依次BGP特征提取，得到第1级BGP特征图像以及第1级BGP特征向量，再依次将第i-1级BGP特征图像按照上述步骤进行一次BGP特征提取，得到第i级特征图像以及第i级BGP特征向量，其中i＝2,3,4……n，n为所需执行的BGP特征提取级数。
本实施例对每级BGP特征提取得到的特征向量进行编码时，通过调节BGP邻域半径或BGP分块数目使各层的BGP编码长度逐级缩短，形成金字塔式编码结构。构建编码金字塔的目的即是形成长度不同的层级编码，使得后续基于该不同长度的层级编码可以实现由粗到精的快速检索。
本实施例编码金字塔构建过程如图4所示，通过将每级BGP特征图像都作为单级BGP算法的输入按照上述步骤得到多组特征向量，分别进行编码后得到多组编码，随着层级数升高，通过调节BGP领域半径或分块数目，使BGP编码长度逐层缩短，从而实现编码金字塔的构建。形成金字塔式编码结构具体预先确定金字塔的层数n，根据图像大小选定n组M、N及R参数，其中M*N为BGP分块数量，R为BGP邻域半径，根据选定的n组{Mi,Ni,Ri}计算出n层编码Pi，并且使得各层编码的长度满足D1>D2>D3….>Dn，其中i＝1…n。
本实施例构建金字塔时，编码长度随着编码层级数增加而减小，编码长度具体按式Di＝Mi*Ni*di计算得到，其中其中Di为第i层编码长度，Mi*Ni为第i级编码时BGP分块数量，di为第i级编码时BGP每个子块的统计直方图维度，且di仅与Ri有关，故编码长度取决于Mi、Ni、Ri三个量，即BGP分块数目和领域半径。本实施例具体取Mi＝Ni，Ri取1或2，在实际操作中，具体取Ri＝1，而改变Mi和Ni的值，仍旧保持二者相等，以此种方式实现不同层级编码的提取，从而完成编码金字塔的构建，构建出的金字塔如图5所示，金字塔每层宽度示意该层编码长度，从图中可见，层级数越高，BGP编码长度越小。
完成编码金字塔的构建后，基于该金字塔式编码即可以进行快速检索。本实施例步骤S3中，将待检图像编码与数据库图像编码依次从最高层至第一层进行逐层比较，每次比较时将待检图像编码中当前层的编码与上一次检索到的各图像的当前层的编码进行匹配比较，检索到匹配的多张图像后输出。通过将数据库图像编码与待检图像编码从最高层至第一层进行逐层编码比较，由每次编码的比较结果来快速缩小检索范围，可以有效提高检索效率。
本实施例步骤S3的具体步骤包括：
S31.将待检图像编码中第n层编码Pn与数据库图像编码中第n层编码Pn进行比较，根据编码结果检索出数据库中与待检图像距离最近的若干张图片，n为金字塔式编码结构的层数；
S32.将待检图像编码中第n-1层编码与上一次检索出的各张图像的第n-1层编码进行比较，根据编码比较结果检索出上一次检索的各张图像中与待检图像距离最近的多张图，循环执行步骤S32，直到完成第一层编码的比较，检索出最相近的多张目标图像；
S33.将待检图像分别与最相近的多张目标图像进行比较，得到最终识别结果。
通过上述步骤，可基于金字塔式编码实现由模糊到精确匹配，由匹配编码快速缩小查找范围，再由确定的小范围中进行精确匹配，可以实现人脸快速、精确的检索。
在具体应用实施例中，假设数据库中人脸图像数目为m，给定目标图像(待检索图像)target，快速从数据库中检索出与目标图像最相近的若干张图片或一张图片的流程如下：
Step1：将数据库中m张图像大小归一化，并对待检索图像target进行尺寸变换，与数据库图像统一，即在对待检图像进行特征提取前还包括对待检图像进行尺寸变换，以使得待检图像与数据库中图像的尺寸统一；
Step2：确定金字塔层数n，并根据图像大小选定n组M、N、R。
Step3：根据确定的n组{Mi,Ni,Ri}(i＝1…n),计算出数据库图像和待检索图像的金字塔n层编码Pi(i＝1…n)，并且保证编码长度D1>D2>D3….>Dn；
Step4：首先将待检索图像target的Pn与数据库图像的Pn比较，找到距离最近的若干张图片(比如说500张)；接着将待检索图像target的(n-1)层编码与刚检索出的500张图像的(n-1)编码比较，找到距离最近的100张图像……以此类推，直到第一层编码比较，检索出最相近的10张图像。
如图6所示，本实施例对于数据库中图像编码金字塔的构建采用离线操作，得到数据库图像编码后进行存储，只对待检索图像在线构建编码金字塔，再调用存储的数据库图像编码进行匹配以实现最终识别，通过将含有大量图像的数据库金字塔编码作为离线操作，可以大大提升检索的效率和实时性。当然也可以根据实际需求采用数据库编码与待检图像编码同时执行。
为验证本发明上述检索方法的有效性，基于Yale库分别采用本发明上述检索方法以及传统检索方法进行实验，Yale库包含15个研究对象，每人11张正脸图像，共165幅人脸图像。其中包括了光照，表情，遮挡等变化，Yale中一个人部分人脸图像如图7所示，Yale人脸库包含人脸的各种变化情况，但样本量有限，165幅图片无法满足大规模检索的数据量要求，而许多大规模人脸库，如LFW、CASIA等，包括侧脸在内姿态各异的人脸图片，单一人脸描述子难以提取人脸特征。针对上述矛盾，本实施例在Yale数据库基础上进行样本扩充，扩充方法为对每张图片进行像素强度变换或加入少许噪声，最终将样本数量扩充为495、1650、4950、16500。
在Yale及扩充的数据库上，应用本实施例上述人脸快速检索方法与传统逐一检索方法进行对比实验，样本数N取165、495、1650、4950、16500，编码金字塔层数n取为3或2，Ri值取为1，Mi(＝Ni)取{(32,16,8)；(32,16)；(16,8)}，实验步骤如下：
Step1：从数据库随机选取一张图片作为目标图片；
Step2：分别应用传统方法和基于编码金字塔的BGP方法检索，找出最相似的十张图片，并记录检索时间；
Step3：对上述两步骤重复十次；
Step4：将十次的平均检索时间视作该方法在对应数据库上的检索时间(Time)。得到的实验结果如表1所示。
表1：检索时间对比情况
从表1中可见，在数据库中人脸数量较少时，本发明上述基于金字塔式编码的BGP人脸快速检索方法和传统检索方法相比优势还不高，但是当随着数据库扩大，本发明上述基于金字塔式编码的BGP人脸快速检索方法能够显著提高检索效率、缩短检索时间。如取N＝165，Mi＝(32,16,8)的某次实验，随机选取一张图像作为目标图像，如图8所示，两种检索方法得到的检索结果分别如图9和图10所示，由上述结果可知，本发明基于金字塔式编码的BGP人脸快速检索方法相对于传统方法还能够保留较高的检索精度。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种金字塔式编码的BGP人脸快速检索方法，其特征在于，步骤包括：
S1.构建数据库图像编码：对数据库中各人脸图像分别基于BGP算法依次进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到数据库图像编码；
S2.构建待检图像编码：对待检图像基于BGP算法进行多级BGP特征提取，并对每级BGP特征提取得到的特征向量进行编码，得到对应各级BGP的多层编码，各层编码的长度按顺序逐级缩短形成金字塔式编码结构，得到待检图像编码；
S3.人脸检索：将所述待检图像编码与所述数据库图像编码进行逐层比较，由比较结果识别出目标人脸。
2.根据权利要求1所述的金字塔式编码的BGP人脸快速检索方法，其特征在于：所述对每级BGP特征提取得到的特征向量进行编码时，通过调节BGP邻域半径或BGP分块数目使各层的BGP编码长度逐级缩短，形成金字塔式编码结构。
3.根据权利要求2所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述形成金字塔式编码结构具体预先确定金字塔的层数n，根据图像大小选定n组M、N及R参数，其中M*N为BGP分块数量，R为BGP邻域半径，根据选定的n组{Mi,Ni,Ri}计算出n层编码Pi，并且使得各层编码的长度满足D1>D2>D3….>Dn，其中i＝1…n。
4.根据权利要求3所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述金字塔式编码结构中每层的编码长度具体按式Di＝Mi*Ni*di计算得到，其中Di为第i层编码长度，Mi*Ni为第i级编码时BGP分块数量，di为第i级编码时BGP每个子块的统计直方图维度。
5.根据权利要求1～4中任意一项所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述步骤S2中对待检图像进行特征提取前还包括对待检图像进行尺寸变换，以使得待检图像与数据库中图像的尺寸统一。
6.根据权利要求1～4中任意一项所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述进行多级BGP特征提取时，由上一级BPG特征提取得到的BGP特征图像作为下一级BPG特征提取的输入，多级BGP特征提取后最终得到对应各级的多个特征向量。
7.根据权利要求6所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述上一级BPG特征提取得到的BGP特征图像作为下一级BPG特征提取的输入，具体包括将输入原始人脸图像进行一次BGP特征提取，得到第1级BGP特征图像以及第1级BGP特征向量，再依次将第i-1级BGP特征图像进行一次BGP特征提取，得到第i级特征图像以及第i级BGP特征向量，其中i＝2,3,4……n，n为所需执行的BGP特征提取级数。
8.根据权利要求7所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述基于BGP算法依次进行多级BGP特征提取中单级BGP特征提取的步骤为：
S11.基于BGP算法对输入图像数据进行特征提取，得到BGP特征图像；
S12.将所述步骤S11得到的所述BGP特征图像分成互不重叠的子块；
S13.统计所述步骤S12得到的每个子块的BGP直方图；
S14.将所述步骤S13得到的所有子块直方图按顺序拼接得到最终的BGP特征向量。
9.根据权利要求1～4中任意一项所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述步骤S3中，将所述待检图像编码与所述数据库图像编码依次从最高层至第一层进行逐层比较，每次比较时将待检图像编码中当前层的编码与上一次检索到的各图像的当前层的编码进行匹配比较，检索到匹配的多张图像后输出。
10.根据权利要求9所述的金字塔式编码的BGP人脸快速检索方法，其特征在于，所述步骤S3的具体步骤包括：
S31.将所述待检图像编码中第n层编码Pn与所述数据库图像编码中第n层编码Pn进行比较，根据编码结果检索出数据库中与待检图像距离最近的若干张图片，n为所述金字塔式编码结构的层数；
S32.将待检图像编码中第n-1层编码与上一次检索出的各张图像的第n-1层编码进行比较，根据编码比较结果检索出上一次检索的各张图像中与待检图像距离最近的多张图，循环执行步骤S32，直到完成第一层编码的比较，检索出最相近的多张目标图像；
S33.将待检图像分别与所述最相近的多张目标图像进行比较，得到最终识别结果。
CN201811061979.8A 2018-09-12 2018-09-12 金字塔式编码的bgp人脸快速检索方法 Pending CN109063693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811061979.8A CN109063693A (zh) 2018-09-12 2018-09-12 金字塔式编码的bgp人脸快速检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811061979.8A CN109063693A (zh) 2018-09-12 2018-09-12 金字塔式编码的bgp人脸快速检索方法

Publications (1)

Publication Number Publication Date
CN109063693A true CN109063693A (zh) 2018-12-21

Family

ID=64760292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811061979.8A Pending CN109063693A (zh) 2018-09-12 2018-09-12 金字塔式编码的bgp人脸快速检索方法

Country Status (1)

Country Link
CN (1) CN109063693A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369599A (zh) * 2018-12-25 2020-07-03 阿里巴巴集团控股有限公司 一种图像匹配方法、设备、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881014A (zh) * 2012-09-07 2013-01-16 航天恒星科技有限公司 一种基于图割的快速立体匹配方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881014A (zh) * 2012-09-07 2013-01-16 航天恒星科技有限公司 一种基于图割的快速立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIWEI LI ETAL.: "Face Recognition Algorithm Based on Cascading BGP Feature Fusion", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
YING LI ETAL.: "Search audio data with the wavelet pyramidal algorithm", 《INFORMATION PROCESSING LETTERS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369599A (zh) * 2018-12-25 2020-07-03 阿里巴巴集团控股有限公司 一种图像匹配方法、设备、装置及存储介质
CN111369599B (zh) * 2018-12-25 2024-04-16 阿里巴巴集团控股有限公司 一种图像匹配方法、设备、装置及存储介质

Similar Documents

Publication Publication Date Title
Cao et al. Learning multilayer channel features for pedestrian detection
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及***
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
Xiang et al. Fabric image retrieval system using hierarchical search based on deep convolutional neural network
CN109388727A (zh) 一种基于聚类的bgp人脸快速检索方法
Sheng et al. Learning-based road crack detection using gradient boost decision tree
Athitsos et al. Efficient nearest neighbor classification using a cascade of approximate similarity measures
CN113343909B (zh) 多任务分类网络的训练方法、行人重识别方法
Ahmed et al. Deep image sensing and retrieval using suppression, scale spacing and division, interpolation and spatial color coordinates with bag of words for large and complex datasets
Kpalma et al. An overview of advances of pattern recognition systems in computer vision
Du et al. Low-shot palmprint recognition based on meta-siamese network
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类***及方法
CN109063693A (zh) 金字塔式编码的bgp人脸快速检索方法
CN112364809A (zh) 一种高准确率的人脸识别改进算法
CN113011444A (zh) 一种基于神经网络频域注意力机制的图像识别方法
CN110532867B (zh) 一种基于黄金分割法的人脸图像聚类方法
Al-Jubouri et al. Adaptive clustering based segmentation for image classification
CN111401434A (zh) 一种基于无监督特征学习的图像分类方法
CN116311391A (zh) 一种高低精度混合的多维度特征融合指纹检索方法
CN105718858A (zh) 一种基于正负广义最大池化的行人识别方法
Fu et al. Pedestrian detection by feature selected self-similarity features
Hsieh et al. Region-based image retrieval
Kilicaslan et al. Image Retrieval using One-Dimensional Color Histogram Created with Entropy.
CN112465024A (zh) 基于特征聚类的图像模式挖掘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221