CN105205476B - 一种基于lbp特征的人脸识别硬件架构 - Google Patents

一种基于lbp特征的人脸识别硬件架构 Download PDF

Info

Publication number
CN105205476B
CN105205476B CN201510688167.6A CN201510688167A CN105205476B CN 105205476 B CN105205476 B CN 105205476B CN 201510688167 A CN201510688167 A CN 201510688167A CN 105205476 B CN105205476 B CN 105205476B
Authority
CN
China
Prior art keywords
lbp
face
gray scale
scale picture
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510688167.6A
Other languages
English (en)
Other versions
CN105205476A (zh
Inventor
曹伟
王伶俐
张杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Shanghai Redneurons Co Ltd
Original Assignee
Fudan University
Shanghai Redneurons Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Shanghai Redneurons Co Ltd filed Critical Fudan University
Priority to CN201510688167.6A priority Critical patent/CN105205476B/zh
Publication of CN105205476A publication Critical patent/CN105205476A/zh
Application granted granted Critical
Publication of CN105205476B publication Critical patent/CN105205476B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于LBP特征的人脸识别硬件架构，其包括：LBP值计算模块；与所述LBP值计算模块连接的分块统计模块；与所述分块统计模块连接的乒乓缓存结构；以及与所述乒乓缓存结构连接的比较识别模块。本发明在不断接收人脸检测灰度图片的像素数据的同时对各个像素数据进行LBP数值计算，然后在对各个LBP数值进行直方统计的同时将已存储的各张人脸检测灰度图片的特征向量读出，并且在对各张人脸检测灰度图片的特征向量进行不断存储的同时将已存储的各张人脸检测灰度图片的特征向量读出，最后同时将多张人脸检测灰度图片与所有训练图片比较，从而实现人脸识别速度的大幅度提升。

Description

一种基于LBP特征的人脸识别硬件架构
技术领域
本发明涉及图像处理领域，尤其涉及一种基于LBP特征的人脸识别硬件架构。
背景技术
图像处理是最近非常热门的一个领域，涉及军事，工业以及生活的方方面面。而人脸识别作为图像处理领域中的子领域，在身份识别和验证、信息安全等领域也得到了广泛的应用，并产生了许多商业化的人脸识别***。对于人脸识别的研究近几十年来从未停止过，因而也使得人脸识别***日趋完善和成熟。经过近几十年的发展，人脸识别***已经发展形成了成熟的流程。按照步骤来说，大致流程可以分成三个步骤：人脸检测、特征提取、以及人脸识别。
局部二值模式(LBP)是由奥卢大学(University of Oulu)的TimoOjala等人提出，而TimoAhonen等人将LBP算子应用于人脸识别上。LBP算子作为描述图片纹理信息的描述算子，在许多算法中都得到应用。LBP算子的优点在于能够有效地区分不同纹理的图片，计算效率高并具有灰度不变性，因此被广泛应用于图像分析中。由于人脸可以看作是许多局部纹理特征的组成，将这些局部纹理特征组合成全局人脸特征便可以有效描述特征信息，而利用LBP局部特征就可以有效地描述人脸特征。
在人脸识别算法的硬件实现中，关注的是在满足识别率要求的情况下达到一定的识别速度。现有人脸识别算法均采用软件编程实现，其中比较经典的流程是先将输入的灰度图片的所有像素信息存储下来，然后进行分块并计算分块中每个像素点的LBP特征值，再根据这些LBP特征值进行直方图的统计，最后将这些统计数据与训练集样本进行比较，从而实现识别。然而，这种方法存在以下缺点：首先保存所有的像素点信息浪费了硬件资源，而且必须在保存完所有像素点信息后才能进行后续步骤，因此不符合流水的实现方案，同时在分块统计的并行性上存在很大的改进空间。另外，结合实际情况，人脸识别算法在实际应用中为了达到更好的效果，往往需要大量的训练集样本并对其进行训练，同时实际应用中的测试集图片数目也非常大，大量的训练样本和测试样本将会对识别速度造成巨大的影响。这就必须进一步提高LBP特征提取、统计以及比较识别的速度。
发明内容
为了解决上述现有技术存在的问题，本发明旨在提供一种基于LBP特征的人脸识别硬件架构，以实现在大数目的人脸训练图片条件下提高人脸识别速度。
本发明所述的一种基于LBP特征的人脸识别硬件架构，其包括：
LBP值计算模块，其被配置为：依次接收外部输入的各张人脸检测灰度图片中的各个像素数据，每接收到一个所述像素数据后计算该像素数据对应的LBP数值并输出该LBP数值；
与所述LBP值计算模块连接的分块统计模块，其包括两个第一RAM单元，该分块统计模块被配置为：将每张所述人脸检测灰度图片划分为若干块区域，依次接收所述LBP值计算模块输出的所述像素数据对应的LBP数值，以依次对每张所述人脸检测灰度图片的每个所述区域中各像素数据对应的LBP数值进行直方统计并生成相应的分块LBP直方图，每生成一个所述分块LBP直方图后将该分块LBP直方图存储在作为写缓存器的其中一个所述第一RAM单元中，直至该第一RAM单元存储完由一张所述人脸检测灰度图片的所有区域对应的所述分块LBP直方图构成的该张人脸检测灰度图片的特征向量后将该第一RAM单元转换为读缓存器，并将另一个所述第一RAM单元作为写缓存器存储下一张所述人脸检测灰度图片的各区域对应的所述分块LBP直方图；
与所述分块统计模块连接的乒乓缓存结构，其包括两个第二RAM单元，该乒乓缓存结构被配置为：将其中一个所述第二RAM单元作为写缓存器存储从所述分块统计模块中的读缓存器读出的所述人脸检测灰度图片的特征向量，直至该第二RAM单元存储完N张所述人脸检测灰度图片的特征向量后将该第二RAM单元转换为读缓存器，并将另一个所述第二RAM单元作为写缓存器存储下N张所述人脸检测灰度图片的特征向量，其中，数值N为大于1的自然数；以及
与所述乒乓缓存结构连接的比较识别模块，其包括多个并行计算单元，该比较识别模块被配置为：通过多个所述并行计算单元分别计算从所述乒乓缓存结构的读缓存器读出的各张所述人脸检测灰度图片的特征向量分别与外部输入的所有训练图片的特征向量之间的卡方距离，并分别将与每张所述人脸检测灰度图片的特征向量的卡方距离最小的一张所述训练图片标记为识别标签后输出所述识别标签。
在上述的基于LBP特征的人脸识别硬件架构中，所述LBP值计算模块包括用于依次存储各张所述人脸检测灰度图片中的各个像素数据的线缓存结构。
在上述的基于LBP特征的人脸识别硬件架构中，所述LBP值计算模块被进一步配置为：每接收到一个所述像素数据后，在以该像素数据为中心的n*n像素块中通过将该像素数据与其周围的像素数据比较以获得该像素数据对应的LBP数值，其中，数值n为大于1的自然数。
在上述的基于LBP特征的人脸识别硬件架构中，所述数值n为3。
在上述的基于LBP特征的人脸识别硬件架构中，所述分块统计模块被进一步配置为：将每张所述人脸检测灰度图片平均划分为36块区域。
在上述的基于LBP特征的人脸识别硬件架构中，所述数值N为5。
上述的基于LBP特征的人脸识别硬件架构采用FPGA实现。
由于采用了上述的技术解决方案，本发明通过采用LBP值计算模块在不断接收人脸检测灰度图片的像素数据的同时对各个像素数据进行LBP数值计算，然后通过采用具有两个第一RAM单元的分块统计模块在对各个LBP数值进行直方统计的同时将已存储的各张人脸检测灰度图片的特征向量读出，同时采用同样具有两个第二RAM单元的乒乓缓存结构在对各张人脸检测灰度图片的特征向量进行不断存储的同时将已存储的各张人脸检测灰度图片的特征向量读出，最后通过采用具有多个并行计算单元的比较识别模块同时将多张人脸检测灰度图片与所有训练图片比较，从而实现人脸识别。由此可见，本发明充分利用了数据带宽采用硬件流水线处理和并行计算处理，从而大大提高了数据处理的并行度，最终实现对输入测试图片的身份识别，在大规模的人脸图片训练库条件下，有效提高了数据的吞吐率，使得人脸识别速度获得了大幅度的提升。
附图说明
图1是本发明一种基于LBP特征的人脸识别硬件架构的结构示意图。
具体实施方式
下面结合附图，给出本发明的较佳实施例，并予以详细描述。
如图1所示，本发明，即一种基于LBP特征的人脸识别硬件架构(在本实施例中，该架构采用FPGA实现)，其包括：
LBP值计算模块1，其被配置为：依次接收外部输入的各张人脸检测灰度图片中的各个像素数据，每接收到一个像素数据后计算该像素数据对应的LBP数值并输出该LBP数值；
与LBP值计算模块1连接的分块统计模块2，其包括两个第一RAM单元20，该分块统计模块2被配置为：将每张人脸检测灰度图片划分为若干块区域(在本实施例中，平均划分为6*6共36块区域)，依次接收LBP值计算模块1输出的像素数据所对应的LBP数值，以依次对每张人脸检测灰度图片的每个区域中各像素数据所对应的LBP数值进行直方统计并生成相应的分块LBP直方图，每生成一个分块LBP直方图后将该分块LBP直方图存储在作为写缓存器的其中一个第一RAM单元20中，直至该第一RAM单元20存储完由一张人脸检测灰度图片的所有区域对应的分块LBP直方图所构成的该张人脸检测灰度图片的特征向量(将一张人脸检测灰度图片的所有区域对应的分块LBP直方图依次连续存储在同一个RAM单元中即可形成该张人脸检测灰度图片的特征向量)后将该第一RAM单元20转换为读缓存器，并将另一个第一RAM单元20作为写缓存器存储下一张人脸检测灰度图片的各区域对应的分块LBP直方图；
与分块统计模块2连接的乒乓缓存结构3，其包括两个第二RAM单元30，该乒乓缓存结构3被配置为：将其中一个第二RAM单元30作为写缓存器存储从分块统计模块2中的读缓存器读出的人脸检测灰度图片的特征向量(当该分块统计模块2中的读缓存器中的人脸检测灰度图片的特征向量被读出后清空该读缓存器)，直至该第二RAM单元30存储完N张人脸检测灰度图片的特征向量后将该第二RAM单元30转换为读缓存器(这是因为当训练图片数目较大的时候，遍历训练集的时间比较长，因此为了提高效率，在进行LBP计算和统计的时候，可一次性得到N张人脸检测灰度图片的特征向量后再供后续模块并行处理)，并将另一个第二RAM单元30作为写缓存器存储下N张人脸检测灰度图片的特征向量(在本实施例中，数值N为5)；以及
与乒乓缓存结构3连接的比较识别模块4，其包括多个并行计算单元40，该比较识别模块4被配置为：通过多个并行计算单元40分别计算从乒乓缓存结构3的读缓存器读出的各张人脸检测灰度图片的特征向量分别与外部输入的所有训练图片的特征向量之间的卡方距离(当该乒乓缓存结构3中的读缓存器中的多张人脸检测灰度图片的特征向量均被读出后清空该读缓存器)，并分别将与每张人脸检测灰度图片的特征向量的卡方距离最小的一张训练图片标记为识别标签后输出该识别标签。
在本实施例中，LBP值计算模块1包括用于依次存储各张人脸检测灰度图片中的各个像素数据的线缓存结构10；基于该结构，该LBP值计算模块1还被进一步配置为：每接收到一个像素数据后，在以该像素数据为中心的n*n像素块中通过将该像素数据与其周围的像素数据比较以获得该像素数据所对应的LBP数值，其中，数值n为大于1的自然数。例如，以数值n为3为例，LBP值计算模块1可先通过线缓存结构10依次存储人脸检测灰度图片中前三行的像素数据，然后开始在分别以其中每个像素数据为中心的3*3像素块中通过将中心的像素数据与周围的像素数据比较，从而获得中心的像素数据所对应的LBP数值(对于人脸检测灰度图片的首尾两行以及首位两列中各像素数据而言，由于以其为中心无法构成3*3像素块，因此可采用补零方式构成3*3像素块或直接放弃这些像素数据)。
有上述结构可知，本发明可以在不断接收人脸检测灰度图片的像素数据的同时对各个像素数据进行LBP数值计算，并且在进行LBP数值计算的同时对各个获得的LBP数值进行直方统计，与此同时还将已存储的各张人脸检测灰度图片的特征向量读出，并且同时可以在对各张人脸检测灰度图片的特征向量进行不断存储的同时将已存储的预定张数的人脸检测灰度图片的特征向量读出，最后通过采用具有多个并行计算单元的比较识别模块同时将多张人脸检测灰度图片与所有训练图片比较，从而快速实现人脸识别。
综上所述，本发明可将特征提取和识别过程中的数据流动和数据计算进行流水线处理，并且通过一定数目的RAM单元和并行计算单元实现上述过程，从而大大提高了整个***的识别速度。例如在比较识别模块4中将从乒乓缓存结构的内部RAM和外部接口输入的数据进行并行处理，从而实现并行化处理，进而提高数据的吞吐率和处理速度；同时利用乒乓缓存结构使得特征提取和人脸识别同时进行，即，一个RAM单元用于不断存储刚计算获得的特征向量，另一个RAM单元用于向外读出中已存储的预订数量的特征向量以供后续识别，并且当一次识别结束之后可将两个RAM单元的读写功能互换。另外，本发明还可通过软件模拟测试确定各个模块在硬件实现中的数据位宽以及确定人脸图片特征提取合适的分块大小，以优化本发明的硬件架构。
以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (7)

1.一种基于LBP特征的人脸识别硬件架构，其特征在于，所述架构包括：
LBP值计算模块，其被配置为：依次接收外部输入的各张人脸检测灰度图片中的各个像素数据，每接收到一个所述像素数据后计算该像素数据对应的LBP数值并输出该LBP数值；
与所述LBP值计算模块连接的分块统计模块，其包括两个第一RAM单元，该分块统计模块被配置为：将每张所述人脸检测灰度图片划分为若干块区域，依次接收所述LBP值计算模块输出的所述像素数据对应的LBP数值，以依次对每张所述人脸检测灰度图片的每个所述区域中各像素数据对应的LBP数值进行直方统计并生成相应的分块LBP直方图，每生成一个所述分块LBP直方图后将该分块LBP直方图存储在作为写缓存器的其中一个所述第一RAM单元中，直至该第一RAM单元存储完由一张所述人脸检测灰度图片的所有区域对应的所述分块LBP直方图构成的该张人脸检测灰度图片的特征向量后将该第一RAM单元转换为读缓存器，并将另一个所述第一RAM单元作为写缓存器存储下一张所述人脸检测灰度图片的各区域对应的所述分块LBP直方图；
与所述分块统计模块连接的乒乓缓存结构，其包括两个第二RAM单元，该乒乓缓存结构被配置为：将其中一个所述第二RAM单元作为写缓存器存储从所述分块统计模块中的读缓存器读出的所述人脸检测灰度图片的特征向量，直至该第二RAM单元存储完N张所述人脸检测灰度图片的特征向量后将该第二RAM单元转换为读缓存器，并将另一个所述第二RAM单元作为写缓存器存储下N张所述人脸检测灰度图片的特征向量，其中，数值N为大于1的自然数；以及
与所述乒乓缓存结构连接的比较识别模块，其包括多个并行计算单元，该比较识别模块被配置为：通过多个所述并行计算单元分别计算从所述乒乓缓存结构的读缓存器读出的各张所述人脸检测灰度图片的特征向量分别与外部输入的所有训练图片的特征向量之间的卡方距离，并分别将与每张所述人脸检测灰度图片的特征向量的卡方距离最小的一张所述训练图片标记为识别标签后输出所述识别标签。
2.根据权利要求1所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述LBP值计算模块包括用于依次存储各张所述人脸检测灰度图片中的各个像素数据的线缓存结构。
3.根据权利要求2所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述LBP值计算模块被进一步配置为：每接收到一个所述像素数据后，在以该像素数据为中心的n*n像素块中通过将该像素数据与其周围的像素数据比较以获得该像素数据对应的LBP数值，其中，数值n为大于1的自然数。
4.根据权利要求3所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述数值n为3。
5.根据权利要求1所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述分块统计模块被进一步配置为：将每张所述人脸检测灰度图片平均划分为36块区域。
6.根据权利要求1所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述数值N为5。
7.根据权利要求1所述的基于LBP特征的人脸识别硬件架构，其特征在于，所述架构采用FPGA实现。
CN201510688167.6A 2015-10-21 2015-10-21 一种基于lbp特征的人脸识别硬件架构 Expired - Fee Related CN105205476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510688167.6A CN105205476B (zh) 2015-10-21 2015-10-21 一种基于lbp特征的人脸识别硬件架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510688167.6A CN105205476B (zh) 2015-10-21 2015-10-21 一种基于lbp特征的人脸识别硬件架构

Publications (2)

Publication Number Publication Date
CN105205476A CN105205476A (zh) 2015-12-30
CN105205476B true CN105205476B (zh) 2018-04-17

Family

ID=54953148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510688167.6A Expired - Fee Related CN105205476B (zh) 2015-10-21 2015-10-21 一种基于lbp特征的人脸识别硬件架构

Country Status (1)

Country Link
CN (1) CN105205476B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228146A (zh) * 2016-08-05 2016-12-14 蓝普金睛（北京）科技有限公司 一种分区域动态识别方法及***
CN107506773A (zh) * 2017-09-25 2017-12-22 郑州云海信息技术有限公司 一种特征提取方法、装置及***
CN109086670B (zh) * 2018-07-03 2019-10-11 百度在线网络技术（北京）有限公司 人脸识别方法、装置及设备
CN109919063A (zh) * 2019-02-27 2019-06-21 东南大学 一种基于纹理分析的活体人脸检测***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855484A (zh) * 2012-07-30 2013-01-02 杭州士兰微电子股份有限公司 基于局部积分图像处理的目标检测方法、装置及***
CN103177262A (zh) * 2013-02-19 2013-06-26 山东大学 基于hog和svm的行人检测***的fpga架构及其实现方法
CN103514441A (zh) * 2013-09-21 2014-01-15 南京信息工程大学 基于移动平台的人脸特征点定位跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995715B2 (en) * 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855484A (zh) * 2012-07-30 2013-01-02 杭州士兰微电子股份有限公司 基于局部积分图像处理的目标检测方法、装置及***
CN103177262A (zh) * 2013-02-19 2013-06-26 山东大学 基于hog和svm的行人检测***的fpga架构及其实现方法
CN103514441A (zh) * 2013-09-21 2014-01-15 南京信息工程大学 基于移动平台的人脸特征点定位跟踪方法

Also Published As

Publication number Publication date
CN105205476A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN105205476B (zh) 一种基于lbp特征的人脸识别硬件架构
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
Nguyen et al. Yolo based real-time human detection for smart video surveillance at the edge
CN110399884A (zh) 一种特征融合自适应锚框模型车辆检测方法
CN108765386A (zh) 一种隧道裂缝检测方法、装置、电子设备及存储介质
CN109871821A (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111460927A (zh) 对房产证图像进行结构化信息提取的方法
CN108564008A (zh) 一种基于zynq的实时行人与人脸检测方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
Putra Tomato Maturity Classification using naive bayes algorithm and Histogram feature extraction
Cui et al. Ship detection: an improved YOLOv3 method
Jia Fabric defect detection based on open source computer vision library OpenCV
CN117197591B (zh) 一种基于机器学习的数据分类方法
CN114358279A (zh) 图像识别网络模型剪枝方法、装置、设备及存储介质
CN111881775B (zh) 一种人脸实时识别方法和装置
Lan et al. PCB defect detection algorithm of improved YOLOv8
Liu et al. SSD small object detection algorithm based on feature enhancement and sample selection
CN108985350A (zh) 一种基于梯度幅值稀疏特征信息识别模糊图像的方法和装置、计算设备及存储介质
Zhihao et al. Object detection algorithm based on dense connection
CN110659694B (zh) 一种基于机器学习的柑橘果蒂的检测方法
CN110533098B (zh) 一种基于卷积神经网络识别绿通车车厢装载类型的方法
CN113435482A (zh) 一种判断开放集的方法、装置及其设备
CN106056618A (zh) 基于Renyi交叉熵与高斯分布的图像阈值分割方法
Lin et al. An efficient and light-weight detector for wine bottle defects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

CF01 Termination of patent right due to non-payment of annual fee