CN108038455A - 基于深度学习的仿生机器孔雀图像识别方法 - Google Patents
基于深度学习的仿生机器孔雀图像识别方法 Download PDFInfo
- Publication number
- CN108038455A CN108038455A CN201711374581.5A CN201711374581A CN108038455A CN 108038455 A CN108038455 A CN 108038455A CN 201711374581 A CN201711374581 A CN 201711374581A CN 108038455 A CN108038455 A CN 108038455A
- Authority
- CN
- China
- Prior art keywords
- face
- convolutional neural
- image
- neural networks
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 29
- 241000692870 Inachis io Species 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 10
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 4
- 230000001537 neural effect Effects 0.000 claims abstract description 3
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000007670 refining Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000007935 neutral effect Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000013066 combination product Substances 0.000 description 1
- 229940127555 combination product Drugs 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 125000000623 heterocyclic group Chemical group 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于深度学习的仿生机器孔雀的图像识别方法,包括以下步骤:采集公开的人脸检测数据库作为训练和验证的图像数据集;设计基于卷积神经网络的深度学习架构,在深度学习架构内实现人脸检测功能;采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调,实现室内复杂环境下的人脸检测功能;得到经验参数以确定观众的着装定位,并统计各种颜色所占的相应比重;本发明实现娱乐仿生机器人在复杂环境下准确高效的人脸检测和颜色识别,鲁棒性好;且对现场图像对训练好的深度学习架构进行参数微调;最后实现对于摄像头捕捉到的现场图像进行实时人脸检测和着装识别;可以应用于科技馆、酒店、商场、供游客参观、娱乐。
Description
技术领域
本发明涉及计算机识别技术领域,具体涉及基于深度学习的仿生机器孔雀图像识别方法。
背景技术
仿生机器人是仿生学与机器人领域应用需求的结合产物。从机器人的角度来看,仿生机器人则是机器人发展的高级阶段,生物特性为机器人的设计提供了许多有益的参考。目前的仿生机器人种类繁多,如仿生机器鱼,仿生机器狗。并广泛应用在军事和工业领域,但是作为娱乐机器人的应用目前较少。视觉***是仿生机器人的一个重要组成部分,相当于仿生机器人的“眼睛”。该***一般通过放置在机器人上的高清摄像头捕捉周围的环境信息,并通过现有的计算机视觉算法对捕获的图像进行分析处理已实现对机器人执行机构的运动控制,如机器鱼的水下打捞,机器狗的步态规划等。目前仿生机器人的视觉***依赖于传统的图像处理算法,一般为,首先提取当前环境的图像特征然后对提取到的特征进行描述,最后通过特征描述对当前的环境进行识别,检测等相关任务。虽然特定的图像特征在仿生机器人领域取得了较好的效果,但是传统的图像特征更多依赖于人工经验,而且在复杂环境下,特征提取的复杂度高,鲁棒性低。
有鉴于此,急需提供一种鲁棒性好,实时性高的基于深度学习的仿生机器孔雀视觉识别方法应用于科技馆,大型商场,酒店等场所,寓教于乐。
发明内容
为了解决上述技术问题,本发明所采用的技术方案是提供一种基于深度学习的仿生机器孔雀的图像识别方法,包括以下步骤:
S1、采集公开的人脸检测数据库作为训练和验证的图像数据集;
S2、设计基于卷积神经网络的深度学习架构,在深度学习架构内实现人脸检测功能;
S3、采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调;
S4、根据步骤S3中微调后的深度学习架构进行测试,实现室内复杂环境下的人脸检测功能;
S5、根据步骤S4得到的人脸框定位和摄像头距离观众的位置关系,得到经验参数以确定观众的着装定位,并统计各种颜色所占的相应比重。
在上述方法中,所述步骤S1具体包括以下步骤:
S11、人脸检测数据库,选取公开Wider_face数据集和Celeba_face数据集作为人脸检测的训练样本;将图像数据集中原始图像归一化到一个统一的尺寸;
Wider_face数据集和Celeba_face数据集中提供了大量的人脸检测数据,并在图中提供了人脸框的位置信息;
S12、随机的对人脸图像选取边框,并计算选取边框与真实边框的重复度IOU;
S13、将人脸检测数据分为三类,分别是人脸正样本、人脸负样本、人脸部分样本,其占比重为1:3:1;
S14、将训练样本生成文件路径,并做好与之对应的标签,标签内容包括正、负样本标签以及随机生成边框和真实边框的偏移值。
在上述方法中,所述步骤S12中,IOU>0.65为人脸正样本,IOU<0.4为人脸负样本;在0.4≤IOU≤0.65之间为人脸部分样本。
在上述方法中,所述深度学习架构具体如下:
深度学习架构由三个卷积神经网络级联组成,三个卷积神经网络分别为第一卷积神经网络PNet,第二卷积神经网络RNet和第三卷积神经网络ONet;
第一卷积神经网络PNet在训练阶段的输入尺寸为12*12*3的图像块,第一卷积神经网络PNet为三层全卷积网络,不包含全连接层;
第二卷积神经网络RNet输入尺寸为24*24*3的图像块,为四层卷积网路包含三个卷积层和一个全连接层;
第三卷积神经网络ONet的输入尺寸48*48*3的图像块;为四层卷积网路包含三个卷积层和一个全连接层;
首先将训练样本送入第一卷积神经网络PNet,其输出分别为样本的类别,即人脸正、负样本和人脸定位的预测值;
第二卷积神经网络RNet用来细化PNet网络的输出结果;
第三卷积神经网络ONet用来细化RNet网络的输出结果,输出分别为样本的类别,人脸定位的预测值和人脸关键点的预测值。
在上述方法中,所述步骤S3具体包括以下步骤:
S31、选取仿生机器孔雀现场所收集到的包括观众和不包括观众的多张图像分为训练样本和测试样本;选取训练样本中的图像取随机框获得人脸正样本、人脸负样本、和人脸部分样本;
S32、将确定好的训练样本和标签送入深度学习架构,对于深度学习架构中三个卷积神经网络的参数进行微调。
在上述方法中,所述步骤S4具体包括以下步骤:
S41、将测试样本送入第一卷积神经网络PNet,获取候选人脸框以及每个人脸对应的四个点坐标;
S42、将第一卷积神经网络PNet获取并输出的候选人脸框送入第二卷积神经网络RNet,对候选人脸框进行细化筛选并进行非极大值抑制,去除误检;
S43、将第二卷积神经网络RNet筛选并输出结果送入第三卷积神经网络ONet,用于进一步对候选人脸框进行细化筛选,去除误检,最后得到人脸检测结果,包括人脸框定位和摄像头距离观众的位置关系。
在上述方法中,所述步骤S5具体包括以下步骤:
S51、根据摄像头多次测量和标定,选取着装候选框在图像中的定位为1.8个人脸框的偏移,着装候选框的大小为2个人脸框;
S52、设定的参与统计比重的颜色有红、黄、蓝、绿、紫、白、黑、灰,根据选取的着装候选框统计各种颜色所占的相应比重。
本发明提出一种基于深度学习的仿生机器孔雀的图像识别方法,旨在实现娱乐仿生机器人在复杂环境下准确高效的人脸检测和颜色识别,鲁棒性好;使用仿生机器孔雀采集到的现场图像对训练好的深度学习架构进行参数微调;最后实现对于摄像头捕捉到的现场图像进行实时人脸检测和着装识别;可以应用于科技馆、酒店、商场、供游客参观、娱乐。
附图说明
图1为本发明提供的流程图;
图2为本发明提供的深度学习架构的结构示意图;其中,
(a)为第一卷积神经网络PNet;(b)为第二卷积神经网络RNet;(c)为第三卷积神经网络ONet;
图3为本发明提供的基于深度学习的仿生机器孔雀的图像识别流程框图;
图4为本发明提供的摄像头采集到的图像及统计颜色比重的示例图。
具体实施方式
下面结合具体实施方式和说明书附图对本发明做出详细的说明。
如图1-3所示,本发明提供了一种基于深度学习的仿生机器孔雀的图像识别方法,包括以下步骤:
S1、采集公开的人脸检测数据库作为训练和验证的图像数据集。其中,步骤S1具体如下步骤:
S11、人脸检测数据库,选取公开Wider_face数据集和Celeba_face数据集作为人脸检测的训练样本。Wider_face数据集和Celeba_face数据集中提供了大量的人脸检测数据,并在图中提供了人脸框的位置信息,总共可以得到20多万个人脸检测数据。
S12、随机的对人脸图像选取边框,并计算选取边框与真实边框的重复度IOU(交并比)。其中,定义IOU>0.65为人脸正样本,IOU<0.4为人脸负样本;在0.4≤IOU≤0.65之间为人脸部分样本。
S13、将人脸检测数据分为三类,分别是人脸正样本、人脸负样本、人脸部分样本,其占比重为1:3:1。
S14、将训练样本生成文件路径,并做好与之对应的标签,标签内容包括正、负样本标签以及随机生成边框和真实边框的偏移值。将图像数据集中原始图像归一化到一个统一的尺寸,如800*600*3。并对每幅有人脸的图像给以标签。如0001.png 204 301 264 390表示图像0001.png在矩形像素区域(204,301,264,390)上包含一个人脸,将所有标签都写在一个.txt文件中,图像路径和标签一一对应。
S2、设计基于卷积神经网络的深度学习架构,在深度学习架构内实现人脸检测功能。其中,深度学习架构具体如下:
如图2所示,深度学习架构由三个卷积神经网络级联组成,三个卷积神经网络分别命名为第一卷积神经网络PNet,第二卷积神经网络RNet和第三卷积神经网络ONet;第一卷积神经网络PNet在训练阶段的输入尺寸为12*12*3的图像块,第二卷积神经网络RNet输入尺寸为24*24*3的图像块,第三卷积神经网络ONet的输入尺寸48*48*3的图像块。
首先将训练样本送入第一卷积神经网络PNet,第一卷积神经网络PNet为三层全卷积网络,不包含全连接层,其输出分别为样本的类别(正、负样本)和人脸定位的预测值。
第二卷积神经网络RNet为四层卷积网路包含三个卷积层和一个全连接层。该网络可以用来细化PNet网络的输出结果。
第三卷积神经网络ONet为四层卷积网路包含三个卷积层和一个全连接层。该网络可以用来细化RNet网络的输出结果,输出分别为样本的类别(正、负样本)、人脸定位的预测值和人脸关键点的预测值。
S3、采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的深度学习架构进行微调。采集到的现场图像包含有观众和没有观众的场景。其中,步骤S3具体如下步骤:
S31、选取仿生机器孔雀现场所收集到的包括观众和不包括观众的10万张图像分为训练样本和测试样本。选取该训练样本中的图像取随机框获得人脸正样本、人脸负样本、和人脸部分样本,具体如步骤S12~S14。
S32、将确定好的训练样本和标签送入深度学习架构,对于深度学习架构中三个卷积神经网络的参数进行微调。
S4、根据步骤S3中微调后的深度学习架构进行测试,实现室内复杂环境下的人脸检测功能。其中,步骤S4具体如下步骤:
S41、将测试样本首先送入第一卷积神经网络PNet,获取候选人脸框以及每个人脸对应的四个点坐标。
S42、将第一卷积神经网络PNet获取并输出的候选人脸框送入第二卷积神经网络RNet,对候选人脸框进行细化筛选并进行非极大值抑制,去除误检。
S43、将第二卷积神经网络RNet筛选并输出结果送入第三卷积神经网络ONet,其操作与第二卷积神经网络RNet相同,用于进一步对候选人脸框进行细化筛选,去除误检,最后得到人脸检测结果,包括人脸框定位和摄像头距离观众的位置关系(人脸关键点位置)。
上述三个卷积网络级联的层数逐步加深,卷积核的大小逐步加大,而对人脸的检测也逐步细化。第一卷积神经网络PNet可以得到粗略的人脸候选框,第二卷积神经网络RNet和第三卷积神经网络ONet则对于第一卷积神经网络PNet得到候选人脸框逐步筛选并进行非极大值抑制,得到最终的人脸检测结果。
深度学习架构采用多任务学习策略对网络进行优化,由三路监督学习信号组成:A、softmax分类器的交叉损失熵学习输入的图像块是否为人脸。B、矩形框的euclidean回归损失学习矩形框的定位。C、回归损失学习五个人脸关键点的定位。
深度学习架构的构建具体为:
使用CAFFE开源代码来训练整个网络,使用的计算机配置Intel core I7处理器,显卡配置为NIVIDA GTX TITAN 1080TI GPU。操作***为Linux ubuntu16.04。
网络的学习参数为:迭代次数100000次,每次迭代送入的样本数100,初始学习率:0.01,冲量项:0.9,反向传播方式:随机梯度下降法。
S5、根据步骤S4得到的人脸框定位和摄像头距离观众的位置关系,得到经验参数以确定观众的着装定位,并统计各种颜色所占的相应比重。其中,步骤S5具体如下步骤:
S51、根据摄像头多次测量和标定,选取着装候选框在图像中的定位为1.8个人脸框的偏移,着装候选框的大小为2个人脸框大小,如图4所示,为本发明提供的摄像头采集到的图像及统计颜色比重的示例图。本实施例设定仿生机器孔雀的摄像头安装与现场观众的距离为2.5米。
S52、设定的参与统计比重的颜色有红、黄、蓝、绿、紫、白、黑、灰,根据选取的着装候选框统计各种颜色所占的相应比重。
本发明提供的仿生机器孔雀根据所捕获的视觉信息(现场观众人数和着装颜色比重)来做出是否开屏和开屏大小的决策,以实现其娱乐性。
本发明中整个仿生机器孔雀图像识别***的构建为:
在仿生机器孔雀的头部安装Logitech Pro C920摄像头,作为仿生机器孔雀的“眼睛”捕捉现场的环境画面,其中“眼睛”离观众的距离控制在2.5米左右。
使用Visual Stdio 2013开发环境编写MFC界面程序。将CAFFE中的训练好的模型文件和网络脚本文件*.caffemodel和*.prototxt放入整个工程中,以实现仿生机器孔雀的人脸检测和着装识别功能。
将图像识别功能的代码封装成SDK库的形式,以方便仿生机器孔雀的其他功能模块的相互调用,如运动执行模块、语音对话模块、人脸识别模块、颜色筛选模块等等,并完成仿生机器孔雀整体功能的测试,以投入科技馆、酒店或商场中的使用,发挥其娱乐性。
本发明提出一种基于深度学习的仿生机器孔雀的图像识别方法,旨在实现娱乐仿生机器人在复杂环境下准确高效的人脸检测和颜色识别且鲁棒性好。首先使用人脸检测库制作卷积神经网络的预训练样本。然后设计卷积神经网络的结构,包括网络卷积层、池化层、全连接层的层数,每一层的参数,如卷积核的个数、大小,全连接层输出的神经元个数,在深度学习架构CAFFE上编写网络结构和训练的脚本程序。使用仿生机器孔雀采集到的现场图像(包含有观众和无观众)对训练好的深度学习架构进行参数微调。最后编写测试程序,实现对于摄像头捕捉到的现场图像进行实时人脸检测和着装识别。
本发明不局限于上述最佳实施方式,任何人应该得知在本发明的启示下作出的结构变化,凡是与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。
Claims (7)
1.基于深度学习的仿生机器孔雀的图像识别方法,其特征在于,包括以下步骤:
S1、采集公开的人脸检测数据库作为训练和验证的图像数据集;
S2、设计基于卷积神经网络的深度学习架构,在深度学习架构内实现人脸检测功能;
S3、采集仿生机器孔雀摄像头所拍摄到的现场图像对训练好的卷积神经网网进行微调;
S4、根据步骤S3中微调后的深度学习架构进行测试,实现室内复杂环境下的人脸检测功能;
S5、根据步骤S4得到的人脸框定位和摄像头距离观众的位置关系,得到经验参数以确定观众的着装定位,并统计各种颜色所占的相应比重。
2.如权利要求1所述的图像识别方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、人脸检测数据库,选取公开Wider_face数据集和Celeba_face数据集作为人脸检测的训练样本;将图像数据集中原始图像归一化到一个统一的尺寸;
Wider_face数据集和Celeba_face数据集中提供了大量的人脸检测数据,并在图中提供了人脸框的位置信息;
S12、随机的对人脸图像选取边框,并计算选取边框与真实边框的重复度IOU;
S13、将人脸检测数据分为三类,分别是人脸正样本、人脸负样本、人脸部分样本,其占比重为1:3:1;
S14、将训练样本生成文件路径,并做好与之对应的标签,标签内容包括正、负样本标签以及随机生成边框和真实边框的偏移值。
3.如权利要求2所述的图像识别方法,其特征在于,所述步骤S12中,IOU>0.65为人脸正样本,IOU<0.4为人脸负样本;在0.4≤IOU≤0.65之间为人脸部分样本。
4.如权利要求1所述的图像识别方法,其特征在于,所述深度学习架构具体如下:
深度学习架构由三个卷积神经网络级联组成,三个卷积神经网络分别为第一卷积神经网络PNet,第二卷积神经网络RNet和第三卷积神经网络ONet;
第一卷积神经网络PNet在训练阶段的输入尺寸为12*12*3的图像块,第一卷积神经网络PNet为三层全卷积网络,不包含全连接层;
第二卷积神经网络RNet输入尺寸为24*24*3的图像块,为四层卷积网路包含三个卷积层和一个全连接层;
第三卷积神经网络ONet的输入尺寸48*48*3的图像块;为四层卷积网路包含三个卷积层和一个全连接层;
首先将训练样本送入第一卷积神经网络PNet,其输出分别为样本的类别,即人脸正、负样本和人脸定位的预测值;
第二卷积神经网络RNet用来细化PNet网络的输出结果;
第三卷积神经网络ONet用来细化RNet网络的输出结果,输出分别为样本的类别,人脸定位的预测值和人脸关键点的预测值。
5.如权利要求4所述的图像识别方法,其特征在于,所述步骤S3具体包括以下步骤:
S31、选取仿生机器孔雀现场所收集到的包括观众和不包括观众的多张图像分为训练样本和测试样本;选取训练样本中的图像取随机框获得人脸正样本、人脸负样本、和人脸部分样本;
S32、将确定好的训练样本和标签送入深度学习架构,对于深度学习架构中三个卷积神经网络的参数进行微调。
6.如权利要求5所述的图像识别方法,其特征在于,所述步骤S4具体包括以下步骤:
S41、将测试样本送入第一卷积神经网络PNet,获取候选人脸框以及每个人脸对应的四个点坐标;
S42、将第一卷积神经网络PNet获取并输出的候选人脸框送入第二卷积神经网络RNet,对候选人脸框进行细化筛选并进行非极大值抑制,去除误检;
S43、将第二卷积神经网络RNet筛选并输出结果送入第三卷积神经网络ONet,用于进一步对候选人脸框进行细化筛选,去除误检,最后得到人脸检测结果,包括人脸框定位和摄像头距离观众的位置关系。
7.如权利要求1所述的图像识别方法,其特征在于,所述步骤S5具体包括以下步骤:
S51、根据摄像头多次测量和标定,选取着装候选框在图像中的定位为1.8个人脸框的偏移,着装候选框的大小为2个人脸框;
S52、设定的参与统计比重的颜色有红、黄、蓝、绿、紫、白、黑、灰,根据选取的着装候选框统计各种颜色所占的相应比重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711374581.5A CN108038455A (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的仿生机器孔雀图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711374581.5A CN108038455A (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的仿生机器孔雀图像识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108038455A true CN108038455A (zh) | 2018-05-15 |
Family
ID=62099866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711374581.5A Pending CN108038455A (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的仿生机器孔雀图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038455A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985147A (zh) * | 2018-05-31 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 目标检测方法及装置 |
CN109035221A (zh) * | 2018-07-10 | 2018-12-18 | 成都先进金属材料产业技术研究院有限公司 | 基于图像识别深度学习技术的低倍组织智能评级方法 |
CN109685018A (zh) * | 2018-12-26 | 2019-04-26 | 深圳市捷顺科技实业股份有限公司 | 一种人证校验方法、***及相关设备 |
CN110119738A (zh) * | 2019-05-21 | 2019-08-13 | 中电健康云科技有限公司 | 齿痕检测方法、装置、电子设备及可读存储介质 |
CN110222623A (zh) * | 2019-05-31 | 2019-09-10 | 深圳市恩钛控股有限公司 | 微表情研判方法和*** |
CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
CN110458025A (zh) * | 2019-07-11 | 2019-11-15 | 南京邮电大学 | 一种基于双目摄像头的人员识别与定位方法 |
CN111783653A (zh) * | 2020-07-01 | 2020-10-16 | 创新奇智(西安)科技有限公司 | 商标标签检测方法、检测模型、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070013791A1 (en) * | 2005-07-05 | 2007-01-18 | Koichi Kinoshita | Tracking apparatus |
CN105809198A (zh) * | 2016-03-10 | 2016-07-27 | 西安电子科技大学 | 基于深度置信网络的sar图像目标识别方法 |
CN105930796A (zh) * | 2016-04-21 | 2016-09-07 | 中国人民解放军信息工程大学 | 一种基于深度自编码器的单样本人脸图像识别方法 |
CN106022220A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 |
CN106658169A (zh) * | 2016-12-18 | 2017-05-10 | 北京工业大学 | 一种基于深度学习多层次分割新闻视频的通用方法 |
CN107368670A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃癌病理诊断支持***和方法 |
-
2017
- 2017-12-19 CN CN201711374581.5A patent/CN108038455A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070013791A1 (en) * | 2005-07-05 | 2007-01-18 | Koichi Kinoshita | Tracking apparatus |
CN105809198A (zh) * | 2016-03-10 | 2016-07-27 | 西安电子科技大学 | 基于深度置信网络的sar图像目标识别方法 |
CN105930796A (zh) * | 2016-04-21 | 2016-09-07 | 中国人民解放军信息工程大学 | 一种基于深度自编码器的单样本人脸图像识别方法 |
CN106022220A (zh) * | 2016-05-09 | 2016-10-12 | 西安北升信息科技有限公司 | 一种体育视频中对参赛运动员进行多人脸跟踪的方法 |
CN106658169A (zh) * | 2016-12-18 | 2017-05-10 | 北京工业大学 | 一种基于深度学习多层次分割新闻视频的通用方法 |
CN107368670A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃癌病理诊断支持***和方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985147A (zh) * | 2018-05-31 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 目标检测方法及装置 |
CN109035221A (zh) * | 2018-07-10 | 2018-12-18 | 成都先进金属材料产业技术研究院有限公司 | 基于图像识别深度学习技术的低倍组织智能评级方法 |
CN109685018A (zh) * | 2018-12-26 | 2019-04-26 | 深圳市捷顺科技实业股份有限公司 | 一种人证校验方法、***及相关设备 |
CN110119738A (zh) * | 2019-05-21 | 2019-08-13 | 中电健康云科技有限公司 | 齿痕检测方法、装置、电子设备及可读存储介质 |
CN110222623A (zh) * | 2019-05-31 | 2019-09-10 | 深圳市恩钛控股有限公司 | 微表情研判方法和*** |
CN110458005A (zh) * | 2019-07-02 | 2019-11-15 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
CN110458005B (zh) * | 2019-07-02 | 2022-12-27 | 重庆邮电大学 | 一种基于多任务渐进配准网络的旋转不变人脸检测方法 |
CN110458025A (zh) * | 2019-07-11 | 2019-11-15 | 南京邮电大学 | 一种基于双目摄像头的人员识别与定位方法 |
CN110458025B (zh) * | 2019-07-11 | 2022-10-14 | 南京邮电大学 | 一种基于双目摄像头的目标识别与定位方法 |
CN111783653A (zh) * | 2020-07-01 | 2020-10-16 | 创新奇智(西安)科技有限公司 | 商标标签检测方法、检测模型、装置、设备及存储介质 |
CN111783653B (zh) * | 2020-07-01 | 2024-04-26 | 创新奇智(西安)科技有限公司 | 商标标签检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038455A (zh) | 基于深度学习的仿生机器孔雀图像识别方法 | |
Tran et al. | Two-stream flow-guided convolutional attention networks for action recognition | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
Sun et al. | Lattice long short-term memory for human action recognition | |
Hu et al. | Bottom-up and top-down reasoning with hierarchical rectified gaussians | |
CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测*** | |
CN104166841B (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN104281853B (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
CN110088776A (zh) | 用于训练深度神经网络的计算机设备 | |
CN109376603A (zh) | 一种视频识别方法、装置、计算机设备及存储介质 | |
CN109344736A (zh) | 一种基于联合学习的静态图像人群计数方法 | |
CN107506722A (zh) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 | |
CN107967451A (zh) | 一种利用多尺度多任务卷积神经网络对静止图像进行人群计数的方法 | |
CN107273836A (zh) | 一种行人检测识别方法、装置、模型和介质 | |
CN107153817A (zh) | 行人重识别数据标注方法和装置 | |
CN108108751A (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
CN106372581A (zh) | 构建及训练人脸识别特征提取网络的方法 | |
CN109117897A (zh) | 基于卷积神经网络的图像处理方法、装置及可读存储介质 | |
CN110008962A (zh) | 基于注意力机制的弱监督语义分割方法 | |
Woźniak et al. | Can we process 2d images using artificial bee colony? | |
Kulhare et al. | Key frame extraction for salient activity recognition | |
CN107944398A (zh) | 基于深度特征联合表示图像集人脸识别方法、装置和介质 | |
CN109829868A (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
Winarno et al. | Multi-view faces detection using Viola-Jones method | |
Reddy et al. | Human activity recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180515 |
|
RJ01 | Rejection of invention patent application after publication |