CN110781836A - 人体识别方法、装置、计算机设备及存储介质 - Google Patents
人体识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110781836A CN110781836A CN201911032168.XA CN201911032168A CN110781836A CN 110781836 A CN110781836 A CN 110781836A CN 201911032168 A CN201911032168 A CN 201911032168A CN 110781836 A CN110781836 A CN 110781836A
- Authority
- CN
- China
- Prior art keywords
- sample
- neural network
- labels
- convolutional neural
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人体识别方法、装置、计算机设备及存储介质,该方法包括获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;将待识别图像数据输入目标识别模型进行识别,以得到识别结果;将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作;目标识别模型是通过若干带有类别标签、定位标签及置信度标签的图像数据训练深度卷积神经网络所得的。本发明通过由带有标签的图像数据作为样本集,训练深度卷积神经网络,以得到目标识别模型,该目标识别模型可适用于无人机,将来自无人机上的摄像机拍摄的实时图像数据,该实时图像数据输入到目标识别模型内进行目标检测和识别,可实现提高人体的识别准确率。
Description
技术领域
本发明涉及目标识别方法,更具体地说是指人体识别方法、装置、计算机设备及存储介质。
背景技术
过去的几十年中,目标识别一直是计算机视觉的一个广泛研究领域。深度学习技术在检测和分类图像中的对象方面的卓越性能导致其在各种应用中被广泛采用。
从视频流中截取的图像中检测人体也是目标识别的其中一个方式,但是检测人体是一项具有挑战性的任务,因为人体的外观多变,并且可以采用多种姿态,此外,无人机采集的视频镜头与地面采集的图像有很大不同;因此,标准技术的使用并不简单,由于无人机属于俯拍人体,从摄像机到人体的典型距离通常大于标准地面例如办公室式环境、监视照相机的情况,因此,目前适用于地面的目标检测算法并不适用于无人机进行目标识别,无法在一定高度且在不同姿态以及不同光照条件下提高人体识别的准确率。
因此,有必要设计一种新的方法,实现可适用于无人机,以进行目标检测和识别,提高人体的识别准确率。
发明内容
本发明的目的在于克服现有技术的缺陷,提供人体识别方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:人体识别方法,包括:
获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作;
其中,目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的。
其进一步技术方案为:所述目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的,包括:
获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集;
构建深度卷积神经网络以及损失函数;
对样本集进行分割,以得到样本网格单元集;
将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值;
判断所述损失值是否超过阈值;
若是,则调整深度卷积神经网络的参数,并返回所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
若否,则将所述深度卷积神经网络作为目标识别模型。
其进一步技术方案为:所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果,包括:
利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框;
利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值;
利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率;
利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率;
根据所述类别概率获取样本网络单元对应的类别;
整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
其进一步技术方案为:所述利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值,包括:
利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值;
利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值;
利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值;
整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
其进一步技术方案为:所述深度卷积神经网络包括13个卷积层。
其进一步技术方案为:所述深度卷积神经网络的输入大小为416×416个图像数据。
本发明还提供了人体识别装置,包括:
实时图像数据获取单元,用于获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
数据识别单元,用于将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
结果发送单元,用于将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作。
其进一步技术方案为:还包括:
模型获取单元,用于通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络,以得到目标识别模型。
本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过由带有标签的图像数据作为样本集,训练深度卷积神经网络,并从定位、类别以及置信度三个方面训练深度卷积神经网络,以得到目标识别模型,该目标识别模型可适用于无人机,在实际使用过程中,将来自无人机上的摄像机拍摄的实时图像数据,该实时图像数据输入到目标识别模型内进行目标检测和识别,可实现提高人体的识别准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人体识别方法的应用场景示意图;
图2为本发明实施例提供的人体识别方法的流程示意图;
图3为本发明实施例提供的人体识别方法的子流程示意图;
图4为本发明实施例提供的人体识别方法的子流程示意图;
图5为本发明实施例提供的人体识别方法的子流程示意图;
图6为本发明实施例提供的人体识别装置的示意性框图;
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的人体识别方法的应用场景示意图。图2为本发明实施例提供的人体识别方法的示意性流程图。该人体识别方法应用于服务器中。该服务器与无人机以及摄像机进行数据交互,实现从无人机上的摄像机获取实时图像数据后,进行人体检测和识别,以得到识别结果,并发送至无人机,以供无人机作为投放物资等其他避开人群的操作等。
图2是本发明实施例提供的人体识别方法的流程示意图。如图2所示,该方法包括以下步骤S110至S150。
S110、获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据。
在本实施例中,待识别图像数据是指由无人机上的摄像机拍摄所得的某一指定区域的实时图像数据。
从无人机的角度对地面的人体进行检测和识别,无人机上摄像机捕获的每一帧实时视频可以同时或者依序输入目标识别模型内进行识别。
S120、将待识别图像数据输入目标识别模型进行识别,以得到识别结果。
在本实施例中,识别结果包括类别、网格单元的尺寸、边界框的数量、置信度、定位信息。
其中,目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的。
在一实施例中,请参阅图3,上述的步骤S120可包括步骤S121~S128。
S121、获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集。
在本实施例中,样本集是指可可数据集或者道路人群数据集等可作为训练深度卷积神经网络的数据。
具体地,一般会将样本集分为训练集以及测试集,其中,训练集用于训练深度卷积神经网络,测试集用于测试目标识别模型的识别准确率,以得到识别准确率高的目标识别模型。
S122、构建深度卷积神经网络以及损失函数。
在本实施例中,深度卷积神经网络包括13个卷积层,所述深度卷积神经网络的输入大小为416×416个图像数据。
具体地,由于可用数据集的数量也就是样本集有限,可以将迁移学***均精度约为67%,均值平均值对于评估模型定位性能、目标监测模型性能和分割模型性能都是有用的。
S123、对样本集进行分割,以得到样本网格单元集。
在本实施例中,样本网格单元集是指对样本集进行图像分割,以得到S×S带有的网格N单元格数量的样本网格单元集。如果人体的中心位于网格单元内,那么这个特定的单元负责人体的检测。
S124、将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果。
在本实施例中,训练结果包括置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别。
在一实施例中,请参阅图4,上述的步骤S124可包括步骤S1241~S1246。
S1241、利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框。
在本实施例中,样本边界框是指每个样本网络单元的边界定位所形成的框体。
S1242、利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值。
在本实施例中,置信度值是指用于反映目标识别模型对样本边界框内包含的人体的置信度,以及预测的样本边界框的准确性。
S1243、利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率。
每个样本边界框包含5个预测值,即(x,y)边界框中心的坐标、框尺寸即宽度和高度、以及人体出现在样本边界框中的概率。所有这些预测值都是归一化值即在0和1之间。边界框中心坐标(x,y)是相对于网格单元的边界计算的,而宽度和高度是相对于整个图像数据预测的,因此,置信度值的预测表示借据基本事实和预测框之间的因素。
S1244、利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率。
在本实施例中,类别概率是指人体类别概率以及非人体类别概率。
类别概率受包含人体的样本网络单元的影响,通过用独立的逻辑分类器替换softmax函数来使用多标签分类,以便计算输入属于特定标签的概率,进而提高深度卷积神经网络对样本网络单元集进行类别概率的计算的准确率。
S1245、根据所述类别概率获取样本网络单元对应的类别。
在本实施例中,当类别概率高于某一阈值时,则表明样本网络单元对应的类别为人体,否则,则表明样本网络单元对应的类别为非人体。
S1246、整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
在训练过程中,端到端模型的损失函数应同时处理分类和检测问题,这决定了检测器的学习和测试精度。
在本实施例中,上述的深度卷积神经网络是采用微型YOLO V3架构的神经网络。微型YOLO V3架构包含了对YOLO的改进,在从基础网络中提取特征的同时,通过在两个不同的尺度上预测人体,对检测有所不同。与YOLO相比,识别准确率更高。
S125、利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值。
在本实施例中,损失值包括分类损失值、定位损失值以及置信度损失值。
损失值的计算是通过使用基本事实和预测之间的平方和误差来完成的。
在一实施例中,请参阅图5,上述的步骤S125可包括步骤S1251~S1254。
S1251、利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值。
在本实施例中,分类损失值是指预测准确性的误差。
S1252、利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值。
在本实施例中,定位损失值是指预测样本边界框的定位坐标和地面真实值即定位标签之间的误差。
S1253、利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值。
在本实施例中,置信度损失值是指样本边界框中人体外观的错误程度。
S1254、整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
S126、判断所述损失值是否超过阈值。
当上述的分类损失值、定位损失值以及置信度损失值任一数值超过阈值,都表明该损失值超过阈值,只有分类损失值、定位损失值以及置信度损失值均不超过阈值,才表明该损失值不超过阈值。
S127、若是,则调整深度卷积神经网络的参数,并返回步骤S124。
根据损失函数来获取标签与实际数值之间的差距,进而根据这个差距调整深度卷积神经网络的参数,以使得标签与实际数值签之间的差距满足设定的阈值,以实现整个目标识别模型可以准确地识别出人体,以驱动无人机根据识别结果进行寻找无人区投放物资,或者需要救援者所在位置进行附近投放物资等。
S128、若否,则将所述深度卷积神经网络作为目标识别模型。
深度卷积神经网络囊括作为特征提取器的基本模型、编码边界框的结果张量、人体在网格单元中存在的概率和类别预测。
S130、将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作。
目标识别模型识别待识别图像数据的整个过程的最终输出是编码的S×S×(B*5+C)张量,其中,S×S是网格单元的尺寸,B是边界框的数量,C是网络标记类的数量,整体而言,识别结果囊括定位、类别等数据。
深度学习技术能够从航空图像中提取非常有用的信息,卷积神经网络在深度学习的高级应用中是最先进的,用于广泛的任务,如图像或视频处理、语音识别、文本数字化等。
上述的人体识别方法,通过由带有标签的图像数据作为样本集,训练深度卷积神经网络,并从定位、类别以及置信度三个方面训练深度卷积神经网络,以得到目标识别模型,该目标识别模型可适用于无人机,在实际使用过程中,将来自无人机上的摄像机拍摄的实时图像数据,该实时图像数据输入到目标识别模型内进行目标检测和识别,可实现提高人体的识别准确率。
图6是本发明实施例提供的一种人体识别装置300的示意性框图。如图6所示,对应于以上人体识别方法,本发明还提供一种人体识别装置300。该人体识别装置300包括用于执行上述人体识别方法的单元,该装置可以被配置于服务器中。
具体地,请参阅图6,该人体识别装置300包括:
实时图像数据获取单元301,用于获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
数据识别单元302,用于将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
结果发送单元303,用于将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作
在一实施例中,还包括:
模型获取单元,用于通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络,以得到目标识别模型。
在一实施例中,所述模型获取单元包括:
样本集获取子单元,用于获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集;
构建子单元,用于构建深度卷积神经网络以及损失函数;
分割子单元,用于对样本集进行分割,以得到样本网格单元集;
卷积训练子单元,用于将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
损失值计算子单元,用于利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值;
判断子单元,用于判断所述损失值是否超过阈值;
参数调整子单元,用于若是,则调整深度卷积神经网络的参数,并返回所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
模型形成子单元,用于若否,则将所述深度卷积神经网络作为目标识别模型。
在一实施例中,所述卷积训练子单元包括:
边界框获取模块,用于利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框;
得分预测模块,用于利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值;
数值预测模块,用于利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率;
类别概率确定模块,用于利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率;
类别获取模块,用于根据所述类别概率获取样本网络单元对应的类别;
第一整合模块,用于整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
在一实施例中,所述损失值计算子单元包括:
分类损失值获取模块,用于利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值;
定位损失值获取模块,用于利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值;
置信度损失值获取模块,用于利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值;
第二整合模块,用于整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述人体识别装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述人体识别装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7,图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500是服务器。
参阅图7,该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种人体识别方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种人体识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作;
其中,目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的。
在一实施例中,处理器502在实现所述目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的步骤时,具体实现如下步骤:
获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集;
构建深度卷积神经网络以及损失函数;
对样本集进行分割,以得到样本网格单元集;
将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值;
判断所述损失值是否超过阈值;
若是,则调整深度卷积神经网络的参数,并返回所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
若否,则将所述深度卷积神经网络作为目标识别模型。
其中,所述深度卷积神经网络包括13个卷积层。
所述深度卷积神经网络的输入大小为416×416个图像数据。
在一实施例中,处理器502在实现所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果步骤时,具体实现如下步骤:
利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框;
利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值;
利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率;
利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率;
根据所述类别概率获取样本网络单元对应的类别;
整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
在一实施例中,处理器502在实现所述利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值步骤时,具体实现如下步骤:
利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值;
利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值;
利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值;
整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作;
其中,目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的。
在一实施例中,所述处理器在执行所述计算机程序而实现所述目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的步骤时,具体实现如下步骤:
获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集;
构建深度卷积神经网络以及损失函数;
对样本集进行分割,以得到样本网格单元集;
将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值;
判断所述损失值是否超过阈值;
若是,则调整深度卷积神经网络的参数,并返回所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
若否,则将所述深度卷积神经网络作为目标识别模型。
其中,所述深度卷积神经网络包括13个卷积层。
所述深度卷积神经网络的输入大小为416×416个图像数据。
在一实施例中,所述处理器在执行所述计算机程序而实现所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果步骤时,具体实现如下步骤:
利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框;
利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值;
利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率;
利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率;
根据所述类别概率获取样本网络单元对应的类别;
整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
在一实施例中,所述处理器在执行所述计算机程序而实现所述利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值步骤时,具体实现如下步骤:
利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值;
利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值;
利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值;
整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.人体识别方法,其特征在于,包括:
获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作;
其中,目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的。
2.根据权利要求1所述的人体识别方法,其特征在于,所述目标识别模型是通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络所得的,包括:
获取若干带有类别标签、定位标签以及置信度标签的图像数据,以得到样本集;
构建深度卷积神经网络以及损失函数;
对样本集进行分割,以得到样本网格单元集;
将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值;
判断所述损失值是否超过阈值;
若是,则调整深度卷积神经网络的参数,并返回所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果;
若否,则将所述深度卷积神经网络作为目标识别模型。
3.根据权利要求2所述的人体识别方法,其特征在于,所述将样本网格单元集对深度卷积神经网络进行卷积训练,以得到训练结果,包括:
利用深度卷积神经网络对样本网络单元集进行边界框的预测,以得到若干样本边界框;
利用深度卷积神经网络对若干样本边界框进行预测置信度得分,以得到置信度值;
利用深度卷积神经网络对若干样本边界框进行相关数值的预测,以得到若干定位坐标、样本边界框尺寸以及人体出现在样本边界框内的概率;
利用深度卷积神经网络内的逻辑分类器对样本网络单元集确定各类别的概率,以得到类别概率;
根据所述类别概率获取样本网络单元对应的类别;
整合所述置信度值、若干定位坐标、样本边界框尺寸、人体出现在样本边界框内的概率以及样本网络单元对应的类别,以得到训练结果。
4.根据权利要求3所述的人体识别方法,其特征在于,所述利用损失函数对训练结果、类别标签、定位标签以及置信度标签进行计算损失值,包括:
利用损失函数对样本网络单元对应的类别以及类别标签计算对应方差,以得到分类损失值;
利用损失函数对若干定位坐标以及定位标签计算对应方差,以得到定位损失值;
利用损失函数对置信度值以及置信度标签计算对应方差,以得到置信度损失值;
整合所述分类损失值、定位损失值以及置信度损失值,以得到损失值。
5.根据权利要求2所述的人体识别方法,其特征在于,所述深度卷积神经网络包括13个卷积层。
6.根据权利要求2所述的人体识别方法,其特征在于,所述深度卷积神经网络的输入大小为416×416个图像数据。
7.人体识别装置,其特征在于,包括:
实时图像数据获取单元,用于获取来自无人机上的摄像机拍摄的实时图像数据,以得到待识别图像数据;
数据识别单元,用于将待识别图像数据输入目标识别模型进行识别,以得到识别结果;
结果发送单元,用于将识别结果发送至无人机,以使得无人机对识别结果进行对应的操作。
8.根据权利要求7所述的人体识别装置,其特征在于,还包括:
模型获取单元,用于通过若干带有类别标签、定位标签以及置信度标签的图像数据训练深度卷积神经网络,以得到目标识别模型。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911032168.XA CN110781836A (zh) | 2019-10-28 | 2019-10-28 | 人体识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911032168.XA CN110781836A (zh) | 2019-10-28 | 2019-10-28 | 人体识别方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110781836A true CN110781836A (zh) | 2020-02-11 |
Family
ID=69387173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911032168.XA Pending CN110781836A (zh) | 2019-10-28 | 2019-10-28 | 人体识别方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110781836A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401241A (zh) * | 2020-03-16 | 2020-07-10 | 中国民用航空飞行学院 | 基于卷积神经网络的海上民用航空器搜寻方法及装置 |
CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
CN111598942A (zh) * | 2020-03-12 | 2020-08-28 | 中国电力科学研究院有限公司 | 一种用于对电力设施仪表进行自动定位的方法及*** |
CN111666890A (zh) * | 2020-06-08 | 2020-09-15 | 平安科技(深圳)有限公司 | 脊柱变形人群识别方法、装置、计算机设备及存储介质 |
CN112001498A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于量子计算机的数据识别方法、装置及可读存储介质 |
CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
CN112184756A (zh) * | 2020-09-30 | 2021-01-05 | 北京理工大学 | 一种基于深度学习的单目标快速检测方法 |
CN112349150A (zh) * | 2020-11-19 | 2021-02-09 | 飞友科技有限公司 | 一种机场航班保障时间节点的视频采集方法和*** |
CN112434715A (zh) * | 2020-12-10 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 基于人工智能的目标识别方法、装置及存储介质 |
CN112668509A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
CN112966618A (zh) * | 2021-03-11 | 2021-06-15 | 京东数科海益信息科技有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN113111729A (zh) * | 2021-03-23 | 2021-07-13 | 广州大学 | 人员识别模型的训练方法、识别方法、***、装置及介质 |
CN114359967A (zh) * | 2022-01-10 | 2022-04-15 | 杭州巨岩欣成科技有限公司 | 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质 |
CN114663717A (zh) * | 2020-12-22 | 2022-06-24 | 顺丰科技有限公司 | 包装材料视觉识别方法、装置、计算机设备和存储介质 |
CN116205969A (zh) * | 2023-05-06 | 2023-06-02 | 深圳赛桥生物创新技术有限公司 | 样本液体积识别方法、***和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921152A (zh) * | 2018-06-29 | 2018-11-30 | 清华大学 | 基于物体检测网络的英文字符切分方法及装置 |
CN109447033A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于yolo的车辆前方障碍物检测方法 |
CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及*** |
US20190311203A1 (en) * | 2018-04-09 | 2019-10-10 | Accenture Global Solutions Limited | Aerial monitoring system and method for identifying and locating object features |
CN110321775A (zh) * | 2019-04-08 | 2019-10-11 | 武汉理工大学 | 一种基于多旋翼无人机的水上落水人员自主识别方法 |
CN110348304A (zh) * | 2019-06-06 | 2019-10-18 | 武汉理工大学 | 一种可搭载于无人机的海事遇险人员搜索***以及目标识别方法 |
-
2019
- 2019-10-28 CN CN201911032168.XA patent/CN110781836A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190311203A1 (en) * | 2018-04-09 | 2019-10-10 | Accenture Global Solutions Limited | Aerial monitoring system and method for identifying and locating object features |
CN108921152A (zh) * | 2018-06-29 | 2018-11-30 | 清华大学 | 基于物体检测网络的英文字符切分方法及装置 |
CN109447033A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于yolo的车辆前方障碍物检测方法 |
CN109711437A (zh) * | 2018-12-06 | 2019-05-03 | 武汉三江中电科技有限责任公司 | 一种基于yolo网络模型的变压器部件识别方法 |
CN109815886A (zh) * | 2019-01-21 | 2019-05-28 | 南京邮电大学 | 一种基于改进YOLOv3的行人和车辆检测方法及*** |
CN110321775A (zh) * | 2019-04-08 | 2019-10-11 | 武汉理工大学 | 一种基于多旋翼无人机的水上落水人员自主识别方法 |
CN110348304A (zh) * | 2019-06-06 | 2019-10-18 | 武汉理工大学 | 一种可搭载于无人机的海事遇险人员搜索***以及目标识别方法 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598942A (zh) * | 2020-03-12 | 2020-08-28 | 中国电力科学研究院有限公司 | 一种用于对电力设施仪表进行自动定位的方法及*** |
CN111401241A (zh) * | 2020-03-16 | 2020-07-10 | 中国民用航空飞行学院 | 基于卷积神经网络的海上民用航空器搜寻方法及装置 |
CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
CN111461209B (zh) * | 2020-03-30 | 2024-04-09 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
CN111666890A (zh) * | 2020-06-08 | 2020-09-15 | 平安科技(深圳)有限公司 | 脊柱变形人群识别方法、装置、计算机设备及存储介质 |
CN111666890B (zh) * | 2020-06-08 | 2023-06-30 | 平安科技(深圳)有限公司 | 脊柱变形人群识别方法、装置、计算机设备及存储介质 |
CN112001498A (zh) * | 2020-08-14 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 基于量子计算机的数据识别方法、装置及可读存储介质 |
CN112001498B (zh) * | 2020-08-14 | 2022-12-09 | 苏州浪潮智能科技有限公司 | 基于量子计算机的数据识别方法、装置及可读存储介质 |
CN112016475B (zh) * | 2020-08-31 | 2022-07-08 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
CN112036331B (zh) * | 2020-09-03 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
CN112184756A (zh) * | 2020-09-30 | 2021-01-05 | 北京理工大学 | 一种基于深度学习的单目标快速检测方法 |
CN112349150A (zh) * | 2020-11-19 | 2021-02-09 | 飞友科技有限公司 | 一种机场航班保障时间节点的视频采集方法和*** |
CN112434715A (zh) * | 2020-12-10 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 基于人工智能的目标识别方法、装置及存储介质 |
CN112434715B (zh) * | 2020-12-10 | 2022-07-22 | 腾讯科技(深圳)有限公司 | 基于人工智能的目标识别方法、装置及存储介质 |
CN114663717A (zh) * | 2020-12-22 | 2022-06-24 | 顺丰科技有限公司 | 包装材料视觉识别方法、装置、计算机设备和存储介质 |
CN112668509A (zh) * | 2020-12-31 | 2021-04-16 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
CN112668509B (zh) * | 2020-12-31 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 社交关系识别模型的训练方法、识别方法及相关设备 |
CN112966618A (zh) * | 2021-03-11 | 2021-06-15 | 京东数科海益信息科技有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN112966618B (zh) * | 2021-03-11 | 2024-02-09 | 京东科技信息技术有限公司 | 着装识别方法、装置、设备及计算机可读介质 |
CN113111729A (zh) * | 2021-03-23 | 2021-07-13 | 广州大学 | 人员识别模型的训练方法、识别方法、***、装置及介质 |
CN113111729B (zh) * | 2021-03-23 | 2023-08-18 | 广州大学 | 人员识别模型的训练方法、识别方法、***、装置及介质 |
CN114359967A (zh) * | 2022-01-10 | 2022-04-15 | 杭州巨岩欣成科技有限公司 | 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质 |
CN116205969B (zh) * | 2023-05-06 | 2023-07-21 | 深圳赛桥生物创新技术有限公司 | 样本液体积识别方法、***和介质 |
CN116205969A (zh) * | 2023-05-06 | 2023-06-02 | 深圳赛桥生物创新技术有限公司 | 样本液体积识别方法、***和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
CN108509859B (zh) | 一种基于深度神经网络的无重叠区域行人跟踪方法 | |
CN108229267B (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
CN107609525B (zh) | 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法 | |
CN112132119B (zh) | 客流统计方法、装置、电子设备和存储介质 | |
WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及***、电子装置及存储介质 | |
CN110263920B (zh) | 卷积神经网络模型及其训练方法和装置、巡检方法和装置 | |
CN111860439A (zh) | 一种无人机巡检图像缺陷检测方法、***及设备 | |
CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
KR20170026222A (ko) | 이미지의 객체를 분류하기 위한 방법 및 디바이스, 및 대응하는 컴퓨터 프로그램 제품 및 컴퓨터 판독가능한 매체 | |
Xing et al. | Traffic sign recognition using guided image filtering | |
CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
CN114495006A (zh) | 遗留物体的检测方法、装置及存储介质 | |
CN113409252A (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
CN116977937A (zh) | 一种行人重识别的方法及*** | |
CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 | |
CN113610770A (zh) | 一种车牌识别方法和装置及设备 | |
CN113269038A (zh) | 一种基于多尺度的行人检测方法 | |
CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
CN115937991A (zh) | 人体摔倒识别方法、装置、计算机设备及存储介质 | |
Bernuy et al. | Adaptive and real-time unpaved road segmentation using color histograms and RANSAC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |
|
RJ01 | Rejection of invention patent application after publication |