CN111753581A - 目标检测方法和装置 - Google Patents
目标检测方法和装置 Download PDFInfo
- Publication number
- CN111753581A CN111753581A CN201910239061.6A CN201910239061A CN111753581A CN 111753581 A CN111753581 A CN 111753581A CN 201910239061 A CN201910239061 A CN 201910239061A CN 111753581 A CN111753581 A CN 111753581A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- detection
- detected
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 17
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测方法和装置。其中,该方法包括:获取待检测图像;将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间。本发明解决了现有技术在通过图像检测目标的过程中模型训练耗时的技术问题。
Description
技术领域
本发明涉及机器学习领域,具体而言,涉及一种目标检测方法和装置。
背景技术
随着计算机技术的发展,图像处理技术为人们的生活和工作提供了方便。图像处理技术通过各类算法来加强图片的视觉效果,比如对比度,降噪等等。目前,图像处理技术最常见的应用包括脸部检测与识别,例如,通过人脸识别实现支付、上班签到。
但是,目前的检测算法在模型训练和检测速度方面还有待提升。
发明内容
本发明实施例提供了一种目标检测方法和装置,以至少解决现有技术在通过图像检测目标的过程中模型训练耗时的技术问题。
根据本发明实施例的一个方面,提供了一种目标检测方法,包括:获取待检测图像;将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间。
进一步地,特征空间包含多个特征向量。
进一步地,目标检测方法还包括通过卷积层对待检测图像进行第一次处理,得到第一特征;通过池化层对第一特征进行第二次处理,得到第二特征;通过进行至少一次第一次处理和至少一次第二次处理,提取抽象特征表达,得到特征空间。
进一步地,检测还包括特征对齐,特征对齐使用不同采样率对抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。
进一步地,检测还包括特征抽象和融合,特征抽象和融合包括:对第三特征进行多个分支卷积操作,得到多个分支结果;对多个分支结果进行逐点求和操作,得到多个求和结果;对多个求和结果进行连接操作,得到第四特征。
进一步地,检测还包括:将第四特征输入全连接层,得到预测结果;将预测结果进行分类和回归,得到检测结果。
进一步地,对预测结果进行分类和回归包括对负样本进行过滤。
进一步地,对负样本进行过滤包括设定正样本和负样本的比例,根据置信度的排序过滤负样本。
进一步地,目标检测方法还包括:检测结果包括以下至少之一:待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置。
进一步地,在将待检测图像输入至预设模型进行检测,得到检测结果之前,目标检测方法还包括:获取图像样本,并对神经网络模型进行训练,得到预设模型。
进一步地,目标检测方法还包括:根据神经网络模型输出的分析结果与实际结果,得到损失函数;对损失函数进行迭代优化。
进一步地,预设模型包括级联结构的多级检测器,其中,每一级检测器包含至少一个卷积层和至少一个池化层。
进一步地,预设模型包括单级检测器,其中,单级检测器包含至少一个卷积层和至少一个池化层。
进一步地,目标检测方法还包括:根据检测结果监控特定封闭空间中的目标。
根据本发明实施例的另一方面,还提供了一种目标检测装置,包括:获取模块,用于获取待检测图像;检测模块,用于将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间,特征空间包含多个特征向量。
进一步地,检测模块包括:第一处理模块,用于通过卷积层对待检测图像进行第一次处理,得到第一特征;第二处理模块,用于通过池化层对第一特征进行第二次处理,得到第二特征;提取模块,用于通过进行至少一次第一次处理和至少一次第二次处理,提取抽象特征表达,得到特征空间。
进一步地,检测还包括特征对齐,特征对齐使用不同采样率对抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。
进一步地,目标检测装置还包括:融合模块,用于特征抽象和融合,融合模块用于对第三特征进行多个分支卷积操作,得到多个分支结果;对多个分支结果进行逐点求和操作,得到多个求和结果;对多个求和结果进行连接操作,得到第四特征。
进一步地,检测模块还包括:第三处理模块,用于将第四特征输入全连接层,得到预测结果;第四处理模块,用于将预测结果进行分类和回归,得到检测结果。
进一步地,第四处理模块包括:过滤模块,用于对负样本进行过滤。
进一步地,过滤模块还用于设定正样本和负样本的比例,根据置信度的排序过滤负样本。
进一步地,检测结果包括以下至少之一:待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置。
进一步地,目标检测装置还包括:训练模块,用于获取图像样本,并对神经网络模型进行训练,得到预设模型。
进一步地,训练模块包括:第五处理模块,用于根据神经网络模型输出的分析结果与实际结果,得到损失函数;迭代模块,用于对损失函数进行迭代优化。
进一步地,目标检测装置还包括:追踪模块,用于根据检测结果对待寻找目标进行追踪。
根据本发明实施例的另一方面,还提供了一种车内活体监控***,该车内活体监控***包括:上述任一项目标检测装置;以及车辆状态检测装置,用于检测车辆状态获得车辆状况信息,并在车辆状况信息满足预设条件时启动目标检测装置。
进一步地,车辆状态包括以下至少之一:车辆是否停止;发动机是否熄火;车门是否已锁;车内温度状况。
进一步地,该***还包括信息传递模块,用于将目标检测装置得到的检测结果传递给客户端、控制模块和警报模块中的一项或多项。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行目标检测方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行目标检测方法。
在本发明实施例中,采用逐层提取图像特征的方式,在获取到待检测目标对应的待检测图像之后,将待检测图像输入至预设模型进行检测,得到检测结果,其中,预设模型是基于神经网络模型对图像样本逐层进行特征提取得到的。在对待检测图像进行逐层提取图像特征的过程中,进一步提升了模型的表达能力、检测精度和检测速度。另外,本申请所提供的方案还在网络结构方面进行了优化精简,例如,对卷积层的分解、对不同操作层的合并等,进一步提升了检测速度,进而解决了现有技术在通过图像检测目标的过程中模型训练耗时的技术问题。并且,本申请所提供的单级检测方案能够实现端到端的训练过程,仅对模型进行一次训练,并且仅对负样本进行一次过滤,无需在预设模型的每层进行样本过滤,具有计算量小,检测速度快的特点,从而提高了模型训练的速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种目标检测方法流程图;
图2是根据本发明实施例的一种可选的脸部检测区域的示意图;
图3是根据本发明实施例的一种可选的身体检测区域的示意图;
图4是根据本发明实施例的一种可选的脸部检测区域的示意图;
图5是根据本发明实施例的一种可选的身体检测区域的示意图;
图6是根据本发明实施例的一种可选的目标检测方法流程图;
图7是根据本发明实施例的一种可选的目标检测方法流程图;以及
图8是根据本发明实施例的一种目标检测装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的目标,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种目标检测方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。另外,本申请所提供的方案可应用于计算机、手机平台,还可应用于监控摄像、无人机等平台。
图1是根据本发明实施例的目标检测方法流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取待检测图像。
在一种可选的方案中,用户通过封闭空间内的摄像装置设备获取待检测图像,其中,封闭空间可以为汽车、公交车等交通工具或电梯、储物间等场所,摄像装置为该封闭空间内自带的或独立安装的摄像头,也可以是自带的或独立安装的带有摄像头的电子装置。
上述摄像装置可以与用户的检测终端(例如,手机、电脑等)相连接,在用户发出获取图像的指令之后,摄像装置将待检测图像发送至检测终端进行检测。可选的,上述获取图像的指令可以包括待检测图像对应的时间段以及摄像装置的采集频率。
步骤S104,将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间。
在步骤S104中,特征空间包含有多个特征向量。
需要说明的是,上述预设模型为基于图像样本对神经网络模型进行训练所得到的模型,其中,图像样本为包含大量图像的样本,例如,对于动物图像,图像样本为包含动物的图像样本和不包含动物的图像样本,由于采用大量图像的样本对预设模型进行训练,可以提高预设模型的泛化能力,提升预设模型的检测精度。另外,在步骤S104中,预设模型采用逐层提取的方式得到特征空间,进而得到检测结果。
在一种可选的方案中,预设模型包括级联结构的多级检测器,每级检测器均用于过滤一部分负样本,可以提高图像的检测精度。
在一种可选的方案中,预设模型包括单级检测器。相对于多级检测器,单级检测器能够实现端到端的训练过程,仅对模型进行一次训练,并且仅对负样本进行一次过滤,无需在预设模型的每层进行样本过滤,具有计算量小,检测速度快的特点,可以达到节省模型训练时间的目的,也可以提高图像检测的检测速度。
此外,还需要说明的是,步骤S104中的检测结果可以为对待检测目标的内容的检测,检测结果包括以下至少之一:待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置,例如,待检测目标为宠物狗的情况下,检测结果可以包括:待检测图像中是否包含狗、狗的位置(例如,在封闭空间内、在路中央、路边的垃圾桶旁)、狗的类型(例如,狗的毛长、狗毛颜色、狗的品种等)、特征点的位置。
在一种可选的方案中,可以根据检测结果监控特定封闭空间中的目标。例如,以监控车内是否存在儿童或宠物为例进行说明,在摄像装置将采集到的图像(即待检测图像)发送至检测终端之后,检测终端通过预设模型对图像进行检测,得到检测结果。当检测结果表示车内存在儿童或宠物时,可及时通知车主,以避免儿童或宠物在车内发生危险。
基于上述步骤S102至步骤S104所限定的方案,可以获知,采用逐层提取图像特征的方式,在获取到待检测图像之后,将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间。
容易注意到的是,在对待检测图像进行逐层提取图像特征的过程中,当预设模型包括单级检测器时,可以仅对预设模型进行一次训练,即对图像进行单级检测,提高了模型训练的速度,从而达到了节省模型训练的时间的目的,实现了提高模型训练速度的技术效果,进而解决了现有技术在通过图像检测目标的过程中模型训练耗时的技术问题。
可选的,在将待检测图像输入至预设模型进行检测,得到检测结果之前,检测终端需要对预设模型进行训练。具体的,检测终端首先获取图像样本,然后基于图像样本对神经网络模型进行训练,得到预设模型。
具体的,检测终端可根据神经网络模型输出的分析结果与实际结果,得到损失函数,然后对损失函数进行迭代优化,得到预设模型。可选的,在对损失函数进行迭代优化的过程中,可将损失函数的输出值最小值所对应的模型作为预设模型。
需要说明的是,上述图像样本包括第一类图像和第二类图像,其中,第一类图像为包含预设类型的目标的图像,第二类图像为不包含预设类型的目标的图像,例如,预设类型为动物,则第一类图像为包含动物的图像,第二类图像为不包含动物的图像。具体的,在获取多张第一类图像和多张第二类图像之后,检测终端可根据第一类图像和第二类图像得到图像样本。
可选的,神经网络模型至少包括:卷积层、池化层和输出层。检测终端可通过卷积层对待检测图像进行第一次处理,得到第一特征。然后通过池化层对第一特征进行第二次处理,得到第二特征,然后通过进行至少一次第一次处理和至少一次第二次处理,提取抽象表达,得到特征空间,其中,第一次处理为卷积处理,第二特征至少包括待检测图像的主要特征。
在一种可选的方案中,预设模型包括级联结构的多级检测器,每一级所述检测器包含至少一个所述卷积层和至少一个所述池化层。
在一种可选的方案中,预设模型包括单级检测器,所述单级检测器包含至少一个卷积层和至少一个池化层。
需要说明的是,基于卷积层对待检测图像进行卷积处理的过程中,可以得到不同滤波算子的卷积结果特征,即得到上述第一特征。然后将第一特征输入至池化层,对第一特征进行处理,得到最大或平均特征,即上述第二特征。重复上述过程,即将当前层的输出作为下一层的输入,最终提取待检测图像的抽象特征表达,得到特征空间。
此外,还需要说明的是,对于动物而言,每张图像的主要特征可以包括但不限于动物的耳朵长度、耳朵的位置、鼻子的形状和大小、嘴巴的形状和大小、尾巴的长度等。
进一步地,预设模型还对待检测图像进行特征对齐操作、特征抽象和融合、分类和回归。具体的,预设模型使用不同采样率对抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。然后对第三特征进行多个分支卷积操作,得到多个分支结果,并对多个分支结果进行逐点求和操作,得到多个求和结果。然后对多个求和结果进行连接操作,得到第四特征,最后,将第四特征输入全连接层,得到预测结果,并将预测结果进行分类和回归,得到检测结果。
可选的,对预设结果进行分类和回归的过程,其实质是对负样本进行过滤的过程。具体的,首先设定正样本和负样本的比例,然后按照置信度对负样本进行排序,并根据排序结果对负样本进行过滤。
需要说明的是,在得到特征空间之后,检测终端学习待检测区域是否包含由预设类型的目标(例如,是否包含宠物的脸部),同时提取待检测区域中的特征。待检测区域为对待检测图像进行检测的有效检测区域,对于动物而言,待检测区域可以包括脸部检测区域和身体检测区域,如图2和图3所示,其中,图2示出了脸部检测区域,图3示出了身体检测区域。
可选的,以待检测区域为脸部检测区域为例进行说明。首先,在确定了待检测图像中的脸部检测区域之后,确定脸部检测区域的尺寸信息,然后确定与尺寸信息对应的采样率,并使用该采样率对待检测图像中的脸部检测区域进行采样,得到采样后的第三特征。进一步地,检测终端对采样后的第三特征进行多个分支卷积操作,得到多个分支结果,然后对多个分支结果进行逐点求和操作,得到多个求和结果,并对多个求和结果进行多个分支卷积操作,并对分支卷积结果进行特征连接操作。重复上述步骤得到更加抽象、表达能力更强的特征,即得到第四特征。
需要说明的是,神经网络模型还包括全连接层。在得到第四特征之后,检测终端可基于第四特征进行分类和回归,以实现对待检测目标的脸部检测区域的检测以及关键点定位(如图4中的标号1-11为关键点)、待检测目标的身体检测区域的检测定位。
可选的,对于脸部检测区域,检测终端首先获取待检测区域所包含的预设类型的目标的脸部特征的坐标值,然后基于全连接层对第四特征进行预测,得到预测结果,并计算坐标值与预测结果的损失函数,最后对损失函数进行迭代训练,将损失函数的输出值最小值所对应的结果作为处理结果。
可选的,对于身体检测区域,检测终端首先获取待检测区域所包含的预设类型的目标的身体特征的坐标值。然后基于全连接层对第四特征进行预测,得到预测结果,并计算坐标值与预测结果的损失函数,最后对损失函数进行迭代训练,将损失函数的输出值最小时所对应的结果作为处理结果,如图5所示,在图片的左上角标注了检测结果。
在一种可选的方案中,图6和图7分别示出了基于脸部检测区域的目标检测方法和基于身体检测区域的目标检测方法。由图6和图7可知,两者所采用的方法大体相同,都是在获取待检测图像之后,对待检测图像进行深度特征提取,得到待检测区域以及待检测区域对应的特征,然后基于待检测区域的尺寸信息对待检测区域的特征进行对齐操作,再对对齐后的特征进行特征抽象和融合。所不同的是,对于脸部检测区域,实现的是对脸部区域的定位、分类以及关键点的定位;对于身体检测区域,实现的是对身体区域的定位以及身体区域的分类。
需要说明的是,本申请所提供的方案除应用于目标检测外,还可应用于目标识别,例如,用户的宠物狗丢失,为寻找丢失的宠物狗,用户通过客户端来获取各个摄像装置所拍摄到的图像(即待识别图像),例如,在用户的家中以及周围安装有摄像装置(例如,摄像头)。在摄像装置将采集到的图像(即待识别图像)发送至检测终端之后,检测终端通过预设模型对图像进行识别,得到识别结果。然后识别终端获取用户输入的目标(例如,走失的宠物狗)的目标图像。识别终端根据识别结果将目标图像与待识别图像进行识别,从待识别图像中筛选出包含待识别目标的目标图像。
进一步地,识别终端还可获取每个摄像装置的位置信息。可选的,在得到目标图像之后,识别终端确定发送目标图像的目标摄像装置,并根据目标摄像装置的位置来确定目标的出现位置。然后根据目标摄像装置采集目标图像的采集时间来确定目标的出现时间。最后,识别终端根据目标的出现位置以及出现时间绘制目标的移动路径,用户根据该移动路径对目标进行追踪。
此外,本申请所提供的方案还可以应用于宠物脸特效方面,例如,虚拟墨镜、虚拟腮红等。另外,本申请所提供的方案还可应用于对宠物照片的预处理方面,例如,针对宠物脸区域进行锐化、增强等处理。
基于本实施例所描述的内容可知,本申请所提供的方案采用逐层提取特征和特征抽象融合的方式,进一步提升了模型的表达能力、检测精度和检测速度。另外,本申请所提供的方案还在网络结构方面进行了优化精简,例如,对卷积层的分解、对不同操作层的合并等,进一步提升了检测速度。并且,本申请所提供的单级检测方案能够实现端到端的训练过程,仅对模型进行一次训练,并且仅对负样本进行一次过滤,无需在预设模型的每层进行样本过滤,具有计算量小,检测速度快的特点,从而提高了模型训练的速度。
实施例2
根据本发明实施例,还提供了一种目标检测装置实施例,其中,图8是根据本发明实施例的目标检测装置示意图,如图8所示,该装置包括:获取模块801以及检测模块803。
其中,获取模块801,用于获取待检测图像;检测模块803,用于将待检测图像输入至预设模型进行检测,得到检测结果,其中,检测包括深度特征提取,深度特征提取通过对待检测图像进行逐层提取抽象特征表达,得到特征空间。
此处需要说明的是,上述获取模块801以及检测模块803对应于上述实施例的步骤S102至步骤S104,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。
可选的,特征空间包含多个特征向量。
在一种可选的方案中,检测模块包括:第一处理模块,用于通过卷积层对待检测图像进行第一次处理,得到第一特征;第二处理模块,用于通过池化层对第一特征进行第二次处理,得到第二特征;提取模块,用于通过进行至少一次第一次处理和至少一次第二次处理,提取抽象特征表达,得到特征空间。
可选的,检测还包括特征对齐,特征对齐使用不同采样率对抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。
可选的,目标检测装置还包括:融合模块,用于特征抽象和融合,融合模块还用于对第三特征进行多个分支卷积操作,得到多个分支结果;对多个分支结果进行逐点求和操作,得到多个求和结果;对多个求和结果进行连接操作,得到第四特征。
在一种可选的方案中,检测模块还包括:第三处理模块,用于将第四特征输入全连接层,得到预测结果;第四处理模块,用于将预测结果进行分类和回归,得到检测结果。
其中,第四处理模块包括:过滤模块,用于对负样本进行过滤。
可选的,过滤模块还用于设定正样本和负样本的比例,根据置信度的排序过滤负样本。
可选的,检测结果包括以下至少之一:待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置。
在一种可选的方案中,目标检测装置还包括:训练模块,用于获取图像样本,并对神经网络模型进行训练,得到预设模型。
其中,训练模块包括:第五处理模块,用于根据神经网络模型输出的分析结果与实际结果,得到损失函数;迭代模块,用于对损失函数进行迭代优化。
在一种可选的方案中,目标检测装置还包括:追踪模块,用于根据检测结果对待寻找目标进行追踪。
实施例3
根据本发明实施例的另一方面,还提供了一种车内活体监控***,该监控***包括实施例2中的目标检测装置;以及车辆状态检测装置,用于检测车辆状态获得车辆状况信息,并在车辆状况信息满足预设条件时启动目标检测装置。
在一个可选的方案中,车辆状态包括以下至少之一:车辆是否停止;发动机是否熄火;车门是否已锁;车内温度状况。上述车辆状态可以通过各类传感器检测,例如,通过车辆加速传感器检测车辆是否停止以及停止的时间;通过温度传感器检测车内温度状况。
在一个可选的方案中,预设条件可以是以下至少一项或多项的任意组合:车辆停止且停止时间超过预设值;发动机熄火且熄火时间超过预设值;车门关闭;车内温度低于或高于预设值。本领域技术人员可知,该预设条件主要是用于检测车辆处于无人管理的状态。
在一个可选的方案中,该监控***还包括信息传递模块,用于将目标检测装置得到的检测结果传递给客户端、控制模块和警报模块中的一项或多项。具体地,客户端可以为用户的手机或随时携带的通讯设备,以接收控制模块可以根据车辆状态的检测结果启动车辆的相应设备。例如,当检测到车内温度低于或超过一定值时,开启通风设备或空调设备。警报模块可以通过预设提醒方式提醒车主,预设提醒方式包括以下之一或多个的组合:文字提醒、图片提醒、震动提醒、灯光闪烁提醒、声音提醒。在判断出车内存在活体后,发送警报信息给预设终端,发送形式包括但不限于:通过网络、短信或电话等形式发送信息给警报模块。
通过本实施例,在车内存在活体(例如,儿童或宠物)时,可及时通知车主,以避免近年来多次发生的将儿童或宠物遗留车内的类似事件。
实施例4
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行实施例1中的目标检测方法。
实施例5
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行实施例1中的目标检测方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (30)
1.一种目标检测方法,其特征在于,包括:
获取待检测图像;
将所述待检测图像输入至预设模型进行检测,得到检测结果,其中,所述检测包括深度特征提取,所述深度特征提取通过对所述待检测图像进行逐层提取抽象特征表达,得到特征空间。
2.根据权利要求1所述的方法,其特征在于,所述特征空间包含多个特征向量。
3.根据权利要求1所述的方法,其特征在于,所述深度特征提取通过对所述待检测图像进行逐层提取抽象特征表达,得到特征空间包括:
通过卷积层对所述待检测图像进行第一次处理,得到第一特征;
通过池化层对所述第一特征进行第二次处理,得到第二特征;
通过进行至少一次所述第一次处理和至少一次所述第二次处理,提取所述抽象特征表达,得到所述特征空间。
4.根据权利要求1所述的方法,其特征在于,所述检测还包括特征对齐,所述特征对齐使用不同采样率对所述抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。
5.根据权利要求4所述的方法,其特征在于,所述检测还包括特征抽象和融合,所述特征抽象和融合包括:
对所述第三特征进行多个分支卷积操作,得到多个分支结果;
对所述多个分支结果进行逐点求和操作,得到多个求和结果;
对所述多个求和结果进行连接操作,得到第四特征。
6.根据权利要求5所述的方法,其特征在于,所述检测还包括:
将所述第四特征输入全连接层,得到预测结果;
将所述预测结果进行分类和回归,得到所述检测结果。
7.根据权利要求6所述的方法,其特征在于,对所述预测结果进行分类和回归包括对负样本进行过滤。
8.根据权利要求7所述的方法,其特征在于,对所述负样本进行过滤包括设定正样本和所述负样本的比例,根据置信度的排序过滤所述负样本。
9.根据权利要求1所述的方法,其特征在于,所述检测结果包括以下至少之一:所述待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置。
10.根据权利要求1所述的方法,其特征在于,在将所述待检测图像输入至预设模型进行检测,得到检测结果之前,所述方法还包括:
获取图像样本,并对神经网络模型进行训练,得到所述预设模型。
11.根据权利要求10所述的方法,其特征在于,获取图像样本,并对神经网络模型进行训练包括:
根据所述神经网络模型输出的分析结果与实际结果,得到损失函数;
对所述损失函数进行迭代优化。
12.根据权利要求1所述的方法,其特征在于,所述预设模型包括级联结构的多级检测器,其中,每一级所述检测器包含至少一个卷积层和至少一个池化层。
13.根据权利要求1所述的方法,其特征在于,所述预设模型包括单级检测器,其中,所述单级检测器包含至少一个卷积层和至少一个池化层。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述检测结果监控特定封闭空间中的目标。
15.一种目标检测装置,其特征在于,包括:
获取模块,用于获取待检测图像;
检测模块,用于将所述待检测图像输入至预设模型进行检测,得到检测结果,其中,所述检测包括深度特征提取,所述深度特征提取通过对所述待检测图像进行逐层提取抽象特征表达,得到特征空间。
16.根据权利要求15所述的装置,其特征在于,所述特征空间包含多个特征向量。
17.根据权利要求15所述的装置,其特征在于,所述检测模块包括:
第一处理模块,用于通过卷积层对所述待检测图像进行第一次处理,得到第一特征;
第二处理模块,用于通过池化层对所述第一特征进行第二次处理,得到第二特征;
提取模块,用于通过进行至少一次所述第一次处理和至少一次所述第二次处理,提取所述抽象特征表达,得到所述特征空间。
18.根据权利要求15所述的装置,其特征在于,所述检测还包括特征对齐,所述特征对齐使用不同采样率对所述抽象特征表达进行特征采样,以得到尺寸对齐的第三特征。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:融合模块,用于特征抽象和融合,所述融合模块用于对所述第三特征进行多个分支卷积操作,得到多个分支结果;对所述多个分支结果进行逐点求和操作,得到多个求和结果;对所述多个求和结果进行连接操作,得到第四特征。
20.根据权利要求19所述的装置,其特征在于,所述检测模块还包括:
第三处理模块,用于将所述第四特征输入全连接层,得到预测结果;
第四处理模块,用于将所述预测结果进行分类和回归,得到所述检测结果。
21.根据权利要求20所述的装置,其特征在于,所述第四处理模块包括:过滤模块,用于对负样本进行过滤。
22.根据权利要求21所述的装置,其特征在于,所述过滤模块还用于设定正样本和所述负样本的比例,根据置信度的排序过滤所述负样本。
23.根据权利要求15所述的装置,其特征在于,所述检测结果包括以下至少之一:所述待检测图像是否存在待检测目标、待检测目标的位置、类型和特征点的位置。
24.根据权利要求15所述的装置,其特征在于,所述装置还包括:
训练模块,用于获取图像样本,并对神经网络模型进行训练,得到所述预设模型。
25.根据权利要求24所述的装置,其特征在于,所述训练模块包括:
第五处理模块,用于根据所述神经网络模型输出的分析结果与实际结果,得到损失函数;
迭代模块,用于对所述损失函数进行迭代优化。
26.一种车内活体监控***,其特征在于,包括:
权利要求15至25任一项所述的目标检测装置;以及
车辆状态检测装置,用于检测车辆状态获得车辆状况信息,并在车辆状况信息满足预设条件时启动所述目标检测装置。
27.根据权利要求26所述的***,其特征在于,所述车辆状态包括以下至少之一:车辆是否停止;发动机是否熄火;车门是否已锁;车内温度状况。
28.根据权利要求26所述的***,其特征在于,所述***还包括:信息传递模块,用于将所述目标检测装置得到的检测结果传递给客户端、控制模块和警报模块中的一项或多项。
29.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至14中任意一项所述的目标检测方法。
30.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至14中任意一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910239061.6A CN111753581A (zh) | 2019-03-27 | 2019-03-27 | 目标检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910239061.6A CN111753581A (zh) | 2019-03-27 | 2019-03-27 | 目标检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111753581A true CN111753581A (zh) | 2020-10-09 |
Family
ID=72672078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910239061.6A Pending CN111753581A (zh) | 2019-03-27 | 2019-03-27 | 目标检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111753581A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024061194A1 (zh) * | 2022-09-19 | 2024-03-28 | 虹软科技股份有限公司 | 样本标签的获取方法和镜头失效检测模型的训练方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107403141A (zh) * | 2017-07-05 | 2017-11-28 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
US20190005657A1 (en) * | 2017-06-30 | 2019-01-03 | Baidu Online Network Technology (Beijing) Co., Ltd . | Multiple targets-tracking method and apparatus, device and storage medium |
CN109271854A (zh) * | 2018-08-07 | 2019-01-25 | 北京市商汤科技开发有限公司 | 基于视频处理方法及装置、视频设备及存储介质 |
CN109345770A (zh) * | 2018-11-14 | 2019-02-15 | 深圳市尼欧科技有限公司 | 一种孩童遗留车内报警***及孩童遗留车内报警方法 |
CN109446964A (zh) * | 2018-10-19 | 2019-03-08 | 天津天地伟业投资管理有限公司 | 基于端到端单级多尺度检测器的面部检测分析方法及装置 |
-
2019
- 2019-03-27 CN CN201910239061.6A patent/CN111753581A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005657A1 (en) * | 2017-06-30 | 2019-01-03 | Baidu Online Network Technology (Beijing) Co., Ltd . | Multiple targets-tracking method and apparatus, device and storage medium |
CN107403141A (zh) * | 2017-07-05 | 2017-11-28 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
CN108520219A (zh) * | 2018-03-30 | 2018-09-11 | 台州智必安科技有限责任公司 | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN109271854A (zh) * | 2018-08-07 | 2019-01-25 | 北京市商汤科技开发有限公司 | 基于视频处理方法及装置、视频设备及存储介质 |
CN109446964A (zh) * | 2018-10-19 | 2019-03-08 | 天津天地伟业投资管理有限公司 | 基于端到端单级多尺度检测器的面部检测分析方法及装置 |
CN109345770A (zh) * | 2018-11-14 | 2019-02-15 | 深圳市尼欧科技有限公司 | 一种孩童遗留车内报警***及孩童遗留车内报警方法 |
Non-Patent Citations (1)
Title |
---|
张鸿著: "基于人工智能的多媒体数据挖掘和应用实例", 武大出版社, pages: 51 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024061194A1 (zh) * | 2022-09-19 | 2024-03-28 | 虹软科技股份有限公司 | 样本标签的获取方法和镜头失效检测模型的训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11196966B2 (en) | Identifying and locating objects by associating video data of the objects with signals identifying wireless devices belonging to the objects | |
US20180338120A1 (en) | Intelligent event summary, notifications, and video presentation for audio/video recording and communication devices | |
US10762646B2 (en) | Neighborhood alert mode for triggering multi-device recording, multi-camera locating, and multi-camera event stitching for audio/video recording and communication devices | |
CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
CN109154976B (zh) | 通过机器学习训练对象分类器的***和方法 | |
US11232685B1 (en) | Security system with dual-mode event video and still image recording | |
US20180233010A1 (en) | Neighborhood alert mode for triggering multi-device recording, multi-camera motion tracking, and multi-camera event stitching for audio/video recording and communication devices | |
WO2019184573A1 (en) | Passenger-related item loss mitigation | |
CN109766755B (zh) | 人脸识别方法及相关产品 | |
CN111274881A (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
JP7403546B2 (ja) | 遺留対象検出 | |
CN108986474A (zh) | 交通事故的定责方法、装置、计算机设备及计算机存储介质 | |
CN106557768A (zh) | 对图片中的文字进行识别的方法及装置 | |
CN105404860A (zh) | 用于管理走失人员信息的方法和设备 | |
US11195408B1 (en) | Sending signals for help during an emergency event | |
US10769909B1 (en) | Using sensor data to detect events | |
CN104134364A (zh) | 具有自我学习能力的实时交通信号识别方法及*** | |
CN109389029A (zh) | 基于行车记录仪的寻人方法、装置、***和存储介质 | |
US10733857B1 (en) | Automatic alteration of the storage duration of a video | |
CN107421557B (zh) | 导航目的地的确定方法、智能终端和具有存储功能的装置 | |
CN113971821A (zh) | 驾驶员信息确定方法、装置、终端设备及存储介质 | |
CN114170585A (zh) | 危险驾驶行为的识别方法、装置、电子设备及存储介质 | |
CN111753581A (zh) | 目标检测方法和装置 | |
CN115953650B (zh) | 特征融合模型的训练方法和装置 | |
CN110853184A (zh) | 车载计算信息的分析处理方法、装置、设备与存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |