CN112446396A - 用于目标检测的神经网络训练方法、目标检测方法及装置 - Google Patents
用于目标检测的神经网络训练方法、目标检测方法及装置 Download PDFInfo
- Publication number
- CN112446396A CN112446396A CN201910812656.6A CN201910812656A CN112446396A CN 112446396 A CN112446396 A CN 112446396A CN 201910812656 A CN201910812656 A CN 201910812656A CN 112446396 A CN112446396 A CN 112446396A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- pixel value
- pixel
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 147
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 title claims abstract description 36
- 238000005315 distribution function Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
公开了用于目标检测的神经网络训练方法、目标检测方法、装置、计算机可读存储介质及电子设备,用于目标检测的神经网络训练方法包括:获取第一样本图像,所述第一样本图像包括预先标注的目标;根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;基于所述第二样本图像训练神经网络。考虑到本公开未对目标设置相同的像素值,使得训练得到的神经网络输出的目标检测图像中的目标的像素值存在差异,从而便于对目标进行分割处理,进而提高聚类的准确性,因此,当对目标检测图像中的目标像素点集合进行像素聚类时,可降低将两个目标像素点集合聚类为同一目标的可能性,进而提高目标检测的准确性。
Description
技术领域
本申请涉及图像处理领域,且更具体地,涉及用于目标检测的神经网络训练方法、目标检测方法及装置。
背景技术
为了给驾驶员提供驾驶策略及追踪监控目标,通常需要进行利用神经网络进行目标检测。
目前的用于目标检测的神经网络可对一张图像中的每个像素点进行二分类(比如,背景像素点设置为黑色,目标像素点设置为白色),从而输出的目标检测图像,该目标检测图像中的目标的像素值是相同的。
但是,当一张图像中的两个目标之间的距离过小时,采用目前的神经网络进行目标检测时,神经网络输出的目标检测图中两个目标之间距离过小的区域的像素点的像素值与目标的像素值相同,后续则容易将两个目标聚类为一个目标,从而降低了目标检测的准确性。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于目标检测的神经网络训练方法、目标检测方法、装置、计算机可读存储介质及电子设备,训练得到的神经网络输出的目标检测图像中的目标的像素值存在差异,从而便于对目标进行分割处理,进而提高聚类的准确性,之后,当对训练得到的神经网络输出的目标检测图像中的目标像素点集合进行像素聚类时,可降低将两个目标像素点集合聚类为同一目标的可能性,从而提高目标检测的准确性。
根据本申请的一个方面,提供了一种用于目标检测的神经网络训练方法,包括:
获取第一样本图像,所述第一样本图像包括预先标注的目标;
根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;
将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
根据本申请的第二方面,提供了一种目标检测方法,包括:
将待检测图像输入至如本申请的一个方面所述的方法训练的神经网络,获得第一目标检测图像;
根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定第二目标检测图像。
根据本申请的第三方面,提供了一种用于目标检测的神经网络训练装置,包括:
获取模块,用于获取第一样本图像,所述第一样本图像包括预先标注的目标;
变换模块,用于根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;
训练模块,用于将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
根据本申请的第四方面,提供了一种用于目标检测的神经网络训练装置,包括:
检测模块,用于将待检测图像输入至本申请的第三方面所述的装置训练的神经网络,以获取第一目标检测图像;
聚类模块,用于根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定所述待检测帧图像的第二目标检测图像。
根据本申请的第五方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的方法。
根据本申请的第六方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述的方法。
与现有技术相比,本申请的实施例提供的一种用于目标检测的神经网络训练方法、目标检测方法、装置、计算机可读存储介质及电子设备,至少包括以下有益效果:
一方面,本实施例以第一样本图像为输入,目标像素值分布函数对样本图像中的目标进行像素值转换后得到的第二样本图像为监督,即以目标像素值分布函数的像素值对应的颜色表现目标,训练神经网络,从而改变神经网络输出的图像中目标的表现方式,进而得到用于目标检测的神经网络,该神经网络可检测出图像中的目标,并输出目标检测图像,该目标检测图像中的目标的像素值存在差异,从而便于对目标进行分割处理,进而提高聚类的准确性。
另一方面,利用训练得到的神经网络输出待检测图像的目标检测图像,并对目标检测图像中的目标像素点集合进行像素聚类,可降低将两个目标像素点集合聚类为同一目标的可能性,从而提高目标检测的准确性。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的用于目标检测的神经网络训练方法的流程示意图。
图2是本申请一示例性实施例提供的用于目标检测的神经网络训练方法中第二样本图像的示意图。
图3是本申请一示例性实施例提供的目标检测方法的流程示意图。
图4是本申请一示例性实施例提供的目标检测方法中步骤302的流程示意图。
图5是本申请一示例性实施例提供的目标检测方法中第一目标检测图像与第二目标检测图像的示意图。
图6是本申请一示例性实施例提供的目标检测方法中步骤3022的流程示意图。
图7是本申请一示例性实施例提供的用于目标检测的神经网络训练装置的结构示意图。
图8是本申请一示例性实施例提供的目标检测装置的结构示意图。
图9是本申请另一示例性实施例提供的目标检测装置的结构示意图。
图10是本申请另一示例性实施例提供的目标检测装置中第二聚类单元8022的结构示意图。
图11是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
为了找到图像中的目标,通常需要对图像中的目标进行目标检测。由于各类物体有不同的外观、形状、姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是机器视觉领域最具有挑战性的问题。在目前的目标检测方法中,通常是将利用神经网络将目标检测问题转换为图像的像素分类问题,即通过神经网络对一张图像中的每个像素点进行二分类,二分类包括背景及目标两个类别,并为分类为背景的像素点设置一个背景像素值,分类为目标的像素点设置的一个目标像素值,然后把二分类后的图像中的相同的目标像素值聚类为目标,从而达到目标检测的目的。
但是,当拍摄的图像中的多个目标出现粘连时,此时,利用神经网络对该图像进行检测以确定该图像对应的目标检测图像,得到的目标检测图像中若干个粘连的目标的像素点的像素值相同,使得若干个粘连的目标被聚类为一个目标,降低了目标检测的准确性,即目前的神经网络对目标的像素值进行统一处理,使得目标的像素值相同,从而增加了对目标分割及聚类的难度。
本实施例则充分考虑到上述神经网络的缺点,通过以第一样本图像为输入,目标像素值分布函数对样本图像中的目标进行像素值转换后得到的第二样本图像为监督,训练神经网络,从而改变神经网络输出的目标检测图像中目标的表现方式,进而得到用于目标检测的神经网络,该神经网络可检测出图像中的目标,并输出目标检测图像,该目标检测图像中的目标的像素值存在差异,从而便于对目标进行分割处理,进而提高聚类的准确性,后续对用于目标检测的神经网络输出的目标检测图像中的目标像素点集合进行像素聚类时,可降低将两个目标像素点集合聚类为同一目标的可能性,从而提高目标检测的准确性。
示例性方法
图1是本申请一示例性实施例提供的用于目标检测的神经网络训练方法的流程示意图。
本实施例可应用在电子设备上,具体可以应用于服务器或一般计算机上。如图1所示,本申请一示例性实施例提供的用于目标检测的神经网络训练方法至少包括如下步骤:
步骤101,获取第一样本图像,所述第一样本图像包括预先标注的目标。
第一样本图像是真实反映目标的信息的RGB图,RGB图包含三个通道,像素点的像素值包括三个通道分别对应的值。为了检测图像中感兴趣物体,通常需要对第一样本图像中感兴趣物体进行标注,在这里,感兴趣物体即为目标,目标可以是车辆、行人等以实体存在的物体,通常情况下,目标为可移动物体,比如,车辆。第一样本图像包含若干个已经标注的图像,这些图像可以是航拍图像、相机拍摄的图像等任何包括目标的图像,为了确保图像的质量,这些图像中标注的目标是完整的、图像大小是相同的。考虑到过多的第一样本图像会降低训练神经网络的效率,过少的第一样本图像会影响训练得到的神经网络的准确性,因此第一样本图像的数据量应当适量,以快速训练神经网络,并得到准确性较高的用于目标检测的神经网络。考虑到图像中存在大量没有参考价值或者参考价值较小的信息,为了进一步提高运算效率,通过对第一图像样本的没有参考价值或者参考价值较小的信息进行像素值的统一,以减少没有参考价值或者参考价值较小的信息对目标检测的影响。举例来说,以目标为车辆,若干张包含车辆的图像为例,针对每张图像,车辆及车辆所在的道路具有较大的参考价值,而车辆所在道路之外的区域内的车辆及其他物体的参考价值较小,在这里,对车辆所在道路之外的区域进行像素值统一处理,并对车辆所在道路上的完整车辆进行标注,从而得到第一图像样本。
步骤102,根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像。
为了得到不容易出现粘连的目标,在这里,通过对图像中的目标进行像素值变换,以改变目标的像素点原有的像素值,从而以更为简单清晰的方式表现检测出的目标。像素值变换指的是根据某种条件按一定变换关系逐点改变源图像中每一个像素点的像素值的方法。
该实施例中,基于目标像素值分布函数,对第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像。在这里,目标像素值分布函数中的像素值是因变量,像素点在目标中的位置为自变量,从而指示了像素点在目标中的位置及该位置对应的像素值。第二样本图像中的目标的像素点的像素值位于目标像素值分布函数的像素值值域内,像素值值域指的是目标像素值分布函数中像素值的取值范围。在这里,考虑到目标像素值分布函数中的像素值位于一定的值域内,利用目标像素值分布函数对第一样本图像中的目标进行像素值变换的过程实际是像素值归一化的过程。
现有技术中通常是对检测出的目标的像素值仅进行统一处理,即目标的像素值相同,但是当目标出现粘连时,统一像素值的处理不能反映出目标的像素值差异,从而导致将若干个粘连的目标被聚类为一个目标。而目标边缘是区分不同目标的重要特征,目标边缘指的是目标的边缘,为了保证像素值变换后的目标可更为准确的反映出目标的像素值的差异,同时考虑到构建目标像素值分布函数需要以参考点为基准,而基于目标中心及目标边缘之间的区域对应完整的目标,同时目标中心是确定目标位置的关键点,目标中心指的是目标的中心,故目标像素值分布函数基于目标中心预设像素值以及目标边缘预设像素值确定,从而将目标中心至目标边缘的原有的像素值映射到目标像素值变换函数上,以全面的对目标中的若干个像素点进行像素值变换。目标中心预设像素值指的是预先设置的目标中心的像素点的像素值。考虑到目标边缘对应有若干个像素点,目标中心的像素点至目标边缘的像素点的距离值有若干个,为了完整的反映出目标的像素点的像素值分布,目标边缘预设像素值指的是预先设置的距离目标中心的最远的目标边缘的像素点的像素值,在这里,像素值对应的颜色是人为设定的,比如,可以设置像素值为1对应的颜色是白色,像素值为0对应的颜色为黑色。目标边缘预设像素值及目标中心预设像素值是预先设置好的。
考虑到目标边缘是区分不同目标的重要特征,目标像素值分布函数的本质是保证神经网络输出的目标检测图像中目标边缘周围的区域便于从目标中分割,目标边缘周围的区域在目标的区域的占比是比较小的,以确保将目标边缘周围的区域分割后不过多的影响目标的大小及位置,之后,则便于对目标检测图像中的目标边缘进行分割,从而有利于分割粘连的目标,进而提高目标检测的准确性。在这里,基于目标中心预设像素值至目标边缘预设像素值确定的目标像素值分布函数包括但不限于单调函数或者分段函数,单调函数指示了目标中心预设像素值不断减小或者不断增加至目标边缘预设像素值,在保证了目标边缘周围的区域可分割的前提下,分段函数可将目标中心至目标边缘划分为不同的区域,并为不同的区域设置像素值范围,在这里,单调函数及分段函数均以距离目标中心的欧式距离为自变量,像素值为因变量,从而确保目标中心预设像素值与目标边缘预设像素值是不同的,以便区分目标边缘及目标中心,增加了目标的像素值的差异性,从而便于对目标进行分割处理,进而提高聚类的准确性。具体地,目标中心预设像素值大于目标边缘预设像素值,显而易见的,目标边缘预设像素值也可以大于目标边缘预设像素值。
需要说明的是,考虑RGB图会占据大量的存储资源,因此,第二样本图像通常选择灰度图。基于目标像素值分布函数,对第一样本图像中预先标注的目标进行灰度值变换即可确定第二样本图像。举例来说,设置像素值为1表示白色,像素值为0表示黑色,而0至1之间的像素值的亮度逐渐增加,在一种可能的实现方式中,设置目标边缘预设像素值为0.2,目标中心预设像素值为1,目标之外的区域的像素值为0,则可得到的如图2所示的第二样本图像,目标中心亮边缘暗,即目标中心到目标边缘的亮度逐渐降低,图2所示的目标的数量只有一个,但是实际场景中的第二样本图像中的目标可以有多个,显而易见的,也可以设置目标边缘预设像素值为1,目标中心预设像素值为0.2,得到的第二样本图像中的目标中心暗边缘亮;在另一种可能的实现方式中,将目标划分为若干个区域,基于目标中心预设像素值与目标边缘预设像素值的单调性或者目标边缘周围的区域的可分割性,为不同的区域设置不同的像素值或像素值范围,比如可以划分为中心区域、中间区域与边缘区域,为中心区域、中间区域及边缘区域设置不同的像素值,同时目标中心预设像素值为1,目标边缘预设像素值为0.2,比如中心区域的像素值设置为1,中间区域的像素值设置为0.6,边缘区域的像素值设置为0.2。
步骤103,将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
以第一样本图像为输入,第二样本图像为监督,训练神经网络,以使得训练得到的神经网络能够检测图像中的目标,并对检测出的目标进行像素值变换,从而实现目标检测。
现有技术中的神经网络对图像中的目标检测是像素分类问题,本发明实施例中的训练好的神经网络对图像中的目标检测是像素回归问题,即该神经网络能够确定图像中的像素点对应的目标中心至目标边缘的概率分布,该概率分布中自变量的取值区间对应的是目标中心与目标边缘之间的距离值,之后,根据目标像素值分布函数,基于像素点对应的目标中心至目标边缘的概率分布,可确定像素点的像素值,实现目标的像素值变换。
本实施例提供的用于目标检测的神经网络训练方法的有益效果至少在于:对第一样本图像中预先标注的目标进行像素值变换以确定第二样本图像,将第一样本图像为输入、第二样本图像为监督训练神经网络,以使得训练得到的神经网络能够对检测出的目标进行像素值变换,从而输出目标检测图像,目标检测图像中的目标的像素值存在差异,便于对目标进行分割处理,从而提高聚类的准确性。
图3是本申请一示例性实施例提供的目标检测方法的流程示意图。
本实施例可应用在电子设备上,具体可以应用于服务器或一般计算机上。如图3所示,本申请一示例性实施例提供的目标检测方法至少包括如下步骤:
步骤301,将待检测图像输入至如图1所述的方法训练的神经网络,获得第一目标检测图像。
待检测图像具体指的是需要检测目标的图像,待检测图像是未标注的图像,为了检测待检测图像中的目标,可以将待检测图像输入至如图1所述的方法训练的神经网络中,该神经网络能够确定出待检测图像中每个像素点位于目标中心至目标边缘的概率分布,并基于目标像素值分布函数及概率分布,确定像素点的像素值,从而获得第一目标检测图像,第一目标检测图像是如图1所述的方法训练的神经网络的输出图,该第一目标检测图像中的目标的像素值存在差异,从而便于对目标进行分割处理,进而提高聚类的准确性。
需要说明的是,待检测图像应当满足如图1所述的方法训练的神经网络的输入条件,以保证可以准确检测出待检测图像中的目标。举例来说,以目标为车辆,第一样本图像中的车辆及车辆所在道路之外的区域均设置为黑色为例,待检测图像中车辆及车辆所述道路之外的区域也应当是黑色的。
步骤302,根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定第二目标检测图像。
由于行驶道路的交通拥堵、摄像机拍摄图像的视角及目标之间的相互遮挡,容易导致拍摄的待检测图像中的若干个目标出现粘连,在这里,粘连指的是目标之间相连,当第一目标检测图像中若干个目标出现粘连时,为了防止粘连的若干个目标被检测为一个目标,通常需要对目标像素点集合进行像素聚类,以分割粘连的目标,从而确定出第二目标检测图像,在这里,像素聚类指的是将目标像素点集合分成多个类别的过程,因此,预设条件指的是像素聚类为不同类别时目标像素点应当满足的条件。第一目标检测图像中包括若干个目标像素点集合,每个目标像素点集合对应一个目标,因此,目标像素点集合包括若干个组成目标的像素点,这些像素点的像素值位于目标像素值分布函数的像素值值域内。
需要说明的是,第二目标检测图像是对第一目标检测图像进行像素聚类后的得到图像,对于同一目标,第二目标检测图像中的目标的区域小于与第一目标检测图像中的目标的区域,即第二目标检测图像中的目标中心至目标边缘的区域位于第一目标检测图像中的目标中心至目标边缘的区域内,从而实现粘连的目标分割的目的,本发明实施例适用于目标为车辆的场景,可实现粘连的车辆的分割,在这里,对于车辆的类别及大小没有限定,当然,本发明实施例也适用于目标为其他物体的场景,比如,目标为动物,可实现相互遮挡的动物之间的分割。
本实施例通过如图1所述的方法训练的神经网络,得到待检测图像的目标检测图像,通过对目标检测图像中的目标像素点集合进行像素聚类,从而分割粘连目标,降低将粘连目标聚类为同一目标的可能性,以确保检测出的待检测图像中目标的种类数的准确性,从而提高目标检测的准确性。
图4示出了如图3所示的实施例中根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类步骤的流程示意图。
如图4所示,在上述图3所示实施例的基础上,本申请一个示例性实施例中,步骤302所示根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类步骤,具体可以包括如下步骤:
步骤3021,将所述第一目标检测图像中的目标像素点集合中满足预设条件的像素点聚类为目标。
在这里,预设条件指示了聚类为目标的像素点需要满足的条件,预设条件包括第一目标检测图像中的目标像素点的像素值位于预设范围内,预设范围指示了聚类的类别为目标的像素点的像素值所在的范围。
在一种可能的实现方式中,预先确定目标分割位置,并将目标分割位置对应在目标像素值分布函数上的像素值确定为目标分割阈值,根据目标分割阈值对目标像素点集合中的像素点进行划分,并将划分后的像素点归类即可实现像素聚类,目标分割位置指示了目标中心至目标边缘之间的分割点,分割点通常距离目标边缘较近,从而保证分割得到的目标的大小不会发生过大的变化。目标分割阈值指的聚类为目标的像素值的最小值或者最大值,目标分割阈值至目标中心预设像素值之间的像素值范围指示了聚类为目标的像素点的像素值所在的范围,即目标分割阈值至目标中心预设像素值之间的像素值范围为预设范围。举例来说,目标中心预设像素值逐渐降低到目标边缘像素值,目标中心预设像素值为1,目标边缘预设像素值为0.2,目标之外的区域的像素值为0,对于两个粘连目标,如图1所述的方法训练的神经网络输出如图5所示的第一目标检测图像,目标分割阈值使得粘连的目标可分割即可,因此,可以设置目标分割阈值为略大于目标边缘预设像素值的0.4,则预设范围为0.4至1,即目标像素点集合中的像素值位于0.4至1的像素点被聚类为目标,在根据预设范围对图5所示的第一目标检测图像进行像素聚类后得到如图5所示的第二目标检测图像,从而实现粘连目标的分割。
该步骤中,将第一目标检测图像中的目标像素点集合中满足预设条件的像素点聚类为目标,具体指的是,将第一目标检测图像中的目标像素点集合中像素值位于预设范围内的像素点聚类为目标。需要说明的是,聚类为目标的像素点的像素值通常不做改变,当然也可以重新赋予新的像素值。
步骤3022,将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景。
背景指的是图像中目标之外的区域。在这里,将第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景,从而将目标像素点集合聚类为目标及背景两个类别,以分割粘连的目标,进而得到第二目标检测图像。通常需要改变聚类为背景的像素点的像素值,从而在图像可视化方面区分不同的目标。
本实施例通过将目标像素点集合聚类为目标及背景,实现粘连的目标的分割。
图6示出了如图4所示的实施例中将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景步骤的流程示意图。
如图6所示,在上述图4所示实施例的基础上,本申请一个示例性实施例中,步骤3022所示将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景步骤,具体可以包括如下步骤:
步骤30221,获取背景像素值。
背景像素值指的目标之外的背景像素点对应的像素值,背景像素点指的是目标之外的区域内的像素点,通常情况下,目标检测图像中的背景像素值会进行统一处理,使得目标检测图像只有目标及背景,以更为清晰的表现图像中的目标,因此,需要利用背景像素值对聚类为背景的像素点进行处理。具体地,可通过如图1所述的方法训练的神经网络检测待检测图像中的背景像素点,并统一背景像素点的像素值,从而使得第一目标检测图像中的背景像素点对应的像素值相同。
步骤30222,将所述背景像素值替换所述不满足预设条件的像素点的像素值。
通过背景像素值替换不满足预设条件的像素点的像素值,从而将目标像素点集合中聚类为背景的像素点与背景融合,以分割第一目标检测图像中的目标像素点集合,在图像可视化方法实现聚类为目标与背景的像素点的分割,即实现粘连的目标的分割。举例来说,图5中背景像素值均为0,目标中心预设像素值为1,目标边缘预设像素值为0.2,在图5所示的第一目标检测图像的基础上,利用背景像素值替换目标像素点集合中的像素值位于0.4至0.2的像素点,即可得到图5所示的第二目标检测图像。
本实施例通过将背景像素值替换不满足预设条件的像素点的像素值,从而将目标像素点集合中聚类为背景的像素点与背景融合,实现粘连的目标的分割。
示例性装置
基于与本申请方法实施例相同的构思,本申请实施例还提供了一种用于目标检测的神经网络训练装置。
图7示出了本申请一示例性实施例提供的用于目标检测的神经网络训练装置的结构示意图。
如图7所示,本申请一示例性实施例提供的用于目标检测的神经网络训练装置,包括:
获取模块701,用于获取第一样本图像,所述第一样本图像包括预先标注的目标;
变换模块702,用于根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;
训练模块703,用于将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
基于与本申请方法实施例相同的构思,本申请实施例还提供了一种目标检测装置。
图8示出了本申请一示例性实施例提供的目标检测装置的结构示意图。
如图8所示,本申请一示例性实施例提供的目标检测装置,包括:
检测模块801,用于将待检测图像输入至如图5所述的装置训练的神经网络,以获取第一目标检测图像;
聚类模块802,用于根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定所述待检测帧图像的第二目标检测图像。
图9是本申请另一示例性实施例提供的目标检测装置的结构示意图。
如图9所示,在另一个示例性实施例中,所述聚类模块802包括:
第一聚类单元8021,用于将所述第一目标检测图像中的目标像素点集合中满足预设条件的像素点聚类为目标;
第二聚类单元8022,用于将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景。
图10是本申请另一示例性实施例提供的目标检测装置中第二聚类单元8022的结构示意图。
如图10所示,在另一个示例性实施例中,所述第二聚类单元8022包括:
获取子单元80221,用于获取背景像素值;
替换子单元80222,用于将所述背景像素值替换所述不满足预设条件的像素点的像素值。
示例性电子设备
图11图示了根据本申请实施例的电子设备的框图。
如图11所示,电子设备110包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备110中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器111可以运行所述程序指令,以实现上文所述的本申请的各个实施例的用于目标检测的神经网络训练方法及目标检测方法及/或者其他期望的功能。
在一个示例中,电子设备110还可以包括:输入装置113和输出装置114,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
当然,为了简化,图11中仅示出了该电子设备110中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备110还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于目标检测的神经网络训练方法及目标检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于目标检测的神经网络训练方法及目标检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种用于目标检测的神经网络训练方法,包括:
获取第一样本图像,所述第一样本图像包括预先标注的目标;
根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;
将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
2.根据权利要求1所述的方法,其中,所述目标像素值分布函数基于目标中心预设像素值以及目标边缘预设像素值确定。
3.根据权利要求2所述的方法,其中,所述目标边缘预设像素值小于所述目标中心预设像素值。
4.一种目标检测方法,包括:
将待检测图像输入至如权利要求1-3任意一项所述的方法训练的神经网络,获得第一目标检测图像;
根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定第二目标检测图像。
5.根据权利要求4所述的方法,其中,所述根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,包括:
将所述第一目标检测图像中的目标像素点集合中满足预设条件的像素点聚类为目标;
将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景。
6.根据权利要求5所述的方法,其中,所述将所述第一目标检测图像中的目标像素点集合中不满足预设条件的像素点聚类为背景包括:
获取背景像素值;
将所述背景像素值替换所述不满足预设条件的像素点的像素值。
7.根据权利要求6所述的方法,其中,所述预设条件包括所述第一目标检测图像中的目标像素点的像素值位于预设范围内。
8.一种用于目标检测的神经网络训练装置,包括:
获取模块,用于获取第一样本图像,所述第一样本图像包括预先标注的目标;
变换模块,用于根据目标像素值分布函数,对所述第一样本图像中的预先标注的目标进行像素值变换,以确定第二样本图像;
训练模块,用于将所述第一样本图像输入至神经网络中,基于所述第二样本图像训练神经网络。
9.一种目标检测装置,包括:
检测模块,用于将待检测图像输入至如权利要求8所述的装置训练的神经网络,以获取第一目标检测图像;
聚类模块,用于根据预设条件对所述第一目标检测图像中的目标像素点集合进行像素聚类,以确定所述待检测帧图像的第二目标检测图像。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一所述的方法。
11.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812656.6A CN112446396A (zh) | 2019-08-30 | 2019-08-30 | 用于目标检测的神经网络训练方法、目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812656.6A CN112446396A (zh) | 2019-08-30 | 2019-08-30 | 用于目标检测的神经网络训练方法、目标检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112446396A true CN112446396A (zh) | 2021-03-05 |
Family
ID=74741362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910812656.6A Pending CN112446396A (zh) | 2019-08-30 | 2019-08-30 | 用于目标检测的神经网络训练方法、目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446396A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005372A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for detecting a centerline of a vessel |
CN108229526A (zh) * | 2017-06-16 | 2018-06-29 | 北京市商汤科技开发有限公司 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
CN109753978A (zh) * | 2017-11-01 | 2019-05-14 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置以及计算机可读存储介质 |
CN110096937A (zh) * | 2018-01-31 | 2019-08-06 | 北京四维图新科技股份有限公司 | 一种用于辅助车辆自动驾驶的图像识别的方法及装置 |
-
2019
- 2019-08-30 CN CN201910812656.6A patent/CN112446396A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005372A1 (en) * | 2016-06-30 | 2018-01-04 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for detecting a centerline of a vessel |
CN108229526A (zh) * | 2017-06-16 | 2018-06-29 | 北京市商汤科技开发有限公司 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
CN109753978A (zh) * | 2017-11-01 | 2019-05-14 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置以及计算机可读存储介质 |
CN110096937A (zh) * | 2018-01-31 | 2019-08-06 | 北京四维图新科技股份有限公司 | 一种用于辅助车辆自动驾驶的图像识别的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lim et al. | Real-time traffic sign recognition based on a general purpose GPU and deep-learning | |
US9740967B2 (en) | Method and apparatus of determining air quality | |
CN108509907B (zh) | 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 | |
KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
Souani et al. | Efficient algorithm for automatic road sign recognition and its hardware implementation | |
US10296803B2 (en) | Image display apparatus, image display method, and computer program product | |
CN109840883B (zh) | 一种训练物体识别神经网络的方法、装置及计算设备 | |
CN110533046B (zh) | 一种图像实例分割方法、装置、计算机可读存储介质及电子设备 | |
US11762454B2 (en) | Method and apparatus with image augmentation | |
WO2023005091A1 (en) | Systems and methods for object detection | |
US11827151B2 (en) | Lateral image processing apparatus and method of mirrorless car | |
KR102403169B1 (ko) | 이미지 분석을 통한 가이드 제공 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
KR102389998B1 (ko) | 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
US20240013453A1 (en) | Image generation method and apparatus, and storage medium | |
CN112312001A (zh) | 一种图像检测的方法、装置、设备和计算机存储介质 | |
KR20210128491A (ko) | 위험 주행 행위 식별 방법, 장치, 전자 설비 및 저장매체 | |
CN112149707B (zh) | 图像采集控制方法、装置、介质及设备 | |
KR101705061B1 (ko) | 차량 번호판의 글자 인식을 위한 번호판 검출방법 | |
JP2006309650A (ja) | ナンバー認識装置及方法 | |
CN117252897B (zh) | 塑形镜划痕前景图像提取方法、装置、设备及存储介质 | |
CN112446396A (zh) | 用于目标检测的神经网络训练方法、目标检测方法及装置 | |
US20210183027A1 (en) | Systems and methods for recognition of user-provided images | |
Yakimov | Preprocessing digital images for quickly and reliably detecting road signs | |
US20230267749A1 (en) | System and method of segmenting free space based on electromagnetic waves | |
KR102395393B1 (ko) | 센싱 환경 분석을 통한 가이드 제공 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |