CN109766828A - 一种车辆目标分割方法、装置及通信设备 - Google Patents
一种车辆目标分割方法、装置及通信设备 Download PDFInfo
- Publication number
- CN109766828A CN109766828A CN201910015899.7A CN201910015899A CN109766828A CN 109766828 A CN109766828 A CN 109766828A CN 201910015899 A CN201910015899 A CN 201910015899A CN 109766828 A CN109766828 A CN 109766828A
- Authority
- CN
- China
- Prior art keywords
- vehicle target
- video frame
- traffic video
- pixel
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004891 communication Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种车辆目标分割方法、装置及通信设备，该方法包括将各交通视频帧划分为强日光场景或弱日光场景；根据交通视频帧的场景类型，转换到与场景类型对应的色彩空间内；构建交通视频帧的背景帧；基于各交通视频帧与背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；采用目标检测模型获取车辆目标检测定位结果；将车辆目标第一分割结果与车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；以车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型，获取待预测的交通视频帧，将待预测的交通视频帧输入到车辆目标分割模型，得到预测结果；实现了交通视频中车辆目标的自动标注，具有较高的准确性和效率。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种车辆目标分割方法、装置及通信设备。
背景技术
随着计算机技术的不断发展，机器学习，模式识别，数据挖掘等方面的技术对智能交通产生了至关重要的作用。目前根据机器学习的形式，可以把交通图像目标识别算法主要分为两类：无监督的目标自动识别算法和有监督目标自动识别算法。所谓无监督目标自动识别算法，就是在没有任何标注的训练数据中，由算法寻求目标的潜在特性，从而完成视频图像中的目标自动检测与识别。而有监督目标检测算法则是对已经由人工标注完全的正负训练样本集进行训练学习，使计算机找出特定目标的一类特征，然后根据训练结果对测试数据中的目标进行自动检测和识别。
在海量精准人工标注的基础上，有监督深度学***，在智能交通领域也得到了广泛的关注。国际上已经提出了若干公开的交通视频数据集，也开展了多项交通视频智能分析方面的竞赛，取得了一定的进展。
有监督深度学习依赖于大量、准确的像素级人工标注，而准确的像素级人工标注需要投入大量的时间成本和人力成本。交通视频数据具有采集频率高、采集不间断、分辨率较高等特点，而且在光照变化、特殊气候、自然环境等方面具有很强的地区差异性，这对人工标注工作提出了更加严峻的挑战：可供标注的数据规模非常庞大，而较小规模的人工标注数据又难具有足够的代表性。因此在能够保证车辆目标分割性能的前提下，降低投入的人工标注成本与时间成本，显得极其重要。
发明内容
本发明提供的一种车辆目标分割方法、装置及通信设备，主要解决的技术问题是：当前车辆目标分割识别过程所需投入的人工、时间成本高。
为解决上述技术问题，本发明提供一种车辆目标分割方法，包括：
获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各所述交通视频帧划分为强日光场景或弱日光场景；
根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内；
构建所述交通视频帧的背景帧；
基于各所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；
采用目标检测模型获取各所述交通视频帧的车辆目标检测定位结果；
将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；
以所述车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；
在进行预测时，获取待预测的交通视频帧，将所述待预测的交通视频帧输入到所述车辆目标分割模型，得到预测结果；
将所述预测结果进行二值化处理，得到所述待预测的交通视频帧的车辆目标分割结果。
可选的，所述自适应划分规则包括：
根据所述交通视频帧的色彩空间分布，建立亮度、色度与饱和度的联合概率分布模型，将所述交通视频帧划分为强日光场景或弱日光场景。
可选的，所述根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内，包括：
对于场景类型为强日光场景的交通视频帧，将其由RGB色彩空间转换到 Lab色彩空间；对于场景类型为弱日光场景的交通视频帧，将其由RGB色彩空间转换到灰度空间。
可选的，所述在将所述交通视频帧转换到与所述场景类型对应的色彩空间内之前，还包括：
将各所述交通视频帧的分辨率调整为设定的目标分辨率。
可选的，所述构建所述交通视频帧的背景帧包括：
对于转换到Lab色彩空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，使用算术平均构造出第一背景帧；对于转换到灰度空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，取最小灰度值构造出第二背景帧。
可选的，所述各基于所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果包括：
针对各所述交通视频帧，分别逐像素针对同一坐标位置的像素点，计算其与对应的所述背景帧所对应坐标位置的像素点之间的欧氏距离D、以及二范数之最小值，将所述二范数之最小值作为所述像素点的图像噪声概率模型的均方差σ；
获取设定参数阈值τ，逐像素判断所述D是否大于所述σ与所述τ之积。如是，则判定所述像素点存在车辆目标，记为“1”；如否，则判定所述像素点不存在车辆目标，记为“0”；得到所述交通视频帧的矩阵M；所述车辆目标第一分割结果包括所述矩阵M。
可选的，所述将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果包括：
将所述矩阵M中为“1”的各像素点位置，与所述车辆目标检测定位结果进行比较，判断所述为“1”的像素点位置是否位于所述车辆目标检测定位结果的框选区域内，如是，则仍置为“1”，如否，则置为“0”；得到矩阵M*，所述车辆目标第二分割结果包括所述矩阵M*；所述框选区域内的像素点表征所述车辆目标检测定位结果为存在车辆目标的像素点。
进一步的，本发明还提供一种车辆目标分割装置，包括：
场景划分模块，用于获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各所述交通视频帧划分为强日光场景或弱日光场景；
色彩空间转换模块，用于根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内；
构建模块，用于构建所述交通视频帧的背景帧；
第一分割模块，用于基于各所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；
车辆目标检测定位模块，用于采用目标检测模型获取各所述交通视频帧的车辆目标检测定位结果；
第二分割模块，用于将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；
分割模型训练模块，用于以所述车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；
预测执行模块，用于在进行预测时，获取待预测的交通视频帧，将所述待预测的交通视频帧输入到所述车辆目标分割模型，得到预测结果；
预测结果处理模块，用于将所述预测结果进行二值化处理，得到所述待预测的交通视频帧的车辆目标分割结果。
进一步的，本发明还提供一种通信设备，包括处理器、存储器以及通信总线，所述通信总线用于实现所述处理器与所述存储器之间的通信连接，所述存储器中存储有一个或者多个计算机程序，所述计算机程序可被所述处理器执行，以实现如上任一项所述的车辆目标分割方法的步骤。
本发明的有益效果是：
根据本发明提供的一种车辆目标分割方法、装置及通信设备，该方法包括获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各交通视频帧划分为强日光场景或弱日光场景；根据交通视频帧的场景类型，将交通视频帧转换到与场景类型对应的色彩空间内；构建交通视频帧的背景帧；基于各交通视频帧与背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；采用目标检测模型获取各交通视频帧的车辆目标检测定位结果；将车辆目标第一分割结果与车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；以车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；在进行预测时，获取待预测的交通视频帧，将待预测的交通视频帧输入到车辆目标分割模型，得到预测结果；将预测结果进行二值化处理，得到待预测的交通视频帧的车辆目标分割结果；实现了交通视频中车辆目标的自动标注，在此基础上设计具有标注噪声抑制能力的深度神经网络模型，可实时地对交通视频中的车辆目标进行像素级分割，并具有较高的准确性和计算效率：在实际测试中的准确率不低于95％，漏检率不高于5％；模型的存储规模不超过10MB；单帧平均处理时间不超过10ms。
附图说明
图1为本发明实施例一的车辆目标分割方法流程示意图；
图2为本发明实施例一的第一分割结果示意图；
图3为本发明实施例一的车辆目标检测定位结果示意图；
图4为本发明实施例一的车辆目标第二分割结果示意图；
图5为本发明实施例二的车辆目标分割装置结构示意图；
图6为本发明实施例三的通信设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
为了解决当前车辆目标分割识别过程所需投入的人工、时间成本高的问题，本实施例从有监督深度学习入手，提出可自动产生车辆目标标注的训练方法，以及具备一定的标注噪声纠正能力的深度神经网络模型。可实时地对交通视频中的车辆目标进行像素级分割，并具有较高的准确性和计算效率。
请参见图1，图1为本实施例的车辆目标分割方法流程示意图，该方法包括如下步骤：
S101、获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各交通视频帧划分为强日光场景或弱日光场景。
例如取60s内的视频帧，假设帧率为25帧/s，总计1500帧。固定时长长度窗口可以根据实际情况灵活设置，例如1小时、1天、1周等，本实施例对此不做限制。
将选取的交通视频帧，按照光照条件，确定每一帧图像的场景类型。场景类型包括强日光场景(白天)、弱日光场景(夜晚)。
自适应划分规则为根据交通视频帧的色彩空间分布，建立亮度、色度与饱和度的联合概率分布模型，将交通视频帧划分为强日光场景或弱日光场景。
例如，在统计时间窗口内，计算每个像素的亮度标准差si。取所有像素标准差的均值S和方差σ，计算出视频前景区域F(si>S+σ)和背景区域B(si<S+σ)。
在统计时间窗口内，计算每个像素的最大亮度Lmax、最大色度Umax、最大饱和度Vmax，构建最大图像Imax，并以同样方式构建最小图像Imin。设待划分场景类型的图像为I，针对前景区域I∈F计算d0＝|I-Imin|，针对背景区域I∈B计算 d1＝|I-Imin|以及背景平均亮度Lmean。如果d0-d1>50且Lmean>100，I为强日光场景，否则I为弱日光场景。
S102、根据交通视频帧的场景类型，将交通视频帧转换到与场景类型对应的色彩空间内。
对于场景类型为强日光场景的交通视频帧，将其由RGB(Red Green Blue，红绿蓝)色彩空间转换到Lab(Lab color space，颜色-对立空间)色彩空间；对于场景类型为弱日光场景的交通视频帧，将其由RGB色彩空间转换到灰度空间。
RGB色彩空间中，R、G、B的取值范围为[0,255]。Lab色彩空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。应当理解的是，转换的方式可以采用现有任意方式，本实施例对此不做限制。
可选的，在将交通视频帧转换到与场景类型对应的色彩空间内之前，将各交通视频帧的分辨率调整为设定的目标分辨率。例如640*360。
S103、构建交通视频帧的背景帧。
对于转换到Lab色彩空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，使用算术平均构造出第一背景帧；对于转换到灰度空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，取最小灰度值构造出第二背景帧。
假设，转换到Lab色彩空间的交通视频帧有100张，则根据这100张交通视频帧的L、a、b值，例如第一张为L1、a1、b1，第二张为L2、a2、b2，……，第100张为L100、a100、b100，那么将得到第一背景帧为L*、a*、b*，其中 L*＝(L1+L2+…+L100)/100，a*＝(a1+a2+…+a100)/100，b*＝(b1+b2+…+b100)/100。
假设，转换到灰度空间的交通视频帧有100张，则根据这100张交通视频帧的灰度值g1、g2、……、g100，可以得到第二背景帧的灰度值g*＝min(g1、 g2、……、g100)。
S104、基于各交通视频帧与背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果。
针对各交通视频帧，分别逐像素针对同一坐标位置的像素点，计算其与对应的背景帧所对应坐标位置的像素点之间的欧氏距离D、以及2-范数之最小值，将该2-范数之最小值作为该像素点的图像噪声概率模型的均方差σ；获取设定参数阈值τ，逐像素判断D是否大于所述σ与所述τ之积。如是，则判定所述像素点存在车辆目标，记为“1”；如否，则判定所述像素点不存在车辆目标，记为“0”；得到所述交通视频帧的矩阵M；所述车辆目标第一分割结果包括所述矩阵M。
其中，对于转换到Lab色彩空间的交通视频帧与第一背景帧在同一坐标位置的两像素点的欧氏距离其中L、a、b为转换到Lab色彩空间的交通视频帧的Lab值，L*、a*、b*为第一背景帧的Lab值。
对于转换到灰度空间的交通视频帧与第二背景帧在同一坐标位置的两像素点的欧氏距离D2＝g-g*，其中g为转换到灰度空间的交通视频帧的灰度值，g*为第二背景帧的灰度值。
其中，对于转换到Lab色彩空间的交通视频帧与第一背景帧在同一坐标位置的两像素点的2-范数之最小值，可以按照如下方式计算得到：
min(||pimg||2,||pbg||2)，其中pimg＝[Limg,aimg,bimg]T和pbg＝[Lbg,abg,bbg]T分别是视频帧和背景帧的同一位置像素的Lab三通道向量。
对于转换到灰度空间的交通视频帧与第二背景帧在同一坐标位置的两像素点的2-范数之最小值，可以按照如下方式计算得到：
min(pimg,pbg)，其中pimg和pbg分别是视频帧和背景帧的同一位置像素的灰度。
参数阈值τ，，推荐取值范围为0.01～0.1，默认取0.05。
车辆目标第一分割结果可以参见如图2所示，图中每一个方格代表一个像素点。
S105、采用目标检测模型获取各交通视频帧的车辆目标检测定位结果。
目标检测模型可以采用现有任意的检测模型，包括但不限于检测模型 YOLO-v3。
车辆目标检测定位结果可以参见如图3所示，其中框选区域31表示该区域内存在车辆目标的像素点。
S106、将车辆目标第一分割结果与车辆目标检测定位结果进行融合，得到车辆目标第二分割结果。
继续参见图2与图3，将矩阵M中为“1”的各像素点位置，与车辆目标检测定位结果进行比较，判断为“1”的像素点位置是否位于车辆目标检测定位结果的框选区域31内，如是，则仍置为“1”，如否，则置为“0”；得到矩阵M*，车辆目标第二分割结果包括矩阵M*；框选区域内的像素点表征车辆目标检测定位结果为存在车辆目标的像素点。
其中，车辆目标第二分割结果可以参见图4所示。
S107、以车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型。
可以参照图像语义分割领域的经典模型U-Net，设计用于车辆目标检测的深度神经网络。
深度神经网络模型的损失函数设计为预测值Y与标签Z的加权平方和：
其中权值wij的设置如下：
这里的λ取某个大于1的值(默认为10.00)。
S108、在进行预测时，获取待预测的交通视频帧，将待预测的交通视频帧输入到车辆目标分割模型，得到预测结果。
可以实时获取从交通摄像头采集的视频图像帧作为待预测的交通视频帧。
S109、将预测结果进行二值化处理，得到待预测的交通视频帧的车辆目标分割结果。
这里pre为预测值，prebin为预测值的二值化结果。
本发明提供的车辆目标分割方法，获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各交通视频帧划分为强日光场景或弱日光场景；根据交通视频帧的场景类型，将交通视频帧转换到与场景类型对应的色彩空间内；构建交通视频帧的背景帧；基于各交通视频帧与背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；采用目标检测模型获取各交通视频帧的车辆目标检测定位结果；将车辆目标第一分割结果与车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；以车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；在进行预测时，获取待预测的交通视频帧，将待预测的交通视频帧输入到车辆目标分割模型，得到预测结果；将预测结果进行二值化处理，得到待预测的交通视频帧的车辆目标分割结果；实现了交通视频中车辆目标的自动标注，在此基础上设计具有标注噪声抑制能力的深度神经网络模型，可实时地对交通视频中的车辆目标进行像素级分割，并具有较高的准确性和计算效率：在实际测试中的准确率不低于95％，漏检率不高于5％；模型的存储规模不超过10MB；单帧平均处理时间不超过10ms。
实施例二：
本实施例在实施例一的基础上，提供一种车辆目标分割装置，用以实现上述实施例一所述的车辆目标分割方法的步骤。
请参见图5，车辆目标分割装置50包括场景划分模块51、色彩空间转换模块52、构建模块53、第一分割模块54、车辆目标检测定位模块55、第二分割模块56、分割模型训练模块57、预测执行模块58、预测结果处理模块59；其中
场景划分模块51用于获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各交通视频帧划分为强日光场景或弱日光场景。
例如取60s内的视频帧，假设帧率为25帧/s，总计1500帧。固定时长长度窗口可以根据实际情况灵活设置，例如1小时、1天、1周等，本实施例对此不做限制。
将选取的交通视频帧，按照光照条件，确定每一帧图像的场景类型。场景类型包括强日光场景(白天)、弱日光场景(夜晚)。
自适应划分规则为根据交通视频帧的色彩空间分布，建立亮度、色度与饱和度的联合概率分布模型，将交通视频帧划分为强日光场景或弱日光场景。
色彩空间转换模块52用于根据交通视频帧的场景类型，将交通视频帧转换到与场景类型对应的色彩空间内。
对于场景类型为强日光场景的交通视频帧，将其由RGB(Red Green Blue，红绿蓝)色彩空间转换到Lab(Lab color space，颜色-对立空间)色彩空间；对于场景类型为弱日光场景的交通视频帧，将其由RGB色彩空间转换到灰度空间。
RGB色彩空间中，R、G、B的取值范围为[0,255]。Lab色彩空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。应当理解的是，转换的方式可以采用现有任意方式，本实施例对此不做限制。
可选的，在将交通视频帧转换到与场景类型对应的色彩空间内之前，将各交通视频帧的分辨率调整为设定的目标分辨率。例如640*360。
构建模块53用于构建交通视频帧的背景帧。
对于转换到Lab色彩空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，使用算术平均构造出第一背景帧；对于转换到灰度空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，取最小灰度值构造出第二背景帧。
假设，转换到Lab色彩空间的交通视频帧有100张，则根据这100张交通视频帧的L、a、b值，例如第一张为L1、a1、b1，第二张为L2、a2、b2，……，第100张为L100、a100、b100，那么将得到第一背景帧为L*、a*、b*，其中L*＝ (L1+L2+…+L100)/100，a*＝(a1+a2+…+a100)/100，b*＝(b1+b2+…+b100)/100。
假设，转换到灰度空间的交通视频帧有100张，则根据这100张交通视频帧的灰度值g1、g2、……、g100，可以得到第二背景帧的灰度值g*＝min(g1、 g2、……、g100)。
第一分割模块54用于基于各交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果。
针对各交通视频帧，分别逐像素针对同一坐标位置的像素点，计算其与对应的背景帧所对应坐标位置的像素点之间的欧氏距离D、以及2-范数之最小值，将该2-范数之最小值作为该像素点的图像噪声概率模型的均方差σ；获取设定参数阈值τ，逐像素判断D是否大于所述σ与所述τ之积。如是，则判定所述像素点存在车辆目标，记为“1”；如否，则判定所述像素点不存在车辆目标，记为“0”；得到所述交通视频帧的矩阵M；所述车辆目标第一分割结果包括所述矩阵M。
其中，对于转换到Lab色彩空间的交通视频帧与第一背景帧在同一坐标位置的两像素点的欧氏距离其中L、a、b为转换到Lab色彩空间的交通视频帧的Lab值，L*、a*、b*为第一背景帧的Lab值。
对于转换到灰度空间的交通视频帧与第二背景帧在同一坐标位置的两像素点的欧氏距离D2＝g-g*，其中g为转换到灰度空间的交通视频帧的灰度值，g*为第二背景帧的灰度值。
其中，对于转换到Lab色彩空间的交通视频帧与第一背景帧在同一坐标位置的两像素点的2-范数之最小值，可以按照如下方式计算得到：
对于转换到灰度空间的交通视频帧与第二背景帧在同一坐标位置的两像素点的2-范数之最小值，可以按照如下方式计算得到：
参数阈值τ按照如下方式设置：
车辆目标检测定位模块55用于采用目标检测模型获取各交通视频帧的车辆目标检测定位结果。
目标检测模型可以采用现有任意的检测模型，包括但不限于检测模型 YOLO-v3。
第二分割模块56用于将车辆目标第一分割结果与车辆目标检测定位结果进行融合，得到车辆目标第二分割结果。
将矩阵M中为“1”的各像素点位置，与车辆目标检测定位结果进行比较，判断为“1”的像素点位置是否位于车辆目标检测定位结果的框选区域31内，如是，则仍置为“1”，如否，则置为“0”；得到矩阵M*，车辆目标第二分割结果包括矩阵M*；框选区域内的像素点表征车辆目标检测定位结果为存在车辆目标的像素点。
分割模型训练模块57用于以车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型。
预测执行模块58用于在进行预测时，获取待预测的交通视频帧，将待预测的交通视频帧输入到车辆目标分割模型，得到预测结果。
可以实时获取从交通摄像头采集的视频图像帧作为待预测的交通视频帧。
预测结果处理模块59用于将预测结果进行二值化处理，得到待预测的交通视频帧的车辆目标分割结果。
实施例三：
本实施例在实施例一的基础上，提供一种通信设备，用以实现上述实施例一所述的车辆目标分割方法的步骤。
请参见图6，该通信设备包括处理器61、存储器62以及通信总线63，其中通信总线63用于实现处理器61与存储器62之间的通信连接，存储器62中存储有一个或者多个计算机程序，计算机程序可被处理器61执行，以实现如上实施例一所述的车辆目标分割方法的步骤。具体请参见实施例一中的描述，在此不再赘述。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种车辆目标分割方法，其特征在于，包括：
获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各所述交通视频帧划分为强日光场景或弱日光场景；
根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内；
构建所述交通视频帧的背景帧；
基于各所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；
采用目标检测模型获取各所述交通视频帧的车辆目标检测定位结果；
将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；
以所述车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；
在进行预测时，获取待预测的交通视频帧，将所述待预测的交通视频帧输入到所述车辆目标分割模型，得到预测结果；
将所述预测结果进行二值化处理，得到所述待预测的交通视频帧的车辆目标分割结果。
2.如权利要求1所述的车辆目标分割方法，其特征在于，所述自适应划分规则包括：
根据所述交通视频帧的色彩空间分布，建立亮度、色度与饱和度的联合概率分布模型，将所述交通视频帧划分为强日光场景或弱日光场景。
3.如权利要求1所述的车辆目标分割方法，其特征在于，所述根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内，包括：
对于场景类型为强日光场景的交通视频帧，将其由RGB色彩空间转换到Lab色彩空间；对于场景类型为弱日光场景的交通视频帧，将其由RGB色彩空间转换到灰度空间。
4.如权利要求3所述的车辆目标分割方法，其特征在于，所述在将所述交通视频帧转换到与所述场景类型对应的色彩空间内之前，还包括：
将各所述交通视频帧的分辨率调整为设定的目标分辨率。
5.如权利要求3所述的车辆目标分割方法，其特征在于，所述构建所述交通视频帧的背景帧包括：
对于转换到Lab色彩空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，使用算术平均构造出第一背景帧；对于转换到灰度空间的各交通视频帧，逐像素针对同一坐标位置的各像素点，取最小灰度值构造出第二背景帧。
6.如权利要求1-5任一项所述的车辆目标分割方法，其特征在于，所述各基于所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果包括：
针对各所述交通视频帧，分别逐像素针对同一坐标位置的像素点，计算其与对应的所述背景帧所对应坐标位置的像素点之间的欧氏距离D、以及二范数之最小值，将所述二范数之最小值作为所述像素点的图像噪声概率模型的均方差σ；
获取设定参数阈值τ，逐像素判断所述D是否大于所述σ与所述τ之积。如是，则判定所述像素点存在车辆目标，记为“1”；如否，则判定所述像素点不存在车辆目标，记为“0”；得到所述交通视频帧的矩阵M；所述车辆目标第一分割结果包括所述矩阵M。
7.如权利要求6所述的车辆目标分割装置，其特征在于，所述将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果包括：
将所述矩阵M中为“1”的各像素点位置，与所述车辆目标检测定位结果进行比较，判断所述为“1”的像素点位置是否位于所述车辆目标检测定位结果的框选区域内，如是，则仍置为“1”，如否，则置为“0”；得到矩阵M*，所述车辆目标第二分割结果包括所述矩阵M*；所述框选区域内的像素点表征所述车辆目标检测定位结果为存在车辆目标的像素点。
8.一种车辆目标分割装置，其特征在于，所述车辆目标分割装置包括：
场景划分模块，用于获取固定长度时间窗口的交通视频帧，根据预先设定的自适应划分规则，将各所述交通视频帧划分为强日光场景或弱日光场景；
色彩空间转换模块，用于根据所述交通视频帧的场景类型，将所述交通视频帧转换到与所述场景类型对应的色彩空间内；
构建模块，用于构建所述交通视频帧的背景帧；
第一分割模块，用于基于各所述交通视频帧与所述背景帧，采用差分法与图像噪声概率模型构建车辆目标第一分割结果；
车辆目标检测定位模块，用于采用目标检测模型获取各所述交通视频帧的车辆目标检测定位结果；
第二分割模块，用于将所述车辆目标第一分割结果与所述车辆目标检测定位结果进行融合，得到车辆目标第二分割结果；
分割模型训练模块，用于以所述车辆目标第二分割结果为基础，设计具有噪声抑制能力的深度神经网络模型以及相应的损失函数，训练得到车辆目标分割模型；
预测执行模块，用于在进行预测时，获取待预测的交通视频帧，将所述待预测的交通视频帧输入到所述车辆目标分割模型，得到预测结果；
预测结果处理模块，用于将所述预测结果进行二值化处理，得到所述待预测的交通视频帧的车辆目标分割结果。
9.一种通信设备，其特征在于，所述通信设备包括处理器、存储器以及通信总线，所述通信总线用于实现所述处理器与所述存储器之间的通信连接，所述存储器中存储有一个或者多个计算机程序，所述计算机程序可被所述处理器执行，以实现如上权利要求1-7任一项所述的车辆目标分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910015899.7A CN109766828A (zh) | 2019-01-08 | 2019-01-08 | 一种车辆目标分割方法、装置及通信设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910015899.7A CN109766828A (zh) | 2019-01-08 | 2019-01-08 | 一种车辆目标分割方法、装置及通信设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109766828A true CN109766828A (zh) | 2019-05-17 |
Family
ID=66453549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910015899.7A Pending CN109766828A (zh) | 2019-01-08 | 2019-01-08 | 一种车辆目标分割方法、装置及通信设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109766828A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472623A (zh) * | 2019-06-29 | 2019-11-19 | 华为技术有限公司 | 图像检测方法、设备以及*** |
| CN111047654A (zh) * | 2019-12-06 | 2020-04-21 | 衢州学院 | 一种基于色彩信息的高清高速视频背景建模方法 |
| CN111340687A (zh) * | 2020-02-21 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 一种图像的处理方法、装置及电子设备 |
| CN111832419A (zh) * | 2020-06-16 | 2020-10-27 | 五邑大学 | 手指静脉验证方法、电子设备和存储介质 |
| CN111950367A (zh) * | 2020-07-08 | 2020-11-17 | 中国科学院大学 | 一种面向航拍影像的无监督车辆重识别方法 |
| CN112288778A (zh) * | 2020-10-29 | 2021-01-29 | 电子科技大学 | 一种基于多帧回归深度网络的红外小目标检测方法 |
| CN112529931A (zh) * | 2020-12-23 | 2021-03-19 | 南京航空航天大学 | 一种前景分割的方法及*** |
| CN114679519A (zh) * | 2020-12-24 | 2022-06-28 | 浙江宇视科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1738426A (zh) * | 2005-09-09 | 2006-02-22 | 南京大学 | 一种视频运动目标分割与跟踪方法 |
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
| CN108198207A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| WO2018141232A1 (zh) * | 2017-02-06 | 2018-08-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、计算机存储介质及计算机设备 |
-
2019
- 2019-01-08 CN CN201910015899.7A patent/CN109766828A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1738426A (zh) * | 2005-09-09 | 2006-02-22 | 南京大学 | 一种视频运动目标分割与跟踪方法 |
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| WO2018141232A1 (zh) * | 2017-02-06 | 2018-08-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、计算机存储介质及计算机设备 |
| CN108198207A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法 |
Non-Patent Citations (8)
| Title |
|---|
| 周明江等: "视频序列中运动车辆检测和跟踪方法的研究", 《科技与创新》 * |
| 张运楚等: "夜间弱光环境下运动目标的检测", 《山东建筑大学学报》 * |
| 朱慧颖等: "基于背景差分法的交通事件智能检测***", 《武汉理工大学学报(信息与管理工程版)》 * |
| 查成东等: "基于自适应背景模型的运动目标检测", 《光电工程》 * |
| 王晓等: "图像处理在客流检测中的算法研究", 《中国海洋大学学报(自然科学版)》 * |
| 王晓等: "视频流中运动物体的分割", 《青岛大学学报(工程技术版)》 * |
| 王相海等: "基于零树小波的交通视频车辆运动阴影滤除方法", 《模式识别与人工智能》 * |
| 黄鑫娟等: "自适应混合高斯背景模型的运动目标检测方法", 《计算机应用》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472623A (zh) * | 2019-06-29 | 2019-11-19 | 华为技术有限公司 | 图像检测方法、设备以及*** |
| CN110472623B (zh) * | 2019-06-29 | 2022-08-09 | 华为技术有限公司 | 图像检测方法、设备以及*** |
| CN111047654A (zh) * | 2019-12-06 | 2020-04-21 | 衢州学院 | 一种基于色彩信息的高清高速视频背景建模方法 |
| CN111340687A (zh) * | 2020-02-21 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 一种图像的处理方法、装置及电子设备 |
| CN111832419A (zh) * | 2020-06-16 | 2020-10-27 | 五邑大学 | 手指静脉验证方法、电子设备和存储介质 |
| CN111832419B (zh) * | 2020-06-16 | 2023-11-28 | 五邑大学 | 手指静脉验证方法、电子设备和存储介质 |
| CN111950367A (zh) * | 2020-07-08 | 2020-11-17 | 中国科学院大学 | 一种面向航拍影像的无监督车辆重识别方法 |
| CN112288778A (zh) * | 2020-10-29 | 2021-01-29 | 电子科技大学 | 一种基于多帧回归深度网络的红外小目标检测方法 |
| CN112529931A (zh) * | 2020-12-23 | 2021-03-19 | 南京航空航天大学 | 一种前景分割的方法及*** |
| CN112529931B (zh) * | 2020-12-23 | 2024-04-12 | 南京航空航天大学 | 一种前景分割的方法及*** |
| CN114679519A (zh) * | 2020-12-24 | 2022-06-28 | 浙江宇视科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114679519B (zh) * | 2020-12-24 | 2024-03-08 | 浙江宇视科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109766828A (zh) | 一种车辆目标分割方法、装置及通信设备 | |
| CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
| KR101640998B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN110929569B (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN111507210B (zh) | 交通信号灯的识别方法、***、计算设备和智能车 | |
| CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110909690A (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN110991380A (zh) | 人体属性识别方法、装置、电子设备以及存储介质 | |
| CN110781964A (zh) | 一种基于视频图像的人体目标检测方法及*** | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN105184771A (zh) | 一种自适应运动目标检测***及检测方法 | |
| CN112465709B (zh) | 一种图像增强方法、装置、存储介质及设备 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN106650638A (zh) | 一种遗留物检测方法 | |
| CN110796580B (zh) | 智能交通***管理方法及相关产品 | |
| CN113128308B (zh) | 一种港口场景下的行人检测方法、装置、设备及介质 | |
| CN114627269A (zh) | 一种基于深度学***台 | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子*** | |
| Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
| CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
| CN115830641B (zh) | 一种员工识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |