CN113408345A - 车辆外观清洁度判断方法、装置、服务器及存储介质 - Google Patents
车辆外观清洁度判断方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN113408345A CN113408345A CN202110524024.7A CN202110524024A CN113408345A CN 113408345 A CN113408345 A CN 113408345A CN 202110524024 A CN202110524024 A CN 202110524024A CN 113408345 A CN113408345 A CN 113408345A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- vehicle appearance
- cleanliness
- images
- appearance images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003749 cleanliness Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明是关于一种车辆外观清洁度判断方法、装置、服务器及存储介质,涉及物联网技术领域,本发明包括:根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,并对拼接后的图像进行分割,得到多个分割后的区域;针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,根据每个分割后的区域对应的图像特征值,确定目标图像特征值;若根据目标图像特征值确定出多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则确定多张车辆外观图像中包括的车辆的清洁度。由于本发明实施例能够先判断多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,从而再去判断清洁度,提高了清洁度判断的准确率。
Description
技术领域
本发明涉及物联网技术领域,尤其涉及一种车辆外观清洁度判断方法、装置、服务器及存储介质。
背景技术
汽车提供了大部分交通运输,例如,网约车和传统的出租车等。在网约车出行领域,司机一般打卡发车,不太在意车辆外观清洁与否。或者在较长的接单时间后,车辆往往变得较为脏乱。在此种状态下接单,网约车辆外观的清洁度会直接影响乘客的乘车体验,包括乘客上车意愿、乘车心情以及完单评价。因此需要针对车辆检测清洁度。
在检测时,会检测车辆全部车身的清洁度,例如,车灯、挡风玻璃、车门、车轮、车顶、车尾等等地方,均需要进行检测清洁度。然而,有些司机为了能够通过清洁度检测,往往会传其他车辆的干净的图像、或者仅仅传输自己的车干净的一面,导致清洁度检测判断错误。
发明内容
本发明提供一种车辆外观清洁度判断方法、装置、服务器及存储介质,能够先判断多张车辆外观图像是否包含同一车辆,且包含车辆的多个车身特征,从而再去判断清洁度,解决了现有技术中司机传其他车辆的干净的图像或者仅传输自己的车干净的一面而导致清洁度检测判断错误的问题。
第一方面,本发明实施例提供的一种车辆外观清洁度判断方法,包括:
将多张车辆外观图像进行分割,得到多个分割后的区域;
针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
若根据目标图像特征值确定出所述多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
上述方法,能够将进行清洁度检测的多张图像进行分割,得到多个分割后的区域,然后针对每个区域进行特征提取,得到对应的图像特征,从图像特征中确定出目标图像特征值,判断多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,如果是,则说明多张车辆外观图像中没有一张图像为其他车辆的图像,同时也没有传输自己的车干净的一面,对合格的图像进行车辆清洁度检测,提高了车辆清洁度检测的准确率。
在一种可能的实现方式中,将多张车辆外观图像进行分割,得到多个分割后的区域,包括:
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
上述方法,能够根据拍摄每张车辆外观图像的拍摄角度,对多张外观图像进行拼接,这样再分割时,可能会出现分割后的区域包括两张甚至多张车辆外观图像中的连续场景的图像,从而能够在提取特征时,避免同一场景提取多个特征,提高了处理的速度。
在一种可能的实现方式中,在将多张车辆外观图像进行分割,得到多个分割后的区域之前,所述方法还包括:
接收到网约车司机发送的发车请求;
所述根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度之后,所述方法还包括:
若所述清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;或
若所述清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
上述方法,能够在发车的流程中加入车辆清洁度检测的流程,这样能够避免清洁度不合格的车辆发车,提高了乘客的用车体验感。
在一种可能的实现方式中,所述在将多张车辆外观图像进行分割,得到多个分割后的区域之前,所述方法还包括:
确定多张车辆外观图像的采集时间与接收到所述发车请求的时间的时间差在预设时长内;和/或
确定多张车辆外观图像的拍摄位置与所述网约车司机自身驾驶的车辆的当前位置在预设距离范围内。
上述方法,能够确定多张车辆外观图像的采集时间与接收到发车请求的时间的时间差在预设时长内,这样就可以确定多张车辆外观图像是实时拍摄的,而不是从图库中获取到的,从而提高了图像的真实性,另外,还可以通过多张车辆外观图像的拍摄位置与网约车司机自身驾驶的车辆的当前位置在预设距离范围内,从而知道司机是距离自己车辆不远处进行拍摄的,避免车辆外观图像中拍摄的车辆占图像的面积比较小,描述车辆的像素比较少,提取特征时不够精确,提高了后续特征提取的精度。
第二方面,本发明实施例提供的一种车辆外观清洁度判断装置,包括:
分割模块,用于将多张车辆外观图像进行分割,得到多个分割后的区域;
提取模块,用于针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
检测模块,用于若根据目标图像特征值确定出所述多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
在一种可能的实现方式中,所述分割模块,具体用于:
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
在一种可能的实现方式中,所述装置还包括:
接收模块,用于接收到网约车司机发送的发车请求;
状态修改模块,用于若所述清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;或
若所述清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
在一种可能的实现方式中,所述装置还包括:
确定模块,用于确定多张车辆外观图像的采集时间与接收到所述发车请求的时间的时间差在预设时长内;和/或
确定多张车辆外观图像的拍摄位置与所述网约车司机自身驾驶的车辆的当前位置在预设距离范围内。
第三方面,本发明实施例提供的一种服务器,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面中任一项所述的车辆外观清洁度判断。
第四方面,本申请还提供一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得所述处理器能够执行如第一方面实施例任一项所述的车辆外观清洁度判断。
另外,第二方面~第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理,并不构成对本发明的不当限定。
图1是本发明实施例提供的一种车辆外观清洁度判断方法的流程示意图;
图2是本发明实施例提供的一种车辆外观图像分割的示意图;
图3是本发明实施例提供的一种车辆外观图像分割到得到分类结果的示意图;
图4是本发明实施例提供的一种发车流程图;
图5是本发明实施例提供的一种车辆外观清洁度判断装置的结构图;
图6是本发明实施例提供的一种服务器的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义。
目前对车辆的清洁度进行检测时需要检测车身的每个部分,从整体评价车辆的清洁度,然而,有些司机为了能够通过清洁度检测,往往会传其他车辆的干净的图像、或者仅仅传输自己的车干净的一面,导致清洁度检测判断错误。
所以本发明实施例的方案,通过检测需要进行清洁度检测的图像是否包含同一车辆,且包含该车辆的车身的多个特征,如果包含则再进行清洁度检测,这样能够避免司机上传其他车辆的图像,同时避免仅传输自己的车干净的一面,提高了车辆清洁度检测的正确率。
以下结合附图介绍本发明实施例的具体方案。
结合图1所示,本发明实施例提供了一种车辆外观清洁度判断方法,包括:
首先,将多张车辆外观图像进行分割,得到多个分割后的区域;
其中,描述的多张车辆外观图像是为进行清洁度检测的车辆外观图像。
结合图2所示,以一张车辆外观图像进行分割为例,将车辆外观图像分割成15个区域,分割后的15个区域并没有交叉部分,也就是多个分割后的区域可能来自同一张车辆外观图像的不同部分,也可能来自于不同车辆外观图像。这样可以避免后续特征提取时对相同的部分重复提取,导致工作量增加。
将多张车辆外观图像进行分割,得到多个分割后的区域,包括:
S100:根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
具体来说,多张车辆外观图像先缩放、拼接、再切割,分割操作会根据缩放后的图像尺寸进行巧妙的选取,不会出现一块区域正好占到两张图片。
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接时,例如,当拍摄的顺序从车前、车的左侧、车后、车的右侧,则依次按照车前的图像、车的左侧的图像、车后的图像、车的右侧的图像进行拼接,组合一张大图,再进行分割,将分割后的图像进行特征提取。
S101:针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
结合图2所示,一张车辆外观图像包括进行清洁度检测的车辆,以及背景部分,从左到右一次排序,从上到下依次排序,一共15个区域,在特征提取时,15个区域会得到15个区域对应的图像特征值。可以看出,第一个区域~第六个区域、第十个区域,也就是最上面一行的五个区域,以及中间一行中最左边的区域、以及中间一行中最右边的区域,均为背景部分。中间一行中从最左边的区域后的三个区域,即第七个区域~第九个区域,以及最下面一行的所有区域,均为进行清洁度检测的车辆的区域。
其中,目标图像特征值包括表征车身的图像特征值和表征环境的图像特征值。其中,车身是指车轮的形状以及样式、车灯的形状以及样式、车体的样式、车把的形状以及样式等等。
当目标图像特征值包括表征车身的图像特征值时,在特征提取时,从15个区域对应的图像特征值中,确定出目标图像特征值,即为第七个区域~第九个区域,以及最下面一行的所有区域对应的图像特征值。
目标图像特征值也可以包括表征车身的图像特征值和表征环境的图像特征值。例如,司机进行拍摄车辆时,在连续拍摄的多张车辆外观图像中,会出现相同的环境,那么在后续进行分析多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像时,可以用相同的环境进行辅助判断,所以,此时目标图像特征值包括表征车身的图像特征值和表征环境的图像特征值。
S102:若根据目标图像特征值确定出多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
其中,司机为了能够通过清洁度检测,在看到自己车身的左侧有污点时,可能会上传其他车辆左侧的图像,跟自己车辆的其他面的图像一起上传,例如,上传其他车辆左侧的图像,以及自己车辆的后面的图像、自己车辆的前面的图像、自己车辆的右侧的图像。为了避免这种现象,本发明提出根据目标图像特征值判断多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像,可考虑车辆所处的环境特征,如果存在相同的环境特征,则说明拍摄车辆外观图像时在同一环境中拍摄的,考虑表征车身的图像特征值,如果存在相同车辆的图像特征值,即,相同的车轮的形状以及样式、相同的车灯的形状以及样式、相同的车体的样式、相同的车把的形状以及样式等等,则认为多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像。
同时,司机可能为了通过清洁度检测,将自己车身上有污点的区域不上传,自己车身的左侧有污点时,上传时仅上传自己车辆的后面的图像、自己车辆的前面的图像、自己车辆的右侧的图像,这样会导致车辆清洁度检测没有达到检测的目的,为了避免这种现象,本发明提出根据目标图像特征值判断多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像。
通过上述两个判断过程,可以避免上述两种情况,同时在确定出多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,再根据多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度,这时检测到的车辆的清洁度的效果比较好,得到清洁度检测的目的。
步骤101是通过Transformer Encoder模型实现的,其中Transformer模型包括Encoder部分,即编码器部分,以及decoder,即解码器部分,在本发明的方案中,仅采用Transformer模型的Encoder部分,该部分主要针对每个分割后的区域进行特征提取,从而得到每个分割后的区域对应的图像特征值,由于Transformer模型为注意力机制的模型,所以经过Transformer模型进行特征提取时,得到的图像特征值能够反映该分割后的区域的整体特征,同时得到的图像特征值作为一个值也能够降低后续的计算量。
在实际计算过程中,多个分割后的区域是一起输入到Transformer Encoder模型中的,在输入到Transformer Encoder模型之前,在多个分割后的区域之前增加一维向量,增加的一维向量为根据每个分割后的区域对应的图像特征值确定的目标图像特征值。然后将该一维向量进行判断多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像。
进一步的,对于分割后的图像可以进行拉平处理,即分割后的图像可以表示为X*Y,X表示横坐标方向上的像素个数,Y表示纵坐标上的像素个数,将其进行拉平处理时,是将X变成1,纵坐标上的像素个数为X*Y。将每个分割后的图像均进行拉平处理后再前面拼接一个一维向量,然后输入到Transformer Encoder模型中。
同时,由于多张车辆外观图像是先拼接再分割,再采用Transformer Encoder模型抽取特征,这样由于多张车辆外观图像的连续边缘处存在重叠相似,故基于TransformerEncoder模型抽取特征,可以有效捕获图像间的关系。
进一步的,根据目标图像特征值,判断多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像,是通过MLP模型实现的,MLP模型为多层感知模型,实际上是一个分类器,能够分辨出多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像。
具体来说,将Transformer Encoder模型中得到的一维向量输入到MLP模型中,得到多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像的结果,即是,或者否。
其中,MLP模型,主要包括LayerNorm层、全连接层,激活函数为GELU,通过取一维向量输入MLP模型,得到最后分类结果。LayerNorm层主要对数据进行归一化,避免数据差异太大导致收敛不稳定;全连接层主要将学习到的“分布式特征表示”映射到样本标记空间,起到分类器的作用;GELU这种激活函数与RELU这种激活函数相比,下降更快,效果更好。
结合上述介绍的内容,列举一个示例:
结合图3所示,将四张车辆外观图像进行拼接,拼接后形成一张大图,它的尺寸可以表示为H*4W*C,其中,H表示纵坐标方向上的像素,W为横坐标上的像素,C表示通道数,然后对这张大图进行分割,例如分割N个区域,每个区域的像素表示为X*Y,X表示横坐标方向的像素的个数,Y表示纵坐标方向上的像素的个数,其中,分割后的区域一般是方形,即X=Y,对分割后的区域做分块拉平操作,假设每个区域的尺寸为1*(X*Y),即横坐标为1个像素,纵坐标方向的像素个数为X*Y,将N*1*(X*Y)的前面增加一维向量,将增加后的向量输入到Transformer Encoder模型中,进行特征提取,得到多个目标图像特征值形成一维向量,将该一维向量输入到MLP模型,判断四张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像,得到分类结果,如果是,则根据四张车辆外观图像,确定四张车辆外观图像中包括的车辆的清洁度。
在实际进行操作时,可以将Transformer Encoder模型和MLP模型组合成识别网络,通过将多张车辆外观图像进行分割,得到多个分割后的区域,然后对每个分割后的区域进行拉平操作,再拼接成一个向量,并在一个向量中增加一维向量,输入到识别网络,识别网络针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;并根据目标图像特征值判断出多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像。
其中,由Transformer Encoder模型和MLP模型组成基础网络,在训练时,将样本图像作为输入,输入到由Transformer Encoder模型和MLP模型组成的基础网络中,样本图像是否为多个拍摄角度拍摄的同一车辆外观的图像作为输出结果,进行多轮训练,得到识别网络。通过识别网络判断多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像。
其中,在训练时,也将输入到基础网络的向量中增加一个空白一维向量,从而能够使得训练后的网络能够知道哪些图像特征值表征车身,表征环境,并将其图像特征值加入到一维向量中,使得该一维向量中的所有值均为对分类结果有贡献的图像特征值。
对于样本图像,需要进行采集样本,建立训练数据集;
为了更好地对车辆外观图像进行检测,强制采用横向拍摄图片,即图像的宽大于高。
由于手机拍摄照片的图像分辨率存在差异性,统一把图片缩小H*W*C尺寸(H<W),H代表图片的高度,W代表图片的宽度,C代表图像通道数。每辆车的四张样本数据不强制必须顺时针或者逆时针连续,只需要是同一辆车的前后左右四张图片就可以。
为了能够提高训练后的网络的鲁棒性,可以对样本数据进行增强,具体来说:
(1)正样本数据增强;
对同一份正样本(同一辆车的前后左右四张图片)进行排列组合,一共24种顺序,即一份正样本增强为24份正样本。
(2)负样本数据集建立及增强;
同一车辆图片的负样本数据集,从同一份正样本的四张图片中分别按重复一张、重复两张、重复三张、重复四张的方法进行采集,四张图片组合成一个负样本;
不同车辆图片的负样本数据集,从正样本数据集中随机取四份,每份取一张;
混合负样本,从一份正样本中分别剔除一张和两张,再从其余正样本数据集中分别随机选一张和两张补齐,这样一份负样本中既包含了同一车辆两张以上的图片,也包含了不同车辆的数据;
(3)随机样本增强;
由于司机上传横向图片存在上下颠倒的情况,为了数据的通用性,随机对样本数据集进行上下翻转处理。
在本发明实施例中可以将上述清洁度检测应用于发车请求时,结合图4所示,本发明实施例提供了一种发车的流程,包括:
S400:接收到网约车司机发送的发车请求;
S401:根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域;
S402:针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
S403:根据目标图像特征值,判断出多张车辆外观图像是否为多个拍摄角度拍摄的同一车辆外观的图像,如果是,则执行S404,否则,执行S405;
S404:根据多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度;
S405:通知网约车司机上传的图像不合格;
S406:若清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;
S407:若清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
这样使得在马路上行驶的网约车清洁度合格,可以维护网约车的形象。
进一步的,在将多张车辆外观图像进行分割,得到多个分割后的区域之前,所述方法还包括:
确定多张车辆外观图像的采集时间与接收到发车请求的时间的时间差在预设时长内;和/或
确定多张车辆外观图像的拍摄位置与网约车司机自身驾驶的车辆的当前位置在预设距离范围内。
具体来说,为了避免司机上传数据库中的车辆外观图像,而不是实时的车辆外观图像,本发明将确定多张车辆外观图像的采集时间与接收到发车请求的时间的时间差在预设时长内,预设时长例如3分钟、5分钟等,同时由于多张车辆外观图像的采集时间并不是同时拍摄的,可以选择多张车辆外观图像的采集时间中最早的采集时间与接收到发车请求的时间进行对比,例如多张车辆外观图像的采集时间分别为上午8点整,上午8点01分钟,上午8点02分钟,上午8点04分钟,上午8点06分钟,则最早的采集时间为上午8点01分钟,则采用上午8点01分钟与接收到发车请求的时间进行对比。
由于司机距离车辆太近,可能导致所拍角度的外观图样不完整;司机拍摄位置距离车辆太远,车辆在照片中的占比太小,会造成车辆外观图样模糊、清洁度评分不准确,所以,本发明提出确定多张车辆外观图像的拍摄位置与网约车司机自身驾驶的车辆的当前位置在预设距离范围内,这样能够避免外观图像中车辆占比太小造成车辆图样模糊,同时避免外观图像中车辆所占比太大,图样不完整的情况,提高了清洁度准确率。
进一步的,预设距离范围可以为3-6米。当然,可以根据平台需要进行自定义,对此,本发明对于预设距离范围的具体数值不做具体限定。
基于上述的介绍,列举一个示例:
司机发车前,司机需要从移动终端的发车软件中拍摄车辆前、后、左、右的图像,实时上传,该发车软件只能即时拍摄上传,不能从图库中选择图片上传,即发车软件中可以判断多张车辆外观图像的采集时间与接收到发车请求的时间的时间差是否在预设时长内,如果不再在提示司机图像不符合要求,如果在预设时长内则正常上传即可;
上传图像的同时,发车软件一并把当前位置信息发送给后台服务器,发车软件发给后台服务器当前的为止信息即为网约车司机自身驾驶的车辆的当前位置;后台服务器从上传的图像中获取到拍照位置信息,与网约车司机自身驾驶的车辆的当前位置比对,当位置符合预设距离范围,则认为所上传照片合格;
然后,后台服务器根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域,并输入到Transformer Encoder模型中,然后把Transformer Encoder模型输出的一维向量输入到MLP模型中,在MLP模型中判断多张上传的图像是否为多个拍摄角度拍摄的同一车辆外观的图像,如果是,则根据多张上传的图像,对该图像中的车辆进行清洁度检测,能够避免司机只拍摄清洁的角度,非清洁角度不能完整呈现出来。
基于同样的发明构思,结合图5所示,本发明实施例提供了一种车辆外观清洁度判断装置,包括:
分割模块500,用于将多张车辆外观图像进行分割,得到多个分割后的区域;
提取模块501,用于针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
检测模块502,用于若根据目标图像特征值确定出所述多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
可选的,所述分割模块500,具体用于:
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
可选的,所述装置还包括:
接收模块,用于接收到网约车司机发送的发车请求;
状态修改模块,用于若所述清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;或
若所述清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由服务器的处理器执行以完成上述车辆外观清洁度判断方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例还提供了一种服务器,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如任一项所述的车辆外观清洁度判断方法。
在本发明实施例中,服务器除了上述介绍的结构外,服务器的结构还可以结构如图6所示,该服务器600包括:射频(Radio Frequency,RF)电路610、电源620、处理器630、存储器640、输入单元650、显示单元660、通信接口670、以及无线保真(Wireless Fidelity,Wi-Fi)模块680等部件。本领域技术人员可以理解,图6中示出的服务器的结构并不构成对服务器的限定,本申请实施例提供的服务器可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图6对所述服务器600的各个构成部件进行具体的介绍:
所述RF电路610可用于通信或通话过程中,数据的接收和发送。特别地,所述RF电路610在接收到基站的下行数据后,发送给所述处理器630处理;另外,将待发送的上行数据发送给基站。通常,所述RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。
此外,RF电路610还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(Global System of Mobilecommunication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
Wi-Fi技术属于短距离无线传输技术,所述服务器600通过Wi-Fi模块680可以连接接入点(Access Point,AP),从而实现数据网络的访问。所述Wi-Fi模块680可用于通信过程中,数据的接收和发送。
所述服务器600可以通过所述通信接口670与其他终端实现物理连接。可选的,所述通信接口670与所述其他终端的通信接口通过电缆连接,实现所述服务器600和其他终端之间的数据传输。
由于在本申请实施例中,所述服务器600能够实现通信业务,向其他联系人发送信息,因此所述服务器600需要具有数据传输功能,即所述服务器600内部需要包含通信模块。虽然图6示出了所述RF电路610、所述Wi-Fi模块680、和所述通信接口670等通信模块,但是可以理解的是,所述服务器600中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块),以进行数据传输。
所述存储器640可用于存储软件程序以及模块。所述处理器630通过运行存储在所述存储器640的软件程序以及模块,从而执行所述服务器600的各种功能应用以及数据处理,当处理器630执行存储器640中的程序代码后,可以实现本发明实施例图1中的部分或全部过程,或图4中的部分或全部过程。
可选的,所述存储器640可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作***、各种应用程序(比如通信应用)以及人脸识别模块等;存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件,以及人脸信息模板)等。
此外,所述存储器640可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元650可用于接收用户输入的数字或字符信息,以及产生与所述服务器600的用户设置以及功能控制有关的键信号输入。
可选的,输入单元650可包括触控面板651以及其他输入终端652。
其中,所述触控面板651,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板651上或在所述触控面板651附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,所述触控面板651可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给所述处理器630,并能接收所述处理器630发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板651。
可选的,所述其他输入终端652可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元660可用于显示由用户输入的信息或提供给用户的信息以及所述服务器600的各种菜单。所述显示单元660即为所述服务器600的显示***,用于呈现界面,实现人机交互。
所述显示单元660可以包括显示面板661。可选的,所述显示面板661可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置。
进一步的,所述触控面板651可覆盖所述显示面板661,当所述触控面板651检测到在其上或附近的触摸操作后,传送给所述处理器630以确定触摸事件的类型,随后所述处理器630根据触摸事件的类型在所述显示面板661上提供相应的视觉输出。
虽然在图6中,所述触控面板651与所述显示面板661是作为两个独立的部件来实现所述服务器600的输入和输入功能,但是在某些实施例中,可以将所述触控面板651与所述显示面板661集成而实现所述服务器600的输入和输出功能。
所述处理器630是所述服务器600的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在所述存储器640内的软件程序和/或模块,以及调用存储在所述存储器640内的数据,执行所述服务器600的各种功能和处理数据,从而实现基于所述终端的多种业务。
可选的,所述处理器630可包括一个或多个处理单元。可选的,所述处理器630可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到所述处理器630中。
所述服务器600还包括用于给各个部件供电的电源620(比如电池)。可选的,所述电源620可以通过电源管理***与所述处理器630逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗等功能。
本发明实施例还提供一种计算机程序产品,当所述计算机程序产品在服务器上运行时,使得所述服务器执行实现本发明实施例上述任意一项车辆外观清洁度判断方法。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种车辆外观清洁度判断方法,其特征在于,包括:
将多张车辆外观图像进行分割,得到多个分割后的区域;
针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
若根据目标图像特征值确定出所述多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
2.根据权利要求1所述的车辆外观清洁度判断方法,其特征在于,将多张车辆外观图像进行分割,得到多个分割后的区域,包括:
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
3.根据权利要求1或2所述的车辆外观清洁度判断方法,其特征在于,在将多张车辆外观图像进行分割,得到多个分割后的区域之前,所述方法还包括:
接收到网约车司机发送的发车请求;
根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度之后,所述方法还包括:
若所述清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;或
若所述清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
4.根据权利要求3所述的车辆外观清洁度判断方法,其特征在于,所述在将多张车辆外观图像进行分割,得到多个分割后的区域之前,所述方法还包括:
确定多张车辆外观图像的采集时间与接收到所述发车请求的时间的时间差在预设时长内;和/或
确定多张车辆外观图像的拍摄位置与所述网约车司机自身驾驶的车辆的当前位置在预设距离范围内。
5.一种车辆外观清洁度判断装置,其特征在于,包括:
分割模块,用于将多张车辆外观图像进行分割,得到多个分割后的区域;
提取模块,用于针对每个分割后的区域进行特征提取,得到每个分割后的区域对应的图像特征值,并根据每个分割后的区域对应的图像特征值,确定目标图像特征值;
检测模块,用于若根据目标图像特征值确定出所述多张车辆外观图像为多个拍摄角度拍摄的同一车辆外观的图像,则根据所述多张车辆外观图像,确定多张车辆外观图像中包括的车辆的清洁度。
6.根据权利要求5所述的车辆外观清洁度判断装置,其特征在于,所述分割模块,具体用于:
根据拍摄每张车辆外观图像的拍摄角度,对多张车辆外观图像进行拼接,得到拼接后的图像,并对拼接后的图像进行分割,得到多个分割后的区域。
7.根据权利要求5或6所述的车辆外观清洁度判断装置,其特征在于,所述装置还包括:
接收模块,用于接收到网约车司机发送的发车请求;
状态修改模块,用于若所述清洁度大于预设清洁度阈值,则将网约车司机自身驾驶的车辆的接单状态修改为正常接单状态;或
若所述清洁度不大于预设清洁度阈值,则保持网约车司机自身驾驶的车辆的接单状态不变,并通知网约车司机,自身驾驶的车辆的清洁度检测不合格。
8.根据权利要求7所述的车辆外观清洁度判断装置,其特征在于,所述装置还包括:
确定模块,用于确定多张车辆外观图像的采集时间与接收到所述发车请求的时间的时间差在预设时长内;和/或,确定多张车辆外观图像的拍摄位置与所述网约车司机自身驾驶的车辆的当前位置在预设距离范围内。
9.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求4中任一项所述的车辆外观清洁度判断方法。
10.一种存储介质,其特征在于,包括:
当存储介质中的指令由服务器的处理器执行时,使得所述处理器能够执行如权利要求1~4中任一项所述的车辆外观清洁度判断方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110524024.7A CN113408345B (zh) | 2021-05-13 | 2021-05-13 | 车辆外观清洁度判断方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110524024.7A CN113408345B (zh) | 2021-05-13 | 2021-05-13 | 车辆外观清洁度判断方法、装置、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113408345A true CN113408345A (zh) | 2021-09-17 |
CN113408345B CN113408345B (zh) | 2022-06-10 |
Family
ID=77678476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110524024.7A Active CN113408345B (zh) | 2021-05-13 | 2021-05-13 | 车辆外观清洁度判断方法、装置、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113408345B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276258A (zh) * | 2019-05-21 | 2019-09-24 | 智慧互通科技有限公司 | 一种识别车辆外观的方法及*** |
US20200065632A1 (en) * | 2018-08-22 | 2020-02-27 | Alibaba Group Holding Limited | Image processing method and apparatus |
CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
CN112381477A (zh) * | 2021-01-18 | 2021-02-19 | 南京领行科技股份有限公司 | 车辆外观清洁度监测方法、装置、服务器及存储介质 |
-
2021
- 2021-05-13 CN CN202110524024.7A patent/CN113408345B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200065632A1 (en) * | 2018-08-22 | 2020-02-27 | Alibaba Group Holding Limited | Image processing method and apparatus |
CN110276258A (zh) * | 2019-05-21 | 2019-09-24 | 智慧互通科技有限公司 | 一种识别车辆外观的方法及*** |
CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
CN112381477A (zh) * | 2021-01-18 | 2021-02-19 | 南京领行科技股份有限公司 | 车辆外观清洁度监测方法、装置、服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113408345B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113762252B (zh) | 无人机智能跟随目标确定方法、无人机和遥控器 | |
CN113344901B (zh) | 涂胶缺陷检测方法、装置、存储介质及电子设备 | |
CN106407984B (zh) | 目标对象识别方法及装置 | |
CN110471058A (zh) | 用于拖车属性的自动检测的***和方法 | |
CN109977845B (zh) | 一种可行驶区域检测方法及车载终端 | |
CN106874906B (zh) | 一种图片的二值化方法、装置及终端 | |
CN112381477B (zh) | 车辆外观清洁度监测方法、装置、服务器及存储介质 | |
CN113688805B (zh) | 一种基于无人机的无牌渣土车识别方法及*** | |
CN109325518B (zh) | 图像的分类方法、装置、电子设备和计算机可读存储介质 | |
CN112613348A (zh) | 一种字符识别方法及电子设备 | |
US11204604B2 (en) | Remote driving managing apparatus and computer-readable storage medium | |
CN111627057A (zh) | 一种距离测量方法、装置及服务器 | |
CN111126209B (zh) | 车道线检测方法及相关设备 | |
CN113408345B (zh) | 车辆外观清洁度判断方法、装置、服务器及存储介质 | |
CN108230680B (zh) | 一种车辆行为信息获取方法、装置及终端 | |
CN112149589A (zh) | 车内驾驶员行为识别方法及装置 | |
CN110660000A (zh) | 数据预测方法、装置、设备及计算机可读存储介质 | |
CN112069901A (zh) | 车内物品监控方法、电子设备及存储介质 | |
CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN114267021A (zh) | 对象识别方法和装置、存储介质及电子设备 | |
CN113449629A (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
JP2021152826A (ja) | 情報処理装置、被写体分類方法、及び被写体分類プログラム | |
CN114202753A (zh) | 车牌识别方法、装置和*** | |
CN112819685B (zh) | 一种图像的风格模式推荐方法和终端 | |
CN111738282A (zh) | 一种基于人工智能的图像识别方法和相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |