CN113780435A - 车辆损伤检测方法、装置、设备及存储介质 - Google Patents
车辆损伤检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113780435A CN113780435A CN202111080117.1A CN202111080117A CN113780435A CN 113780435 A CN113780435 A CN 113780435A CN 202111080117 A CN202111080117 A CN 202111080117A CN 113780435 A CN113780435 A CN 113780435A
- Authority
- CN
- China
- Prior art keywords
- damage
- damaged
- vehicle
- information
- damage detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006378 damage Effects 0.000 title claims abstract description 319
- 238000001514 detection method Methods 0.000 title claims abstract description 198
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 231100000809 Damage Assessment Model Toxicity 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 44
- 239000002184 metal Substances 0.000 claims description 36
- 239000011521 glass Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000009526 moderate injury Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000009525 mild injury Effects 0.000 claims description 3
- 208000037974 severe injury Diseases 0.000 claims description 3
- 230000009528 severe injury Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 3
- 208000027418 Wounds and injury Diseases 0.000 claims 1
- 208000014674 injury Diseases 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006735 deficit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007790 scraping Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出一种车辆损伤检测方法、装置、设备及存储介质,涉及人工智能图像处理技术领域,其中方法包括:获取受损车辆图像,将受损车辆图像输入到训练好的集成定损模型中得到损伤部件信息,并根据车辆部件分割模型得到受损车辆图像对应的损伤位置,根据损伤位置和损伤部件信息得到车辆的损伤信息。相比较相关技术中分离的多个损伤检测模型,本申请实施例使用集成定损模型通过一次前向处理即可得到对应的损伤部件信息,其占用的计算资源大大降低,耗费的计算时间大幅减少,有效提高检测效率,降低车辆定损过程中的人力成本。并且通过合并车辆部件分割模型得到受损车辆图像对应的损伤位置,可以得到包含定位信息的车辆的损伤信息。
Description
技术领域
本申请实施例涉及人工智能领域,尤其涉及一种车辆损伤检测方法、装置、设备及存储介质。
背景技术
在交通事故中为受损车辆确定受损部位和受损程度是一项非常重要的工作。传统的定损方法依赖人工判断,效率低下且容易因定损员个人因素带来误差。近年来,随着人工智能技术的发展,其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。已有一部分机构采取基于计算机视觉(目标检测等)的方法为受损车辆进行智能定损,这些方法一定程度上降低了定损工作对人工的依赖。
但是由于定损场景复杂多变、车辆部件较多、损伤形态较多等原因,往往需要开发较多的损伤检测模型,如根据部件的材质而开发出针对钣金件、玻璃、轮胎等的多种不同的损伤检测模型。上述方案会有比较明显的弊端,一是模型训练开发阶段,需要准备标注多个损伤数据集,并分别训练优化多个损伤检测模型,过程比较繁琐,效率比较低下,需要较多的人力、物力投入,同时训练得到的模型由于仅能用于对应的部件类型,其数据的重复利用率小而鲁棒性差;二是模型部署上线阶段,多个模型需要耗费更多计算资源,同时增大调度难度,增加成本开支等。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供一种车辆损伤检测方法、装置、设备及存储介质,能够有效提高检测效率以及检测精度,降低车辆定损过程中的人力成本。
第一方面,本申请实施例提供一种车辆损伤检测方法,包括:
获取受损车辆图像;
将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,所述集成定损模型包括:
共享主干神经网络,所述共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,所述共享主干神经网络用于对所述受损车辆图像进行预处理,得到第一输出数据;
至少一个部件类型对应的损伤检测分类层,用于对所述第一输出数据进行处理,得到损伤部件信息;
将所述受损车辆图像输入到车辆部件分割模型,得到所述受损车辆图像对应的损伤位置;
根据所述损伤位置从所述损伤部件信息中定位得到所述车辆的损伤信息。
在一可选的实现方式中,所述共享主干神经网络为深度残差神经网络,所述深度残差神经网络包括:Res-Net50网络、Res-Net101网络、Res-Net110网络或Res-Net152网络;
所述将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,包括:
基于所述深度残差神经网络中顺次相连的各个残差块,对所述受损车辆图像进行残差特征向量提取处理,得到第一输出数据;其中,任意一个残差块中均包括一个恒等映射和至少两个卷积层,任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端;
将所述第一输出数据输入到所述部件类型对应的损伤检测分类层,得到损伤部件信息。
在一可选的实现方式中,所述集成定损模型通过以下训练过程训练得到:
获取至少一个部件类型对应的损伤数据集作为训练数据集,所述训练数据集包含对应的损伤判断标签;
将所述训练数据集输入所述共享主干神经网络得到特征数据;
将所述特征数据输入到所述部件类型对应的损伤检测分类层,得到损伤部件信息检测结果;
根据所述损伤部件信息检测结果与所述损伤判断标签之间的检测误差,训练得到所述集成定损模型。
在一可选的实现方式中,每一个所述部件类型对应的损伤检测模型包括其对应的损失函数,所述根据所述损伤部件信息检测结果与所述损伤判断标签之间的检测误差,训练得到所述集成定损模型还包括:
根据所述检测误差对所述集成定损模型中的参数进行调整,直至所述损失函数满足收敛条件,得到所述集成定损模型。
在一可选的实现方式中,所述获取至少一个部件类型对应的损伤数据集作为训练数据集,包括:
采用均匀采样策略对每个部件类型对应的损伤数据集进行均匀采样得到训练数据集,以使得不同部件类型对应的损失数据集之间的样本数量均衡。
在一可选的实现方式中,所述获取至少一个部件类型对应的损伤数据集作为训练数据集,包括:
当不同部件类型对应的损伤数据集之间的样本数量相差较大时,采用类别间平衡采样策略对样本数量少的部件类型对应的损失数据集进行过采样得到训练数据集。
在一可选的实现方式中,所述部件类型包括:钣金件、玻璃和轮胎;
所述共享主干神经网络由钣金件损伤检测模型、玻璃损伤检测模型和轮胎损伤检测模型集成得到;
所述损伤检测分类层包括:钣金件损伤检测分类层、玻璃损伤检测分类层或轮胎损伤检测分类层;
所述损伤部件信息包括:损伤部件名称、损伤状态和损伤程度;
所述损伤部件名称包括:钣金件、玻璃或轮胎中一种或多种;
所述损伤信息包括:划痕、刮擦、凹陷、褶皱、撕裂、缺失或破裂中一种或多种;
所述损伤程度包括:轻度损伤、中度损伤或重度损伤中一种或多种。
第二方面,本申请实施例提供一种车辆损伤检测装置,包括:
获取图像模块,用于获取受损车辆图像;
损伤部件信息确定模块,用于将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,所述集成定损模型包括:
共享主干神经网络,所述共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,所述共享主干神经网络用于对所述受损车辆图像进行预处理,得到第一输出数据;
至少一个部件类型对应的损伤检测分类层,用于对所述第一输出数据进行处理,得到损伤部件信息;
图像分割模块,用于将所述受损车辆图像输入到车辆部件分割模型,得到所述受损车辆图像对应的损伤位置;
损伤信息合成模块,用于根据所述损伤位置从所述损伤部件信息中定位得到所述车辆的损伤信息。
第三方面,一种计算机设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于根据所述程序执行如第一方面中任一项所述的车辆损伤检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行第一方面中任意一项所述的车辆损伤检测方法。
本申请实施例第一方面提供的一种车辆损伤检测方法,与相关技术相比,本方案通过获取受损车辆图像,将受损车辆图像输入到训练好的集成定损模型中得到损伤部件信息,并根据车辆部件分割模型得到受损车辆图像对应的损伤位置,根据损伤位置和损伤部件信息得到车辆的损伤信息。其中集成定损模型包括:一个共享主干神经网络和至少一个部件类型对应的损伤检测分类层,共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,集成的方式便于模型优化训练,并且训练时可以使用全部损伤类型的标注数据,有效提升模型的鲁棒性,并减少过拟合的可能性。相比较相关技术中分离的多个损伤检测模型,本申请实施例使用集成定损模型通过一次前向处理即可得到对应的损伤部件信息,其占用的计算资源大大降低,耗费的计算时间大幅减少,从而有效提高检测效率,降低车辆定损过程中的人力成本。并且,本申请实施例通过将车辆部件分割模型得到受损车辆图像对应的损伤位置进行合并后,可以得到包含定位信息的车辆的损伤信息;另一方面,由于车辆的损伤信息包含部件的损伤位置,本申请实施例能够过滤背景区域的损伤误检,进一步提高对车辆损伤检测的检测精度。
可以理解的是,上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同,可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的示例性***架构的示意图;
图2是本申请一个实施例提供的车辆损伤检测方法的流程图;
图3是相关技术中车辆检测模型的结构框图;
图4是本申请一个实施例提供的集成定损模型结构框图;
图5是本申请一个实施例提供的车辆损伤检测方法的流程图;
图6是本申请一个实施例提供的车辆损伤检测方法中训练集成定损模型的流程图;
图7是本申请一个实施例提供的车辆损伤检测方法的又一流程框图;
图8是本申请一个实施例提供的车辆损伤检测装置的结构框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请实施例。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请实施例的描述。
需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
还应当理解,在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
汽车是陆地交通中使用频率很高的工具,受天气,道路情况和驾驶人员技能等因素的影响,汽车受损是不可避免的,尤其是在交通事故中。因此为受损车辆确定受损部位和受损程度是一项非常重要的工作,因为它不仅会影响到后续车辆维修方案的确定,也会影响到事故相关方的经济赔偿额度确认。传统的定损方法依赖人工判断,效率低下且容易因定损员个人因素带来误差。近年来,随着人工智能技术的发展,已有一部分机构采取基于计算机视觉(目标检测等)的方法为受损车辆进行智能定损,这些方法一定程度上降低了定损工作对人工的依赖。
一般来说,在这种车辆智能定损***的设计与开发过程中,由于定损场景复杂多变、车辆部件较多、损伤形态较多等原因,往往需要开发较多的损伤检测模型,如根据部件的材质而开发出针对钣金件、玻璃、轮胎等的损伤检测模型。这种方案的缺点也较为明显,一是在模型训练开发阶段,需要标注准备多个损伤数据集,并分别训练优化多个损伤检测模型,这种分开训练不同损伤检测模型的过程比较繁琐,效率比较低下,需要较多的人力、物力投入,同时,训练得到的模型由于数据的重复利用率小而鲁棒性差。二是模型部署上线阶段,多个模型需要耗费更多计算资源,同时增大调度难度,增加成本开支等。
本申请实施例即针对上述缺陷进行改进,提供了车辆损伤检测方法,通过获取受损车辆图像,将受损车辆图像输入到训练好的集成定损模型中得到损伤部件信息,并根据车辆部件分割模型得到受损车辆图像对应的损伤位置,根据损伤位置和损伤部件信息得到车辆的损伤信息。其中集成定损模型包括:一个共享主干神经网络和至少一个部件类型对应的损伤检测分类层,共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,集成的方式便于模型优化训练,并且训练时可以使用全部损伤类型的标注数据,有效提升模型的鲁棒性,并减少过拟合的可能性。相比较相关技术中分离的多个损伤检测模型,使用集成定损模型通过一次前向推理即可得到所有的损伤部件信息,其占用的计算资源大大降低,耗费的计算时间大幅减少,有效提高检测效率,降低车辆定损过程中的人力成本。并且通过与车辆部件分割模型得到受损车辆图像对应的损伤位置进行合并后,可以得到包含定位信息的车辆的损伤信息;另一方面,由于包含部件的损伤位置,能够过滤背景区域的损伤误检,进一步提高对车辆损伤检测的检测精度。
下面结合附图,对本申请实施例作进一步阐述。
图1示出了可以应用本发明实施例的技术方案的示例性***架构的示意图。
如图1所示,***架构100可以包括终端设备(如图1中所示台式计算机101、平板电脑102和便携式计算机103中的一种或多种,当然也可以是其它的具有显示屏幕的终端设备等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
比如服务器105可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,或者是多个服务器组成的服务器集群等。
在本发明的一个实施例中,用户可以利用终端设备101(也可以是终端设备102或103)向服务器105上传受损车辆图像,该受损车辆图像可以包括针对不同部位,在不同角度、不同距离采集的受损车辆图像,也可以是单张照片。服务器105在获取到这些受损车辆图像之后,将受损车辆图像输入到训练好的集成定损模型中得到损伤部件信息,并根据车辆部件分割模型得到受损车辆图像对应的损伤位置,然后根据损伤位置和损伤部件信息得到车辆的损伤信息。能够有效提高检测效率,降低车辆定损过程中的人力成本。并且可以得到包含定位信息的车辆的损伤信息,同时,由于包含部件的损伤位置,能够过滤背景区域的损伤误检,进一步提高对车辆损伤检测的检测精度。
需要说明的是,本发明实施例所提供的车辆损伤检测方法一般由服务器105执行,相应地,车辆损伤检测装置一般设置于服务器105中。但是,在本发明的其它实施例中,终端设备也可以与服务器具有相似的功能,从而执行本发明实施例所提供的待诊图像处理方案。
本申请实施例描述的***架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着***架构的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。本领域技术人员可以理解的是,图1中示出的***架构并不构成对本申请实施例的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
基于上述***架构,提出本申请实施例的车辆损伤检测方法的各个实施例。
如图2所示,图2是本申请一个实施例提供的车辆损伤检测方法的流程图,包括但不限于有步骤S110和步骤S140。
步骤S110,获取受损车辆图像。
步骤S120,将受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息。
步骤S130,将受损车辆图像输入到车辆部件分割模型,得到受损车辆图像对应的损伤位置。
步骤S140,根据损伤位置从损伤部件信息中定位得到车辆的损伤信息。
可以理解的是,上述步骤S120和步骤S130之间没有先后顺序,可以同时执行,也可以先执行步骤S120再执行步骤S130,或者先执行步骤S130再执行步骤S120,本实施例在此对执行顺序不做限制。
在一实施例中,步骤S120中损伤部件信息包括损伤部件名称、损伤状态和损伤程度。损伤部件名称包括但不限于:钣金件、玻璃、轮胎等;损伤信息包括但不限于:划痕、刮擦、凹陷、褶皱、撕裂、缺失、破裂等;损伤程度包括但不限于:轻度损伤、中度损伤、重度损伤等。
在一实施例中,当发生交通事故后,用户可以自行用手机拍摄事故现场图像,例如在不同位置、不同角度拍摄受损车辆得到受损车辆图像,然后将受损车辆图像发送至后台服务器进行定损。
后台服务器中存储预先训练好的集成定损模型,根据用户上传的受损车辆图像,得到受损车辆图像中受损的部件类型,损伤部件信息包括损伤部件名称、损伤状态和损伤程度,例如该车辆损伤部位名称是钣金件,损伤信息是刮擦,损伤程度是中度损伤。
并且通过车辆部件分割模型得到对应受损车辆图像中受损车辆对应的损伤位置,例如是:左侧前车门钣金件。
然后根据损伤位置和损伤部件信息得到该受损车辆的损伤信息,即损伤信息包括:损伤部件信息和损伤位置。例如上述示例中该受损车辆的损伤信息是:左侧前车门钣金件出现中度损伤程度的刮擦。
另外,在一实施例中,集成定损模型包括:
共享主干神经网络,共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,共享主干神经网络用于对受损车辆图像进行预处理,得到第一输出数据;至少一个部件类型对应的损伤检测分类层,用于对第一输出数据进行处理,得到损伤部件信息。
本实施例中,集成定损模型由一个集成的共享主干神经网络和多个损伤检测分类层(对应不同部件类型)构成,每个损伤检测分类层对应处理一种部件类型的损伤数据集,利用至少一个部件类型对应的损伤检测模型集成得到共享主干神经网络,然后连接至少一个部件类型对应的损伤检测分类层,输出该部件类型对应的损伤部件信息。
可以说每个不同部件的损伤检测除了最后一层的损伤检测分类层不同以外,共享前面的共享主干神经网络,每个损伤数据集经过共享主干神经网络之后,通过其对应的末端的损伤检测分类层来预测其损伤类别。即通过共享主干神经网络的方式将多个损伤检测模型集成为一个模型,不同于现有的多个部件对应不同的损伤检测模型,该共享主干神经网络不区分部件类型,用一个网络结构进行不同的损伤检测,多个损伤检测分类层对应多个损伤数据集,从而输出所有部件的损伤结果。
下面对相关技术中车辆检测模型的结构框图与本实施例中集成定损模型结构框图的区别进行对比说明。
参照图3,为相关技术中车辆检测模型的结构框图,由于车辆部件较多,本实施例选取钣金件、玻璃、轮胎这三类进行说明,可以理解的是,并不代表仅限制在这三类中。
该车辆检测模型的结构框图中包括三个功能单元,分别是:
第一单元:损伤数据集,包括:钣金件损伤检测数据集、玻璃损伤检测数据集和轮胎损伤检测数据集。这些损伤数据集都是针对某一特定部件的损伤进行的标注,并不含有其他部件的损伤标注信息,损伤数据集的训练样本可以包括:损伤图像、损伤判断标签等。
第二单元:单数据集检测模型,包括:钣金件损伤检测模型、玻璃损伤检测模型和轮胎损伤检测模型,损伤检测模型包括:损伤检测主体和损伤检测分类器。不同的检测模型对应不同的数据集得到。
第三单元:损失函数,包括:钣金件损伤损失函数、玻璃损伤损失函数和轮胎损伤损失函数,损失函数与损伤检测模型一一对应,用于更新损伤检测模型的参数。
训练时,将第一单元的损伤数据集分别输入第二单元的单数据集检测模型得到对应的损伤检测结果,再利用第三单元的损失函数更新损伤检测模型的参数。例如钣金件损伤检测数据集输入钣金件损伤检测模型得到钣金件损伤检测结果,然后利用钣金件损伤损失函数更新钣金件损伤检测模型的参数。
参照图3,一般来说,相关技术中车辆检测模型的各检测模型都是单独工作,互相之间各不干扰。因此存在以下问题:一是在模型训练开发阶段,需要准备标注多个损伤数据集,并分别训练优化多个损伤检测模型,这种分开训练不同损伤检测模型的过程比较繁琐,效率比较低下,需要较多的人力、物力投入,同时训练得到的模型由于数据的重复利用率小而鲁棒性差。二是模型部署上线阶段,多个模型需要耗费更多计算资源,同时增大调度难度,增加成本开支等。下面通过图4说明本申请一个实施例提供的集成定损模型结构框图。
参照图4,为本申请一个实施例提供的集成定损模型结构框图,包括以下几个功能单元。
由于车辆部件较多,本实施例选取钣金件、玻璃、轮胎这三类进行说明,可以理解的是,并不代表仅限制在这三类中。
该车辆检测模型的结构框图中包括四个单元,分别是:
第一单元:损伤数据集,包括:钣金件损伤检测数据集、玻璃损伤检测数据集和轮胎损伤检测数据集等。这些损伤数据集都是针对某一特定部件的损伤进行的标注,并不含有其他部件的损伤标注信息,损伤数据集的训练样本可以包括:损伤图像、损伤判断标签等,例如:
样本1:损伤图像为玻璃图像,损伤判断标签为:[玻璃,中度损伤,破裂];
样本2:损伤图像为钣金件图像,损伤判断标签为:[钣金件,轻度损伤,刮擦]。
第二单元:共享主干神经网络,其中共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,例如由钣金件损伤检测模型、玻璃损伤检测模型和轮胎损伤检测模型集成得到。
第三单元:不同部件类型对应不同的损伤检测分类层,例如钣金件损伤检测分类层、玻璃损伤检测分类层和轮胎损伤检测分类层等。第二单元和第三单元构成本实施例的集成定损模型。
第四单元:损失函数,包括:钣金件损伤损失函数、玻璃损伤损失函数和轮胎损伤损失函数等,损失函数与损伤检测模型一一对应,用于更新损伤检测模型的参数。由于不同损伤数据集的损伤类别都是针对特定部件,因此不同损伤数据集之间的损伤类别不存在重合的现象,无需将损伤函数合并为一个进行训练。
训练时,将第一单元的损伤数据集输入第二单元的共享主干神经网络得到输出后,将输出根据其损伤部件选择对应的损伤检测分类层。由于损伤数据集都是针对某一特定部件的损伤进行的标注,并不含有其他部件的损伤标注信息,不能简单合并损伤类别,训练一个检测模型来检测所有部件的损伤,因此在不合并多个损伤数据集的目标类别空间的情况下,训练一个集成的共享主干神经网络,也就是在共享主干网络中并行地训练多个针对特定损伤数据集的损伤检测模型。
例如钣金件损伤检测数据集输入共享主干神经网络后输出至钣金件损伤检测分类层,然后利用钣金件损伤损失函数更新钣金件损伤检测模型的参数。
另外,在一实施例中,共享主干神经网络是深度残差神经网络(Deep ResidualNetwork)。
对于传统的深度学习网络应用来说,网络越深,层数越多,所能学到的东西越多,当然收敛速度也就越慢,训练时间越长。然而深度到了一定程度之后就会出现越往深学习率越低的情况,甚至在一些场景下,网络层数越深反而降低了准确率,而且很容易出现梯度消失和梯度***的现象。这种现象并不是由于过拟合导致的,过拟合是在训练集中把模型训练的太好,但是在新的数据中表现却不尽人意的情况。一般来说,深度学习网络训练准误差和测试误差在层数增加后皆变大了,这说明当网络层数变深后,深度网络变得难以训练。
而深度残差神经网络引入了残差块的设计,克服了上述这种由于网络深度的加深而产生的学习率变低、准确率无法有效提升的问题。残差块的原理为将前面若干层的数据输出直接跳过多层而引入到后面数据层的输入部分。简单来说就是,类似于跳跃连接,将前面较为“清晰”的数据和后面被“有损压缩”的数据共同作为后面网络数据的输入,这样网络可以学到更为丰富的内容,因此本实施例的共享主干神经网络采用深度残差神经网络。
在一实施例中,对应的,参考图5,步骤S120包括但不限于有以下步骤:
步骤S121,基于深度残差神经网络中顺次相连的各个残差块,对受损车辆图像进行残差特征向量提取处理,得到第一输出数据。
在一实施例中,任意一个残差块中均包括一个恒等映射和至少两个卷积层,任意一个残差块的恒等映射由任意一个残差块的输入端指向任意一个残差块的输出端,即恒等映射就是上述提到的跳跃连接。
步骤S122,将第一输出数据输入到部件类型对应的损伤检测分类层,得到损伤部件信息。
在一实施例中,共享主干神经网络包括以下一种:Res-Net50网络、Res-Net101网络、Res-Net110网络或Res-Net152网络。由于相关技术中关于该网络结构有较为详细的说明,在此不再赘述。
下面描述本实施例的集成定损模型的训练过程。
在一实施例中,参照图6,为本申请一实施例提供的车辆损伤检测方法中训练集成定损模型的流程图,包括但不限于有步骤S610和步骤S640。
步骤S610,获取至少一个部件类型对应的损伤数据集作为训练数据集,训练数据集包含对应的损伤判断标签。
步骤S620,将训练数据集输入共享主干神经网络得到特征数据,该特征数据由残差特征向量提取处理得到,即类似于上述第一输出数据。
步骤S630,将特征数据输入到部件类型对应的损伤检测分类层,得到损伤部件信息检测结果。
步骤S640,根据损伤部件信息检测结果与损伤判断标签之间的检测误差,训练得到集成定损模型。
在一实施例中,每一个部件类型对应的损伤检测模型包括其对应的损失函数,步骤S640具体描述为:根据检测误差对集成定损模型中的参数进行调整,直至损失函数满足收敛条件,得到集成定损模型,即根据损失函数更新损伤检测模型的参数。本实施例中,收敛条件可以是:最小化损失函数,即通过最小化各损失函数的方式来针对各损伤检测模型的参数进行优化。
本实施例在对集成定损模型进行训练时使用了全部类别的损伤标注数据,明显提升集成定损模型的鲁棒性,减少过拟合的可能性。同时相比多个损伤检测模型,一个集成模型经过一次前向推理即可得到所有的损伤检测结果,其所占用的计算资源大大降低,耗费的计算时间大幅减少。
另外,在一实施例中,针对多个损伤数据集中的各个损伤样本不平衡的问题,训练集成定损模型时,采用均匀采样策略和/或类别间平衡采样策略对训练数据集进行采样。
1)均匀采样策略:即采用均匀采样策略对每个部件类型对应的损伤数据集进行均匀采样得到训练数据集,以使得不同部件类型对应的损失数据集之间的样本数量均衡,提升集成定损模型在各个损伤数据集上的整体性能表现。
2)类别间平衡采样策略:当不同部件类型对应的损伤数据集之间的样本数量相差较大时,采用类别间平衡采样策略对样本数量少的部件类型对应的损失数据集进行过采样得到训练数据集。例如某一部件类别的损伤数据集样本数明显少于其他损伤数据集,则该类别能提供的信息量也较少采用该策略进行均衡采样,尽量保证类别间的训练数据量一致。
该策略为了缓解在损伤数据集内部不同类别间样本不平衡问题,提升在对应损伤数据集上的性能表现。主要目的是尽可能地保证在每个批次(batch)的训练样本中,每个类(不同部件类型的样本)出现的概率相同,且避免图片输入顺序恒定不变。
本实施例中使用两个列表来迭代采样获得每个批次的样本。在每个迭代中,首先在部件类别列表中采样一个类别X(例如玻璃),然后在该类别X的图像列表(例如玻璃的损伤数据集)中采样一幅图片,当类别X的图像列表遍历完毕,则重新打乱图像列表顺序,从头开始遍历。例如这样可以利用对少样本数的损伤数据集进行“过采样”,增大其样本数,保证在该批次中该部件类别的损伤数据集的样本数是均衡的。部件类别列表同样处理,保证每个批次中部件类别的种类也是均衡的。通过以上这种类别间平衡采样策略来解决训练样本中的类别分布不平衡问题。
另外,在一实施例中,车辆部件分割模型由神经网络模型预先训练而成。在前向推理阶段,将一幅图像输入集成定损模型中,该模型会同时输出针对多个损伤数据集的损伤部件信息,下一步需要确定损伤部件信息所属的具***置,本实施例利用下述两种车辆部件分割模型来辅助定位。
下面介绍这两种车辆部件分割模型的具体细节。
1)车辆部件分割模型包括部件分割网络和全局特征提取网络,采集输入的受损车辆图像的全局特征图,利用全局特征提取网络获取对应全局特征图的多个局部特征,从而能根据局部特征利用部件分割网络得到车辆分割部件信息,并根据损失函数更新模型的参数,以使车辆部件分割模型能够输出受损车辆图像对应的损伤位置。
2)根据语义分割思路构建对应的车辆部件分割模型,训练过程包括:对受损车辆图像样本中的类别进行标注后生成训练集,每个类别均包含对应的权重,然后采用对应的损失函数对待训练的语义分割模型进行训练,得到损失值后根据损失值调整待训练的语义分割模型的模型参数,生成根据语义分割思路构建对应的车辆部件分割模型。
上述描述了集成定损模型以及车辆部件分割模型的具体结构,下面参照图7,为本申请一个实施例提供的车辆损伤检测方法的流程框图,从图中可见包括以下步骤:
步骤S710,获取受损车辆图像。
步骤S720,将受损车辆图像同时输入集成定损模型和车辆部件分割模型,其中集成定损模型包括共享主干神经网络和多个损伤检测分类层。
步骤S730,分别获取集成定损模型输出的损伤部件信息和车辆部件分割模型输出的损伤位置。
步骤S740,根据损伤位置从损伤部件信息中定位得到受损车辆的损伤信息,仅保留目标部件下匹配的损伤信息。即结合车辆部件分割模型,将集成定损模型的检测结果进行部件定位,从而得到损伤部件信息与其损伤位置,过滤背景区域的损伤误检。
例如,根据输入的受损车辆图像,集成定损模型输出的损伤部件信息包括:例如该车辆损伤部位名称是钣金件和玻璃,损伤信息是刮擦和碎裂,损伤程度均是中度损伤。
通过车辆部件分割模型得到对应受损车辆图像中受损车辆对应的损伤位置,例如是:前挡风玻璃右侧。
然后将损伤位置和损伤部件信息进行合并,得到该受损车辆的损伤信息是:前挡风玻璃右侧出现中度损伤程度的碎裂,即保留玻璃分割区域下所有玻璃的损伤检测结果,去除可能的轮胎或钣金件的损伤检测结果。
本申请实施例提供了一种车辆损伤检测方法,通过获取受损车辆图像,将受损车辆图像输入到训练好的集成定损模型中得到损伤部件信息,并根据车辆部件分割模型得到受损车辆图像对应的损伤位置,根据损伤位置和损伤部件信息得到车辆的损伤信息。其中集成定损模型包括:一个共享主干神经网络和至少一个部件类型对应的损伤检测分类层,共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,集成的方式便于模型优化训练,并且训练时可以使用全部损伤类型的标注数据,有效提升模型的鲁棒性,并减少过拟合的可能性。相比较相关技术中分离的多个损伤检测模型,使用集成定损模型通过一次前向推理即可得到所有的损伤部件信息,其占用的计算资源大大降低,耗费的计算时间大幅减少,有效提高检测效率,降低车辆定损过程中的人力成本。并且通过与车辆部件分割模型得到受损车辆图像对应的损伤位置进行合并后,可以得到包含定位信息的车辆的损伤信息;另一方面,由于包含部件的损伤位置,能够过滤背景区域的损伤误检,进一步提高对车辆损伤检测的检测精度。
另外,本申请实施例的一个实施例还提供了一种车辆损伤检测装置,参照图8,装置包括:
获取图像模块810,用于获取受损车辆图像;
损伤部件信息确定模块820,用于将受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,集成定损模型包括:
共享主干神经网络,共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,共享主干神经网络用于对受损车辆图像进行预处理,得到第一输出数据;
至少一个部件类型对应的损伤检测分类层,用于对第一输出数据进行处理,得到损伤部件信息;
图像分割模块830,用于将受损车辆图像输入到车辆部件分割模型,得到受损车辆图像对应的损伤位置;
损伤信息合成模块840,用于根据损伤位置从损伤部件信息中定位得到车辆的损伤信息。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需要说明的是,本实施例中的车辆损伤检测装置,可以执行如图2所示实施例中的车辆损伤检测方法。即,本实施例中的车辆损伤检测装置和如图2所示实施例中的车辆损伤检测方法,均属于相同的发明构思,因此这些实施例具有相同的实现原理以及技术效果,此处不再详述。
另外,本申请实施例的一个实施例还提供了计算机设备,计算机设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的车辆损伤检测方法所需的非暂态软件程序以及指令存储在存储器中,当被处理器执行时,执行上述实施例中的车辆损伤检测方法,例如,执行以上描述的图2中的方法步骤S110和步骤S140、图5中的方法步骤S510至530、图6中的方法步骤S610至S640等。
此外,本申请实施例的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器或控制器执行,例如,被上述计算机设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的基于API接口的原生能力拓展方法,例如,执行以上描述的图2中的方法步骤S110和步骤S140、图5中的方法步骤S510至530、图6中的方法步骤S610至S640等。
又如,被上述计算机设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的车辆损伤检测方法,例如,执行以上描述的图2中的方法步骤S110和步骤S140、图5中的方法步骤S510至530、图6中的方法步骤S610至S640等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本申请实施例的较佳实施进行了具体说明,但本申请实施例并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。
Claims (10)
1.一种车辆损伤检测方法,其特征在于,包括:
获取受损车辆图像;
将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,所述集成定损模型包括:
共享主干神经网络,所述共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,所述共享主干神经网络用于对所述受损车辆图像进行预处理,得到第一输出数据;
至少一个部件类型对应的损伤检测分类层,用于对所述第一输出数据进行处理,得到损伤部件信息;
将所述受损车辆图像输入到车辆部件分割模型,得到所述受损车辆图像对应的损伤位置;
根据所述损伤位置从所述损伤部件信息中定位得到所述车辆的损伤信息。
2.根据权利要求1所述的车辆损伤检测方法,其特征在于,所述共享主干神经网络为深度残差神经网络,所述深度残差神经网络包括:Res-Net50网络、Res-Net101网络、Res-Net110网络或Res-Net152网络;
所述将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,包括:
基于所述深度残差神经网络中顺次相连的各个残差块,对所述受损车辆图像进行残差特征向量提取处理,得到第一输出数据;其中,任意一个残差块中均包括一个恒等映射和至少两个卷积层,任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端;
将所述第一输出数据输入到所述部件类型对应的损伤检测分类层,得到损伤部件信息。
3.根据权利要求1所述的车辆损伤检测方法,其特征在于,所述集成定损模型通过以下训练过程训练得到:
获取至少一个部件类型对应的损伤数据集作为训练数据集,所述训练数据集包含对应的损伤判断标签;
将所述训练数据集输入所述共享主干神经网络得到特征数据;
将所述特征数据输入到所述部件类型对应的损伤检测分类层,得到损伤部件信息检测结果;
根据所述损伤部件信息检测结果与所述损伤判断标签之间的检测误差,训练得到所述集成定损模型。
4.根据权利要求3所述的车辆损伤检测方法,其特征在于,每一个所述部件类型对应的损伤检测模型包括其对应的损失函数,所述根据所述损伤部件信息检测结果与所述损伤判断标签之间的检测误差,训练得到所述集成定损模型还包括:
根据所述检测误差对所述集成定损模型中的参数进行调整,直至所述损失函数满足收敛条件,得到所述集成定损模型。
5.根据权利要求4所述的车辆损伤检测方法,其特征在于,所述获取至少一个部件类型对应的损伤数据集作为训练数据集,包括:
采用均匀采样策略对每个部件类型对应的损伤数据集进行均匀采样得到训练数据集,以使得不同部件类型对应的损失数据集之间的样本数量均衡。
6.根据权利要求4所述的车辆损伤检测方法,其特征在于,所述获取至少一个部件类型对应的损伤数据集作为训练数据集,包括:
当不同部件类型对应的损伤数据集之间的样本数量相差较大时,采用类别间平衡采样策略对样本数量少的部件类型对应的损失数据集进行过采样得到训练数据集。
7.根据权利要求1至6任一项所述的车辆损伤检测方法,其特征在于,所述部件类型包括:钣金件、玻璃和轮胎;
所述共享主干神经网络由钣金件损伤检测模型、玻璃损伤检测模型和轮胎损伤检测模型集成得到;
所述损伤检测分类层包括:钣金件损伤检测分类层、玻璃损伤检测分类层或轮胎损伤检测分类层;
所述损伤部件信息包括:损伤部件名称、损伤状态和损伤程度;
所述损伤部件名称包括:钣金件、玻璃或轮胎中一种或多种;
所述损伤信息包括:划痕、刮擦、凹陷、褶皱、撕裂、缺失或破裂中一种或多种;
所述损伤程度包括:轻度损伤、中度损伤或重度损伤中一种或多种。
8.一种车辆损伤检测装置,其特征在于,包括:
获取图像模块,用于获取受损车辆图像;
损伤部件信息确定模块,用于将所述受损车辆图像输入到训练好的集成定损模型中,得到损伤部件信息,所述集成定损模型包括:
共享主干神经网络,所述共享主干神经网络由至少一个部件类型对应的损伤检测模型集成得到,所述共享主干神经网络用于对所述受损车辆图像进行预处理,得到第一输出数据;
至少一个部件类型对应的损伤检测分类层,用于对所述第一输出数据进行处理,得到损伤部件信息;
图像分割模块,用于将所述受损车辆图像输入到车辆部件分割模型,得到所述受损车辆图像对应的损伤位置;
损伤信息合成模块,用于根据所述损伤位置从所述损伤部件信息中定位得到所述车辆的损伤信息。
9.一种计算机设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器用于根据所述程序执行如权利要求1至7中任一项所述的车辆损伤检测方法。
10.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1至7中任意一项所述的车辆损伤检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111080117.1A CN113780435B (zh) | 2021-09-15 | 2021-09-15 | 车辆损伤检测方法、装置、设备及存储介质 |
PCT/CN2022/071075 WO2023040142A1 (zh) | 2021-09-15 | 2022-01-10 | 车辆损伤检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111080117.1A CN113780435B (zh) | 2021-09-15 | 2021-09-15 | 车辆损伤检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113780435A true CN113780435A (zh) | 2021-12-10 |
CN113780435B CN113780435B (zh) | 2024-04-16 |
Family
ID=78844155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111080117.1A Active CN113780435B (zh) | 2021-09-15 | 2021-09-15 | 车辆损伤检测方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113780435B (zh) |
WO (1) | WO2023040142A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723945A (zh) * | 2022-04-07 | 2022-07-08 | 平安科技(深圳)有限公司 | 车损检测方法和装置、电子设备及存储介质 |
WO2023040142A1 (zh) * | 2021-09-15 | 2023-03-23 | 平安科技(深圳)有限公司 | 车辆损伤检测方法、装置、设备及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883444B (zh) * | 2023-08-02 | 2024-01-12 | 武汉理工大学 | 基于机器视觉和图像扫描的汽车损伤检测方法 |
CN116910495B (zh) * | 2023-09-13 | 2024-01-26 | 江西五十铃汽车有限公司 | 一种汽车下线检测的方法、***、可读存储介质及汽车 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359676A (zh) * | 2018-10-08 | 2019-02-19 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN109657716A (zh) * | 2018-12-12 | 2019-04-19 | 天津卡达克数据有限公司 | 一种基于深度学习的车辆外观损伤识别方法 |
CN109657596A (zh) * | 2018-12-12 | 2019-04-19 | 天津卡达克数据有限公司 | 一种基于深度学习的车辆外观部件识别方法 |
CN110443814A (zh) * | 2019-07-30 | 2019-11-12 | 北京百度网讯科技有限公司 | 车辆的定损方法、装置、设备和存储介质 |
CN110728236A (zh) * | 2019-10-12 | 2020-01-24 | 创新奇智(重庆)科技有限公司 | 车辆定损方法及其专用设备 |
US20210182713A1 (en) * | 2019-12-16 | 2021-06-17 | Accenture Global Solutions Limited | Explainable artificial intelligence (ai) based image analytic, automatic damage detection and estimation system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11999364B2 (en) * | 2020-12-23 | 2024-06-04 | Intel Corporation | Systems and methods for intrusion detection in vehicle systems |
CN113780435B (zh) * | 2021-09-15 | 2024-04-16 | 平安科技(深圳)有限公司 | 车辆损伤检测方法、装置、设备及存储介质 |
-
2021
- 2021-09-15 CN CN202111080117.1A patent/CN113780435B/zh active Active
-
2022
- 2022-01-10 WO PCT/CN2022/071075 patent/WO2023040142A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109359676A (zh) * | 2018-10-08 | 2019-02-19 | 百度在线网络技术(北京)有限公司 | 用于生成车辆损伤信息的方法和装置 |
CN109657716A (zh) * | 2018-12-12 | 2019-04-19 | 天津卡达克数据有限公司 | 一种基于深度学习的车辆外观损伤识别方法 |
CN109657596A (zh) * | 2018-12-12 | 2019-04-19 | 天津卡达克数据有限公司 | 一种基于深度学习的车辆外观部件识别方法 |
CN110443814A (zh) * | 2019-07-30 | 2019-11-12 | 北京百度网讯科技有限公司 | 车辆的定损方法、装置、设备和存储介质 |
CN110728236A (zh) * | 2019-10-12 | 2020-01-24 | 创新奇智(重庆)科技有限公司 | 车辆定损方法及其专用设备 |
US20210182713A1 (en) * | 2019-12-16 | 2021-06-17 | Accenture Global Solutions Limited | Explainable artificial intelligence (ai) based image analytic, automatic damage detection and estimation system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023040142A1 (zh) * | 2021-09-15 | 2023-03-23 | 平安科技(深圳)有限公司 | 车辆损伤检测方法、装置、设备及存储介质 |
CN114723945A (zh) * | 2022-04-07 | 2022-07-08 | 平安科技(深圳)有限公司 | 车损检测方法和装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023040142A1 (zh) | 2023-03-23 |
CN113780435B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113780435B (zh) | 车辆损伤检测方法、装置、设备及存储介质 | |
CN109902732B (zh) | 车辆自动分类方法及相关装置 | |
US11790632B2 (en) | Method and apparatus for sample labeling, and method and apparatus for identifying damage classification | |
CN111428875A (zh) | 图像识别方法、装置及相应模型训练方法、装置 | |
CN112613375B (zh) | 一种轮胎受损检测识别方法和设备 | |
CN113033604A (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、***及存储介质 | |
CN108323209B (zh) | 信息处理方法、***、云处理设备以及计算机存储介质 | |
CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
CN109657599B (zh) | 距离自适应的车辆外观部件的图片识别方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN111121797B (zh) | 道路筛选方法、装置、服务器及存储介质 | |
CN113052159A (zh) | 一种图像识别方法、装置、设备及计算机存储介质 | |
CN113159024A (zh) | 一种基于改进YOLOv4的车牌识别技术 | |
CN112115975A (zh) | 一种适用于监拍装置的深度学习网络模型快速迭代训练方法及设备 | |
CN116580271A (zh) | 一种感知融合算法的测评方法、装置、设备及存储介质 | |
CN112949459A (zh) | 吸烟图像的识别方法及装置、存储介质、电子设备 | |
CN111444911B (zh) | 车牌识别模型的训练方法及装置、车牌识别方法及装置 | |
CN117036843A (zh) | 目标检测模型训练方法、目标检测方法和装置 | |
CN115272222A (zh) | 道路检测信息的处理方法、装置、设备及存储介质 | |
CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
CN111435445A (zh) | 字符识别模型的训练方法及装置、字符识别方法及装置 | |
CN110853069A (zh) | 一种用于车辆外观分割的神经网络模型构建方法与*** | |
CN112269827B (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
CN117935200A (zh) | 一种基于改进YOLOv8的自动驾驶路况监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |