CN115527077A - 目标对象的定损方法、定损装置、计算设备集群、介质和程序产品 - Google Patents

Abstract

本公开的实施例提供了一种目标对象的定损方法。方法包括获取移动设备采集的目标对象的图像。方法还包括确定移动设备在采集目标对象的图像时的位姿。方法还包括基于位姿和目标对象的参考模型生成目标对象的参考图像。方法还包括比较所采集的目标对象的图像和参考图像，确定目标对象的损伤区域。还提供了定损装置、计算设备集群、介质和程序产品。通过这种方式，实现了真实三维环境下的精确定损，并且由于定损是实时进行的，提高了定损的真实性和可靠性。

Description

目标对象的定损方法、定损装置、计算设备集群、介质和程序 产品

技术领域

本公开的实施例主要涉及计算机技术领域，具体地涉及人工智能技术领域。更具体地，本公开的实施例涉及目标对象的定损方法、定损装置、计算设备集群、计算机可读存储介质和计算机程序产品。

背景技术

已有一些图像处理方法能够用于识别图像中的对象的感兴趣区域，并对感兴趣区域进行评估以得到关于区域的信息，例如，形状、大小、位置等。然而，这些图像处理方法大多数是基于二维(2D)视觉的，不能够准确地得到感兴趣区域在真实三维世界的信息。典型地，用户拍摄目标对象的图像，采用单张图像进行检测，并且确定感兴趣区域的该图像上的形状和大小等信息。

另外，一些方案通过重建对象的三维(3D)模型来检测感兴趣区域，但是这些方案对3D模型的准确度依赖严重，在噪声较多的情况下效果不理想。

发明内容

本公开的实施例提供了一种结合3D技术对目标对象定损的技术方案。

根据本公开的第一方面，提供了一种目标对象的定损方法，包括：获取移动设备采集的目标对象的图像；确定电子设备在采集目标对象的图像时的位姿；基于位姿和目标对象的参考模型来生成目标对象的参考图像；以及比较所采集的目标对象的图像和参考图像以确定目标对象的损伤区域。通过此方式，实现了真实三维世界下的精确定损，提高了定损的真实性和可靠性。

在一些实施例中，该方法还可以包括：基于电子设备采集的与目标对象有关的多个图像，生成关于目标对象的点云数据。通过此方式，能够在真实三维世界下对目标对象进行定损。

在一些实施例中，该方法还可以包括：确定点云数据中与损伤区域对应的多个点；以及基于多个点在点云数据中的坐标，确定损伤区域的形状和/或大小中的至少一项。通过此方式，在真实三维世界下确定损伤区域的形状和大小，以实现精确定损。

在一些实施例中，确定与损伤区域对应的多个点可以包括：基于位姿和损伤区域在所采集的目标对象的图像中的位置信息，从点云数据中确定多个点。通过此方式，可以将在二维图像中确定的损伤区域映射到三维世界。

在一些实施例中，方法还可以包括：基于点云数据来重建目标对象的表面模型，以及通过比较表面模型和参考模型，来确定损伤区域的深度。通过此方式，可以确定目标对象的损伤深度，以实现精确定损。

在一些实施例中，方法还可以包括：获取目标对象的标识符；以及基于标识符从预定模型库确定参考模型。通过此方式，可以确定目标对象的无损模型，用于精确定损。

在一些实施例中，确定位姿可以包括：基于电子设备的惯性测量单元的测量结果来确定位姿；和/或者基于电子设备采集到的与目标对象有关的多个图像来确定位姿。通过此方式，可以获取移动设备的动态位姿数据。

在一些实施例中，生成目标对象的参考图像包括：生成所采集的目标对象的图像的光照估计结果；以及根据光照估计结果、位姿和参考模型来生成参考图像。通过此方式，考虑光照信息可以获取到有效的参考图像，从而精确能够确定损伤区域。

在一些实施例中，参考模型包括关于目标对象的部件的标注信息，并且其中确定目标对象的损伤区域包括：基于标注信息来确定与损伤区域对应的部件或确定损伤区域的类型。通过此方式，可以利用已有知识来精确确定损伤位置所在的部件和损伤类型。

在一些实施例中，参考模型可以包括目标对象的三维模型。

在一些实施例中，位姿可以包括与电子设备相对于目标对象的位置和/或朝向中的至少一项有关的信息。

在一些实施例中，方法还包括：接收由电子设备采集的目标对象的图像；以及向电子设备发送关于目标对象的定损信息。定损信息可以包括损伤区域的类型、形状、大小、深度、与损伤区域对应的部件中的至少一项。

在一些实施例中，目标对象可以包括车辆和不动产中的至少一项。

根据本公开的第二方面，提供了一种目标对象的定损方法，包括：获取用户确定的定损类型信息；基于定损类型信息，向用户提供采集指示信息；获取用户根据采集指示信息采集的目标对象的图像；确定用户的移动设备在采集目标对象的图像时的位姿；根据目标对象的图像和位姿，以及目标对象的参考模型，确定目标对象的损伤区域，其中目标对象的参考模型来自预定模型库。通过此方式，用户能够自主地实现针对目标对象的精确定损，并且由于用户的定损过程是实时进行的，提高了定损的真实性和可靠性。

在一些实施例中，定损类型信息包括三维定损方案，采集指示信息包括：指示用户围绕目标对象采集不同角度的多张图像。通过此方式，可以引导用户完成自主定损。

在一些实施例中，目标对象的参考模型为目标对象对应的三维模型，并且根据所述目标对象的图像和所述位姿，以及所述目标对象的参考模型，确定目标对象的损伤区域，具体包括：基于位姿和目标对象的参考模型生成目标对象的参考图像；以及比较所述目标对象的图像和所述参考图像，确定所述目标对象的损伤区域。通过此方式，实现了真实三维环境下的精确定损。

根据本公开的第三方面，提供了一种目标对象的定损装置，包括：图像获取单元，被配置为获取移动设备采集的目标对象的图像；位姿确定单元，被配置为确定移动设备在采集目标对象的图像时的位姿；损伤确定单元，被配置为基于位姿和目标对象的参考模型生成目标对象的参考图像，并且通过比较所采集的目标对象的图像和参考图像来确定目标对象的损伤区域。通过此方式，基于移动设备的位姿和目标对象的参考模型进行定损，能够实现更精确的定损，并且由于定损是实时进行的，提高了定损的真实性和可靠性。

在一些实施例中，定损装置还包括点云生成单元。点云生成单元被配置为基于移动设备采集的与目标对象有关的多个图像，生成关于目标对象的点云数据。通过此方式，能够在真实3D世界下对目标对象进行定损。

在一些实施例中，损伤确定单元还被配置为确定点云数据中与损伤区域对应的多个点，以及基于该多个点在点云数据中的坐标，确定损伤区域的形状和/或大小中的至少一项。通过此方式，在真实3D世界下确定损伤区域的形状和大小，以实现精确定损。

在一些实施例中，损伤确定单元还被配置为基于位姿和损伤区域在所采集的目标对象的图像中的位置信息，从点云数据中确定多个点。通过此方式，可以将在二维图像中确定的损伤区域映射到三维世界。

在一些实施例中，损伤确定单元还被配置为基于点云数据来重建目标对象的表面模型，以及通过比较表面模型和参考模型来确定损伤区域的深度。通过此方式，可以确定目标对象的损伤深度，以实现精确定损。

在一些实施例中，位姿确定单元还可以被配置为基于电子设备的惯性测量单元的测量结果来确定位姿；和/或者基于电子设备采集到的与目标对象有关的多个图像来确定位姿。通过此方式，可以获取移动设备的动态位姿数据。

在一些实施例中，参考图像生成单元还可以被配置为：生成所采集的目标对象的图像的光照估计结果；以及根据光照估计结果、位姿和参考模型来生成参考图像。通过此方式，考虑光照信息可以获取到有效的参考图像，从而精确能够确定损伤区域。

在一些实施例中，参考模型包括关于目标对象的部件的标注信息，并且损伤确定单元还可以被配置为基于标注信息来确定与损伤区域对应的部件或确定损伤区域的类型。通过此方式，可以利用已有知识来精确确定损伤位置所在的部件和损伤类型。

在一些实施例中，定损装置还包括接收单元。接收单元被配置为接收由移动设备采集的目标对象的图像。定损装置还包括发送单元。发送单元被配置为向移动设备发送关于目标对象的定损信息。定损信息可以包括损伤区域的类型、形状、大小、深度、与损伤区域对应的部件中的至少一项。

在一些实施例中，定损装置还包括参考模型确定单元。参考模型确定单元被配置为获取目标对象的标识符，以及基于标识符从预定模型库确定参考模型。

在一些实施例中，位置确定单元还被配置为基于移动设备的惯性测量单元的测量结果来确定位姿，或者基于移动设备采集到的与目标对象有关的多个图像来确定位姿。

在一些实施例中，参考图像生成单元还被配置为生成所采集的目标对象的图像的光照估计结果；以及根据光照估计结果、位姿和参考模型来生成参考图像。

在一些实施例中，参考模型包括关于目标对象的部件的标注信息。损伤确定单元630还被配置为基于标注信息来确定与损伤区域对应的部件。损伤确定单元630还被配置为确定损伤区域的类型。

在一些实施例中，述参考模型包括目标对象的三维模型。

在一些实施例中，位姿可以包括与移动设备相对于目标对象的位置和/或朝向。

在一些实施例中，目标对象包括车辆和不动产中的至少一项。

根据本公开的第四方面，提供了一种目标对象的定损装置，包括：定损类型获取单元，被配置为获取用户确定的定损类型信息；信息指示单元，被配置为基于定损类型信息向用户提供采集指示信息；图像获取单元，被配置为获取用户根据采集指示信息采集的目标对象的图像；位姿确定单元，被配置为确定用户的移动设备在采集目标对象的图像时的位姿；以及损伤确定单元，被配置为根据目标对象的图像和位姿，以及目标对象的参考模型，确定目标对象的损伤区域，其中目标对象的参考模型来自预定模型库。通过此方式，用户能够自主地实现针对目标对象的精确定损，并且由于用户的定损过程是实时进行的，提高了定损的真实性和可靠性。

在一些实施例中，定损类型信息包括三维定损方案，采集指示信息包括：指示用户围绕目标对象采集不同角度的多张图像。通过此方式，可以引导用户完成自主定损。

在一些实施例中，目标对象的参考模型为目标对象对应的三维模型，并且损伤确定单元还可以被配置为基于位姿和目标对象的参考模型生成目标对象的参考图像；并且比较所述目标对象的图像和所述参考图像来确定所述目标对象的损伤区域。通过此方式，实现了真实三维环境下的精确定损。

根据本公开的第五方面，还提供了一种计算设备机集群，包括：至少一个处理器；以及存储器，存储器上存储有计算机可执行指令，计算机可执行指令在由至少一个处理器执行时，使计算设备机集群执行根据本公开的第一方面和第二方面的方法。

根据本公开的第六方面，还提供了一种计算机可读存储介质，其上存储有一条或多条计算机可执行指令，其中一条或多条计算机可执行指令被处理器执行使处理器执行根据本公开的第一方面和第二方面的方法。

根据本公开的第七方面，还提供了一种计算机程序产品，包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行根据本公开的第一方面和第二方面的方法。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的实施例可以在其中实现的示例环境；

图2示出了根据本公开的实施例的定损***的示意图；

图3示出了根据本公开的实施例的定损方法的示意流程图；

图4示出了根据本公开的实施例的用于确定损伤区域的形状和大小的过程的示意流程图；

图5示出了根据本公开的实施例的用于确定损伤区域的深度的过程的示意流程图；

图6示出了根据本公开的实施例的定损装置的示意框图；

图7示出了根据本公开的另一实施例的定损装置的示意框图；

图8示出了可以用来实施本公开的实施例的示例设备的示意框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

已有一些图像处理方法能够用于识别图像中的对象的感兴趣区域，并对感兴趣区域进行评估以得到关于区域的信息。例如，在车辆自主定损的应用中，用户可以使用移动设备受损车辆的图像，并确定图像的损坏区域的形状和大小等信息。然而，针对单个图像的定损不能够精确地反映损伤区域在真实三维世界的情况，导致自主定损的准确率不高。另外，这种针对单个图像的定损方案中，图像是通常是离线提供的，有可能是虚假图像，真实性和可靠性不高。

根据本公开的实施例，提供了一种目标对象的定损方法。该方法基于移动设备的位姿和目标对象的参考模型进行定损。方法包括获取移动设备采集的目标对象的图像；确定移动设备在采集目标对象的图像时的位姿，根据目标对象的图像和位姿、以及目标对象的参考模型，确定目标对象的损伤区域。通过这种方式，实现了更精确的定损，并提高了定损的真实性、可靠性。

示例环境

图1示出了本公开的实施例可以在其中实现的示例环境100。环境100包括具有移动设备110的用户、与移动设备110通信连接的服务器120、以及定损的目标对象130。虽然图1将目标对象130示出为车辆，但是目标对象130也可以是其他类型的定损对象，例如不动产(如房屋)等的财险相关对象。

当用户想要使用移动设备110进行自主定损时，打开移动设备110上的应用或小程序，并开启移动设备110的相机来捕捉目标对象130的视频或图像。例如，应用或小程序可以引导用户拍摄车辆车牌。车牌信息不仅被用于确定被投保的车辆，还将被用于确定车辆损坏程度，用于生成定损信息。在拍摄了车辆车牌后，移动设备110向用户提供指示信息，引导用户手持移动设备110平稳绕行车辆130，以同步地记录绕行数据。用户可以绕行目标对象110完整一周，以得到目标对象130的360度的视频，也可以不绕行完一周。可选地，可以指示用户拍摄受损部分的细节图。

绕行数据包括移动设备采集到的目标对象130的视频和移动设备110的运动信息。通过移动设备110的视觉传感器(例如相机)来采集视频，并且可以通过移动设备100的运动传感器(例如惯性测量单元)来获取运动信息。位姿是指与从采集到的视频的图像帧相关联的移动设备的位置和姿态，其中位置表示移动设备采集到该图像帧时的坐标，姿态表示采集到该图像帧时的移动设备的取向。位姿可以从采集到的目标对象130的视频和移动设备的惯性测量单元的测量结果来生成，例如，使用同步定位与建图(simultaneouslocalization and mapping，SLAM)技术。例如，可以使用SLAM算法识别环境中的关键点并且其作为环境的参考点，由此建立稀疏点云数据，并且基于相机采集到的图像与参考点的匹配来计算与采集图像相关联的位姿。取决于具体实现方式，可以移动设备110或服务器120处生成位姿。

移动设备110采集到的视频或图像、运动信息、或者位姿可以经由网络(例如，蜂窝网络或无线局域网)被实时传输到服务器120。服务器120可以是计算设备集群，服务器120可以部署在云环境或者边缘环境。服务器120根据从移动设备110上传的关于目标对象的视频或图像、运动信息或位姿对目标对象130进行定损。定损包括确定例如车辆的损伤区域所在的部件的名称和位置、损伤区域的形状、大小、深度等中的一项或多项。然后，定损结果可以从服务器120传输给移动设备110，供用户查看。定损结果经用户确认后可以被发送给保险公司来进行理赔。

虽然图1示出了由服务器120根据移动设备110上报的数据来执行定损操作，在另一些实施例中，定损操作也可以在移动设备110本地执行。

示例***

图2示出了根据本公开的实施例的定损***200的示意图。***200包括移动设备210、服务器220和模型库240。移动设备210可以是如图1所示的移动设备110的具体实现，包括诸如智能手机、平板电脑、智能手表或手环以及其他类型的移动设备。移动设备210包括相机221、惯性测量单元213、通信单元215、存储器217以及控制单元219。

相机221被用于采集视频或图像。例如，利用相机211，用户可以拍摄目标对象130的标识符(例如车辆车牌)，并且当用户手持移动设备210移动时，拍摄环绕目标对象130的视频，用户还可以拍摄目标对象受损区域的细节图。移动设备110采集到的视频的每一帧图像和图像均具有相关联的时间戳。

惯性测量单元213可以根据移动设备的移动(例如平移和旋转)来产生移动设备的随时间的惯性数据(例如，加速度信息)。通过结合视觉信息(例如相机获取的视频或图像)，可以产生移动设备的位姿。如上所述，位姿包括移动设备110的位置信息和取向信息。因此，利用惯性测量单元213和相机221，移动设备110可以生成随时间变化的位姿。在另一种实现方式中，相机221获取的视觉信息和惯性测量单元213产生的惯性数据可以被传输到服务器220，由服务器220来生成移动设备210的位姿。

通信单元215用于根据各种类型的通信协作来接收和发送数据。根据本公开的实施例，通信单元215可以将移动设备210采集到的视频和图像、以及移动设备110的位姿发送给服务器220，以用于服务器220执行定损操作，并且可以从服务器220接收定损结果。可选地，移动设备210也可以将惯性测量单元213的原始测量结果发送给服务器220，由服务器220来生成移动设备的位姿。

存储器217用于存储可由移动设备210执行的各种类型的计算机程序(例如，应用或小程序)和运行程序所需的数据。例如，能够实现根据本公开的实施例的定损应用可以被存储在存储器217中，并且该定损应用运行时产生的数据(例如，采集的视频、图像、位姿等信息)可以临时或持久地存储在存储器217中。

控制单元219用于控制移动设备210的操作，例如，使得相机211采集目标对象130的视频或图像，使用惯性测量单元213的加速度信息来生成移动设备110的位姿，使得通信单元215向服务器220发送采集的视频、图像以及移动设备210的位姿并且来服务器220接收定损结果，以及运行存储在存储器217中的程序。

服务器220可以是如图1所示的服务器220的具体实现。如图2所示，服务器220包括通信单元225、存储器227和控制单元229。根据本公开的实施例，通信单元225用于接收从移动设备210上传的视频、图像以及移动设备210的位姿，并且将服务器执行定损操作的结果发送回移动设备210。

存储器227用于存储可由服务器220执行的各种类型的计算机程序(例如，定损程序及其组件)和运行程序所需的数据。

控制单元229用于控制服务器220的操作，例如，根据接收到的关于目标对象的图像、视频以及移动设备110的位姿来产生关于目标对象的定损结果，例如发生损伤的部件名称和位置、损伤区域的形状、大小、深度等。

如图2所示，服务器220可以访问预定模型库240。预定模型库240存储有各种类型的定损对象的参考模型。例如，如果定损对象是车辆，则预定模型库240的参考模型包括车辆的三维模型以及可以用于得到车辆三维信息的其他数据类型。三维模型指代车辆在未发生损坏时的空间结构和形状。在一些实施例中，参考模型可以包括三维模型(包括网格模型和表面纹理)、视觉特征、部件分割、以及由此处理生成的其他模型或神经网络等。预定模型库240可以由第三方来提供(例如，厂商)，服务器240可以远程地访问预定模型库240来获取待定损的目标对象的参考模型。可选地，预定模型库也可以被存储到服务器240本地，从而在本地获取参考模型。

定损流程

在本公开的一种应用场景下，当用户发生交通事故后，用户拿出移动设备(如智能手机)打开小程序或应用。初始时，移动设备210的定损应用可以提示用户拍摄目标对象130的标识符，例如车牌号码。车牌号码可以被从图像中被提取并且传输到服务器220。可选地，包括车牌号码的图像可以被传输到服务器220，由服务器220从中提取车牌号码。如果无法获取到车牌号码，则可以在移动设备210提示用户重新拍摄。在获取到车牌号码之后，启动针对该车辆的定损过程。

图3示出了根据本公开的实施例的定损方法300的示意流程图。为了方便描述，以服务器220实施方法300为例来描述，应理解，方法300也可以有由移动设备210来实施，当由移动设备来实施下述方案时，移动设备无需与服务器220交互。将结合图1和图2来描述如图3所示的方法300。

在框310，获取用户确定的定损类型信息。例如，可以在定损应用呈现用于选择定损类型的界面，由用户在移动设备210选择三维定损方案或二维定损方案作为定损类型信息。在一些实施例中，用户可以先输入故障类型，例如剐蹭、碰撞、受损的大致位置等信息，由定损应用给出推荐的定损类型。用户也可以直接输入所选择的定损类型。定损类型信息在被确定后，从移动设备210传输到服务器220。

在框320，基于定损类型信息，向用户提示采集指示信息。如果用户选择了三维定损，则需要用户围绕目标对象采集多张图像。例如，服务器220可以指示移动设备210呈现例如“请用户围绕车辆移动并拍摄视频”的指示信息。由此，用户使用移动设备210围绕目标对象130拍摄视频。可以从视频中提取多个图像帧来得到围绕目标的多个图像。如果用户二维定损方案，则指示用户直接拍摄车辆的损坏区域的图像，以便基于单张图像进行识别和定损。

在框330，获取移动设备210采集的目标对象的图像。图像可以是用户围绕目标对象130采集到的视频中的图像帧或者由用户针对损坏区域专门拍摄的图像。视频可以移动设备210传输到服务器220，由服务器220从中选择或通过用户指定来确定视频中包括目标对象的损坏区域的图像。可选地，服务器220可以指示移动设备210，在移动设备210上提示用户另外拍摄目标对象130的损坏区域的图像并上传到服务器220。

在框340，服务器220确定移动设备210在采集目标对象的图像时的位姿。根据本公开的实施例，移动设备210负责采集数据，具体地，通过相机211和惯性测量单元213采集目标对象130的视频和图像以及移动设备210的运动信息，并将采集到数据发送给服务器220。在一些实施例中，服务器220可以通过3D跟踪技术(例如SLAM)从接收到的视频以及运动信息确定位姿。例如，可以使用SLAM算法识别环境中的关键点并且其作为环境的参考点，由此建立稀疏点云数据，并且基于相机采集到的图像与参考点的匹配来计算与采集图像相关联的位姿。可选地，服务器220可以将采集到车牌时的位姿确定为初始位姿，然后基于惯性测量单元213的测量结果，也就是移动设备130的运动信息来确定位姿。在一些实施例中，可以由移动设备210在本地确定位姿并传输到服务器220。

位姿可以被实时地计算。在一些实施例中，可以根据计算出的位姿来确定移动设备210与目标对象130的实时位置关系，从而可以提示用户，例如，离近点、离远点、走慢点等，以便获得质量较高的图像。

如上所述，服务器220已获取到目标对象130的标识符。根据本公开的实施例，服务器220基于该标识符从预定模型库240确定对应于目标对象130的参考模型。例如，根据车辆的登记信息，可以从车牌号码确定车辆型号，然后从预定模型库240获取车辆的标准3D模型作为参考模型。接下来，在框350和360，将根据目标对象130的图像、移动设备120的位姿、以及参考模型来确定目标对象130的损伤区域。

根据本公开的实施例，在框350，服务器220基于位姿和目标对象130的参考模型生成目标对象的参考图像。参考图像指的是从所确定的位姿(即，采集图像在哪里拍摄、在哪个方向拍摄)观察目标对象的参考模型，应该能拍摄到图像。换句话说，结合位姿和参考模型，可以实现对目标对象的虚拟拍摄。在一些实施例中，可以考虑光照条件。具体地，根据上传的视频或图像信息，生成所采集的目标对象的图像的光照估计结果，然后根据该光照估计结果、位姿以及参考模型来生成参考图像。例如，可以将参考模型、光照、相机位姿输入到合适的渲染器，即可渲染出以该位姿拍到的参考图像。应理解，所生成的参考图像中的目标对象是无损的。

在框360，服务器220通过比较所采集的目标对象130的图像和参考图像来确定目标对象130的损伤区域。如上所述，参考图像包含无损的目标对象，因此，服务器220可以通过将其与存在缺陷的采集图像进行比较，就能够得到准确的损伤区域。

以上参照框310至360描述了根据本公开的实施例的目标对象的定损方案。应理解，这些步骤不一定全部都被执行，可以省略其中的一些步骤，并且也不一定按照上述顺序来实现本公开的定损方案。

方法300基于移动设备的位姿和目标对象的参考模型进行定损，相比于已有的定损方案，能够实现在真实三维世界下的精确定损，并且由于定损是实时进行的，提高了定损的真实性和可靠性。

尽管图3的方法300被描述为由服务器220来实施，但是不脱离本公开的范围的情况下，方法300也可以由移动设备210替代服务器220来执行。在这种情况下，移动设备210可以不与服务器220通信的情况下，执行上述步骤310至360。

根据本公开实施例，确定损伤区域可以包括确定损伤区域对应的部件、损伤类型、损伤区域的形状、大小、深度等。以下描述确定这些信息的示例过程。

为了确定损伤区域对应的部件，参考模型具有关于目标对象的部件的语义分割或标注信息。例如，在目标对象是车辆的情况下，语义分割或标注信息可以包括车前门、车后门、车轮、车前灯等等。因此，可以基于这些标注信息来来确定与损伤区域对应的部件。在一些实施例中，根据损伤区域来确定损伤的类型。损伤的类型可以包括例如穿孔、开裂、划痕、凹陷等。可以基于预先训练的神经网络模型来确定损伤区域的类型。例如，包含损伤区域的采集图像可以被输入到神经网络模型，由神经网络模型来确定损伤类型。

神经网络模型可以是卷积神经网络、循环神经网络、深度神经网络等已有或未来开发的网络模型。神经网络模型可以被训练为用于对目标对象的损伤类型进行分类。例如，可以提供经标注的训练数据集(即，损伤图像以及对应的类型)来训练神经网络模型。在一些实施例中，训练数据集可以被通过各种变换，例如，平移、旋转、增加噪声等来扩充，以提高训练所得到的神经网络模型的鲁棒性。

此外，获取损伤区域的真实3D世界的尺度(形状、大小、深度)是重要的。例如，对于穿孔/开裂的损伤，根据损伤区域所处的位置和真实尺度，决定是修还是换。此外，对于凹陷，凹陷的位置和深度信息会很重要，因为可以根据车型、凹陷位置、凹陷深度可以估计车辆是否有内伤，如果判断没有内伤，则可以作为外观类型案件处理，否则就应提示用户无法使用视觉算法判断，应采取其他方式。以下结合图4和图5描述确定损伤区域的形状、大小、深度的示例过程。

图4示出了根据本公开的实施例的用于确定损伤区域的形状和大小的过程400的示意流程图。

在框410，基于移动设备210采集的与目标对象有关的多个图像，生成关于目标对象的点云数据。生成点云数据的过程也可以被称为稀疏重建。在一些实施例中，可以利用移动设备210采集到的目标对象的视频和惯性测量单元的测量结果，通过合适的多视几何或三维重建算法来生成目标对象的点云数据。例如，可以使用SLAM算法识别环境中的关键点并且其作为环境的参考点，由此建立稀疏点云数据。在一些实施例中，还可以通过其他方式，例如使用飞行时间相机(ToF)相机来生成目标对象的点云数据。本公开不限制生成点云数据的具体方式。

在框420，确定点云数据中与损伤区域对应的多个点。在一些实施例中，通过3D跟踪技术，可以基于位姿和损伤区域在所采集的目标对象的图像中的位置信息，从点云数据中确定对应于损伤区域的多个点。此外，通过将2D形式的采集图像中的损伤区域的点转换为世界坐标系下的点云数据中的点，由此确定点云数据中对应于损伤区域的点。由此，实现了到真实3D世界的转换。

在框430，服务器220基于多个点在点云数据中的坐标，确定损伤区域的形状和/或大小。通过上述转换，2D形式的采集图像中的损伤区域被映射到真实3D世界中的点云数据，损伤区域的点具有对应的三维坐标，由此可以计算出损伤区域的真实三维世界的形状和大小。

图5示出了根据本公开的实施例的用于确定损伤区域的深度的过程500的示意流程图。

在框510，服务器220基于点云数据重建目标对象的表面模型。表面模型是通过三维重建而得到的拟合目标对象表面的三维模型。点云数据提供了关于目标对象的离散的点的描述，可以通过例如Voronoi图、Delaunay三角剖分、Crust Moving Least Squares(MLS)算法来拟合目标对象的三维表面。如上所述，在框410得到的点云数据属于稀疏重建，不易得到目标对象的表面模型。因此，可以通过例如基于优化方法或深度学习方法来从稀疏点云重建得到稠密化的点云数据，然后基于稠密化的点云数据，通过上述算法等中任一种来三维重建目标对象的表面。

在框520，服务器220通过比较表面模型和参考模型，确定损伤区域的深度。应理解，参考模型包含无损伤的对象的表面模型，可以基于三维重建的表面模型和该参考模型在深度方向的差别来确定损伤区域的深度。

类似地，尽管图4和图5的方法400和500被描述为由服务器220来实施，在一些实施例中，方法400和500也可以由移动设备210替代服务器220来执行。在这种情况下，移动设备210可以不与服务器220通信的情况下，执行上述步骤410至430以及510至520。

以上参照图4至图5描述了基于位姿数据和参考模型来确定损伤区域的关于真实3D空间的定损信息。相比于使用3D模型的已有方法(其要求高精度的三维重建，特别是在噪点较多或网格生成不够理想的情况下计算误差较大)，本公开的方案的优势在于，能够实时获取中间结果(例如当前位姿)，并利用位姿从2D图像计算缺陷的形状和尺寸，增加了算法的鲁棒性。

此外，在参照图3至图5描述的过程中，如果某个步骤失败了，则可以向用户提示重新采集数据或是调整拍照位姿，提示用户当前光线太暗/地方太狭窄等等，要求用户尝试调整环境，提示用户呼叫中台客服提供人工指导，或者回退到传统的2D视觉算法。这种可以提供定损方案的鲁棒性。

示例装置和设备

图6示出了根据本公开的实施例的定损装置600的示意框图。定损装置600包括：图像获取单元610、位姿确定单元620、以及损伤确定单元630。该定损装置600中的各单元可以运行在前述移动设备210上，或者运行在服务器220上。

图像获取单元610被配置为获取移动设备采集的目标对象的图像。位姿确定单元620被配置为确定移动设备在采集目标对象的图像时的位姿。损伤确定单元630被配置为基于位姿和目标对象的参考模型来生成目标对象的参考图像，并且比较所采集的目标对象的图像和参考图像来确定目标对象的损伤区域。

在一些实施例中，定损装置600还包括点云生成单元。点云生成单元被配置为基于移动设备采集的与目标对象有关的多个图像，生成关于目标对象的点云数据。例如，可以使用SLAM算法识别环境中的关键点并且其作为环境的参考点，由此建立稀疏点云数据。可以基于相机采集到的图像与参考点的匹配来计算与采集图像相关联的位姿。

在一些实施例中，损伤确定单元630还被配置为确定点云数据中与损伤区域对应的多个点，以及基于该多个点在点云数据中的坐标，确定损伤区域的形状和/或大小。

在一些实施例中，损伤确定单元630还被配置为基于点云数据来重建目标对象的表面模型，以及通过比较表面模型和参考模型来确定损伤区域的深度。

在一些实施例中，位姿确定单元610还可以被配置为基于电子设备的惯性测量单元的测量结果来确定位姿；和/或者基于电子设备采集到的与目标对象有关的多个图像来确定位姿。

在一些实施例中，参考图像生成单元620还可以被配置为生成所采集的目标对象的图像的光照估计结果；以及根据光照估计结果、位姿和参考模型来生成参考图像。

在一些实施例中，参考模型包括关于目标对象的部件的标注信息，并且损伤确定单元630还可以被配置为基于标注信息来确定与损伤区域对应的部件或确定损伤区域的类型。

在一些实施例中，定损装置600还包括接收单元。接收单元被配置为接收由移动设备采集的目标对象的图像。定损装置600还包括发送单元。发送单元被配置为向移动设备发送关于目标对象的定损信息。定损信息可以包括损伤区域的类型、形状、大小、深度、与损伤区域对应的部件中的至少一项。

在一些实施例中，定损装置600还包括参考模型确定单元。参考模型确定单元被配置为获取目标对象的标识符，以及基于标识符从预定模型库确定参考模型。

在一些实施例中，位置确定单元还被配置为基于移动设备的惯性测量单元的测量结果来确定位姿，或者基于移动设备采集到的与目标对象有关的多个图像来确定位姿。

在一些实施例中，参考图像生成单元还被配置为生成所采集的目标对象的图像的光照估计结果；以及根据光照估计结果、位姿和参考模型来生成参考图像。

在一些实施例中，参考模型包括关于目标对象的部件的标注信息。损伤确定单元630还被配置为基于标注信息来确定与损伤区域对应的部件。损伤确定单元630还被配置为确定损伤区域的类型。

在一些实施例中，述参考模型包括目标对象的三维模型。

在一些实施例中，位姿可以包括与移动设备相对于目标对象的位置和/或朝向。

在一些实施例中，目标对象包括车辆和不动产中的至少一项。

图7示出了根据本公开的另一实施例的定损装置700的示意框图。定损装置700包括：定损类型获取单元710、信息指示单元720、图像获取单元730、位姿确定单元740以及损伤确定单元750。

定损类型获取单元710被配置为获取用户确定的定损类型信息。信息指示单元720被配置为基于定损类型信息向用户提供采集指示信息。图像获取单元730被配置为获取用户根据采集指示信息采集的目标对象的图像。位姿确定单元740被配置为确定用户的移动设备在采集目标对象的图像时的位姿。损伤确定单元750被配置为根据目标对象的图像和位姿，以及目标对象的参考模型，确定目标对象的损伤区域，其中目标对象的参考模型来自预定模型库。

在一些实施例中，定损类型信息可以包括三维定损方案，采集指示信息包括指示用户围绕目标对象采集不同角度的多张图像。

在一些实施例中，目标对象的参考模型为目标对象对应的三维模型，并且损伤确定单元750还可以被配置为基于位姿和目标对象的参考模型生成目标对象的参考图像；并且比较所述目标对象的图像和所述参考图像来确定所述目标对象的损伤区域。通过此方式，实现了真实三维环境下的精确定损。

图8示出了可以用来实施本公开的实施例的示例设备800的示意框图，该设备可以是前述服务器220或者前述移动设备210。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法300、400和/或500，可由处理单元801执行。例如，在一些实施例中，方法300、400和/或500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法300、400和/或500的一个或多个动作。

本公开可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (24)

1.一种目标对象的定损方法，其特征在于，包括：

获取移动设备采集的目标对象的图像；

确定所述移动设备在采集所述目标对象的图像时的位姿；

基于所述位姿和所述目标对象的参考模型生成所述目标对象的参考图像；以及

比较所采集的所述目标对象的图像和所述参考图像，确定所述目标对象的损伤区域。

2.根据权利要求1所述的方法，其特征在于，还包括：

基于所述移动设备采集的与所述目标对象有关的多个图像，生成关于所述目标对象的点云数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

确定所述点云数据中与所述损伤区域对应的多个点；以及

基于所述多个点在所述点云数据中的坐标，确定所述损伤区域的形状和/或大小。

4.根据权利要求2或3所述方法，其特征在于，还包括：

基于所述点云数据重建所述目标对象的表面模型，以及；

通过比较所述表面模型和所述参考模型，确定所述损伤区域的深度。

5.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：

获取所述目标对象的标识符；以及

基于所述标识符从预定模型库确定所述参考模型。

6.根据权利要求1-5中任一项所述的方法，其特征在于，其中确定移动设备在采集目标对象的图像时的位姿包括：

基于所述移动设备的惯性测量单元的测量结果来确定所述位姿；和/或

基于所述移动设备采集到的与所述目标对象有关的多个图像来确定所述位姿。

7.根据权利要求1-6中任一项所述的方法，其特征在于，其中基于所述位姿和所述目标对象的参考模型生成所述目标对象的参考图像包括：

生成所采集的所述目标对象的图像的光照估计结果；以及

根据所述光照估计结果、所述位姿和所述参考模型来生成所述参考图像。

8.根据权利要求1-7中任一项所述的方法，其特征在于，其中所述参考模型包括关于所述目标对象的部件的标注信息，并且其中确定所述目标对象的损伤区域包括：

基于所述标注信息来确定与所述损伤区域对应的部件；或者

确定所述损伤区域的类型。

9.根据权利要求1-8中任一项所述的方法，其特征在于，其中所述参考模型包括所述目标对象的三维模型。

10.根据权利要求1-9中任一项所述方法，其特征在于，其中所述位姿包括：与所述移动设备相对于所述目标对象的位置和/或朝向。

11.根据权利要求1-10中任一项所述的方法，其特征在于，还包括：

接收由所述移动设备采集的所述目标对象的图像；以及

向所述移动设备发送关于所述目标对象的定损信息。

12.根据权利要求1-11中任一项所述的方法，其特征在于，所述目标对象包括车辆和不动产中的至少一项。

13.一种目标对象的定损方法，其特征在于，包括：

获取用户确定的定损类型信息；

基于所述定损类型信息，向所述用户提供采集指示信息；

获取所述用户根据所述采集指示信息采集的目标对象的图像；

确定所述用户的移动设备在采集所述目标对象的图像时的位姿；

根据所述目标对象的图像和所述位姿，以及所述目标对象的参考模型，确定所述目标对象的损伤区域，其中所述目标对象的参考模型来自预定模型库。

14.根据权利要求13所述的方法，其特征在于，所述定损类型信息包括三维定损方案，所述采集指示信息包括：指示所述用户围绕目标对象采集不同角度的多张图像。

15.根据权利要求13或14所述的方法，其特征在于，所述目标对象的参考模型为所述目标对象对应的三维模型，所述根据所述目标对象的图像和所述位姿，以及所述目标对象的参考模型，确定所述目标对象的损伤区域，具体包括：

基于所述位姿和所述目标对象的参考模型生成所述目标对象的参考图像；以及

比较所述目标对象的图像和所述参考图像，确定所述目标对象的损伤区域。

16.一种目标对象的定损装置，其特征在于，包括：

图像获取单元，被配置为获取移动设备采集的目标对象的图像；

位姿确定单元，被配置为确定移动设备在采集目标对象的图像时的位姿；以及

损伤确定单元，被配置为：

基于所述位姿和所述目标对象的参考模型生成所述目标对象的参考图像；并且

通过比较所采集的所述目标对象的图像和所述参考图像来确定所述目标对象的损伤区域。

17.根据权利要求16所述的装置，其特征在于，还包括：

点云生成单元，被配置为基于所述移动设备采集的与所述目标对象有关的多个图像，生成关于所述目标对象的点云数据。

18.根据权利要求17所述的装置，其特征在于，其中所述损伤确定单元还被配置为：

确定所述点云数据中与所述损伤区域对应的多个点；以及

基于所述多个点在所述点云数据中的坐标，确定所述损伤区域的形状和/或大小。

19.根据权利要求16或17所述装置，其特征在于，其中所述损伤确定单元还被配置为：

基于所述点云数据来重建所述目标对象的表面模型，以及；

通过比较所述表面模型和所述参考模型，来确定所述损伤区域的深度。

20.根据权利要求16-19中任一项所述的装置，其特征在于，还包括：

接收单元，被配置为接收由所述移动设备采集的所述目标对象的图像；以及

发送单元，被配置为向所述移动设备发送关于所述目标对象的定损信息。

21.一种目标对象的定损装置，其特征在于，包括：

定损类型获取单元，被配置为获取用户确定的定损类型信息；

信息指示单元，被配置为基于所述定损类型信息向所述用户提供采集指示信息；

图像获取单元，被配置为获取所述用户根据所述采集指示信息采集的目标对象的图像；

位姿确定单元，被配置为确定所述用户的移动设备在采集所述目标对象的图像时的位姿；

损伤确定单元，被配置为根据所述目标对象的图像和所述位姿，以及所述目标对象的参考模型，确定所述目标对象的损伤区域，其中所述目标对象的参考模型来自预定模型库。

22.一种计算设备集群，包括：

至少一个处理器；以及

存储器，所述存储器上存储有计算机可执行指令，所述计算机可执行指令在由所述至少一个处理器执行时，所述计算设备集群执行根据权利要求1至15中任一项所述的方法。

23.一种计算机可读存储介质，其上存储有一条或多条计算机可执行指令，其中一条或多条计算机可执行指令被处理器执行使所述处理器执行根据权利要求1至15中任一项所述的方法。

24.一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令在由设备执行时使所述设备执行根据权利要求1至15中任一项所述的方法。

Images