CN110650292B - 辅助用户拍摄车辆视频的方法及装置 - Google Patents

Abstract

本说明书实施例提供了辅助用户拍摄车辆视频的方法和装置，一方面，对于所拍摄的视频中的单个帧，可以实时检测其作为图像的有效性。如果单个帧是有效帧，则进一步对于该当前帧作为验车视频中的帧，是否符合验车视频拍摄规则。在当前帧无效，或者不符合验车视频拍摄规则的情况下，可以及时向用户提供拍摄引导策略。如此，可以使得普通用户能够正确拍摄有效的验车视频，提高用户体验，以及验车效率。

Description

辅助用户拍摄车辆视频的方法及装置

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及辅助用户拍摄车辆视频的方法及装置。

背景技术

在传统车险理赔场景中，往往通过保险业务方的专业查勘人员进行验车。由于需要人工到事故现场进行查勘定损，保险业务方需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场查验等，用户的等待时间较长，体验较差。而在车险投保场景中，通常没有验车环节。这样就可能出现带伤投保等情况，保险公司存在较大的理赔风险。

针对以上需求背景，开始设想将人工智能和机器学习应用到车辆损伤检测的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场图像(图片或视频)，在车险投保或理赔等场景中自动识别其中反映的车辆状况。如此，可以大大减少人工成本，同时提升用户体验。然而，普通用户自主拍摄现场图像过程中，如果拍摄过程或者所拍摄的图像存在不规范问题，那么会大大增加保险业务方的承保风险。

发明内容

本说明书一个或多个实施例描述的利用多个数据方的数据进行模型训练的方法及装置，可以用于解决背景技术部分提到的一个或多个问题。

根据第一方面，提供了一种辅助用户拍摄车辆视频的方法，其中，所述方法包括：获取用户拍摄的车辆视频中的当前帧，以及用于拍摄所述车辆视频的拍摄终端的当前拍摄状态信息；利用预先训练的图像分类模型处理所述当前帧，从而获取所述当前帧的图像质量特征，从所述拍摄状态信息提取拍摄特征；至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性；在检测到所述当前帧是有效帧的情况下，利用预先训练的部件识别模型识别所述当前帧中的车辆部件，以基于识别结果确定所述当前帧的部件特征；利用预先训练的第二检测模型处理通过所述拍摄特征和所述部件特征，以检测所述当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对所述当前帧的视频拍摄引导策略。

在一个实施例中，所述当前帧是从所述车辆视频中按照预定时间间隔抽取的图像帧。

在一个实施例中，所述拍摄状态信息包括以下中的一项或多项：所述拍摄终端的加速度大小、加速度方向信息、放置方向信息、位置信息。

在一个实施例中，所述图像质量特征包括以下中的至少一项：图像清晰性特征、图像的车辆特征、光线特征、图像中的车身清洁性特征图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍。

在一个实施例中，至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性包括：将所述图像质量特征和所述拍摄特征拼接后输入预先训练的第一检测模型，以检测所述当前帧的有效性；其中，所述当前帧的有效性包括以下中的一项或多项：图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍、是否仰拍图像或俯拍图像。

在一个实施例中，所述方法还包括：在检测到所述当前帧不是有效帧的情况下，提供针对所述当前帧的图像拍摄引导策略，所述图像拍摄引导策略包括以下中的至少一项：对准车辆拍摄、在光线充足时拍摄、清洗污渍后拍摄、保持拍摄终端沿竖直方向。

在一个实施例中，所述拍摄规则包括图像构图规则，所述图像构图规则指示预定部件落入图像中的预定区域，所述视频拍摄引导策略包括调整所述拍摄终端与车身的距离。

在一个实施例中，所述拍摄规则包括移动方向规则，用于检测拍摄终端的移动方向是否沿预定方向，所述视频拍摄引导策略包括向当前移动方向的相反方向移动，或者返回原点拍摄。

在一个实施例中，所述拍摄规则包括拍摄角度规则，用于检测所述当前帧是否跨越预定拍摄角度。

在一个实施例中，所述第二检测模型是长短期记忆模型。

根据第二方面，提供了一种辅助用户拍摄车辆视频的装置，其中，所述装置包括：

获取单元，配置为获取用户拍摄的车辆视频中的当前帧，以及用于拍摄所述车辆视频的拍摄终端的当前拍摄状态信息；

第一特征提取单元，配置为利用预先训练的图像分类模型处理所述当前帧，从而获取所述当前帧的图像质量特征，并从所述拍摄状态信息提取拍摄特征；

有效性检测单元，配置为至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性；

第二特征提取单元，配置为在检测到所述当前帧是有效帧的情况下，利用预先训练的部件识别模型识别所述当前帧中的车辆部件，以基于识别结果确定所述当前帧的部件特征；

视频拍摄引导单元，配置为利用预先训练的第二检测模型处理通过所述拍摄特征和所述部件特征，以检测所述当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对所述当前帧的视频拍摄引导策略。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述第一方面的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述第一方面的方法。

本说明书实施例提供了辅助用户拍摄车辆视频的方法和装置，充分利用图像本身的特征，和拍摄终端的拍摄状态信息，一方面，对图像本身的有效性进行检测，以免用户拍摄的车辆视频中包含无效帧，影响验车效果，另一方面，检测各个帧是否满足拍摄规则，避免拍摄的车辆视频无法全面展示车辆状态。如此，通过两个方面为用户提供拍摄引导，可以提高用户拍摄的车辆视频的有效性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书实施例的一个实施场景示意图；

图2示出根据一个实施例的辅助用户拍摄车辆视频的流程示意图；

图3示出一个具体例子的判断当前帧有效性的示意图；

图4示出一个具体例子的拍摄规则中拍摄方向、拍摄角度等的示意图；

图5示出一个具体例子的提供视频拍摄引导策略的示意图；

图6示出根据一个实施例的辅助用户拍摄车辆视频的装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

首先，结合图1示出一个具体实施场景进行说明。如图1所示，在该实施场景中，图1示出的是在验车场景，该场景可以是需要对车辆损伤情况进行查验的任意场景。例如，车辆投保时确定车辆有无损伤，或者车险理赔时确定车辆损伤情况等等场景。

该实施场景中，用户可以通过可采集视频信息的移动终端(以下称为拍摄终端)，例如智能手机、照相机等，采集车辆的现场视频。在用户采集车辆的现场视频过程中，处理平台可以实时判断当前采集的图像帧的有效性，对用户拍摄提供辅助引导。其中，处理平台可以是集成在用户用于采集视频信息的移动终端，也可以设在远程为移动终端的验车类应用提供服务的服务端，在此不作限定。

具体地，处理平台可以获取用户拍摄的当前帧，以及拍摄终端的当前状态信息。可以理解，从当前状态信息中可以提取拍摄特征，例如拍摄角度、移动加速度等。一方面，对于当前帧，可以通过预先训练的第一检测模型对其质量进行有效性判断，例如，清晰度判断、光照度判断等等。在当前帧的质量存在问题判断为无效帧时，可以提示用户调整拍摄。另一方面，在当前帧判断为有效帧时，可以进一步提取当前帧的部件特征，结合拍摄状态特征和部件特征，检测当前帧是否满足场景相关的拍摄规则，并基于检测结果对用户确定视频拍摄引导策略。其中，场景相关的预定条件例如是在图像构图中预定部件是否落在预定区域，拍摄角度改变方向是否是预定方向，等等。

下面详细描述辅助用户拍摄车辆视频的具体过程。

图2示出根据一个实施例的辅助用户拍摄车辆视频的方法流程图。该方法的执行主体可以是任何具有计算、处理能力的***、设备、装置、平台或服务器。例如图1示出的处理平台。

如图2所示，辅助用户拍摄车辆视频的方法包括以下步骤：步骤201，获取用户拍摄的车辆视频中的当前帧，以及用于拍摄车辆视频的拍摄终端的当前拍摄状态信息；步骤202，利用预先训练的图像分类模型处理当前帧，从而获取当前帧的图像质量特征，并从拍摄状态信息中提取拍摄特征；步骤203，至少将图像质量特征输入预先训练的第一检测模型，以检测当前帧的有效性；步骤204，在检测到当前帧是有效帧的情况下，利用预先训练的部件识别模型从当前帧中识别当前帧中的车辆部件，以基于识别结果确定当前帧的部件特征；步骤205，利用预先训练的第二检测模型处理拍摄状态特征和部件特征，以检测当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对用户的视频拍摄引导策略。

首先，在步骤201中，获取用户拍摄的车辆视频中的当前帧，以及用于拍摄车辆视频的拍摄终端的当前拍摄状态信息。

其中，用户拍摄车辆视频时，根据设备的性能，可以有一定的拍摄帧率，例如60帧/秒，即每秒钟拍摄60帧。由于执行本说明书实施例的流程，是与拍摄过程同步的，因此，帧处理的实时性要求较高。而相近帧可能存在大量重复区域，因此，在本流程中，不要求对所拍摄的视频中的每一帧都进行处理。本步骤201中，所获取的当前帧，可以是当前拍摄的最新一帧，也可以是按照设备的处理性能，确定的可以与当前采集的帧基本同步的帧。例如，设备拍摄帧率为60帧/秒，而按照设备的处理性能，每秒可以处理15帧，那么，可以按照预定的帧间隔，从每4帧中抽取一帧(如每4帧中的最后一帧)，执行本实施例的流程。这种情况下，可能会出现拍摄到第9帧时，获取的当前帧是第8帧的情况，基本满足实时性要求。在设备的处理性能较好，对每一帧都进行处理仍可以满足实时性要求的情况下，还可以按顺序获取每一帧作为当前帧执行本实施例的流程。

另一方面，用于拍摄车辆视频的拍摄终端的拍摄状态也是辅助用户拍摄车辆视频中的重要信息，因此，在步骤201中还可以获取拍摄终端的当前拍摄状态信息。拍摄终端例如可以是智能手机、照相机之类的终端。当前拍摄状态信息可以用于描述拍摄终端当前拍摄所处的状态，例如，加速度大小、加速度方向、放置方向、位置信息等等。其中，加速度大小和加速度方向可以通过设于拍摄终端的加速度传感器获取，放置方向可以通过陀螺仪获取，位置信息可以通过软件或硬件实现的定位模块(如北斗星、GPS等)获取。

值得说明的是，放置方向可以包括竖直、水平(横向放置)、倾斜某个角度(仰拍、俯拍)，等等。放置方向与拍摄的图像帧的画面方向相关，例如，当拍摄终端是智能手机时，由于车身较长，可能将智能手机横向放置拍摄以达到更好的画面效果。

位置信息可以是绝对位置信息，例如通过经纬度表示的位置信息。如果采用绝对位置误差较大，还可以基于通过陀螺仪、加速度传感器获取数据确定拍摄终端的相对位置。相对位置可以是相对于参考位置点的位置。参考位置点例如是拍摄起点，即拍摄车辆视频的第一帧时拍摄设备所在的位置点。

可以理解，拍摄终端的拍摄状态变化频率通常低于图像采集频率，因此，拍摄状态信息不一定在采集每一帧时都采集。可选地，拍摄状态信息可以是按照一定的采集间隔进行采集的，例如，每0.5秒采集一次。

接着，通过步骤202，利用预先训练的图像分类模型处理当前帧，从而获取当前帧的图像质量特征，并从拍摄状态信息中提取拍摄特征。其中，图像质量特征是与图像质量相关的特征。这里，图像质量特征例如可以包括但不限于以下至少一项：图像清晰性特征、图像的车辆特征、光线特征、图像中的车身清洁性特征，等等。

图像分类模型可以是一个多任务分类模型，例如通过诸如MobileNet V2，ShuffleNet之类的算法实现的模型。图像分类模型可以通过被标注质量类别的多张图片进行训练。一张图片可以对应多个标签。例如，一张图片对应着“清晰图片”、“车辆图片”、“无污渍”、“光线充足”等等标签。对图像分类模型进行训练时，可以将作为训练样本的图片依次输入选定的模型，并基于模型的输出结果和相应标签的对比，调整模型参数。上述的样本标签也可以用数字表示，例如清晰图片对应1，模糊图片对应0。

图像分类模型可以包括多个输出通道，将当前帧输入训练好的图像分类模型，图像分类模型可以通过各个通道输出当前帧在各个特征分类上的概率，或者具体特征分类结果。作为示例，假设当前帧输入图像分类模型后，图像分类模型在4个通道上的输出结果分别是0.1，0.8，0.82，0.9，表示图片模糊概率为0.1(图像清晰性特征)，是车辆图片的概率为0.8(图像的车辆特征)，车身有污渍的概率为0.82(图像中的车身清洁性特征)，光线充足概率为0.9(光线特征)。如果预先确定有截断概率，图像分类模型在4个通道上的输出结果还可以是0，1，1，1，4个元素分别对应着图像清晰性特征、图像的车辆特征、图像中的车身清洁性特征、光线特征，表示图片清晰、是车辆图片、车身有污渍、光线充足。

这样，可以获得出与图像的质量相关的特征。其中，在使用MobileNet V2，ShuffleNet等算法时，可以对传统的二维卷积操作进行优化，很好地减少模型参数，加快运算效率，便于在移动端部署，在此不再赘述。

另一方面，还可以从拍摄状态信息中提取出拍摄特征。顾名思义，拍摄特征可以是与拍摄终端的拍摄状态相关的特征。例如，通过拍摄终端的放置方向，可以提取是否存在仰拍、俯拍等状态的特征。如拍摄终端的拍摄角度和竖直向上方向所成角度大于预设阈值(如25度)时，确定拍摄特征为仰拍，等等。再例如，通过拍摄终端的加速度方向和速度可以确定其移动方向。

进一步地，在步骤203中，至少将图像质量特征输入预先训练的第一检测模型，以检测当前帧的有效性。当前帧的有效性检测例如是：图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍等等。可以理解，当前帧有效，表示当前帧是可以用于判断车辆状态的帧，例如图像清晰，是车辆图片，等等。第一检测模型可以看作一个分类模型，例如可以实现为诸如GBDT(梯度提升决策树)之类的模型。

在一些可选的实现方式中，第一检测模型的输出结果可以对应有效类别和无效类别。在第一检测模型的输出结果对应到有效类别时，至少预定的特征项都是向着可以用于判断车辆状态的方向的，例如图像是否清晰的特征对应的是清晰类别，或者是清晰图片的概率超过预定值(如0.7)等等。通常，光线不充足、图像不清晰、不是车辆照片、车身有污渍等等中的至少一种情况下，当前帧可以被判断为不是有效帧(也可以称为无效帧)。

在另一些可选的实现方式中，第一检测模型的检测结果可以对应到多个类别，这多个类别可以具体到当前帧的各种情形，例如当前帧不是有效帧时，是光线不充足，还是图像不清晰。第一检测模型可以通过多个通道的输出结果分别对应各种情形，也可以通过一个通道的输出结果表示当前帧的当前情形。当第一检测模型通过一个通道的输出结果表示当前帧的当前情形时，各个图像质量特征还可以有优先级，优先级例如通过模型中响应特征对应的权重来表示，权重越大，表示优先级越高。例如，优先级顺序为光线是否充足、图像是否清晰、是否为车辆照片、车身是否有污渍，等等。这个优先级顺序也表示出图像质量的各个因素之间的重要度。例如，只有检测到光线充足，且图像清晰时，才可以判断是不是车辆图片。检测模型的输出通道的输出结果对应优先级别最高的无效情形，或者有效帧情形。

在一个实施例中，如果当前帧不是有效帧，第一检测模型的输出结果还可以对应着根据实际情形为用户提供的图像拍摄引导策略。其中，图像拍摄引导策略用于引导用户的图像拍摄行为，其可以包括“请对准车辆拍摄”(对应非车辆图像)、“请在明亮环境下拍摄”(对应光线不充足)、“请擦洗车身污渍”(对应车身有污渍)等等。例如，检测到是否车辆图像特征对应着非车辆，则第一检测模型的输出结果可以对应着“请对准车辆拍摄”的图像拍摄引导策略。

这时，第一检测模型的训练样本可以对应着多张图片，每张图片包含经过图像分类模型确定的图像质量特征，以及预先标注的分类标签，如“请对准车辆拍摄”、“请在明亮环境下拍摄”等等。将各个图片的图像质量特征分别输入选定的分类模型，根据分类模型的输出结果与分类标签的对比调整模型参数，从而训练图像分类模型，在此不再赘述。

根据一个可能的设计，还可以将图像质量特征和拍摄特征经过拼接后一起输入第一检测模型，结合拍摄特征检测当前帧的有效性。可以理解，对于特殊角度拍摄的图像帧，图像中的一些目标可能会产生变形，例如仰拍时，目标被拉高，本来是圆形的目标可能变成椭圆，这在部件识别、损伤识别之类的操作中，可能影响结果的准确度。因此，拍摄终端的拍摄状态也可以作为当前帧能否判断车辆状态的因素。例如在一个实施例中，如果拍摄终端的拍摄特征包括仰拍或俯拍，则可以判断当前帧不是有效帧。此时，根据前述的不同实施例，第一检测模型的输出结果可以对应到无效类别、俯拍无效类别、俯拍无效类别对应的图像拍摄引导策略(如“请竖直拍摄”)等等。

上面的图像引导策略可以以语音或文字等形式展示给用户，如此，如果当前帧不是有效帧，可以及时给出用户图像拍摄引导，采集有效帧。

有以上描述可知，步骤202和步骤203是用于对当前帧的有效性进行检测的步骤。为了更清楚地描述以上过程，请参考图3所示。图3是判断一个当前帧的有效性的具体例子示意图。在图3中，当拍摄终端开始拍摄车辆视频后，可以每间隔一定时间(如0.5秒)采集拍摄终端的拍摄状态信息，并更新为当前拍摄状态信息。在获取当前帧的同时，可以获取当前的拍摄状态信息。然后，一方面，通过多任务分类模型，可以检测当前帧的图像质量特征，用特征向量表示，例如(1，0，0，1)，每个元素上的值对应着相应质量检测项的检测结果。另一方面，通过当前拍摄状态信息提取拍摄特征，例如加速度特征、陀螺仪角度特征等等，如对应着(0.1，30°)。接着，把图像质量特征和拍摄特征进行拼接，得到(1，0，0，1，0.1，30°)，输入预先训练的GBDT模型(第一检测模型)，根据GBDT模型的输出结果确定当前帧是有效帧，或者对应的无效情形下的提示信息，如夜间(光线不足)情形下的“请在明亮环境下拍摄”、仰拍/俯拍情形下的“请竖直拍摄”等等。

在第一检测模型的输出结果对应到当前帧是有效帧的情况下，即当前帧可以用于判断车辆状态的帧，则通过步骤204，利用预先训练的部件识别模型识别当前帧中的车辆部件，以基于识别结果确定当前帧的部件特征。其中，部件识别模型可以用于识别图像中的车辆部件。

部件识别模型可以通过多张图片作为训练样本进行训练。这多张图片分别标注有部件轮廓和/或部件名称。进行训练时，可以将原始图片输入选定的模型，根据标注结果调整模型参数，从而训练部件识别模型。部件识别模型例如通过卷积神经网络(CNN，Convolutional Neural Networks)等实现。

根据步骤203的描述，当前帧为有效帧时，当前帧可能具有图像清晰、光线充足、竖直拍摄等特征，将当前帧输入部件识别模型，部件识别模型的输出结果可以是标注有部件轮廓的图片，也可以是具有部件特征的文字描述，如文字描述出当前帧中出现的各个部件的名称及位置关系等。部件识别模型的输出结果，可以作为当前拍摄车辆的部件特征。

然后，通过步骤205，利用预先训练的第二检测模型处理拍摄特征和部件特征，以检测当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对当前帧的视频拍摄引导策略。其中，拍摄规则可以是确定相关帧可以完整展示车辆状态的规则。根据实际需求，可以对应不同的拍摄规则。

在一个实施例中，拍摄规则可以包括图像构图规则。车辆图像构图规则可以指示车辆的预定部位落入图像构图的预定区域。例如，通过预定颜色的框指示出预定区域，拍摄当前帧时，如果预定部位落入该框，则满足图像构图规则。作为示例，可以在图像顶部和底部分别给定一个绿色的框，拍摄过程中各个帧的车辆轮廓中，底盘轮廓需要落入底部的框，同时，顶端轮廓需要落入顶部的框，否则，当前帧不满足图像构图规则。其中，底盘轮廓和顶部轮廓可以根据部件特征确定。通过图像构图规则，可以使得用户与车身距离均衡，避免拍摄过程中忽远忽近，视频帧中的车辆图像忽大忽小等情形。

在另一个实施例中，拍摄规则还可以包括拍摄角度规则。当各个预定角度的图像被采集时，可以从各个方位完整展示车辆状态。例如，将环车一周分为12个角度，当用户在这12个角度都进行了图像采集，就可以认为用户采集了完整的车辆视频。其中，拍摄角度可以根据拍摄特征确定。拍摄角度例如可以通过当前拍摄点相对于参考点，距离和角度的偏移量来确定。可选地，参考点可以是起始拍摄位置点。

为了便于描述，请参考图4示出的示例。在图4中，假设起始视角是正对车辆前方的位置，可以拍摄到前方车牌的正面的视角，则在起始拍摄时，可以根据当前帧的拍摄特征(如当前位置点、图像构图等)以及部件特征确定是否有效，以及满足拍摄规则(如车牌是否出现在左右方向的画面中间位置等)，如果满足，就是可用的帧。起始帧确定后，可以以起始帧的拍摄位置为原点，车身纵向方向和车身横向方向为坐标轴建立坐标系。

在一个可选的实现方式中，第二检测模型可以包含确定相对角度的计算方法。当拍摄终端移动时，通过拍摄设备内置的加速度传感器、陀螺仪等采集的加速度大小和方向，利用相对角度的计算方法，可以确定拍摄设备相对于起始点的角度，或者当前拍摄视角相对于起始视角沿拍摄设备移动相对的中心轴(如车辆中心轴线)转过的角度。检测这个角度和预设的角度之间的差距，当该差距在预设的差距范围内时，可以认为这个角度是预设角度。当环绕车身一周可以检测到各个预设的角度，就代表着拍摄满足拍摄角度规则。反之，如果在一个预设角度的差距范围内没有检测到满足某个拍摄角度规则的帧，而当前帧已经按照拍摄终端移动方向跳过了这个预定角度，则当前帧不满足拍摄角度规则。

通过拍摄角度规则，可以控制用户的拍摄角度的完整性，以便获取全面的车辆视频。

在又一个实施例中，拍摄规则还可以包括移动方向规则。可以理解，在视频拍摄过程中，按照同一个方向移动拍摄是较有利于拍摄和车辆状态认定的，如图4所示的环车一周的黑色线框，箭头方向表示拍摄终端的移动方向。可选地，第二检测模型中可以包括移动方向的确定算法。移动方向的确定算法将当前帧的拍摄特征与前一帧的拍摄特征的对比，可以确定拍摄终端的当前移动方向。作为示例，当前帧的拍摄位置相对于前一帧的拍摄位置的变化方向，就是拍摄终端的移动方向。

在更多实施例中，还可以有更多拍摄规则，在此不再赘述。

通过以上描述可知，拍摄规则通常不仅和当前帧相关，还和前一帧的状态相关，因此，除了上述的具体计算方法，第二检测模型还可以通过机器学习方法来实现，例如可以是浅层DNN模型、LSTM模型等等。以LSTM为例，适用于处理时序问题，可以对长时间的信息具有记忆能力，以及整合能力。LSTM模型训练时，可以将多个视频作为训练样本。每个视频中可以按照预定时间间隔抽取各个帧，每个帧对应有图像特征和拍摄特征，以及经过标注的拍摄规则的满足情况的标签。这些标签例如是：满足拍摄规则、移动方向相反、越过预定拍摄角度等等。针对各个训练样本，按照时间顺序依次将各个帧的图像特征和拍摄特征输入LSTM模型，并根据当前帧的标注结果调整模型参数，从而训练LSTM模型。可选地，第二检测模型还可以包括多个模块，每个模块检测其中一个拍摄规则，例如，一个模块用于检测拍摄角度规则，一个模块用于检测图像构图规则，等等。

第二检测模型的输出结果可以对应到对拍摄规则的满足情况，也可以对应到相应的视频拍摄引导策略。视频拍摄引导策略例如可以是：在移动方向相反时，提示用户向相反方向行走；越过预定拍摄角度时，提示用户回到预设角度范围内拍摄；不符合图像构图规则时，提示用户调整拍摄终端与车身的距离，等等。可选地，当移动方向不正确时，视频拍摄引导策略还可以是返回原点拍摄。

向用户提供视频拍摄策略时，可以通过语音、文字、图像等等各种方式。例如，如果当前帧不满足预先设定的图像构图规则，预定颜色的框可以转变颜色(如绿色框转变成红色框)，同时，还可以通过移动终端的震动、播放提示音乐等方式提示视频拍摄存在的问题。在当前帧不满足预先设定的移动方向规则等时，还可以通过预定图形，如箭头，指示正确移动方向等。

为了更直观描述步骤204和步骤205的实施方案，请参考图5所示。图5示出了通过第二检测模型检测当前帧是否满足预先设定的拍摄规则的具体例子的示意图。如图5所示的具体例子中，在检测到当前帧是有效帧的情况下，对当前帧进行部件识别，得到部件特征。然后，将部件特征和拍摄特征拼接分别使用第二检测模型中的两个LSTM模块对拍摄终端的移动方向和当前帧的图像构图进行检测。当移动方向与提示方向不一致(如遇图4使出的箭头方向相反)，可以给出用户回到车辆正面的原点位置重新拍摄的提示。另一方面，当拍摄构图不合理时，例如车辆顶部没落入设定的绿色框，则可以通过将框颜色变成红色、拍摄终端震动、语音提示等方式提示用户改变拍摄方式。

这样，如果当前帧无效，可以及时在步骤203中确定当前帧无效后为用户提供图像拍摄引导，如果当前帧有效，则在步骤205中为用户提供视频拍摄引导，从而避免用户的不规范拍摄操作导致的后续问题。可以理解的是，如果用户操作规范，步骤205中，无需提供视频拍摄引导策略，或者说视频拍摄引导策略为继续拍摄，直至拍摄完成。可选地，不管用户拍摄是否规范，都可以一直在拍摄终端展示拍摄引导策略，以引导用户的正确拍摄。

回顾以上过程，本说明书实施例所提供的辅助用户拍摄车辆视频的方法，一方面，对于所拍摄的视频中的单个帧，可以实时检测其作为图像的有效性。如果单个帧是有效帧，则进一步对于该当前帧作为验车视频中的帧，是否符合验车视频拍摄规则。在当前帧无效，或者不符合验车视频拍摄规则的情况下，可以及时向用户提供视频拍摄引导策略。如此，可以使得普通用户能够正确拍摄有效的验车视频，提高用户体验，以及理赔时的验车效率。在本说明书实施例用于车辆投保时的验车流程时，还可以降低保险业务方的理赔风险。

根据另一方面的实施例，还提供一种辅助用户拍摄车辆视频的装置。图6示出根据一个实施例的辅助用户拍摄车辆视频的装置的示意性框图。该装置可以设置于有一定计算能力的设备、平台、终端、服务器，如图1示出的智能手机。如图6所示，辅助用户拍摄车辆视频的装置600包括：获取单元61，配置为获取用户拍摄的车辆视频中的当前帧，以及用于拍摄车辆视频的拍摄终端的当前拍摄状态信息；第一特征提取单元62，配置为利用预先训练的图像分类模型处理当前帧，从而获取当前帧的图像质量特征，并从拍摄状态信息提取拍摄特征；有效性检测单元63，配置为至少将图像质量特征输入预先训练的第一检测模型，以检测当前帧的有效性；第二特征提取单元64，配置为在检测到当前帧是有效帧的情况下，利用预先训练的部件识别模型识别当前帧中的车辆部件，以基于识别结果确定当前帧的部件特征；视频拍摄引导单元65，配置为利用预先训练的第二检测模型处理通过拍摄特征和部件特征，以检测当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对当前帧的视频拍摄引导策略。

根据一个实施例，当前帧是从车辆视频中按照预定时间间隔抽取的图像帧。

根据一个实施例，拍摄状态信息包括以下中的一项或多项：通过设于拍摄终端中的加速度传感器获取的加速度大小、加速度方向信息，通过陀螺仪获取的放置方向信息，通过定位模块获取的位置信息。

根据一个实施例，

所述图像质量特征包括以下中的至少一项：图像清晰性特征、图像的车辆特征、光线特征、图像中的车身清洁性特征。

根据一个实施例，有效性检测单元63还配置为：

将图像质量特征和拍摄特征拼接后输入预先训练的第一检测模型，以检测当前帧的有效性；

其中，当前帧的有效性包括以下中的一项或多项：图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍、是否仰拍图像或俯拍图像。

根据一个实施例，装置600还包括：

图像拍摄引导单元(未示出)，配置为在检测到当前帧不是有效帧的情况下，提供针对当前帧的图像拍摄引导策略，图像拍摄引导策略包括以下中的一项：对准车辆拍摄、在光线充足时拍摄、清洗污渍后拍摄、保持拍摄终端沿竖直方向。

根据一个实施例，拍摄规则包括图像构图规则，图像构图规则指示预定部件落入图像中的预定区域，视频拍摄引导策略包括调整拍摄终端与车身的距离。

根据一个实施例，拍摄规则包括移动方向规则，用于检测拍摄终端的移动方向是否沿预定方向，视频拍摄引导策略包括向当前移动方向的相反方向移动，或者返回原点拍摄。

根据一个实施例，拍摄规则包括拍摄角度规则，用于检测当前帧是否跨越预定拍摄角度。

值得说明的是，以上对图6所示的辅助用户拍摄车辆视频的装置600，与图2示出的方法实施例相对应，图2对应的方法实施例中的相应描述也适用于图6所示的辅助用户拍摄车辆视频的装置，在此不再赘述。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行相应描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现相应描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本本说明书的技术构思的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本本说明书的技术构思的保护范围之内。

Claims (20)

1.一种辅助用户拍摄车辆视频的方法，其中，所述方法包括：

获取用户拍摄的车辆视频中的当前帧，以及用于拍摄所述车辆视频的拍摄终端的当前拍摄状态信息；

利用预先训练的图像分类模型处理所述当前帧，从而获取所述当前帧的图像质量特征，并从所述拍摄状态信息提取拍摄特征；

至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性；

在检测到所述当前帧是有效帧的情况下，利用预先训练的部件识别模型识别所述当前帧中的车辆部件，以基于识别结果确定所述当前帧的部件特征；

利用预先训练的第二检测模型处理通过所述拍摄特征和所述部件特征，以检测所述当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对所述当前帧的视频拍摄引导策略，所述第二检测模型是长短期记忆模型，所述第二检测模型在处理所述当前帧的拍摄特征和部件特征之前，还对按照时间顺序排列的其他若干帧的拍摄特征和部件特征依次进行处理。

2.根据权利要求1所述的方法，其中，所述当前帧是从所述车辆视频中按照预定时间间隔抽取的图像帧。

3.根据权利要求1所述的方法，其中，所述拍摄状态信息包括以下中的一项或多项：所述拍摄终端的加速度大小、加速度方向信息、放置方向信息、位置信息。

4.根据权利要求1所述的方法，其中，所述图像质量特征包括以下中的至少一项：图像清晰性特征、图像的车辆特征、光线特征、图像中的车身清洁性特征。

5.根据权利要求1所述的方法，其中，至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性包括：

将所述图像质量特征和所述拍摄特征拼接后输入预先训练的第一检测模型，以检测所述当前帧的有效性；

其中，所述当前帧的有效性包括以下中的一项或多项：图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍、是否仰拍图像或俯拍图像。

6.根据权利要求1所述的方法，其中，所述方法还包括：

在检测到所述当前帧不是有效帧的情况下，提供针对所述当前帧的图像拍摄引导策略，所述图像拍摄引导策略包括以下中的一项：对准车辆拍摄、在光线充足时拍摄、清洗污渍后拍摄、保持拍摄终端沿竖直方向。

7.根据权利要求1所述的方法，其中，所述拍摄规则包括图像构图规则，所述图像构图规则指示预定部件落入图像中的预定区域，所述视频拍摄引导策略包括调整所述拍摄终端与车身的距离。

8.根据权利要求1所述的方法，其中，所述拍摄规则包括移动方向规则，用于检测拍摄终端的移动方向是否沿预定方向，所述视频拍摄引导策略包括向当前移动方向的相反方向移动，或者返回原点拍摄。

9.根据权利要求1所述的方法，其中，所述拍摄规则包括拍摄角度规则，用于检测所述当前帧是否跨越预定拍摄角度。

10.一种辅助用户拍摄车辆视频的装置，其中，所述装置包括：

获取单元，配置为获取用户拍摄的车辆视频中的当前帧，以及用于拍摄所述车辆视频的拍摄终端的当前拍摄状态信息；

第一特征提取单元，配置为利用预先训练的图像分类模型处理所述当前帧，从而获取所述当前帧的图像质量特征，并从所述拍摄状态信息提取拍摄特征；

有效性检测单元，配置为至少将所述图像质量特征输入预先训练的第一检测模型，以检测所述当前帧的有效性；

第二特征提取单元，配置为在检测到所述当前帧是有效帧的情况下，利用预先训练的部件识别模型识别所述当前帧中的车辆部件，以基于识别结果确定所述当前帧的部件特征；

视频拍摄引导单元，配置为利用预先训练的第二检测模型处理通过所述拍摄特征和所述部件特征，以检测所述当前帧是否满足预先设定的拍摄规则，从而基于检测结果确定针对所述当前帧的视频拍摄引导策略，所述第二检测模型是长短期记忆模型，所述第二检测模型在处理所述当前帧的拍摄特征和部件特征之前，还对按照时间顺序排列的其他若干帧的拍摄特征和部件特征依次进行处理。

11.根据权利要求10所述的装置，其中，所述当前帧是从所述车辆视频中按照预定时间间隔抽取的图像帧。

12.根据权利要求10所述的装置，其中，所述拍摄状态信息包括以下中的一项或多项：所述拍摄终端的加速度大小、加速度方向信息、放置方向信息、位置信息。

13.根据权利要求10所述的装置，其中，所述图像质量特征包括以下中的至少一项：图像清晰性特征、图像的车辆特征、光线特征、图像中的车身清洁性特征。

14.根据权利要求10所述的装置，其中，所述有效性检测单元还配置为：

将所述图像质量特征和所述拍摄特征拼接后输入预先训练的第一检测模型，以检测所述当前帧的有效性；

其中，所述当前帧的有效性包括以下中的一项或多项：图像是否清晰、图像是否为车辆图像、光线是否充足、车身是否有污渍、是否仰拍图像或俯拍图像。

15.根据权利要求10所述的装置，其中，所述装置还包括：

图像拍摄引导单元，配置为在检测到所述当前帧不是有效帧的情况下，提供针对所述当前帧的图像拍摄引导策略，所述图像拍摄引导策略包括以下中的一项：对准车辆拍摄、在光线充足时拍摄、清洗污渍后拍摄、保持拍摄终端沿竖直方向。

16.根据权利要求10所述的装置，其中，所述拍摄规则包括图像构图规则，所述图像构图规则指示预定部件落入图像中的预定区域，所述视频拍摄引导策略包括调整所述拍摄终端与车身的距离。

17.根据权利要求10所述的装置，其中，所述拍摄规则包括移动方向规则，用于检测拍摄终端的移动方向是否沿预定方向，所述视频拍摄引导策略包括向当前移动方向的相反方向移动，或者返回原点拍摄。

18.根据权利要求10所述的装置，其中，所述拍摄规则包括拍摄角度规则，用于检测所述当前帧是否跨越预定拍摄角度。

19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。

20.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。

Images