CN113567149B - 用户拍摄意图的识别方法、装置及设备 - Google Patents
用户拍摄意图的识别方法、装置及设备 Download PDFInfo
- Publication number
- CN113567149B CN113567149B CN202110845857.3A CN202110845857A CN113567149B CN 113567149 B CN113567149 B CN 113567149B CN 202110845857 A CN202110845857 A CN 202110845857A CN 113567149 B CN113567149 B CN 113567149B
- Authority
- CN
- China
- Prior art keywords
- shooting
- images
- image
- position information
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 230000006378 damage Effects 0.000 claims description 94
- 238000012216 screening Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000004899 c-terminal region Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供一种用户拍摄意图的识别方法、装置及设备,在用户拍摄意图的识别方法中,获取一组车辆的拍摄图像,该一组拍摄图像中包括至少两幅拍摄图像。确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
Description
本申请为2018年09月03日提交的申请号为201811023190.3,名为“用户拍摄意图的识别方法、装置及设备”的发明专利申请的分案申请。
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种用户拍摄意图的识别方法、装置及设备。
背景技术
传统技术中,车辆的定损过程可以为:获取用户针对待定损车辆所拍摄的一系列的拍摄图像。将该一系列的拍摄图像输入损伤检测模型,从而得到车辆的损伤检测结果。然而,在拍摄上述一系列的拍摄图像时,用户可能会移动相机的位置或者改变相机的姿态,而在用户移动位置或者改变姿态的过程中,拍摄的图像可能不包含损伤。
因此,需要提供一种用户拍摄意图的识别方案,以便于基于用户的拍摄意图对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。
发明内容
本说明书一个或多个实施例描述了一种用户拍摄意图的识别方法、装置及设备,能够识别用户拍摄意图,以便于基于用户的拍摄意图对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。
第一方面,提供了一种用户拍摄意图的识别方法,包括:
获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
第二方面,提供了一种用户拍摄意图的识别装置,包括:
获取单元,用于获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定单元,用于确定拍摄设备在拍摄所述获取单元获取的所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
检测单元,用于对所述获取单元获取的所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
识别单元,用于将所述确定单元确定的所述位置信息、所述姿态信息以及所述检测单元检测到的所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
第三方面,提供了一种用户拍摄意图的识别设备,包括:
存储器;
一个或多个处理器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序被所述处理器执行时实现以下步骤:
获取一组车辆的拍摄图像;所述一组拍摄图像中包括至少两幅拍摄图像;
确定拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;
对所述各幅拍摄图像中的车辆的部件进行检测,从而得到所述各幅拍摄图像的部件检测结果;
将所述位置信息、所述姿态信息以及所述部件检测结果输入用户拍摄意图识别模型,以识别所述各幅拍摄图像的拍摄意图。
本说明书一个或多个实施例提供的用户拍摄意图的识别方法、装置及设备,获取一组车辆的拍摄图像,该一组拍摄图像中包括至少两幅拍摄图像。确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。由此,实现了对用户拍摄意图的识别。此外,在识别到用户的拍摄意图后,可以基于用户的拍摄意图对车辆的损伤进行检测,从而可以提高损伤检测结果的准确性。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书提供的车辆定损***示意图;
图2为本说明书一个实施例提供的用户拍摄意图的识别方法流程图;
图3为本说明书提供的拍摄设备的位置与姿态信息的确定方法流程图;
图4为本说明书提供的一种车辆的损伤检测方法流程图;
图5为本说明书提供的另一种车辆的损伤检测方法流程图;
图6为本说明书一个实施例提供的用户拍摄意图的识别装置示意图;
图7为本说明书一个实施例提供的用户拍摄意图的识别设备示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
本说明书一个或多个实施例提供的用户拍摄意图的识别方法可以应用于如图1所示的车辆定损***10中,图1中,车辆定损***10可以包括:用户拍摄意图识别模块102和车辆损伤检测模块104。
用户拍摄意图识别模块102用于获取数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备所拍摄的一系列的车辆的拍摄图像。在本说明书中,上述一系列的拍摄图像也可以称为一组拍摄图像。该一组拍摄图像可以与一个案件相对应。需要说明的是,上述一组拍摄图像通常具有连续性,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在获取到上述一组拍摄图像之后,可以确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。对各幅拍摄图像中的车辆的部件进行检测,得到各幅拍摄图像的部件检测结果。最后,根据拍摄设备在拍摄各幅拍摄图像时的位置信息、姿态信息以及部件检测结果,识别各幅拍摄图像的拍摄意图。
车辆损伤检测模块104用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。在一种实现方式中,可以将各幅拍摄图像的拍摄意图显示的作为权重,来调整基于各幅拍摄图像所确定的车辆的初始损伤检测结果。在另一种实现方式中,也可以将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。在再一种实现方式中,也可以基于各幅拍摄图像的拍摄意图等信息,筛选关键拍摄图像。之后基于关键拍摄图像,确定车辆的损伤检测结果。
本说明书提供的车辆损伤检测模块104基于拍摄图像的拍摄意图,来对车辆的损伤进行检测时,可以提高损伤检测结果的准确性。此外,车辆损伤检测模块104在基于关键拍摄图像,对车辆的损伤进行检测时,可以节省计算资源,提升车辆定损***10的定损效率。
应理解,图1所示的车辆定损***10只是示意性地,根据本说明书实施例的***不限于图1所示的结构。例如,图1中还可以包括分流模块等,本说明书对此不作限定。
图2为本说明书一个实施例提供的用户拍摄意图的识别方法流程图。所述方法的执行主体可以为具有处理能力的设备:服务器或者***或者模块,如,可以为图1中的用户拍摄意图识别模块102。如图2所示,所述方法具体可以包括:
步骤202,获取一组车辆的拍摄图像。
该一组拍摄图像可以是由数据采集者(包括C端用户以及保险公司的定损人员等)通过拍摄设备在拍摄车辆的损伤部位时所获得的。由于车辆的损伤部位可能有多处,因此数据采集者在拍摄过程中,可能会移动拍摄设备的位置或者改变拍摄设备的姿态,从而上述一组拍摄图像中的各幅拍摄图像具有连续性。需要说明的是,具有连续性的拍摄图像之间可以具有重合(overlap)区域。在本说明书中,一组拍摄图像可以包括至少两幅拍摄图像。
步骤204,确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
在本说明书中,拍摄设备的位置信息可以是指拍摄设备在三维空间的三维坐标,而拍摄设备的姿态信息可以是指拍摄设备的旋转角度等信息。
在一种实现方式中,可以按照两两组合的方式,确定上述位置信息和姿态信息。此处的一个组合的拍摄图像之间可以具有重合区域。在一个例子中,上述位置信息以及姿态信息的确定方法可以如图3所示。图3中,该确定方法可以包括如下步骤:
步骤302,从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
此处的两幅拍摄图像可以构成上述一个组合。需要说明的是,该两幅拍摄图像可以相邻,如,第1幅图像和第2幅图像;也可以不相邻,如,第1幅图像和第3幅图像,只要该两幅拍摄图像之间具有重合区域即可。
步骤304,分别在该两幅拍摄图像上提取关键点。
此处的关键点在拍摄图像中可以具有对应的位置信息,如,二维坐标:(x,y)。此外,上述关键点可以与某个实物(如,车轮)相对应,从而其可以具有视觉特征信息,如,颜色、纹理以及角度等。
步骤306,将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
上述特征匹配可以是指将分别位于两幅拍摄图像上的两个关键点的视觉特征信息进行比对。可以理解的是,匹配成功的一组目标关键点可以是指所对应的实物相同的两个关键点。
当有两两匹配成功的目标关键点为多组时,可以形成多组目标关键点。
步骤308,根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
此处的变换关系例如可以为:“从左向右移动”、“向左旋转××度”以及“向右旋转××度”等等。在一个例子中,可以通过将各个组中的两个目标关键点分别在两幅拍摄图像上的二维坐标进行比较,来确定所对应实物的位置变化情况。如果所对应实物从一幅图像的中间位置移动到另一幅图像的左边位置,则两幅拍摄图像之间的变换关系可以是:“从左向右移动”。
步骤310,根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
此处,可以是结合双目定位算法或者三维重建算法,来预估该多组目标关键点在三维空间中的位置信息。需要说明的是,目标关键点在三维空间的位置信息即为其所对应实物的位置信息。由于一个组中的两个目标关键点所对应的实物相同,从而该两个目标关键点在三维空间中的位置信息相同。在一个例子中,一组目标关键点在三维空间中的位置信息可以表示为:三维坐标:(x,y,z)。
步骤312,对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该两幅拍摄图像时的位置信息以及姿态信息。
如,可以先对多组目标关键点在一幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄该一幅拍摄图像时的位置信息以及姿态信息;之后,再依据上述方法,确定拍摄设备在拍摄另一幅拍摄图像时的位置信息以及姿态信息。
重复执行上述步骤302-步骤312,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
回到图2中,图2还可以包括如下步骤:
步骤206,对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
具体地,可以是根据目标检测算法,来对各幅拍摄图像中的车辆的部件进行检测。此处的目标检测算法可以包括但不限于快速的(Faster)-基于区域的卷积神经网络(Region-based Convolutional Neural Network,RCNN),基于区域的全卷积网络(Region-based Fully Convolutional Network,RFCN),单次多边界框检测器(Single ShotMultiBox Detector,SSD)以及YOLO等。
步骤208,将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
此处的用户拍摄意图识别模型可以是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹可以是指该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息所组合成的一个序列。
需要说明的是,用户拍摄意图识别模型识别用户拍摄意图的原理可以解释如下:首先基于拍摄设备的运动轨迹,可以确定拍摄设备的运动情况,如,向后移动1米等。之后,结合拍摄图像中的部件检测结果,就可以得到如下的拍摄意图:“靠近车门”、“远离右后轮胎”以及“在车头保持稳定”等等。
当然,在实际应用中,在识别到用户的拍摄意图之后,还可以进一步结合拍摄设备的运动轨迹,对其进行扩展。如,扩展后的用户的拍摄意图可以为:“先拍摄整车图,再拍摄部件图,最后拍摄损伤细节图”等。可以理解的是,扩展后的用户的拍摄意图通常是相对于多幅拍摄图像而言的。
综上,本说明书上述实施例通过预先构建的用户拍摄意图识别模型,可以快速而准确地对用户的拍摄意图进行识别。
需要说明的是,在识别到各幅拍摄图像的拍摄意图之后,可以基于上述拍摄意图,对车辆的损伤进行检测,从而可以提高损伤检测结果的准确性。
图4为本说明书提供的一种车辆的损伤检测方法流程图。如图4所示,该方法可以包括如下步骤:
步骤402至步骤408与步骤202-步骤208相同。
步骤410,根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
在一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
举例来说,当识别到用户的拍摄意图为:针对某一特定部件反复从不同位置和角度近距离拍摄时,该部件上具有损伤的概率往往较大,因此可以对该部件上的损伤检测结果赋予较大的权重。反之,当识别到用户的拍摄意图为:从某一位置移动到相对较远的另一位置,然后停留下来进行细节图像拍摄时,通常是在拍摄一处新的损伤,也可以对此时得到的损伤检测结果赋予较大权重。而在运动过程中拍摄的图像则可能不包含损伤,如果从这些拍摄图像上检测到了损伤,很有可能属于误检,可以降低对应的权重。
总之,通过结合上述权重,可以得到更精确的损伤检测结果。
在另一种实现方式中,车辆的损伤检测结果的确定过程可以为:将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。需要说明的是,此处的拍摄图像以及拍摄意图是作为特征输入到损伤检测模型的。
需要说明的是,本说明书中的损伤检测模型可基于输入的拍摄图像,输出对应的车辆的损伤检测结果。其可通过使用大量经标定的包括损伤的拍摄图像训练获得。此外,本说明书确定的损伤检测结果可以包括以下至少一项信息:损伤部件、损伤位置、损伤类型、以及损伤程度等。
本说明书上述实施例通过将用户的拍摄意图显示的作为权重或者作为特征输入到损伤检测模型的方式,可以提高损伤检测结果的准确性。
图5为本说明书提供的另一种车辆的损伤检测方法流程图。如图5所示,该方法可以包括如下步骤:
步骤502至步骤508与步骤202-步骤208相同。
步骤510,根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
此处,预定义的筛选规则可以为:“反复从多个不同距离和角度拍摄同一部件的图像”或者“经过一段移动后,稳定相机拍摄细节的图像”等。具体地,可以判断各幅拍摄图像的拍摄意图是否满足上述规则,若满足,则可以筛选为关键拍摄图像;若不满足,则可以忽略该拍摄图像。如,可以筛选被判别为“拍摄者正在拍摄损伤”的概率较大的拍摄图像为关键拍摄图像,而忽略被判别为“拍摄者正在拍摄损伤”的概率较小的拍摄图像。
可以理解的是,通常满足上述规则的拍摄图像有很大可能是数据采集者在拍摄车辆的损伤。
在其它实施方式,也可以将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
步骤512,将关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例通过筛选关键拍摄图像,并将关键拍摄图像输入损伤识别模型的方式,可以避免处理大量无效数据,从而可以节省计算资源,还可以提升车辆的损伤检测效率。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别装置,如图6所示,该装置可以包括:
获取单元602,用于获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定单元604,用于确定拍摄设备在拍摄获取单元602获取的一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
检测单元606,用于对获取单元602获取的各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
识别单元608,用于将确定单元604确定的位置信息、姿态信息以及检测单元606检测到的部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
上述用户拍摄意图识别模型是根据拍摄设备在拍摄多组拍摄图像时的运动轨迹以及多组拍摄图像的部件检测结果,对机器学习算法进行训练后得到的。其中,拍摄设备拍摄一组拍摄图像时的运动轨迹是根据该拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息确定的。
确定单元604具体可以用于:
从一组拍摄图像中选取两幅具有重合区域的拍摄图像。
分别在该两幅拍摄图像上提取关键点。
将两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点。
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
重复执行上述各步骤,直至确定拍摄设备在拍摄各幅拍摄图像时的位置信息以及姿态信息。
确定单元604还具体可以用于:
根据该多组目标关键点在两幅拍摄图像中的位置信息,确定两幅拍摄图像之间的变换关系。
根据位置信息以及变换关系,预估该多组目标关键点在三维空间中的位置信息。
对该多组目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄两幅拍摄图像时的位置信息以及姿态信息。
可选地,确定单元604,还用于根据各幅拍摄图像以及各幅拍摄图像的拍摄意图,确定车辆的损伤检测结果。
确定单元604具体可以用于:
将各幅拍摄图像输入损伤检测模型,以获取与各幅拍摄图像所对应的初始损伤检测结果。
根据各幅拍摄图像的拍摄意图,确定对应的初始损伤检测结果的权重。
根据初始损伤检测结果以及对应的权重,确定车辆的损伤检测结果。
可选地,确定单元604还具体可以用于:
将各幅拍摄图像以及各幅拍摄图像的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第一筛选单元610,用于根据预定义的筛选规则以及各幅拍摄图像的拍摄意图,对各幅拍摄图像进行筛选,从而得到关键拍摄图像。
确定单元604,还用于将第一筛选单元610筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
可选地,该装置还可以包括:
第二筛选单元612,用于将各幅拍摄图像和/或各幅拍摄图像的拍摄意图和/或视觉特征和/或部件检测结果输入机器学习模型,以筛选关键拍摄图像。
确定单元604,还用于将第二筛选单元612筛选的关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
本说明书上述实施例装置的各功能模块的功能,可以通过上述方法实施例的各步骤来实现,因此,本说明书一个实施例提供的装置的具体工作过程,在此不复赘述。
本说明书一个实施例提供的用户拍摄意图的识别装置,获取单元602获取一组车辆的拍摄图像。确定单元604确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。检测单元606对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。识别单元608将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。由此,可以实现对用户拍摄意图的识别。
本说明书一个实施例提供的用户拍摄意图的识别装置可以为图1中用户拍摄意图识别模块102的一个子模块或者子单元。
与上述用户拍摄意图的识别方法对应地,本说明书一个实施例还提供的一种用户拍摄意图的识别设备,如图7所示,该设备可以包括:存储器702、一个或多个处理器704以及一个或多个程序。其中,该一个或多个程序存储在存储器702中,并且被配置成由一个或多个处理器704执行,该程序被处理器704执行时实现以下步骤:
获取一组车辆的拍摄图像。该一组拍摄图像中包括至少两幅拍摄图像。
确定拍摄设备在拍摄该一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息。
对各幅拍摄图像中的车辆的部件进行检测,从而得到各幅拍摄图像的部件检测结果。
将位置信息、姿态信息以及部件检测结果输入用户拍摄意图识别模型,以识别各幅拍摄图像的拍摄意图。
本说明书一个实施例提供的用户拍摄意图的识别设备,可以实现对用户拍摄意图的识别。
需要说明的是,图7示出的是本说明书实施例提供的用户拍摄意图的识别设备为服务器的例子。在实际应用中,该设备也可以为终端,本说明书对此不作限定。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于服务器中。当然,处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式,对本说明书的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的具体实施方式而已,并不用于限定本说明书的保护范围,凡在本说明书的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的保护范围之内。
Claims (20)
1.一种用户拍摄意图的识别方法,包括:
获取一组拍摄图像;
获取拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息,形成所述拍摄设备的运动轨迹;
对所述各幅拍摄图像进行目标检测,得到所述各幅拍摄图像各自对应的目标检测结果;
基于所述位置信息、所述姿态信息以及所述各幅拍摄图像各自对应的目标检测结果,识别所述各幅拍摄图像各自对应的拍摄意图。
2.根据权利要求1所述的方法,其中,所述获取拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息,包括:
对于所述一组拍摄图像中任意的具有重合区域的两幅拍摄图像,分别在该两幅拍摄图像上提取关键点;
将所述两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点;
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
3.根据权利要求2所述的方法,其中,所述根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息,包括:
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定所述两幅拍摄图像之间的变换关系;
根据所述位置信息以及所述变换关系,预估该多组匹配成功的目标关键点在三维空间中的位置信息;
对该多组匹配成功的目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
4.一种用户拍摄意图的识别方法,包括:
获取车辆的一组拍摄图像;
获取拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息,形成所述拍摄设备的运动轨迹;
对所述各幅拍摄图像进行部件检测,得到所述各幅拍摄图像各自对应的部件检测结果;
基于所述位置信息、所述姿态信息以及所述各幅拍摄图像各自对应的部件检测结果,识别所述各幅拍摄图像各自对应的拍摄意图。
5.一种车辆损伤识别方法,包括:
获取车辆的一组拍摄图像;
识别所述一组拍摄图像中的各幅拍摄图像各自对应的拍摄意图;所述拍摄意图基于拍摄设备在拍摄所述各幅拍摄图像时的运动轨迹以及所述各幅拍摄图像各自对应的目标检测结果而确定;所述运动轨迹基于所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息形成;
根据所述各幅拍摄图像以及各自对应的拍摄意图,确定车辆的损伤检测结果。
6.根据权利要求5所述的方法,其中,所述根据所述各幅拍摄图像以及各自对应的拍摄意图,确定车辆的损伤检测结果,包括:
根据所述各幅拍摄图像各自对应的拍摄意图,确定所述各幅拍摄图像各自对应的权重;
基于所述各幅拍摄图像以及各自对应的权重,利用损伤检测模型,确定车辆的损伤检测结果。
7.根据权利要求5所述的方法,其中,所述根据所述各幅拍摄图像以及各自对应的拍摄意图,确定所述车辆的损伤检测结果,包括:
将所述各幅拍摄图像,以及各自对应的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。
8.根据权利要求5所述的方法,其中,所述根据所述各幅拍摄图像以及各自对应的拍摄意图,确定车辆的损伤检测结果,包括:
至少基于所述各幅拍摄图像各自对应的拍摄意图,从所述各幅拍摄图像中筛选出关键拍摄图像;
将所述关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
9.根据权利要求8所述的方法,其中,所述从所述各幅拍摄图像中筛选出关键拍摄图像,包括:
根据预定义的筛选规则,以及所述各幅拍摄图像各自对应的拍摄意图,从所述各幅拍摄图像中筛选出关键拍摄图像;其中,所述筛选规则包括匹配条件。
10.根据权利要求8所述的方法,其中,所述从所述各幅拍摄图像中筛选出关键拍摄图像,包括:
至少将所述各幅拍摄图像,以及各自对应的拍摄意图输入图像筛选模型,将所述图像筛选模型输出的拍摄图像作为所述关键拍摄图像。
11.一种用户拍摄意图的识别装置,包括:
获取单元,用于获取一组拍摄图像;
所述获取单元,还用于获取拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息,形成所述拍摄设备的运动轨迹;
目标检测单元,用于对所述各幅拍摄图像进行目标检测,得到所述各幅拍摄图像各自对应的目标检测结果;
识别单元,用于基于所述位置信息、所述姿态信息以及所述各幅拍摄图像各自对应的目标检测结果,识别所述各幅拍摄图像各自对应的拍摄意图。
12.根据权利要求11所述的装置,其中,所述获取单元具体用于:
对于所述一组拍摄图像中任意的具有重合区域的两幅拍摄图像,分别在该两幅拍摄图像上提取关键点;
将所述两幅拍摄图像上的关键点进行特征匹配,从而得到多组匹配成功的目标关键点;
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
13.根据权利要求12所述的装置,其中,所述获取单元还具体用于:
根据该多组匹配成功的目标关键点在所述两幅拍摄图像中的位置信息,确定所述两幅拍摄图像之间的变换关系;
根据所述位置信息以及所述变换关系,预估该多组匹配成功的目标关键点在三维空间中的位置信息;
对该多组匹配成功的目标关键点在每幅拍摄图像中的位置信息以及在三维空间中的位置信息进行重投影计算,以确定拍摄设备在拍摄所述两幅拍摄图像时的位置信息以及姿态信息。
14.一种用户拍摄意图的识别装置,包括:
获取单元,用于获取车辆的一组拍摄图像;
所述获取单元,还用于获取拍摄设备在拍摄所述一组拍摄图像中的各幅拍摄图像时的位置信息以及姿态信息;所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息,形成所述拍摄设备的运动轨迹;
部件检测单元,用于对所述各幅拍摄图像进行部件检测,得到所述各幅拍摄图像各自对应的部件检测结果;
识别单元,用于基于所述位置信息、所述姿态信息以及所述各幅拍摄图像各自对应的部件检测结果,识别所述各幅拍摄图像各自对应的拍摄意图。
15.一种车辆损伤识别装置,包括:
获取单元,用于获取车辆的一组拍摄图像;
识别单元,用于识别所述一组拍摄图像中的各幅拍摄图像各自对应的拍摄意图;所述拍摄意图基于拍摄设备在拍摄所述各幅拍摄图像时的运动轨迹以及所述各幅拍摄图像各自对应的目标检测结果而确定;所述运动轨迹基于所述拍摄设备在拍摄所述各幅拍摄图像时的位置信息以及姿态信息形成;
确定单元,用于根据所述各幅拍摄图像以及各自对应的拍摄意图,确定车辆的损伤检测结果。
16.根据权利要求15所述的装置,其中,所述确定单元具体用于:
根据所述各幅拍摄图像各自对应的拍摄意图,确定所述各幅拍摄图像各自对应的权重;
基于所述各幅拍摄图像以及各自对应的权重,利用损伤检测模型,确定车辆的损伤检测结果。
17.根据权利要求15所述的装置,其中,所述确定单元具体用于:
将所述各幅拍摄图像,以及各自对应的拍摄意图输入损伤检测模型,以确定车辆的损伤检测结果。
18.根据权利要求15所述的装置,其中,所述确定单元具体用于:
至少基于所述各幅拍摄图像各自对应的拍摄意图,从所述各幅拍摄图像中筛选出关键拍摄图像;
将所述关键拍摄图像输入损伤检测模型,以确定车辆的损伤检测结果。
19.根据权利要求18所述的装置,其中,所述确定单元还具体用于:
根据预定义的筛选规则,以及所述各幅拍摄图像各自对应的拍摄意图,从所述各幅拍摄图像中筛选出关键拍摄图像;其中,所述筛选规则包括匹配条件。
20.根据权利要求18所述的装置,其中,所述确定单元还具体用于:
至少将所述各幅拍摄图像,以及各自对应的拍摄意图输入图像筛选模型,将所述图像筛选模型输出的拍摄图像作为所述关键拍摄图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110845857.3A CN113567149B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811023190.3A CN110567728B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
CN202110845857.3A CN113567149B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811023190.3A Division CN110567728B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113567149A CN113567149A (zh) | 2021-10-29 |
CN113567149B true CN113567149B (zh) | 2024-05-31 |
Family
ID=68772359
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811023190.3A Active CN110567728B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
CN202110845857.3A Active CN113567149B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811023190.3A Active CN110567728B (zh) | 2018-09-03 | 2018-09-03 | 用户拍摄意图的识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN110567728B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101467153A (zh) * | 2006-06-08 | 2009-06-24 | 创伤科学有限责任公司 | 用于获取摄影测量数据来估计碰撞严重性的方法和设备 |
CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
CN104567725A (zh) * | 2014-12-17 | 2015-04-29 | 苏州华兴致远电子科技有限公司 | 车辆运行故障检测***及方法 |
CN107194323A (zh) * | 2017-04-28 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 车辆定损图像获取方法、装置、服务器和终端设备 |
KR101798988B1 (ko) * | 2017-07-12 | 2017-11-17 | (주)잼시큐리티시스템 | 차량 하부 모니터링 시스템 |
CN107368776A (zh) * | 2017-04-28 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 车辆定损图像获取方法、装置、服务器和终端设备 |
CN107884419A (zh) * | 2017-11-08 | 2018-04-06 | 安吉汽车物流股份有限公司 | 汽车底盘自动检测设备、汽车智能检测*** |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100430690C (zh) * | 2006-12-19 | 2008-11-05 | 南京航空航天大学 | 利用单数码相机自由拍摄进行物体三维测量的方法 |
CN102221358B (zh) * | 2011-03-23 | 2012-12-12 | 中国人民解放军国防科学技术大学 | 基于逆透视投影变换的单目视觉定位方法 |
KR101354157B1 (ko) * | 2012-08-17 | 2014-01-23 | 영남대학교 산학협력단 | 차량 충돌체 감지 제어장치 및 그의 제어방법 |
CN103175512B (zh) * | 2013-03-08 | 2014-12-31 | 中国人民解放军国防科学技术大学 | 一种混凝土泵车臂架末端位置姿态的摄像测量方法 |
US10319035B2 (en) * | 2013-10-11 | 2019-06-11 | Ccc Information Services | Image capturing and automatic labeling system |
CN107358596B (zh) * | 2017-04-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及*** |
CN107392218B (zh) * | 2017-04-11 | 2020-08-04 | 创新先进技术有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
CN107403424B (zh) * | 2017-04-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置及电子设备 |
CN107167139A (zh) * | 2017-05-24 | 2017-09-15 | 广东工业大学 | 一种变电站巡检机器人视觉定位导航方法及*** |
CN108090838B (zh) * | 2017-11-21 | 2020-09-29 | 阿里巴巴集团控股有限公司 | 识别车辆受损部件的方法、装置、服务器、客户端及*** |
CN108237992B (zh) * | 2017-12-18 | 2020-02-21 | 北京车和家信息技术有限公司 | 一种车身检测方法、车辆 |
-
2018
- 2018-09-03 CN CN201811023190.3A patent/CN110567728B/zh active Active
- 2018-09-03 CN CN202110845857.3A patent/CN113567149B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101467153A (zh) * | 2006-06-08 | 2009-06-24 | 创伤科学有限责任公司 | 用于获取摄影测量数据来估计碰撞严重性的方法和设备 |
CN103759716A (zh) * | 2014-01-14 | 2014-04-30 | 清华大学 | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 |
CN104567725A (zh) * | 2014-12-17 | 2015-04-29 | 苏州华兴致远电子科技有限公司 | 车辆运行故障检测***及方法 |
CN107194323A (zh) * | 2017-04-28 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 车辆定损图像获取方法、装置、服务器和终端设备 |
CN107368776A (zh) * | 2017-04-28 | 2017-11-21 | 阿里巴巴集团控股有限公司 | 车辆定损图像获取方法、装置、服务器和终端设备 |
KR101798988B1 (ko) * | 2017-07-12 | 2017-11-17 | (주)잼시큐리티시스템 | 차량 하부 모니터링 시스템 |
CN107884419A (zh) * | 2017-11-08 | 2018-04-06 | 安吉汽车物流股份有限公司 | 汽车底盘自动检测设备、汽车智能检测*** |
Non-Patent Citations (1)
Title |
---|
基于彩色图像处理的高速列车快速检测方法;胡广胜 等;MNCN -;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110567728B (zh) | 2021-08-20 |
CN113567149A (zh) | 2021-10-29 |
CN110567728A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711243B (zh) | 一种基于深度学习的静态三维人脸活体检测方法 | |
CN108960211B (zh) | 一种多目标人体姿态检测方法以及*** | |
US9177404B2 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
KR101722803B1 (ko) | 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스 | |
US11205276B2 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
WO2012086821A1 (ja) | 測位装置、測位方法 | |
WO2014126671A1 (en) | Camera aided motion direction and speed estimation | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
CN106981077A (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
CN109271908B (zh) | 车损检测方法、装置及设备 | |
Psyllos et al. | M-SIFT: A new method for Vehicle Logo Recognition | |
CN113610967B (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
JP6577424B2 (ja) | 行動認識装置、および、行動認識方法 | |
CN112884804A (zh) | 行动对象追踪方法及相关设备 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
CN113567149B (zh) | 用户拍摄意图的识别方法、装置及设备 | |
CN114373203A (zh) | 图片归档方法、装置、终端设备及计算机可读存储介质 | |
CN111951211B (zh) | 一种目标检测方法、装置及计算机可读存储介质 | |
CN111723610B (zh) | 图像识别方法、装置及设备 | |
WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
Ge et al. | Template-based object detection through partial shape matching and boundary verification | |
CN111767940A (zh) | 目标物体识别方法、装置、设备和存储介质 | |
Del Bimbo et al. | Local shape estimation from a single keypoint | |
CN117726656B (zh) | 基于超分辨率图像的目标跟踪方法、装置、***和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |