CN115239724B - 一种360度全景环视拼接图像分析评价方法 - Google Patents
一种360度全景环视拼接图像分析评价方法 Download PDFInfo
- Publication number
- CN115239724B CN115239724B CN202211156487.3A CN202211156487A CN115239724B CN 115239724 B CN115239724 B CN 115239724B CN 202211156487 A CN202211156487 A CN 202211156487A CN 115239724 B CN115239724 B CN 115239724B
- Authority
- CN
- China
- Prior art keywords
- splicing
- image
- shooting angle
- camera
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 29
- 238000003703 image analysis method Methods 0.000 title claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 27
- 230000001105 regulatory effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 206010070245 Foreign body Diseases 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 5
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明属于拼接图像评价技术领域,具体公开一种360度全景环视拼接图像分析评价方法,通过在进行车载360度全景图像拼接操作前,对目标汽车的有效取景范围进行设定,并据此对目标汽车车身上各摄像头的焦距进行统一调控,在一定程度上提高了各摄像头对应取景范围的一致度,与此同时在对拼接子图像中重叠区域图像进行取用处理时,为其提供了科学客观的取用依据,不仅提高了取用效率,还最大限度提高了被取用重叠区域图像的优质度,最后在对车载360度全景图像的拼接效果进行评价时充分考虑了拼接流畅度和拼接均匀度对拼接效果的影响,以此进行综合评价,有效克服了现有技术对车载360度全景图像的拼接效果评价维度过于单一的缺陷。
Description
技术领域
本发明属于拼接图像评价技术领域,具体而言是一种360度全景环视拼接图像分析评价方法。
背景技术
近年来,随着公路交通及运输行业的快速发展,汽车数量快速增长,驾驶安全及交通纠纷等问题日益严峻。在这种情况下行车记录仪越来越受到驾驶员的关注,通过在汽车上安装行车记录仪,不仅能够在发生事故时清晰记录事故发生的经过,还起到辅助驾驶的功能。
其中辅助驾驶功能就是通过360度全景影像***来实现的,其具体操作方式为利用汽车车身上布设的若干摄像头对其拍摄角度区间进行环境图像采集,并将采集的环境图像进行环视拼接,得到360度全景图像,从而进行车载显示,驾驶员在驾驶过程中通过车载显示的360度全景图像就能够消除视野盲区,由此实现了辅助驾驶,据此可见车载360度全景图像的拼接处理方式及拼接效果直接决定了辅助驾驶的辅助效用,因此对车载360度全景图像的拼接处理方式及拼接效果进行分析评价显得尤为重要。
在实现本申请的过程中,发明人发现现有技术存在如下问题:1.目前在进行车载360度全景图像拼接时,一方面缺乏拼接前对各摄像头焦距的统一调控,致使各摄像头对应的取景范围无法达成一致,给后续的拼接带来了巨大阻碍,大大增加了拼接难度,另一方面受汽车车身上各摄像头的布设位置限制,不可避免地会存在重叠的拍摄角度区间,进而存在若干摄像头拍摄得到的环境图像存在重叠区域图像,这种情况就涉及到重叠区域图像的取用,而目前在对重叠区域图像的取用处理时由于缺乏科学客观的取用依据,不仅降低了取用效率,还常常使得被取用的重叠区域图像不够优质,进而连带着影响了车载360度全景图像的整体拼接效果。
2.当前对车载360度全景图像的拼接效果评价大多围绕拼接位置的拼接流畅度,例如拼接是否存在错位,忽略了拼接均匀度对拼接效果的影响,导致拼接效果评价维度过于单一,使得评价结果无法全面精准地反映拼接效果,从而致使评价结果可用价值不高。
发明内容
为了克服上述不足,本发明搭建了一种360度全景环视拼接图像分析评价方法,其具体技术方案如下:一种360度全景环视拼接图像分析评价方法,包括以下步骤:S1:统计目标汽车上存在的摄像头数量,并将各摄像头按照预设的顺序进行编号,同时获取各摄像头的布设方位。
S2:设定目标汽车对应的有效取景范围。
S3:获取各摄像头对应的视角范围,并将其结合各摄像头的布设方位获取各摄像头在一个圆周内的拍摄角度区间。
S4:将各摄像头对应的拍摄角度区间进行对比,从中筛选出重叠拍摄角度区间,并将重叠拍摄角度区间包含的摄像头记为特征摄像头,进而记录重叠拍摄角度区间包含的各特征摄像头的编号。
S5:根据目标汽车对应的有效取景范围调控各摄像头的焦距,并在调控完成之后由各摄像头采集对应拍摄角度区间内的环境图像。
S6:解析重叠拍摄角度区间对应的优选摄像头。
S7:利用重叠拍摄角度区间对应的优选摄像头对各摄像头对应拍摄角度区间内的环境图像进行初步处理,得到各摄像头对应拍摄角度区间内的有效环境图像。
S8:将各摄像头对应拍摄角度区间内的有效环境图像进行360度环视拼接,得到目标汽车对应有效取景范围内的全景图像。
S9:将目标汽车对应有效取景范围内的全景图像进行拼接流畅度和拼接均匀度分析,以此综合评价目标汽车对应有效取景范围内全景图像的拼接效果系数。
在进一步的技术方案中,所述S2对应的具体实现方式为:以目标汽车车身的中心点为圆心,以设定的距离为半径作圆,圆内区域即为目标汽车对应的有效取景范围。
在进一步的技术方案中,所述S4中筛选出重叠拍摄角度区间对应的具体筛选方式为将各摄像头对应的拍摄角度区间进行对比,判断是否存在部分一致的拍摄角度区间,若存在,则将部分一致的拍摄角度区间记为重叠拍摄角度区间,由此从各摄像头对应的拍摄角度区间中筛选出重叠拍摄角度区间。
在进一步的技术方案中,所述S5中根据目标汽车对应的有效取景范围调控各摄像头的焦距对应的具体操作方式为将设定的距离作为有效摄像距离,进而将有效摄像距离与预设的各种摄像距离对应的适配焦距进行匹配,从中匹配出有效摄像距离对应的适配焦距,从而据此进行各摄像头的焦距调控。
在进一步的技术方案中,所述S6对应的具体执行方式参见如下步骤:S61:基于重叠拍摄角度区间包含的各特征摄像头的编号提取各特征摄像头对应拍摄角度区间内的环境图像。
S62:从各特征摄像头对应拍摄角度区间内的环境图像中分离出重叠拍摄角度区间内的环境图像。
S63:分别对各特征摄像头对应重叠拍摄角度区间内的环境图像进行质量指标提取,其中质量指标包括分辨率、色彩深度和信噪比。
S64:将各特征摄像头对应重叠拍摄角度区间内环境图像对应的质量指标构成环境图像质量指标集合,表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的质量指标,j表示为特征摄像头的编号,j=1,2,...,m,w表示为质量指标,w=r1或r2或r3,其中r1、r2、r3分别表示为分辨率、色彩深度、信噪比。
S65:将环境图像质量指标集合与设定的达标图像质量指标进行对比,计算出各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数,记为,,其中、、分别表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的分辨率、色彩深度、信噪比,、、分别表示为达标分辨率、达标色彩深度、达标信噪比,a、b、c分别表示为预设的分辨率、色彩深度、信噪比对应的占比因子,e表示为自然常数。
S66:将各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数进行相互对比,从中筛选出优质指数最大的特征摄像头作为重叠拍摄角度区间对应的优选摄像头。
在进一步的技术方案中,所述S7中利用重叠拍摄角度区间对应的优选摄像头对各摄像头对应拍摄角度区间内的环境图像进行初步处理,对应的具体处理方法如下:(1)获取优选摄像头的编号,进而据此从重叠拍摄角度区间包含的各特征摄像头中提取除优选摄像头之外的特征摄像头,并将提取出的特征摄像头记为指定摄像头。
(2)从各指定摄像头对应拍摄角度区间内的环境图像中将位于重叠拍摄角度区间内的环境图像进行分割剔除处理。
在进一步的技术方案中,所述S9对应的具体操作方法如下:S91:将目标汽车对应有效取景范围内的全景图像进行拼接位置标记,并将标记的各拼接位置按照设定的顺序依次编号为1,2,...,i,...,n。
在进一步的技术方案中,所述S92具体包括如下步骤:S921:将目标汽车对应有效取景范围内的全景图像依次聚焦在各拼接位置,从中提取各拼接位置对应的拼接缝隙宽度。
S922:将各拼接位置对应的拼接缝隙宽度与设定的允许拼接缝隙宽度阈值进行对比,计算各拼接位置对应的拼接紧密度,其计算公式为,表示为第i个拼接位置对应的拼接紧密度,表示为第i个拼接位置对应的拼接缝隙宽度,表示为设定的允许拼接缝隙宽度阈值。
S923:将目标汽车对应有效取景范围内的全景图像依次聚焦在各拼接位置,由此识别形成各拼接位置对应的两幅环境图像,并从中提取各拼接位置对应的拼接边界线。
S924:分别在各拼接位置对应的两幅环境图像中提取拍摄物外形轮廓线,并对各拼接位置对应两幅环境图像中拍摄物外形轮廓线与拼接边界线的交点进行标记,由此得到各拼接位置对应拼接边界线上的两个交点。
S925:获取各拼接位置对应拼接边界线上两个交点之间的距离,并将其代入拼接错位度,计算出各拼接位置对应的拼接错位度,其中表示为第i个拼接位置对应拼接边界线上两个交点之间的距离,表示为预定义的参考交距。
在进一步的技术方案中,所述S93具体包括如下步骤:
S931:辨别各拼接位置对应的拼接边界线两侧是否存在相同拍摄物,若某拼接位置对应的拼接边界线两侧存在同一拍摄物,则将该拼接位置记为同物拼接位置,并将同物拼接位置对应拼接均匀度的分析过程执行S932-S933,反之则将该拼接位置记为异物拼接位置,并将异物拼接位置对应拼接均匀度的分析过程执行S934。
S932:在同物拼接位置对应的拼接边界线两侧环境图像中将相同拍摄物存在的区域进行标记,得到同物拼接位置对应拼接边界线两侧的关联区域,进而从中提取图像清晰度和图像颜色色度。
S933:分别将同物拼接位置对应拼接边界线两侧关联区域的图像清晰度、图像颜色色度进行对应比较,得到图像清晰度差值和图像颜色色度差值,并将其通过同物拼接位置拼接均匀度分析公式,得到同物拼接位置对应的拼接均匀度,其中、分别表示为同物拼接位置对应拼接边界线两侧关联区域的图像清晰度差值、图像颜色色度差值,、分别表示为设定的允许图像清晰度差值、允许图像颜色色度差值。
S934:从异物拼接位置对应的拼接边界线两侧区域中提取图像清晰度,并进行差值对比,进而将对比结果通过异物拼接位置拼接均匀度分析公式,得到异物拼接位置对应的拼接均匀度,其中表示为异物拼接位置对应拼接边界线两侧区域的图像清晰度差值。
在进一步的技术方案中,所述S9还包括识别出低质拼接位置,并将低质拼接位置的编号进行后台显示,其具体识别方式为将各拼接位置对应的拼接品质系数与设定的标准拼接品质系数进行对比,若某拼接位置对应的拼接品质系数小于设定的标准拼接品质系数,则将该拼接位置记为低质拼接位置。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:(1)本发明通过在进行车载360度全景图像拼接操作前,对目标汽车的有效取景范围进行设定,并据此对目标汽车车身上各摄像头的焦距进行统一调控,在一定程度上提高了各摄像头对应取景范围的一致度,大大降低了后续的拼接难度,具有实用性强的特点。
(2)本发明在对重叠区域图像进行取用处理时,为其提供了科学客观的取用依据,不仅提高了取用效率,还最大限度提高了被取用重叠区域图像的优质度,为后续车载360度全景图像整体拼接效果提供了基础保障。
(3)本发明在对车载360度全景图像的拼接效果进行评价时充分考虑了拼接流畅度和拼接均匀度对拼接效果的影响,以此进行综合评价,有效克服了现有技术对车载360度全景图像的拼接效果评价维度过于单一的缺陷,使得评价结果能够全面精准地反映拼接效果,从而提升了评价结果的可用价值。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1为本发明的方法实施步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,本发明提出一种360度全景环视拼接图像分析评价方法,包括以下步骤:S1:统计目标汽车上存在的摄像头数量,并将各摄像头按照预设的顺序进行编号,同时获取各摄像头的布设方位。
S2:设定目标汽车对应的有效取景范围,其具体实现方式为:以目标汽车车身的中心点为圆心,以设定的距离为半径作圆,圆内区域即为目标汽车对应的有效取景范围。
S3:获取各摄像头对应的视角范围,并将其结合各摄像头的布设方位获取各摄像头在一个圆周内的拍摄角度区间。
S4:将各摄像头对应的拍摄角度区间进行对比,从中筛选出重叠拍摄角度区间,其具体筛选方式为将各摄像头对应的拍摄角度区间进行对比,判断是否存在部分一致的拍摄角度区间,若存在,则将部分一致的拍摄角度区间记为重叠拍摄角度区间,由此从各摄像头对应的拍摄角度区间中筛选出重叠拍摄角度区间,并将重叠拍摄角度区间包含的摄像头记为特征摄像头,进而记录重叠拍摄角度区间包含的各特征摄像头的编号。
S5:根据目标汽车对应的有效取景范围调控各摄像头的焦距,其具体操作方式为将设定的距离作为有效摄像距离,进而将有效摄像距离与预设的各种摄像距离对应的适配焦距进行匹配,从中匹配出有效摄像距离对应的适配焦距,从而据此进行各摄像头的焦距调控,并在调控完成之后由各摄像头采集对应拍摄角度区间内的环境图像。
本发明实施例通过在进行车载360度全景图像拼接操作前,对目标汽车的有效取景范围进行设定,并据此对目标汽车车身上各摄像头的焦距进行统一调控,在一定程度上提高了各摄像头对应取景范围的一致度,大大降低了后续的拼接难度,具有实用性强的特点。
S6:解析重叠拍摄角度区间对应的优选摄像头,其具体执行方式参见如下步骤:S61:基于重叠拍摄角度区间包含的各特征摄像头的编号提取各特征摄像头对应拍摄角度区间内的环境图像。
S62:从各特征摄像头对应拍摄角度区间内的环境图像中分离出重叠拍摄角度区间内的环境图像,其具体分离操作方式为从重叠拍摄角度区间中提取两端角度值,例如某重叠拍摄角度区间为,则该重叠拍摄角度区间中的两端角度值为40°、60°,在重叠拍摄角度区间包含的各特征摄像头对应拍摄角度区间内的环境图像中进行两端角度值标记,从而分离出两端角度值之间的环境图像作为各特征摄像头对应重叠拍摄角度区间内的环境图像。
S63:分别对各特征摄像头对应重叠拍摄角度区间内的环境图像进行质量指标提取,其中质量指标包括分辨率、色彩深度和信噪比。
S64:将各特征摄像头对应重叠拍摄角度区间内环境图像对应的质量指标构成环境图像质量指标集合,表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的质量指标,j表示为特征摄像头的编号,j=1,2,...,m,w表示为质量指标,w=r1或r2或r3,其中r1、r2、r3分别表示为分辨率、色彩深度、信噪比。
S65:将环境图像质量指标集合与设定的达标图像质量指标进行对比,计算出各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数,记为,,其中、、分别表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的分辨率、色彩深度、信噪比,、、分别表示为达标分辨率、达标色彩深度、达标信噪比,a、b、c分别表示为预设的分辨率、色彩深度、信噪比对应的占比因子,e表示为自然常数,其中某特征摄像头对应重叠拍摄角度区间内环境图像的分辨率越大、色彩深度越大、信噪比越大,该特征摄像头对应重叠拍摄角度区间内环境图像的优质指数越大。
应用于上述实施例,对重叠拍摄角度区间内环境图像优质指数的分析综合了分辨率、色彩深度、信噪比三个参数对优质指数的影响,其分析结果实现了重叠拍摄角度区间内环境图像多参数的优质状况的量化,相比较以单一参数进行优质指数分析,该分析方式具有巨大的优势,能够为优选摄像头的筛选提供可靠的参考依据。
S66:将各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数进行相互对比,从中筛选出优质指数最大的特征摄像头作为重叠拍摄角度区间对应的优选摄像头。
在上述方案基础上,通过筛选优选摄像头,能够确定优选摄像头对应重叠拍摄角度区间内的环境图像作为重叠区域图像的取用对象。
本发明实施例在对环境图像中重叠区域图像进行取用处理时,为其提供了科学客观的取用依据,不仅提高了取用效率,还最大限度提高了被取用重叠区域图像的优质度,为后续车载360度全景图像整体拼接效果提供了基础保障。
S7:利用重叠拍摄角度区间对应的优选摄像头对各摄像头对应拍摄角度区间内的环境图像进行初步处理,得到各摄像头对应拍摄角度区间内的有效环境图像。
上述初步处理对应的具体处理方法如下:(1)获取优选摄像头的编号,进而据此从重叠拍摄角度区间包含的各特征摄像头中提取除优选摄像头之外的特征摄像头,并将提取出的特征摄像头记为指定摄像头。
(2)从各指定摄像头对应拍摄角度区间内的环境图像中将位于重叠拍摄角度区间内的环境图像进行分割剔除处理。
S8:将各摄像头对应拍摄角度区间内的有效环境图像按照拍摄角度区间由小到大的顺序进行排序,得到各摄像头对应拍摄角度区间内有效环境图像的排序结果,并基于排序结果进行360度环视拼接,得到目标汽车对应有效取景范围内的全景图像。
S9:将目标汽车对应有效取景范围内的全景图像进行拼接流畅度和拼接均匀度分析,以此综合评价目标汽车对应有效取景范围内全景图像的拼接效果系数,其具体操作方法如下:S91:将目标汽车对应有效取景范围内的全景图像进行拼接位置标记,并将标记的各拼接位置按照设定的顺序依次编号为1,2,...,i,...,n。
S922:将各拼接位置对应的拼接缝隙宽度与设定的允许拼接缝隙宽度阈值进行对比,计算各拼接位置对应的拼接紧密度,其计算公式为,表示为第i个拼接位置对应的拼接紧密度,表示为第i个拼接位置对应的拼接缝隙宽度,表示为设定的允许拼接缝隙宽度阈值,其中拼接缝隙宽度越大,拼接越不紧密。
S923:将目标汽车对应有效取景范围内的全景图像依次聚焦在各拼接位置,由此识别形成各拼接位置对应的两幅环境图像,并从中提取各拼接位置对应的拼接边界线。
S924:分别在各拼接位置对应的两幅环境图像中提取拍摄物外形轮廓线,并对各拼接位置对应两幅环境图像中拍摄物外形轮廓线与拼接边界线的交点进行标记,由此得到各拼接位置对应拼接边界线上的两个交点。
S925:获取各拼接位置对应拼接边界线上两个交点之间的距离,并将其代入拼接错位度,计算出各拼接位置对应的拼接错位度,其中表示为第i个拼接位置对应拼接边界线上两个交点之间的距离,表示为预定义的参考交距,其中拼接边界线上两个交点之间的距离越大,拼接错位度越大。
上述拼接流畅度分析公式中拼接紧密度对拼接流畅度的影响为正影响,拼接错位度对拼接流畅度的影响为负影响。
S93:分析各拼接位置对应的拼接均匀度,记为,具体包括如下步骤:S931:辨别各拼接位置对应的拼接边界线两侧是否存在相同拍摄物,若某拼接位置对应的拼接边界线两侧是否存在同一拍摄物,则将该拼接位置记为同物拼接位置,并将同物拼接位置对应拼接均匀度的分析过程执行S932-S933,反之则将该拼接位置记为异物拼接位置,并将异物拼接位置对应拼接均匀度的分析过程执行S934。
S932:在同物拼接位置对应的拼接边界线两侧环境图像中将相同拍摄物存在的区域进行标记,得到同物拼接位置对应拼接边界线两侧的关联区域,进而从中提取图像清晰度和图像颜色色度。
S933:分别将同物拼接位置对应拼接边界线两侧关联区域的图像清晰度、图像颜色色度进行对应比较,得到图像清晰度差值和图像颜色色度差值,并将其通过同物拼接位置拼接均匀度分析公式,得到同物拼接位置对应的拼接均匀度,其中、分别表示为同物拼接位置对应拼接边界线两侧关联区域的图像清晰度差值、图像颜色色度差值,、分别表示为设定的允许图像清晰度差值、允许图像颜色色度差值,其中图像清晰度差值越小,图像颜色色度差值越小,拼接均匀度越大。
S934:从异物拼接位置对应的拼接边界线两侧区域中提取图像清晰度,并进行差值对比,进而将对比结果通过异物拼接位置拼接均匀度分析公式,得到异物拼接位置对应的拼接均匀度,其中表示为异物拼接位置对应拼接边界线两侧区域的图像清晰度差值。
需要说明的是,上述对拼接均匀度的分析是基于拼接图像的特点是由若干环境图像拼凑而成,而各个环境图像是由不同的摄像头采集而成,这其中就会存在图像观感参数的差异,例如清晰度,且图像观感参数差异越大,反映在视觉感受上,就会导致视觉反差,进而影响观看感受,同时在进行拼接均匀度分析过程中考虑到有些拼接位置对应拼接边界线两侧是存在相同拍摄物的,这种情况使得图像观感参数不止包括清晰度,还包括颜色色度,一般情况下同一拍摄物在图像中呈现出来的颜色色度应该是一致的,当拼接边界线两侧相同拍摄物呈现出的颜色色度存在差异时就会出现颜色突变,且颜色色度差异度越大,颜色突变程度越高,给人以失真的视觉感受。
本发明实施例在对车载360度全景图像的拼接效果进行评价时充分考虑了拼接流畅度和拼接均匀度对拼接效果的影响,以此进行综合评价,有效克服了现有技术对车载360度全景图像的拼接效果评价维度过于单一的缺陷,使得评价结果能够全面精准地反映拼接效果,从而提升了评价结果的可用价值。
S96:从各拼接位置对应的拼接品质系数中提取最大拼接品质系数和最小拼接品质系数,并将其代入拼接品质波动指数,得到目标汽车对应有效取景范围内全景图像的拼接品质波动指数,其中最大拼接品质系数与最小拼接品质系数相差越大,拼接品质波动指数越大,表明各拼接位置对应的拼接品质分布越不均衡。
在本发明的具体实施例中,对目标汽车对应有效取景范围内全景图像拼接效果的评价不仅考虑到全景图像的整体拼接品质状况,还考虑到全景图像的拼接品质分布均衡状况,实现了整体与个体差异的双重评价,避免只进行整体评价存在的评价片面性缺陷,使得评价结果能够最大限度满足驾驶员的使用需求。
在上述方案基础中,S9还包括识别出低质拼接位置,并将低质拼接位置的编号进行后台显示,其具体识别方式为将各拼接位置对应的拼接品质系数与设定的标准拼接品质系数进行对比,若某拼接位置对应的拼接品质系数小于设定的标准拼接品质系数,则将该拼接位置记为低质拼接位置。
本发明实施例通过识别低质拼接位置,能够为目标汽车对应有效取景范围内全景图像的拼接不当处理提供针对性的处理目标,从而在一定程度上避免了盲目处理,大大提高了处理效率。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (7)
1.一种360度全景环视拼接图像分析评价方法,其特征在于,包括以下步骤:
S1:统计目标汽车上存在的摄像头数量,并将各摄像头按照预设的顺序进行编号,同时获取各摄像头的布设方位;
S2:设定目标汽车对应的有效取景范围;
S3:获取各摄像头对应的视角范围,并将其结合各摄像头的布设方位获取各摄像头在一个圆周内的拍摄角度区间;
S4:将各摄像头对应的拍摄角度区间进行对比,从中筛选出重叠拍摄角度区间,并将重叠拍摄角度区间包含的摄像头记为特征摄像头,进而记录重叠拍摄角度区间包含的各特征摄像头的编号;
S5:根据目标汽车对应的有效取景范围调控各摄像头的焦距,并在调控完成之后由各摄像头采集对应拍摄角度区间内的环境图像;
S6:解析重叠拍摄角度区间对应的优选摄像头;
S6对应的具体执行方式参见如下步骤:
S61:基于重叠拍摄角度区间包含的各特征摄像头的编号提取各特征摄像头对应拍摄角度区间内的环境图像;
S62:从各特征摄像头对应拍摄角度区间内的环境图像中分离出重叠拍摄角度区间内的环境图像;
S63:分别对各特征摄像头对应重叠拍摄角度区间内的环境图像进行质量指标提取,其中质量指标包括分辨率、色彩深度和信噪比;
S64:将各特征摄像头对应重叠拍摄角度区间内环境图像对应的质量指标构成环境图像质量指标集合,表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的质量指标,j表示为特征摄像头的编号,j=1,2,...,m,w表示为质量指标,w=r1或r2或r3,其中r1、r2、r3分别表示为分辨率、色彩深度、信噪比;
S65:将环境图像质量指标集合与设定的达标图像质量指标进行对比,计算出各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数,记为,,其中、、分别表示为第j特征摄像头对应重叠拍摄角度区间内环境图像的分辨率、色彩深度、信噪比,、、分别表示为达标分辨率、达标色彩深度、达标信噪比,a、b、c分别表示为预设的分辨率、色彩深度、信噪比对应的占比因子,e表示为自然常数;
S66:将各特征摄像头对应重叠拍摄角度区间内环境图像的优质指数进行相互对比,从中筛选出优质指数最大的特征摄像头作为重叠拍摄角度区间对应的优选摄像头;
S7:利用重叠拍摄角度区间对应的优选摄像头对各摄像头对应拍摄角度区间内的环境图像进行初步处理,得到各摄像头对应拍摄角度区间内的有效环境图像;
S8:将各摄像头对应拍摄角度区间内的有效环境图像进行360度环视拼接,得到目标汽车对应有效取景范围内的全景图像;
S9:将目标汽车对应有效取景范围内的全景图像进行拼接流畅度和拼接均匀度分析,以此综合评价目标汽车对应有效取景范围内全景图像的拼接效果系数;
所述S9对应的具体操作方法如下:
S91:将目标汽车对应有效取景范围内的全景图像进行拼接位置标记,并将标记的各拼接位置按照设定的顺序依次编号为1,2,...,i,...,n;
所述S93具体包括如下步骤:
S931:辨别各拼接位置对应的拼接边界线两侧是否存在相同拍摄物,若某拼接位置对应的拼接边界线两侧存在同一拍摄物,则将该拼接位置记为同物拼接位置,并将同物拼接位置对应拼接均匀度的分析过程执行S932-S933,反之则将该拼接位置记为异物拼接位置,并将异物拼接位置对应拼接均匀度的分析过程执行S934;
S932:在同物拼接位置对应的拼接边界线两侧环境图像中将相同拍摄物存在的区域进行标记,得到同物拼接位置对应拼接边界线两侧的关联区域,进而从中提取图像清晰度和图像颜色色度;
S933:分别将同物拼接位置对应拼接边界线两侧关联区域的图像清晰度、图像颜色色度进行对应比较,得到图像清晰度差值和图像颜色色度差值,并将其通过同物拼接位置拼接均匀度分析公式,得到同物拼接位置对应的拼接均匀度,其中、分别表示为同物拼接位置对应拼接边界线两侧关联区域的图像清晰度差值、图像颜色色度差值,、分别表示为设定的允许图像清晰度差值、允许图像颜色色度差值;
2.根据权利要求1所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S2对应的具体实现方式为:以目标汽车车身的中心点为圆心,以设定的距离为半径作圆,圆内区域即为目标汽车对应的有效取景范围。
3.根据权利要求1所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S4中筛选出重叠拍摄角度区间对应的具体筛选方式为将各摄像头对应的拍摄角度区间进行对比,判断是否存在部分一致的拍摄角度区间,若存在,则将部分一致的拍摄角度区间记为重叠拍摄角度区间,由此从各摄像头对应的拍摄角度区间中筛选出重叠拍摄角度区间。
4.根据权利要求2所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S5中根据目标汽车对应的有效取景范围调控各摄像头的焦距对应的具体操作方式为将设定的距离作为有效摄像距离,进而将有效摄像距离与预设的各种摄像距离对应的适配焦距进行匹配,从中匹配出有效摄像距离对应的适配焦距,从而据此进行各摄像头的焦距调控。
5.根据权利要求1所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S7中利用重叠拍摄角度区间对应的优选摄像头对各摄像头对应拍摄角度区间内的环境图像进行初步处理对应的具体处理方法如下:
(1)获取优选摄像头的编号,进而据此从重叠拍摄角度区间包含的各特征摄像头中提取除优选摄像头之外的特征摄像头,并将提取出的特征摄像头记为指定摄像头;
(2)从各指定摄像头对应拍摄角度区间内的环境图像中将位于重叠拍摄角度区间内的环境图像进行分割剔除处理。
6.根据权利要求1所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S92具体包括如下步骤:
S921:将目标汽车对应有效取景范围内的全景图像依次聚焦在各拼接位置,从中提取各拼接位置对应的拼接缝隙宽度;
S922:将各拼接位置对应的拼接缝隙宽度与设定的允许拼接缝隙宽度阈值进行对比,计算各拼接位置对应的拼接紧密度,其计算公式为,表示为第i个拼接位置对应的拼接紧密度,表示为第i个拼接位置对应的拼接缝隙宽度,表示为设定的允许拼接缝隙宽度阈值;
S923:将目标汽车对应有效取景范围内的全景图像依次聚焦在各拼接位置,由此识别形成各拼接位置对应的两幅环境图像,并从中提取各拼接位置对应的拼接边界线;
S924:分别在各拼接位置对应的两幅环境图像中提取拍摄物外形轮廓线,并对各拼接位置对应两幅环境图像中拍摄物外形轮廓线与拼接边界线的交点进行标记,由此得到各拼接位置对应拼接边界线上的两个交点;
S925:获取各拼接位置对应拼接边界线上两个交点之间的距离,并将其代入拼接错位度,计算出各拼接位置对应的拼接错位度,其中表示为第i个拼接位置对应拼接边界线上两个交点之间的距离,表示为预定义的参考交距;
7.根据权利要求1所述的一种360度全景环视拼接图像分析评价方法,其特征在于:所述S9还包括识别出低质拼接位置,并将低质拼接位置的编号进行后台显示,其具体识别方式为将各拼接位置对应的拼接品质系数与设定的标准拼接品质系数进行对比,若某拼接位置对应的拼接品质系数小于设定的标准拼接品质系数,则将该拼接位置记为低质拼接位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211156487.3A CN115239724B (zh) | 2022-09-22 | 2022-09-22 | 一种360度全景环视拼接图像分析评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211156487.3A CN115239724B (zh) | 2022-09-22 | 2022-09-22 | 一种360度全景环视拼接图像分析评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115239724A CN115239724A (zh) | 2022-10-25 |
CN115239724B true CN115239724B (zh) | 2022-11-22 |
Family
ID=83667303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211156487.3A Active CN115239724B (zh) | 2022-09-22 | 2022-09-22 | 一种360度全景环视拼接图像分析评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115239724B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229765B (zh) * | 2023-05-06 | 2023-07-21 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447865A (zh) * | 2015-11-23 | 2016-03-30 | 深圳进化动力数码科技有限公司 | 一种评估全景拼接算法静态拼接质量的方法和装置 |
CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
CN108198135A (zh) * | 2018-01-02 | 2018-06-22 | 佛山科学技术学院 | 一种全景图像拼接最优缝合线搜索方法 |
CN113192003A (zh) * | 2021-03-26 | 2021-07-30 | 宁波大学 | 一种拼接图像质量评价方法 |
CN113194309A (zh) * | 2021-06-02 | 2021-07-30 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备成像质量评估*** |
CN113628160A (zh) * | 2021-06-30 | 2021-11-09 | 中汽研汽车检验中心(天津)有限公司 | 汽车全景影像监测***平面拼接视图拼接质量测评方法 |
CN113691721A (zh) * | 2021-07-28 | 2021-11-23 | 浙江大华技术股份有限公司 | 一种缩时摄影视频的合成方法、装置、计算机设备和介质 |
CN114066831A (zh) * | 2021-11-04 | 2022-02-18 | 北京航空航天大学 | 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法 |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及*** |
CN114785960A (zh) * | 2022-06-16 | 2022-07-22 | 鹰驾科技(深圳)有限公司 | 一种基于无线传输技术的360度全景行车记录仪*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013538945A (ja) * | 2010-08-27 | 2013-10-17 | クロネクィン ピーティーワイ リミテッド | 衣服の購入、製作および直しのためのマネキン、方法およびシステム |
JP6415094B2 (ja) * | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
-
2022
- 2022-09-22 CN CN202211156487.3A patent/CN115239724B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447865A (zh) * | 2015-11-23 | 2016-03-30 | 深圳进化动力数码科技有限公司 | 一种评估全景拼接算法静态拼接质量的方法和装置 |
CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
CN108198135A (zh) * | 2018-01-02 | 2018-06-22 | 佛山科学技术学院 | 一种全景图像拼接最优缝合线搜索方法 |
CN113192003A (zh) * | 2021-03-26 | 2021-07-30 | 宁波大学 | 一种拼接图像质量评价方法 |
CN113194309A (zh) * | 2021-06-02 | 2021-07-30 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备成像质量评估*** |
CN113628160A (zh) * | 2021-06-30 | 2021-11-09 | 中汽研汽车检验中心(天津)有限公司 | 汽车全景影像监测***平面拼接视图拼接质量测评方法 |
CN113691721A (zh) * | 2021-07-28 | 2021-11-23 | 浙江大华技术股份有限公司 | 一种缩时摄影视频的合成方法、装置、计算机设备和介质 |
CN114066831A (zh) * | 2021-11-04 | 2022-02-18 | 北京航空航天大学 | 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法 |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及*** |
CN114785960A (zh) * | 2022-06-16 | 2022-07-22 | 鹰驾科技(深圳)有限公司 | 一种基于无线传输技术的360度全景行车记录仪*** |
Non-Patent Citations (4)
Title |
---|
《A 360-degree floating 3D display based on light field regeneration》;Xia Xinxing等;《Opt Express》;20130531;第21卷(第9期);第11237-47页 * |
《基于局部相位一致性特征的图像拼接质量评价算法研究》;孔玲玲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200215(第2期);第I138-1437页 * |
《汽车覆盖件的三维重构与工艺分析的研究与实践》;黄焕江 等;《中国优秀博硕士学位论文全文数据库 (硕士) 工程科技Ⅱ辑》;20040215(第2期);第C035-20页 * |
《注意力分布机制下的全景图像质量评价》;安平 等;《中国传媒大学学报(自然科学版)》;20211020;第28卷(第05期);第36-42页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115239724A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622229B (zh) | 一种基于融合特征的视频车辆重识别方法与*** | |
CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
CN110490936B (zh) | 车辆摄像头的标定方法、装置、设备及可读存储介质 | |
KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
WO2018040756A1 (zh) | 一种车身颜色识别的方法及装置 | |
CN106228150B (zh) | 基于视频图像的烟雾检测方法 | |
CN111401188B (zh) | 一种基于人体关键点特征的交警手势识别方法 | |
CN115239724B (zh) | 一种360度全景环视拼接图像分析评价方法 | |
Almagambetov et al. | Mobile standards-based traffic light detection in assistive devices for individuals with color-vision deficiency | |
JP6700373B2 (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
CN107689157B (zh) | 基于深度学习的交通路口可通行道路规划方法 | |
CN107644538B (zh) | 交通信号灯的识别方法及装置 | |
CN112070733A (zh) | 基于弱监督模式的缺陷粗定位方法和装置 | |
CN112598066A (zh) | 一种基于机器视觉的轻量化道路路面检测方法及*** | |
CN111275634A (zh) | 一种熔池形貌检测及弧焊机器人控制方法 | |
CN113390882A (zh) | 一种基于机器视觉和深度学习算法的轮胎内侧缺陷检测仪 | |
CN114372919B (zh) | 一种双挂汽车列车全景环视图像拼接方法及*** | |
Wang et al. | Automatic dissection position selection for cleavage-stage embryo biopsy | |
CN108230248A (zh) | 一种基于自适应特征点配准的环视***拼接效果评估和自动微调方法 | |
CN112183427A (zh) | 一种箭形交通信号灯候选图像区域的快速提取方法 | |
CN110688979A (zh) | 违法车辆追踪方法及装置 | |
CN115661800A (zh) | 基于视线方向时间关系学习的危险驾驶行为检测方法 | |
CN116206297A (zh) | 基于级联神经网络的视频流实时车牌识别***及方法 | |
CN114677667A (zh) | 一种基于深度学习的变电站电气设备红外故障识别方法 | |
CN110956640B (zh) | 一种异源图像边缘点检测与配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |