CN113114975A - 图像拼接方法、装置、电子设备和存储介质 - Google Patents
图像拼接方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113114975A CN113114975A CN202110372619.5A CN202110372619A CN113114975A CN 113114975 A CN113114975 A CN 113114975A CN 202110372619 A CN202110372619 A CN 202110372619A CN 113114975 A CN113114975 A CN 113114975A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- distance
- calibration
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013519 translation Methods 0.000 claims abstract description 126
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种图像拼接方法、装置、电子设备和存储介质,其中方法包括:确定待拼接的两幅图像,两幅图像的部分视角重叠;基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。本发明提供的图像拼接方法、装置、电子设备和存储介质,基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数,并基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像,使得图像拼接时的平移距离随着目标拍摄距离的变化进行自适应调整,实现了拼缝处的视差调节,优化了拍摄对象物距不同带来的拼接缝问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像拼接方法、装置、电子设备和存储介质。
背景技术
随着科技的发展,能够提供全景视角的全景视觉设备为人们生活提供了极大便利。例如,车载全景摄像头可以为驾驶员提供更全面的观察视角,提高了驾驶安全性;全景会议设备在可以在远程会议中,为各参会人员展现会议现场的参会人图像信息以及会议场景信息。
目前的全景视觉设备通常由多个摄像头组合而成,因此需要对多个摄像头拍摄的图像进行拼接以得到更大视角的全景图像。现有的全景图像拼接方法通常通过对摄像头进行标定后计算一个固定的拼接矩阵,并利用该拼接矩阵进行图像平移,从而实现图像拼接。然而,上述利用固定的拼接矩阵进行拼接的方式,会由于拍摄对象物距的不同出现大小不一的拼接缝,拼接效果欠佳。
发明内容
本发明提供一种图像拼接方法、装置、电子设备和存储介质,用以解决现有技术中拼接效果欠佳的缺陷。
本发明提供一种图像拼接方法,包括:
确定待拼接的两幅图像,所述两幅图像的部分视角重叠;
基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;
基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
根据本发明提供一种的图像拼接方法,所述基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数,具体包括:
基于标定距离及其对应的标定平移参数,以及所述目标的拍摄距离,确定所述实际平移参数;
其中,所述标定距离为摄像头标定时标定参照物与所述任一图像对应摄像头间的距离。
根据本发明提供的一种图像拼接方法,所述基于标定距离及其对应的标定平移参数,以及所述目标的拍摄距离,确定所述实际平移参数,具体包括:
基于距离差与所述标定距离之间的比例,或基于所述拍摄距离与所述标定距离的比例,对所述标定平移参数进行更新,得到所述实际平移参数,所述距离差为所述拍摄距离和所述标定距离的差异。
根据本发明提供的一种图像拼接方法,所述目标的拍摄距离是基于如下步骤确定的:
对所述任一图像进行目标识别,或,定期对所述任一图像对应摄像头采集的图像进行目标识别,得到所述目标的目标区域;
基于所述目标的目标区域的角点位置,以及所述任一图像对应摄像头的摄像头参数,确定所述目标的拍摄距离。
根据本发明提供的一种图像拼接方法,所述目标包括至少一个参会人。
根据本发明提供的一种图像拼接方法,所述标定平移参数是基于摄像头数量、单个摄像头的视场角,以及所述标定距离确定的。
根据本发明提供的一种图像拼接方法,所述标定平移参数是全部摄像头的重叠视场角比例与所述标定距离的乘积;所述重叠视场角比例为全部摄像头的重叠视场角与所述摄像头数量个全景视角之间的比例。
本发明还提供一种图像拼接装置,包括:
图像确定单元,用于确定待拼接的两幅图像,所述两幅图像的部分视角重叠;
平移参数确定单元,用于基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;
拼接单元,用于基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述图像拼接方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述图像拼接方法的步骤。
本发明提供的图像拼接方法、装置、电子设备和存储介质,通过基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数,并基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像,使得图像拼接时的平移距离随着目标拍摄距离的变化进行自适应调整,实现了拼缝处的视差调节,优化了拍摄对象物距不同带来的拼接缝问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的图像拼接方法的流程示意图之一;
图2为本发明提供的平移方法的示意图;
图3为本发明提供的拍摄距离确定方法的流程示意图;
图4为本发明提供的图像拼接方法的流程示意图之二;
图5为本发明提供的图像拼接装置的结构示意图;
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前的全景视觉设备通常是通过多个摄像头拼接出环绕360度或者180度的影像,从而展现应用场景更大视角的场景信息。其中,为了得到全景图像,通常需要对多个摄像头拍摄的图像进行拼接。现有的全景图像拼接方法通常预先进行摄像头标定,得到摄像头的内参数和外参数,从而进行拼接矩阵的计算,然后利用拼接矩阵对多个摄像头拍摄的图像进行旋转、平移、缩放等操作,实现图像拼接。
然而,由于拼接矩阵是固定的,导致上述拼接方式通常存在拼接视差问题。即,仅在拍摄对象处于特定距离时可以达到较好的拼接效果,而由于多个拍摄对象的物距可能不同,拼接后的全景图像会存在或大或小的拼接缝,对于多景深的拍摄对象不具备调节能力,拼接效果欠佳。
对此,本发明实施例提供了一种图像拼接方法。图1为本发明实施例提供的图像拼接方法的流程示意图之一,如图1所示,该方法包括:
步骤110,确定待拼接的两幅图像,两幅图像的部分视角重叠。
具体地,获取需要进行图像拼接的两幅图像。其中,上述两幅图像的部分视角重叠,即两幅图像存在部分重叠。例如,全景视觉设备中任意两个相邻摄像头的视角重叠,其拍摄的图像之间即存在部分重叠,因此该相邻摄像头拍摄的图像可以作为拼接对象。
步骤120,基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数。
具体地,为了兼顾多种物距的拍摄对象的拼接,本发明实施例结合两幅图像中任一图像中的目标的拍摄距离,动态调整两幅图像的实际平移参数,弥补拍摄对象物距不同带来的拼接缝问题。其中,上述目标是指图像的拍摄对象,可以根据实际应用场景具体确定。目标的拍摄距离为该目标离对应摄像头的距离。两幅图像的实际平移参数可以包括平移的距离,还可以包括平移的方向,其用于对两幅图像中的任一图像进行平移,使两幅图像的重叠区域对齐。此外,考虑到待拼接的图像的重叠通常是在水平方向,因此实际平移参数可以表征水平方向的平移距离。
由于两幅图像的实际平移参数是基于任一图像中目标的拍摄距离确定的,图像拼接时的平移距离随着目标拍摄距离的变化而进行自适应调整,实现了拼缝处的视差调节,因此可以解决拍摄对象物距不同带来的拼接缝问题。
步骤130,基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
具体地,在对任一图像进行平移之前,可以先基于两幅图像对应摄像头的内参数和外参数,将两幅图像中各像素点的坐标从图像坐标系转换到世界坐标系,然后将两幅图像在竖直方向上对齐后进行首尾拼接,再根据实际平移参数,对任一图像进行平移,得到拼接图像。其中,可以利用两幅图像对应摄像头的外参数,计算两幅图像在竖直方向上的偏移,并据此对任一图像进行竖直方向的平移,实现两幅图像在竖直方向的对齐。图2为本发明实施例提供的平移方法的示意图,如图2所示,对于待拼接的图像1和图像2,其中图像1和图像2的尺寸均为H*W,将图像1和图像2竖直对齐后首尾拼接。随后基于实际平移参数,将图像2向左平移tx’的距离,或将图像1向右平移tx’的距离,具体的平移方向可以根据平移的对象以及两幅图像对应摄像头的相对位置决定。需要说明的是,为了简化运算从而提高图像拼接的效率,多个摄像头除了水平方向的拍摄视角不同外,其他拍摄参数可以设置为相同参数,例如拍摄的图像尺寸、俯仰角等,使得在进行图像拼接时,可以省略图像的放缩、旋转等操作。
本发明实施例提供的方法,通过基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数,并基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像,使得图像拼接时的平移距离随着目标拍摄距离的变化进行自适应调整,实现了拼缝处的视差调节,优化了拍摄对象物距不同带来的拼接缝问题。
基于上述实施例,步骤120具体包括:
基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数;
其中,标定距离为摄像头标定时标定参照物与上述任一图像对应摄像头间的距离。
具体地,在实际进行图像拼接之前,可以对多个摄像头进行标定。具体而言,首先选取标定参照物(例如棋盘格)的标定位置,并测算得到标定参照物与对应摄像头之间的距离。其中,标定位置可以参考实际应用场景的视野需求选定,例如实际应用场景的中心位置等。以会议场景为例,当视野需求为360度全景视角时,多个摄像头可以放置在会议室中心位置。选定标定位置时,可以将实际会议室的空间大小折算成圆的半径,例如40平方米的会议室可以折算成半径为4m的圆,然后选取半径为1m、2m、3m和4m的圆周上的点作为标定位置。随后,将标定参照物放置在标定位置上进行多角度拍摄,且需保证拍摄角度覆盖翻转角度、倾斜角度和翻转加倾斜等各种角度。利用拍摄的标定图像,标定各摄像头的内参数和外参数。例如,可以采用张正友标定法,得到每个摄像头的内外参数。
为了根据目标的拍摄距离自适应调整实际平移参数,可以参考当标定参照物放置在标定位置处时,两个待拼接图像对应摄像头拍摄的图像对应的标定平移参数,并基于目标的拍摄距离以及标定距离对标定平移参数进行一定的修正,得到实际平移参数。其中,标定距离为标定参照物与上述任一图像对应摄像头间的距离。标定平移参数可以表征标定参照物放置在标定位置处时,上述待拼接的两个图像对应摄像头拍摄的标定图像之间的平移距离。此处,以标定平移参数作为参照,并根据目标的拍摄距离与标定距离之间存在的差异,对标定平移参数进行微调,可以得到合适的实际平移参数。此外,由于标定平移参数和标定距离可以在摄像头标定时获取得到,因此可以提高标定平移参数的微调效率,从而提高整个图像拼接方法的效率。
本发明实施例提供的方法,基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数,可以快速确定与当前拍摄距离相适应的实际平移参数,且提高了图像拼接方法的效率。
基于上述任一实施例,基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数,具体包括:
基于距离差与标定距离之间的比例,或基于拍摄距离与标定距离的比例,对标定平移参数进行更新,得到实际平移参数,距离差为拍摄距离和标定距离的差异。
具体地,在确定实际平移参数时,可以以标定平移参数作为参照,并根据目标的拍摄距离与标定距离之间存在的差异,对标定平移参数进行微调。其中,可以计算距离差与标定距离之间的比例,再基于该比例对标定平移参数进行更新,具体可以将1与该比例之和与标定平移参数相乘,得到实际平移参数。其中,距离差为拍摄距离和标定距离之间的差异。例如,可采用如下公式计算实际平移参数:
Tx'=(1+(R'-R)/R)Tx
其中,Tx'为实际平移参数,Tx为标定平移参数,R为标定距离,R'为拍摄距离。
或者,还可以直接将拍摄距离与标定距离的比例与标定平移参数相乘,得到实际平移参数。
基于上述任一实施例,图3为本发明实施例提供的拍摄距离确定方法的流程示意图,如图3所示,目标的拍摄距离是基于如下步骤确定的:
步骤310,对该图像进行目标识别,或,定期对该图像对应摄像头采集的图像进行目标识别,得到目标的目标区域;
步骤320,基于目标的目标区域的角点位置,以及该图像对应摄像头的摄像头参数,确定目标的拍摄距离。
具体地,可以对该图像进行目标识别,得到目标在该图像中的目标区域,从而计算目标的拍摄距离。为了降低运算量,当实际应用场景中目标的位置具备一定稳定性,即短时间内目标位置不会发生明显变化时,也可以定期对该图像对应摄像头采集的图像进行目标识别,得到目标的目标区域,再计算目标的拍摄距离。这种情况下,在下一次对该图像对应摄像头采集的图像进行目标识别之前,均可以将此次计算得到的拍摄距离作为确定实际平移参数时考虑的拍摄距离。
其中,当得到目标的目标区域后,可以利用单目测距方式,基于目标的目标区域的角点位置,以及该图像对应摄像头的摄像头参数,计算目标的拍摄距离。此处,可以利用目标区域的角点位置,例如底边端点的像素坐标,以及摄像头的内参数和外参数进行反投影,得到角点位置反投影至地面的投影位置,从而可以利用角点位置、摄像头的焦距和投影位置进行相似三角形的几何推导,得到目标与对应摄像头间的距离,即拍摄距离。需要说明的是,若图像中存在多个目标,即目标检测得到的目标区域有多个时,可以按照上述方式计算每个目标与对应摄像头间的距离,并将各目标对应距离的平均值或中位数作为拍摄距离输出,以供计算实际平移参数。
基于上述任一实施例,目标包括至少一个参会人。
具体地,在全景会议***中,摄像头的拍摄对象通常为参会人,且任一摄像头的视角范围内可能存在多名参会人,因此待拼接的图像中的目标包括至少一个参会人。因此,可以对图像进行人物识别,得到目标的目标区域,从而计算目标的拍摄距离。此外,目标还可以为参会人中的实际说话人,具体可以通过人物识别并结合骨骼识别,确定图像中的实际说话人及其所在目标区域。
基于上述任一实施例,标定平移参数是基于摄像头数量、单个摄像头的视场角,以及标定距离确定的。
具体地,标定平移参数与摄像头间的重叠视场角正相关,且与标定距离成正相关。其中,重叠视场角可以由摄像头数量以及单个摄像头的视场角大小确定得到。因此,可以基于摄像头的数量、单个摄像头的视场角大小,以及标定距离计算得到标定平移参数。此处,每个摄像头的视场角大小相同。
基于上述任一实施例,标定平移参数是全部摄像头的重叠视场角比例与标定距离的乘积;重叠视场角比例为全部摄像头的重叠视场角与摄像头数量个全景视角之间的比例。
具体地,全景摄像头通常由多个摄像头组成,相邻摄像头的视角存在重叠,且各个摄像头的视场角大小相同,因此可以基于摄像头的数量以及单个摄像头的视场角大小,计算全部摄像头的重叠视场角,例如将单个摄像头的视场角角度与摄像头数量相乘后,减去全景视角。随后确定全部摄像头的重叠视场角与摄像头数量个全景视角之间的比例,即重叠视场角比例。需要说明的是,此处的全景视角为360度。然后,计算上述重叠视场角比例与标定距离之间的乘积,作为标定平移参数。例如,可以采用如下公式确定标定平移参数:
其中,Tx为标定平移参数,FOV为单个摄像头的视场角大小,n为摄像头的数量,R为标定距离。
基于上述任一实施例,图4为本发明实施例提供的图像拼接方法的流程示意图之二,该方法可应用于全景会议***。如图4所示,该方法包括两个阶段:全景标定阶段和图像拼接阶段。其中,全景标定阶段可以在产品设计前期执行,进行产品的摄像头参数标定;图像拼接阶段可以在产品的实际应用过程中进行图像拼接,提供全景视图。
在全景会议***中,为了提供180度或360度的全景视野,可以将2个、3个或4个摄像头拼装组合成全景摄像头,并保证相邻摄像头水平方向上的视角存在重叠。其中,多个摄像头的视场角可以相同,且拍摄的图像尺寸也可以相同。实际应用时,若需要提供180度全景视野,可以将全景摄像头放置在视频会议的显示屏上方;若需要提供360度全景视野,则可以将全景摄像头放置在会议室中心位置,例如会议桌中央。
在全景标定阶段,首先选取标定参照物(例如棋盘格)的标定位置,并测算得到标定参照物与对应摄像头之间的距离。其中,标定位置可以参考实际应用场景的视野需求选定。以会议场景为例,当视野需求为360度全景视角时,全景摄像头可以放置在会议室中心位置。选定标定位置时,可以将实际会议室的空间大小折算成圆的半径,例如40平方米的会议室可以折算成半径为4m的圆,然后分别选取半径为1m、2m、3m和4m的圆周上的点作为标定位置。随后,将标定参照物放置在标定位置上进行多角度拍摄,且需保证拍摄角度覆盖翻转角度、倾斜角度和翻转加倾斜等各种角度。利用拍摄的标定图像,可以标定全景摄像头中各摄像头的内参数和外参数。如图4所示,还可以预先利用图像信号处理技术(Image SignalProcessor,ISP)对拍摄的标定图像进行成像优化处理,如自动曝光,自动白平衡,自动对焦等,再进行参数标定,从而生成内外参数。例如,可以采用张正友标定法,得到每个摄像头的内外参数。
实际应用时,利用多个摄像头同时拍摄会议场景图像,在对多个摄像头拍摄的图像进行拼接,以生成全景视图。获取任意两个相邻摄像头同时拍摄的图像,作为当前待拼接的图像。利用ISP技术对上述两幅图像进行成像优化处理后,利用两幅图像对应摄像头的内参数和外参数,对两幅图像中的各个像素点坐标进行转换,将其从图像坐标系转换到世界坐标系。然后,基于两个摄像头的内参数,确定两幅图像在竖直方向上的偏移,并据此对任一幅图像进行竖直方向上的平移,使两幅图像在竖直方向上对齐。对齐后,再将两幅图像在水平方向上首尾拼接。
随后,对于任一图像,对其进行智能场景识别,检测出其中说话人在图像中的目标区域,并基于单目测距方法计算该说话人的拍摄距离。若该图像中没有检测到说话人,也可以基于检测到的参会人在图像中的目标区域,计算各参会人的拍摄距离,并将各参会人拍摄距离的中位数输出。
基于上一步得到的拍摄距离,即说话人的拍摄距离或各参会人拍摄距离的中位数,结合标定距离及其对应的标定平移参数,可以计算得到两幅图像对应的实际平移参数,并基于该实际平移参数对两幅图像中的任一幅进行水平方向的平移,得到拼接后的图像。其中,标定距离和标定平移参数可以预先获取得到。
下面对本发明提供的图像拼接装置进行描述,下文描述的图像拼接装置与上文描述的图像拼接方法可相互对应参照。
基于上述任一实施例,图5为本发明实施例提供的图像拼接装置的结构示意图,如图5所示,该装置包括:图像确定单元510、平移参数确定单元520和拼接单元530。
其中,图像确定单元510用于确定待拼接的两幅图像,两幅图像的部分视角重叠;
平移参数确定单元520用于基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数;
拼接单元530用于基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
本发明实施例提供的装置,通过基于两幅图像中任一图像中的目标的拍摄距离,确定两幅图像的实际平移参数,并基于实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像,使得图像拼接时的平移距离随着目标拍摄距离的变化进行自适应调整,实现了拼缝处的视差调节,优化了拍摄对象物距不同带来的拼接缝问题。
基于上述任一实施例,平移参数确定单元520具体用于:
基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数;
其中,标定距离为摄像头标定时标定参照物与上述任一图像对应摄像头间的距离。
本发明实施例提供的装置,基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数,可以快速确定与当前拍摄距离相适应的实际平移参数,且提高了图像拼接方法的效率。
基于上述任一实施例,基于标定距离及其对应的标定平移参数,以及目标的拍摄距离,确定实际平移参数,具体包括:
基于距离差与标定距离之间的比例,或基于拍摄距离与标定距离的比例,对标定平移参数进行更新,得到实际平移参数,距离差为拍摄距离和标定距离的差异。
基于上述任一实施例,该装置还包括拍摄距离确定单元,用于:
对该图像进行目标识别,或,定期对该图像对应摄像头采集的图像进行目标识别,得到目标的目标区域;
基于目标的目标区域的角点位置,以及该图像对应摄像头的摄像头参数,确定目标的拍摄距离。
基于上述任一实施例,目标包括至少一个参会人。
基于上述任一实施例,标定平移参数是基于摄像头数量、单个摄像头的视场角,以及标定距离确定的。
基于上述任一实施例,标定平移参数是全部摄像头的重叠视场角比例与标定距离的乘积;重叠视场角比例为全部摄像头的重叠视场角与摄像头数量个全景视角之间的比例。
图6示例了一种电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行图像拼接方法,该方法包括:确定待拼接的两幅图像,所述两幅图像的部分视角重叠;基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的图像拼接方法,该方法包括:确定待拼接的两幅图像,所述两幅图像的部分视角重叠;基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的图像拼接方法,该方法包括:确定待拼接的两幅图像,所述两幅图像的部分视角重叠;基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像拼接方法,其特征在于,包括:
确定待拼接的两幅图像,所述两幅图像的部分视角重叠;
基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;
基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
2.根据权利要求1所述的图像拼接方法,其特征在于,所述基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数,具体包括:
基于标定距离及其对应的标定平移参数,以及所述目标的拍摄距离,确定所述实际平移参数;
其中,所述标定距离为摄像头标定时标定参照物与所述任一图像对应摄像头间的距离。
3.根据权利要求2所述的图像拼接方法,其特征在于,所述基于标定距离及其对应的标定平移参数,以及所述目标的拍摄距离,确定所述实际平移参数,具体包括:
基于距离差与所述标定距离之间的比例,或基于所述拍摄距离与所述标定距离的比例,对所述标定平移参数进行更新,得到所述实际平移参数,所述距离差为所述拍摄距离和所述标定距离的差异。
4.根据权利要求1所述的图像拼接方法,其特征在于,所述目标的拍摄距离是基于如下步骤确定的:
对所述任一图像进行目标识别,或,定期对所述任一图像对应摄像头采集的图像进行目标识别,得到所述目标的目标区域;
基于所述目标的目标区域的角点位置,以及所述任一图像对应摄像头的摄像头参数,确定所述目标的拍摄距离。
5.根据权利要求1至4任一项所述的图像拼接方法,其特征在于,所述目标包括至少一个参会人。
6.根据权利要求2或3所述的图像拼接方法,其特征在于,所述标定平移参数是基于摄像头数量、单个摄像头的视场角,以及所述标定距离确定的。
7.根据权利要求6所述的图像拼接方法,其特征在于,所述标定平移参数是全部摄像头的重叠视场角比例与所述标定距离的乘积;所述重叠视场角比例为全部摄像头的重叠视场角与所述摄像头数量个全景视角之间的比例。
8.一种图像拼接装置,其特征在于,包括:
图像确定单元,用于确定待拼接的两幅图像,所述两幅图像的部分视角重叠;
平移参数确定单元,用于基于所述两幅图像中任一图像中的目标的拍摄距离,确定所述两幅图像的实际平移参数;
拼接单元,用于基于所述实际平移参数,对首尾拼接后的两幅图像中的任一图像进行平移,得到拼接图像。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述图像拼接方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像拼接方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110372619.5A CN113114975B (zh) | 2021-04-07 | 2021-04-07 | 图像拼接方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110372619.5A CN113114975B (zh) | 2021-04-07 | 2021-04-07 | 图像拼接方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113114975A true CN113114975A (zh) | 2021-07-13 |
CN113114975B CN113114975B (zh) | 2023-04-18 |
Family
ID=76714331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110372619.5A Active CN113114975B (zh) | 2021-04-07 | 2021-04-07 | 图像拼接方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113114975B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628113A (zh) * | 2021-08-11 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像拼接方法及其相关设备 |
CN116612168A (zh) * | 2023-04-20 | 2023-08-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备、图像处理***及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102124320A (zh) * | 2008-06-18 | 2011-07-13 | 苏尔吉克斯有限公司 | 用于将多个图像拼接成全景图像的方法和*** |
JP2016019307A (ja) * | 2014-07-04 | 2016-02-01 | 中国電力株式会社 | 引込用鋼管柱用の継柱 |
CN108205799A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN109005334A (zh) * | 2018-06-15 | 2018-12-14 | 清华-伯克利深圳学院筹备办公室 | 一种成像方法、装置、终端和存储介质 |
CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及*** |
CN110300264A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端以及存储介质 |
-
2021
- 2021-04-07 CN CN202110372619.5A patent/CN113114975B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102124320A (zh) * | 2008-06-18 | 2011-07-13 | 苏尔吉克斯有限公司 | 用于将多个图像拼接成全景图像的方法和*** |
US20110188726A1 (en) * | 2008-06-18 | 2011-08-04 | Ram Nathaniel | Method and system for stitching multiple images into a panoramic image |
JP2016019307A (ja) * | 2014-07-04 | 2016-02-01 | 中国電力株式会社 | 引込用鋼管柱用の継柱 |
CN108205799A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN109005334A (zh) * | 2018-06-15 | 2018-12-14 | 清华-伯克利深圳学院筹备办公室 | 一种成像方法、装置、终端和存储介质 |
CN110223226A (zh) * | 2019-05-07 | 2019-09-10 | 中国农业大学 | 全景图像拼接方法及*** |
CN110300264A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端以及存储介质 |
Non-Patent Citations (1)
Title |
---|
陶清: "一种全景图像拼接***的设计方案", 《电脑与电信》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628113A (zh) * | 2021-08-11 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像拼接方法及其相关设备 |
CN116612168A (zh) * | 2023-04-20 | 2023-08-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备、图像处理***及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113114975B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
US9870601B2 (en) | System and method for displaying panoramic image using single look-up table | |
CN108600576B (zh) | 图像处理装置、方法和***以及计算机可读记录介质 | |
KR100653200B1 (ko) | 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치 | |
US20180227484A1 (en) | Method and apparatus for generating panoramic image with stitching process | |
US10489885B2 (en) | System and method for stitching images | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US9436973B2 (en) | Coordinate computation device and method, and an image processing device and method | |
US9313411B2 (en) | Camera, distortion correction device and distortion correction method | |
CN110288527B (zh) | 一种车载环视相机全景鸟瞰图生成方法 | |
CN113114975B (zh) | 图像拼接方法、装置、电子设备和存储介质 | |
US20130208081A1 (en) | Method for combining images | |
JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
CN109785390B (zh) | 一种用于图像矫正的方法和装置 | |
CN108259877A (zh) | 一种白平衡处理方法及装置 | |
KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
CN109785225B (zh) | 一种用于图像矫正的方法和装置 | |
CN113344789B (zh) | 图像拼接方法及装置、电子设备、计算机可读存储介质 | |
JP6665917B2 (ja) | 画像処理装置 | |
CN113421183B (zh) | 车辆环视全景图的生成方法、装置、设备和存储介质 | |
JPWO2017203796A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111815752B (zh) | 图像处理方法、装置和电子设备 | |
CN116245734A (zh) | 全景图像生成方法、装置、设备和存储介质 | |
Tiwari et al. | Non-linear method used for distortion correction of fish-eye lens: Comparative analysis of different mapping functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |