CN107274346A - 实时全景视频拼接*** - Google Patents
实时全景视频拼接*** Download PDFInfo
- Publication number
- CN107274346A CN107274346A CN201710488347.9A CN201710488347A CN107274346A CN 107274346 A CN107274346 A CN 107274346A CN 201710488347 A CN201710488347 A CN 201710488347A CN 107274346 A CN107274346 A CN 107274346A
- Authority
- CN
- China
- Prior art keywords
- mrow
- parameter
- msub
- video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 18
- 230000003044 adaptive effect Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000001133 acceleration Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种实时全景视频拼接***，该***通过参数周期校正模块，对曝光参数进行及时更新，使***能够适应场景中光线等因素的变化，提高***的鲁棒性，并可以消除场景光线变化造成的明显接缝，保证全景视频的拼接效果；同时，通过自适应融合模块在检测到接缝处有移动物体时及时更新最佳接缝，并将最佳接缝与自适应加权融合相结合，可以避免重叠区域处前景物体频繁移动造成的鬼影问题；此外，通过构建CPU与GPU的异构体系将拼接的全过程都在GPU中进行加速处理，提高全景视频拼接的速度，满足拼接实时性。
Description
技术领域
本发明涉及全景视频拼接技术领域，尤其涉及一种实时全景视频拼接***。
背景技术
随着计算机科学技术的发展，计算机图像处理技术也得到了迅速的发展，给人们的生活带来了方便。全景视频因为其大视角和高分辨率，已经被广泛应用到不同的领域，可用于监控、城市交通、虚拟现实(VR)、在线教学等各个领域。
全景视频拼接技术基于图像拼接，但是由于视频的连续性和编解码处理，视频拼接更加复杂，对实时性要求更高。现有的技术主要从拼接策略和计算能力两个方面来加快拼接速度。
1、拼接策略。
南方电网有限公司在专利“一种全景视频拼接方法”中，从拼接策略上将拼接过程分为初始化和视频拼接阶段；在初始化阶段完成相关参数的计算并利用参数一致性，避免重复冗余计算，降低拼接阶段的耗时，保证了实时性；然而曝光补偿参数实际需要适应拍摄场景的光度变化，否则全景视频会出现明显的接痕。电子科技大学程洪等人在专利“一种360度全景视频拼接***”中，在初始化阶段通过标定法来计算相邻图像的单应矩阵，避免图像配准的复杂计算；但是只能适用于少量视频图像的拼接，且匹配的准确性较低。浙江宇视科技有限公司在专利“一种全景视频拼接方法及装置”中，利用几何法来确定拼接位置，在初始化阶段比较相邻图像的角点，选取最接近重叠部分两端的角点用于确定最终的位置摆放信息；虽然利用几何的位置信息进行视频图像拼接，节省了复杂的计算，但是通过裁剪的方式拼接，准确性太低，难以保证拼接的效果。
2、计算能力。
北京时代拓灵科技在专利“一种全景视频拼接的处理方法及***”中，利用云端的计算技术在云端完成全景拼接；虽然利用云端的计算资源，提高了拼接速度，但是在上传过程中会出现延迟问题，无法满足实时性。电子科技大学的陈全兵在论文“基于FPGA的高清实时全景视频拼接的研究与设计”中提出基于FPGA硬件平台的全景视频监控***，利用ARM来完成图像配准和拼接；但是使用硬件进行加速处理，成本太高，且不利于扩展维护。此外，由于全景视频采集过程中相邻帧重叠区域存在前景物体移动的情况，导致一般的全景视频拼接***生成的全景视频出现“鬼影”现象，影响视频效果。为了消除影响，应礼剑在论文“基于多摄像机的360度全景图像拼接技术研究”中提出了一种多频带和最佳接缝融合的方法，在接缝处建立拉普拉斯融合金字塔，但是建立金字塔过程计算复杂，难以满足实时性。
发明内容
本发明的目的是提供一种实时全景视频拼接***，可以确保全景视频的拼接效果与实时性，同时，还避免了重叠区域处前景物体频繁移动造成的鬼影问题。
本发明的目的是通过以下技术方案实现的：
一种实时全景视频拼接***，包括：
多路视频同步采集模块，用于同步采集多路视频图像，并对每一路视频图像进行畸变校正处理；
参数初始化模块，用于对接收到的多路视频图像进行图像配准，并对视频图像拼接的投影变换参数与接缝信息进行初始化计算；
参数周期校正模块，用于根据初始化计算的投影变换参数计算曝光补偿参数，并在循环拼接过程中周期性地更新曝光补偿参数；
自适应融合模块，根据初始化计算的接缝信息判断相邻视频图像帧接缝处是否有物体移动，若是，则重新计算最佳的接缝信息，然后将最佳的接缝信息与加权融合算法结合计算图像融合参数；
实时拼接模块，基于投影变换参数、曝光补偿参数与图像融合参数对多路视频图像进行拼接，获得全景视频流。
所述对接收到的多路视频图像进行图像配准，并对视频图像拼接的投影变换参数与接缝信息进行初始化计算包括：
图像配准步骤如下：首先，使用SURF算法提取图像的特征点；然后，进行粗匹配：特征点的匹配采用欧式距离来衡量其相似度，将欧式距离最近的特征点与欧式距离次近的特征点的欧式距离之比作为特征点匹配的依据，如果比值小于阈值，则保留相应匹配点，否则，剔除；最后，使用RANSAC算法对匹配点进行提纯并计算单应性矩阵；
使用光束法平差对图像配准后得到的单应性矩阵H中摄像机参数进行校正，使视频图像初始化成相同的旋转和焦距长度；在投影变换时，选择圆柱型、球型或者立方体型投影模型，再结合校正后的摄像机参数计算投影变换参数；计算接缝信息时，在相邻两视频图像的重合区域中找到一条路径，使拼接后图像连贯没有重叠。
所述参数初始化模块中建立了一参数结构，其包含如下参数：视频图像的宽与高，利用投影变换参数对视频图像进行映射变换后左上方的角点x轴与y轴坐标，映射变换后的x轴与y轴的映射表，图像融合参数，以及曝光补偿参数；其中的图像融合参数与以及曝光补偿参数，根据相应的参数周期校正模块与自适应融合模块的计算结果实时更新。
所述根据初始化计算的投影变换参数计算曝光补偿参数，并在循环拼接过程中周期性地更新曝光补偿参数包括：
利用初始化计算的投影变换参数对相应的视频图像进行变换，再对变换后的视频图像进行分块处理；针对每一块视频图像进行光照补偿处理，并将相应的掩膜保存，得到增益；再进行线性滤波，创建曝光补偿增益权重矩阵作为曝光补偿参数，并以此更新参数初始化模块所建立参数结构中初始的曝光补偿参数；
在实时拼接阶段，根据确定的校正周期，周期性对曝光补偿参数进行更新校正，并同步更新参数结构中的曝光补偿参数。
所述根据初始化计算的接缝信息判断相邻视频图像帧接缝处是否有物体移动包括：
利用初始化计算的接缝信息，将接缝处每个像素点的原始梯度值保存，在t时刻，计算每个像素的新梯度值，然后计算每个接缝区域中，梯度值的变化超出预定值δ的像素数量N，其公式如下：
其中，gi0表示像素pi的原始梯度值，git表示t时刻像素pi的新梯度值。
若梯度值的变化超出预定值的像素数量N大于设定的阈值，则判定相邻视频图像帧接缝处有物体移动，再利用最佳接缝处颜色和结构的相似性，建立如下查找准则：
Ecolor(x,y)＝I1(x,y)-I2(x,y)；
Egeometry(x,y)＝Diff(I1(x,y),I2(x,y))；
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)；
其中，I1(x,y)与I2(x,y)为相邻待融合视频图像，Ecolor(x,y)与Egeometry(x,y)为相邻待融合视频图像重叠区域的颜色和结构差异，Diff用于计算相邻待融合视频图像在x，y方向的梯度差异；通过最小化Ecolor(x,y)与Egeometry(x,y)的求和结果E(x,y)找到最佳的接缝信息。
所述将最佳的接缝信息与加权融合算法结合计算图像融合参数包括：
以最佳的接缝信息为基准，确定相邻的左右图像之间宽度为L的邻近区域，利用邻近区域内的像素点距离邻近区域左右边界的距离与宽度L的比值作为权值，对邻近区域内的像素点进行加权叠加，表示为：
其中，P(x,y)为邻近区域中像素点P的像素值，P1(x,y),P2(x,y)分别表示像素点P在左右图像中的像素点的像素值，d1表示像素点P距离邻近区域的右边界xright的距离，d2表示像素点P距离邻近区域的左边界xleft的距离，xseam为接缝上像素点的x坐标。
视频图像实时拼接过程如下：
构建CPU与GPU的异构体系，参数初始化模块、参数周期校正模块与自适应融合模块的处理过程都基于CPU实现；
同时，在CPU中利用基于DirectShow的软件方案读取每一路视频图像，并将视频帧图像从YUV格式转换为RGBA格式；再将曝光补偿参数与图像融合参数加权叠加，生成总权重矩阵；然后，通过内存管理函数将投影变换参数与总权重矩阵传递给GPU进行全景视频的拼接，得到全景视频帧，并将全景视频帧从RGBA格式转换为YUV格式，再传入CPU中进行全景视频帧的存储。
由上述本发明提供的技术方案可以看出，通过参数周期校正模块，对曝光参数进行及时更新，使***能够适应场景中光线等因素的变化，提高***的鲁棒性，并可以消除场景光线变化造成的明显接缝，保证全景视频的拼接效果；同时，通过自适应融合模块在检测到接缝处有移动物体时及时更新最佳接缝，并将最佳接缝与自适应加权融合相结合，可以避免重叠区域处前景物体频繁移动造成的鬼影问题；此外，通过构建CPU与GPU的异构体系将拼接的全过程都在GPU中进行加速处理，提高全景视频拼接的速度，满足拼接实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种实时全景视频拼接***的组成示意图；
图2为本发明实施例提供的一种实时全景视频拼接***的工作流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
图1为本发明实施例提供的一种实时全景视频拼接***的示意图，如图1所示，其主要包括：多路视频同步采集模块、参数初始化模块、参数周期校正模块、自适应融合模块与实时拼接模块；通过这些模块的协同工作，最终能够实现全景视频实时拼接。
该***的工作流程如图2所示，首先，由多路视频同步采集模块同步采集多路视频图像，并对每一路视频图像进行畸变校正处理。然后，参数初始化模块判断***是否已初始化，如果未初始化则对接收到的多路视频图像进行图像配准，并对视频图像拼接的投影变换参数与接缝信息进行初始化计算；之后，由参数周期校正模块根据初始化计算的投影变换参数计算曝光补偿参数，并在循环拼接过程中周期性地更新曝光补偿参数；接着，由自适应融合模块根据初始化计算的接缝信息判断相邻视频图像帧接缝处是否有物体移动，若是，则重新计算最佳的接缝信息，并将最佳的接缝信息与加权融合算法结合计算图像融合参数；最后，由实时拼接模块，基于投影变换参数、曝光补偿参数与图像融合参数对多路视频图像进行拼接，获得全景视频流；并且，在实时拼接中利用GPU并行编程模型，保证拼接的实时性。
为了便于理解，下面针对***中的每一模块做详细的说明。
一、多路视频同步采集模块。
本发明实施例中，多路视频同步采集模块利用并行算法对每一路视频图像进行同步采集，并通过摄像机标定得到摄像机参数对采集到视频帧进行畸变矫正处理。可以利用传统的摄像机标定方法，对特定的标定物，通过连续的不同角度的采集，求取摄像机模型的内部参数：包括主点(u0,v0)，焦距f，透镜畸变系数。外部参数：包括从世界坐标系到摄像机坐标系的平移向量和旋转变换矩阵T、R。
示例性的，可以采用6路USB接口广角摄像头同步采集视频图像，相邻摄像头的夹角为72度，具有公共的中心位置，且位置固定。
二、参数初始化模块。
1、图像配准。
其具体步骤如下：
1)图像特征点提取
本发明实施例中，使用SURF算法提取图像的特征点，该SURF算法的计算速度比SIFT有显著的提高，对于处理速度也是一种提升。
2)图像特征点粗匹配。
特征点的匹配采用欧式距离来衡量其相似度，采用比值算法进行粗匹配；具体如下：将欧式距离最近的特征点与欧式距离次近的特征点的欧式距离之比作为特征点匹配的依据，如果比值小于阈值，则保留相应匹配点，否则，剔除。
3)匹配特征点对提纯和计算单应矩阵
经过步骤2)粗匹配后得到的匹配特征点对会存在一些错误的匹配点，需要进行提纯才能保证后续计算的准确性。本发明实施例中，使用RANSAC算法对特征点进行提纯并计算单应性矩阵H。
2、全局参数调整
为了拼接的准确性，需要进行全局的调整，使用光束法平差对图像配准后得到的单应性矩阵H中摄像机参数进行校正，使视频图像初始化成相同的旋转和焦距长度。
在投影变换时，选择圆柱型、球型或者立方体型等投影模型，再结合校正后的摄像机参数，计算投影变换参数；计算接缝信息时，在相邻两视频图像的重合区域中找到一条路径，使拼接后图像连贯没有重叠。
另外，还在所述参数初始化模块中建立了一如表1所示的参数结构，其包含如下参数：视频图像的宽与高，利用投影变换参数对视频图像进行映射变换后左上方的角点x轴与y轴坐标，映射变换后的x轴与y轴的映射表，图像融合参数(即图像融合的权重矩阵)，以及曝光补偿参数(即曝光补偿增益权重矩阵)；其中的图像融合参数与以及曝光补偿参数，根据相应的参数周期校正模块与自适应融合模块的计算结果实时更新。
| 变量名 | 含义解释 |
| height | 源图像高 |
| width | 源图像宽 |
| corner_x | 映射变换后的左上的角点x坐标信息 |
| corner_y | 映射变换后的左上的角点y坐标信息 |
| xmap | 映射变换后的x轴映射表 |
| ymap | 映射变换后的y轴映射表 |
| blend_weight | 图像融合的权重矩阵 |
| co_weight | 曝光补偿增益权重矩阵 |
表1 参数结构
三、参数周期校正模块
本发明实施例中，利用初始化计算的投影变换参数对相应的视频图像进行变换，再对变换后的视频图像进行分块处理；针对每一块视频图像进行光照补偿处理，并将相应的掩膜保存，得到增益；再进行线性滤波，创建曝光补偿增益权重矩阵作为曝光补偿参数，并以此更新参数初始化模块所建立参数结构中初始的曝光补偿参数。
在实时拼接阶段，根据确定的校正周期，周期性对曝光补偿参数进行更新校正，并同步更新参数结构中的曝光补偿参数；周期的大小可以根据CPU的处理速度和拼接效果来进行调整。
四、自适应融合模块。
利用初始化计算的接缝信息，将接缝处每个像素点的原始梯度值保存，在t时刻，计算每个像素的新梯度值，然后计算每个接缝区域中，梯度值的变化超出预定值δ的像素数量N，像素pi处的判断标准由公式表示如下：
其中，gi0表示像素pi的原始梯度值，git表示t时刻像素pi的新梯度值。
通过上式可以计算所有像素梯度值的变化是否超出预定值，若超出预定值则计入N中。
若梯度值的变化超出预定值的像素数量N大于设定的阈值，则判定相邻视频图像帧接缝处有物体移动，再利用最佳接缝处颜色和结构的相似性，建立如下查找准则：
Ecolor(x,y)＝I1(x,y)-I2(x,y)；
Egeometry(x,y)＝Diff(I1(x,y),I2(x,y))；
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)；
其中，I1(x,y)与I2(x,y)为相邻待融合视频图像，Ecolor(x,y)与Egeometry(x,y)为相邻待融合视频图像重叠区域的颜色和结构差异，Diff用于计算相邻待融合视频图像在x，y方向的梯度差异；通过最小化Ecolor(x,y)与Egeometry(x,y)的求和结果E(x,y)找到最佳的接缝信息。
以最佳的接缝信息为基准，确定相邻的左右图像之间宽度为L的邻近区域，利用邻近区域内的像素点距离邻近区域左右边界的距离与宽度L的比值作为权值，对邻近区域内的像素点进行加权叠加，表示为：
其中，P(x,y)为邻近区域中像素点P的像素值，P1(x,y),P2(x,y)分别表示像素点P在左右图像中的像素点的像素值，d1表示像素点P距离邻近区域的右边界xright的距离，d2表示像素点P距离邻近区域的左边界xleft的距离，xseam为接缝上像素点的x坐标。
上述处理过程中，通过计算接缝邻近区域内每个像素点的加权关系，得到最后的图像融合的权重矩阵blend_weight；图像融合的权重矩阵代表了邻近区域内所有像素点与左右图像中对应像素点的关系。
本发明实施例中，通过实时的接缝物体移动检测，在前景物体移动时动态调整最佳接缝，同时重新进行融合计算，使***能够根据环境的变换自动调整参数，达到自适应融合的效果。
五、实时拼接模块。
本发明实施例中，根据实时传入的相关拼接参数，采用GPU并行计算框架，完成拼接处理过程，实现对视频图像的实时拼接处理。具体来说：利用参数结构中的参数，通过映射表xmap和ymap，进行图像的投影变换，通过曝光增益权重矩阵与图像融合权重矩阵结合建立起总融合权重矩阵，直接对图像进行加权处理，得到最终的全景视频流。
在具体实现时，为了满足拼接实时性要求，构建CPU与GPU的异构体系，参数初始化模块、参数周期校正模块与自适应融合模块的处理过程都基于CPU实现；同时，在CPU中利用基于DirectShow的软件方案读取每一路视频图像，并将视频帧图像从YUV格式转换为RGBA格式；再将曝光补偿参数与图像融合参数加权叠加，生成总权重矩阵；然后，通过内存管理函数将投影变换参数与总权重矩阵传递给GPU进行全景视频的拼接，得到全景视频帧，并将全景视频帧从RGBA格式转换为YUV格式，再传入CPU中进行全景视频帧的存储。
示例性的，可以在GPU中利用CUDA的线程模型，建立32*16的子线程，将拼接的过程进行并行加速处理。
本发明实施例的上述方案中，通过参数周期校正模块，对曝光参数进行及时更新，使***能够适应场景中光线等因素的变化，提高***的鲁棒性，并可以消除场景光线变化造成的明显接缝，保证全景视频的拼接效果；同时，通过自适应融合模块在检测到接缝处有移动物体时及时更新最佳接缝，并将最佳接缝与自适应加权融合相结合，可以避免重叠区域处前景物体频繁移动造成的鬼影问题；此外，通过构建CPU与GPU的异构体系将拼接的全过程都在GPU中进行加速处理，提高全景视频拼接的速度，满足拼接实时性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将***的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (8)
1.一种实时全景视频拼接***，其特征在于，包括：
多路视频同步采集模块，用于同步采集多路视频图像，并对每一路视频图像进行畸变校正处理；
参数初始化模块，用于对接收到的多路视频图像进行图像配准，并对视频图像拼接的投影变换参数与接缝信息进行初始化计算；
参数周期校正模块，用于根据初始化计算的投影变换参数计算曝光补偿参数，并在循环拼接过程中周期性地更新曝光补偿参数；
自适应融合模块，根据初始化计算的接缝信息判断相邻视频图像帧接缝处是否有物体移动，若是，则重新计算最佳的接缝信息，然后将最佳的接缝信息与加权融合算法结合计算图像融合参数；
实时拼接模块，基于投影变换参数、曝光补偿参数与图像融合参数对多路视频图像进行拼接，获得全景视频流。
2.根据权利要求1所述的一种实时全景视频拼接***，其特征在于，所述对接收到的多路视频图像进行图像配准，并对视频图像拼接的投影变换参数与接缝信息进行初始化计算包括：
图像配准步骤如下：首先，使用SURF算法提取图像的特征点；然后，进行粗匹配：特征点的匹配采用欧式距离来衡量其相似度，将欧式距离最近的特征点与欧式距离次近的特征点的欧式距离之比作为特征点匹配的依据，如果比值小于阈值，则保留相应匹配点，否则，剔除；最后，使用RANSAC算法对匹配点进行提纯并计算单应性矩阵；
使用光束法平差对图像配准后得到的单应性矩阵H中摄像机参数进行校正，使视频图像初始化成相同的旋转和焦距长度；在投影变换时，选择圆柱型、球型或者立方体型投影模型，再结合校正后的摄像机参数计算投影变换参数；计算接缝信息时，在相邻两视频图像的重合区域中找到一条路径，使拼接后图像连贯没有重叠。
3.根据权利要求1所述的一种实时全景视频拼接***，其特征在于，所述参数初始化模块中建立了一参数结构，其包含如下参数：视频图像的宽与高，利用投影变换参数对视频图像进行映射变换后左上方的角点x轴与y轴坐标，映射变换后的x轴与y轴的映射表，图像融合参数，以及曝光补偿参数；其中的图像融合参数与以及曝光补偿参数，根据相应的参数周期校正模块与自适应融合模块的计算结果实时更新。
4.根据权利要求1所述的一种实时全景视频拼接***，其特征在于，所述根据初始化计算的投影变换参数计算曝光补偿参数，并在循环拼接过程中周期性地更新曝光补偿参数包括：
利用初始化计算的投影变换参数对相应的视频图像进行变换，再对变换后的视频图像进行分块处理；针对每一块视频图像进行光照补偿处理，并将相应的掩膜保存，得到增益；再进行线性滤波，创建曝光补偿增益权重矩阵作为曝光补偿参数，并以此更新参数初始化模块所建立参数结构中初始的曝光补偿参数；
在实时拼接阶段，根据确定的校正周期，周期性对曝光补偿参数进行更新校正，并同步更新参数结构中的曝光补偿参数。
5.根据权利要求1所述的一种实时全景视频拼接***，其特征在于，所述根据初始化计算的接缝信息判断相邻视频图像帧接缝处是否有物体移动包括：
利用初始化计算的接缝信息，将接缝处每个像素点的原始梯度值保存，在t时刻，计算每个像素的新梯度值，然后计算每个接缝区域中，梯度值的变化超出预定值δ的像素数量N，其公式如下：
<mrow>
<mi>N</mi>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mfrac>
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>i</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>i</mi>
<mn>0</mn>
</mrow>
</msub>
</mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>i</mi>
<mn>0</mn>
</mrow>
</msub>
</mfrac>
<mo>></mo>
<mi>&delta;</mi>
<mo>}</mo>
<mo>;</mo>
</mrow>
其中，gi0表示像素pi的原始梯度值，git表示t时刻像素pi的新梯度值。
6.根据权利要求5所述的一种实时全景视频拼接***，其特征在于，
若梯度值的变化超出预定值的像素数量N大于设定的阈值，则判定相邻视频图像帧接缝处有物体移动，再利用最佳接缝处颜色和结构的相似性，建立如下查找准则：
Ecolor(x,y)＝I1(x,y)-I2(x,y)；
Egeometry(x,y)＝Diff(I1(x,y),I2(x,y))；
E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)；
其中，I1(x,y)与I2(x,y)为相邻待融合视频图像，Ecolor(x,y)与Egeometry(x,y)为相邻待融合视频图像重叠区域的颜色和结构差异，Diff用于计算相邻待融合视频图像在x，y方向的梯度差异；通过最小化Ecolor(x,y)与Egeometry(x,y)的求和结果E(x,y)找到最佳的接缝信息。
7.根据权利要求6所述的一种实时全景视频拼接***，其特征在于，所述将最佳的接缝信息与加权融合算法结合计算图像融合参数包括：
以最佳的接缝信息为基准，确定相邻的左右图像之间宽度为L的邻近区域，利用邻近区域内的像素点距离邻近区域左右边界的距离与宽度L的比值作为权值，对邻近区域内的像素点进行加权叠加，表示为：
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>P</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>l</mi>
<mi>e</mi>
<mi>f</mi>
<mi>t</mi>
</mrow>
</msub>
<mo><</mo>
<mi>x</mi>
<mo><</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>-</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mi>L</mi>
</mfrac>
<msub>
<mi>P</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
<mi>L</mi>
</mfrac>
<msub>
<mi>P</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>&le;</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>P</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>s</mi>
<mi>e</mi>
<mi>a</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mi>L</mi>
<mn>2</mn>
</mfrac>
<mo><</mo>
<mi>x</mi>
<mo><</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>r</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，P(x,y)为邻近区域中像素点P的像素值，P1(x,y),P2(x,y)分别表示像素点P在左右图像中的像素点的像素值，d1表示像素点P距离邻近区域的右边界xright的距离，d2表示像素点P距离邻近区域的左边界xleft的距离，xseam为接缝上像素点的x坐标。
8.根据权利要求1所述的一种实时全景视频拼接***，其特征在于，视频图像实时拼接过程如下：
构建CPU与GPU的异构体系，参数初始化模块、参数周期校正模块与自适应融合模块的处理过程都基于CPU实现；
同时，在CPU中利用基于DirectShow的软件方案读取每一路视频图像，并将视频帧图像从YUV格式转换为RGBA格式；再将曝光补偿参数与图像融合参数加权叠加，生成总权重矩阵；然后，通过内存管理函数将投影变换参数与总权重矩阵传递给GPU进行全景视频的拼接，得到全景视频帧，并将全景视频帧从RGBA格式转换为YUV格式，再传入CPU中进行全景视频帧的存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710488347.9A CN107274346A (zh) | 2017-06-23 | 2017-06-23 | 实时全景视频拼接*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710488347.9A CN107274346A (zh) | 2017-06-23 | 2017-06-23 | 实时全景视频拼接*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107274346A true CN107274346A (zh) | 2017-10-20 |
Family
ID=60068680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710488347.9A Pending CN107274346A (zh) | 2017-06-23 | 2017-06-23 | 实时全景视频拼接*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107274346A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945112A (zh) * | 2017-11-17 | 2018-04-20 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| CN107958440A (zh) * | 2017-12-08 | 2018-04-24 | 合肥工业大学 | 在gpu上实现双鱼眼图像实时全景图像拼接方法及*** |
| CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、***、设备、存储介质 |
| CN108093221A (zh) * | 2017-12-27 | 2018-05-29 | 南京大学 | 一种基于缝合线的实时视频拼接方法 |
| CN108921776A (zh) * | 2018-05-31 | 2018-11-30 | 深圳市易飞方达科技有限公司 | 一种基于无人机的图像拼接方法及装置 |
| CN109688329A (zh) * | 2018-12-24 | 2019-04-26 | 天津天地伟业信息***集成有限公司 | 一种针对高精度全景视频的防抖方法 |
| CN109889792A (zh) * | 2019-04-12 | 2019-06-14 | 北京航空航天大学 | 一种基于v2x的车载视频直传方法 |
| CN110246081A (zh) * | 2018-11-07 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置及可读存储介质 |
| CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
| CN110708464A (zh) * | 2019-10-18 | 2020-01-17 | 合肥学院 | 一种数字图像采集*** |
| CN110796597A (zh) * | 2019-10-10 | 2020-02-14 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN111008932A (zh) * | 2019-12-06 | 2020-04-14 | 烟台大学 | 一种基于图像筛选的全景图像拼接方法 |
| TWI695295B (zh) * | 2018-01-24 | 2020-06-01 | 香港商阿里巴巴集團服務有限公司 | 基於擴增實境的圖像處理方法、裝置及電子設備 |
| CN111726566A (zh) * | 2019-03-21 | 2020-09-29 | 上海飞猿信息科技有限公司 | 一种实时校正拼接防抖的实现方法 |
| CN111968243A (zh) * | 2020-06-28 | 2020-11-20 | 成都威爱新经济技术研究院有限公司 | 一种ar图像生成方法、***、设备以及存储介质 |
| CN112465702A (zh) * | 2020-12-01 | 2021-03-09 | 中国电子科技集团公司第二十八研究所 | 一种多路超高清视频同步自适应拼接显示处理方法 |
| CN112565590A (zh) * | 2020-11-16 | 2021-03-26 | 李诚专 | 一种物体360度环视影像生成方法 |
| CN114339157A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 一种观察区域可调式多相机实时拼接***及方法 |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
| CN116612168A (zh) * | 2023-04-20 | 2023-08-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备、图像处理***及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344980A (zh) * | 2008-08-21 | 2009-01-14 | 中国工商银行股份有限公司 | 一种atm设备安全检测***及方法 |
| CN102938827A (zh) * | 2012-11-29 | 2013-02-20 | 深圳英飞拓科技股份有限公司 | 一种分层监控指挥***及跨摄像头虚拟跟踪方法 |
| US20140099022A1 (en) * | 2012-10-04 | 2014-04-10 | 3Dmedia Corporation | Image color matching and equalization devices and related methods |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
| CN104392416A (zh) * | 2014-11-21 | 2015-03-04 | 中国电子科技集团公司第二十八研究所 | 一种运动场景的视频拼接方法 |
| CN103763479B (zh) * | 2013-12-31 | 2017-03-29 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
-
2017
- 2017-06-23 CN CN201710488347.9A patent/CN107274346A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344980A (zh) * | 2008-08-21 | 2009-01-14 | 中国工商银行股份有限公司 | 一种atm设备安全检测***及方法 |
| US20140099022A1 (en) * | 2012-10-04 | 2014-04-10 | 3Dmedia Corporation | Image color matching and equalization devices and related methods |
| CN102938827A (zh) * | 2012-11-29 | 2013-02-20 | 深圳英飞拓科技股份有限公司 | 一种分层监控指挥***及跨摄像头虚拟跟踪方法 |
| CN103763479B (zh) * | 2013-12-31 | 2017-03-29 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
| CN104392416A (zh) * | 2014-11-21 | 2015-03-04 | 中国电子科技集团公司第二十八研究所 | 一种运动场景的视频拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| 应礼剑: "《基于多摄像机的360度全景图像拼接技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 朱云芳: "《基于图像拼接的视频编辑》", 《中国博士学位论文全文数据库 信息科技辑 》 * |
| 陶荷梦: "《基于多摄像头的实时视频拼接技术的研究与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11455709B2 (en) | 2017-11-17 | 2022-09-27 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for image processing |
| CN107945112A (zh) * | 2017-11-17 | 2018-04-20 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、***、设备、存储介质 |
| CN107958440A (zh) * | 2017-12-08 | 2018-04-24 | 合肥工业大学 | 在gpu上实现双鱼眼图像实时全景图像拼接方法及*** |
| CN108093221A (zh) * | 2017-12-27 | 2018-05-29 | 南京大学 | 一种基于缝合线的实时视频拼接方法 |
| TWI695295B (zh) * | 2018-01-24 | 2020-06-01 | 香港商阿里巴巴集團服務有限公司 | 基於擴增實境的圖像處理方法、裝置及電子設備 |
| CN108921776A (zh) * | 2018-05-31 | 2018-11-30 | 深圳市易飞方达科技有限公司 | 一种基于无人机的图像拼接方法及装置 |
| CN110246081A (zh) * | 2018-11-07 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置及可读存储介质 |
| CN109688329A (zh) * | 2018-12-24 | 2019-04-26 | 天津天地伟业信息***集成有限公司 | 一种针对高精度全景视频的防抖方法 |
| CN109688329B (zh) * | 2018-12-24 | 2020-12-11 | 天津天地伟业信息***集成有限公司 | 一种针对高精度全景视频的防抖方法 |
| CN111726566A (zh) * | 2019-03-21 | 2020-09-29 | 上海飞猿信息科技有限公司 | 一种实时校正拼接防抖的实现方法 |
| CN109889792A (zh) * | 2019-04-12 | 2019-06-14 | 北京航空航天大学 | 一种基于v2x的车载视频直传方法 |
| CN109889792B (zh) * | 2019-04-12 | 2020-07-03 | 北京航空航天大学 | 一种基于v2x的车载视频直传方法 |
| CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
| CN110796597A (zh) * | 2019-10-10 | 2020-02-14 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN110796597B (zh) * | 2019-10-10 | 2024-02-02 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
| CN110708464A (zh) * | 2019-10-18 | 2020-01-17 | 合肥学院 | 一种数字图像采集*** |
| CN110708464B (zh) * | 2019-10-18 | 2021-02-26 | 合肥学院 | 一种数字图像采集*** |
| CN111008932A (zh) * | 2019-12-06 | 2020-04-14 | 烟台大学 | 一种基于图像筛选的全景图像拼接方法 |
| CN111968243A (zh) * | 2020-06-28 | 2020-11-20 | 成都威爱新经济技术研究院有限公司 | 一种ar图像生成方法、***、设备以及存储介质 |
| CN111968243B (zh) * | 2020-06-28 | 2023-04-11 | 成都威爱新经济技术研究院有限公司 | 一种ar图像生成方法、***、设备以及存储介质 |
| CN112565590A (zh) * | 2020-11-16 | 2021-03-26 | 李诚专 | 一种物体360度环视影像生成方法 |
| CN112465702B (zh) * | 2020-12-01 | 2022-09-13 | 中国电子科技集团公司第二十八研究所 | 一种多路超高清视频同步自适应拼接显示处理方法 |
| CN112465702A (zh) * | 2020-12-01 | 2021-03-09 | 中国电子科技集团公司第二十八研究所 | 一种多路超高清视频同步自适应拼接显示处理方法 |
| CN114339157A (zh) * | 2021-12-30 | 2022-04-12 | 福州大学 | 一种观察区域可调式多相机实时拼接***及方法 |
| CN114339157B (zh) * | 2021-12-30 | 2023-03-24 | 福州大学 | 一种观察区域可调式多相机实时拼接***及方法 |
| CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
| CN116612168A (zh) * | 2023-04-20 | 2023-08-18 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备、图像处理***及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107274346A (zh) | 实时全景视频拼接*** | |
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN104299215B (zh) | 一种特征点标定和匹配的图像拼接方法 | |
| CN101859433B (zh) | 图像拼接设备和方法 | |
| CN103150715B (zh) | 图像拼接处理方法及装置 | |
| TWI383666B (zh) | 多重鏡頭相機系統之先進式動態接圖方法 | |
| CN100437639C (zh) | 图像处理装置和图像处理方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及*** | |
| CN106791623A (zh) | 一种全景视频拼接方法及装置 | |
| CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
| CN111047510A (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| CN204090039U (zh) | 一体化大场景全景视频监控装置 | |
| CN107945112A (zh) | 一种全景图像拼接方法及装置 | |
| CN106157246B (zh) | 一种全自动的快速柱面全景图像拼接方法 | |
| CN104506828B (zh) | 一种无有效重叠变结构的定点定向视频实时拼接方法 | |
| CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
| CN107948544A (zh) | 一种基于fpga的多路视频拼接***及方法 | |
| CN106447602A (zh) | 一种图像拼接方法及装置 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN105242568B (zh) | 基于数字图像处理的烟叶精确剔除控制方法 | |
| CN111462503A (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| CN112085659A (zh) | 一种基于球幕相机的全景拼接融合方法、***及存储介质 | |
| CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171020 |
|
| RJ01 | Rejection of invention patent application after publication |