CN105450945A - 一种视频全景生成方法及并行计算*** - Google Patents
一种视频全景生成方法及并行计算*** Download PDFInfo
- Publication number
- CN105450945A CN105450945A CN201510780661.5A CN201510780661A CN105450945A CN 105450945 A CN105450945 A CN 105450945A CN 201510780661 A CN201510780661 A CN 201510780661A CN 105450945 A CN105450945 A CN 105450945A
- Authority
- CN
- China
- Prior art keywords
- video
- video data
- panorama
- data
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 32
- 238000005215 recombination Methods 0.000 claims description 19
- 230000006798 recombination Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 claims description 5
- 102000057593 human F8 Human genes 0.000 claims description 5
- 229940047431 recombinate Drugs 0.000 claims description 5
- 230000007423 decrease Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Abstract
本发明适用于安防监控领域,提供了一种视频全景生成方法,步骤包括:步骤A,进行独立的视频数据采集;步骤B,对每一路独立的视频数据进行投影变换,获取相对应的变换视频数据;步骤C,对所述变换视频数据进行图像融合,获取融合视频数据;步骤D,对所述融合视频数据进行数据重组,获取重组视频数据;步骤E,对所述重组视频数据进行全景显示。本发明将传统的视频全景生成过程,用分布式并行计算的方式去实现,如视频采集、投影变换、视频融合、显示等,能适用于当生成全景的视频源增加或减少的情况,解决多路视频源不能实时生成全景的问题。
Description
技术领域
本发明属于视频图像处理领域,尤其涉及一种视频全景生成方法及并行计算***。
背景技术
传统的全景生成方法,一般采用1台处理机对多路视频数据进行采集,然后对每路视频做投影变换、视频图像融合,最后生成一个大视野范围的全景视频并显示。在整个过程中,由于采集、处理、显示这几个步骤都非常耗计算机资源,当生成全景所需的视频路数增多时,特别是视频源为高分辨率时,难以实现多路视频的全景生成的实时性,
发明内容
本发明所要解决的技术问题在于提供一种视频全景生成方法及并行计算***,旨在解决现有技术在生成全景时所述视频路数增多时,难以实现多路视频的全景生成的实时性的问题。
本发明是这样实现的,一种视频全景生成方法,步骤包括:
步骤A,进行独立的视频数据采集;
步骤B,对每一路独立的视频数据进行投影变换,获取相对应的变换视频数据;
步骤C,对所述变换视频数据进行图像融合,获取融合视频数据;
步骤D,对所述融合视频数据进行数据重组,获取重组视频数据;
步骤E,对所述重组视频数据进行全景显示。
进一步地,步骤A具体包括:调用全景视野范围内的所有网络摄像机,每一台网络摄像机进行独立的视频数据采集。
进一步地,步骤B具体包括:将全景视野范围内的网络摄像机进行标定,通过匹配好的4对匹配点计算投影变换矩阵,每一路标定好的网络摄像机获取相应的投影变换矩阵;
根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换,获取相对应的变换视频数据。
进一步地,步骤C具体包括:对所述变换视频数据进行加权融合处理,获取融合视频数据。
进一步地,步骤D具体包括:按照需显示的电视墙的分块显示屏的数量对每路融合图像数据进行分块再重组,获取重组视频数据;每一分块显示屏对应一路所述重组视频数据。
本发明还提供了一种视频全景并行计算***,包括:
若干视频采集单元,用于进行独立的视频数据采集;
若干投影融合单元,用于对所述视频数据进行投影变换和图像融合,获取融合视频数据;
若干数据重组单元,用于对所述融合视频数据进行数据重组,获取重组视频数据;
显示单元,包括若干显示屏,所述显示屏组成显示墙,用于接收所述重组视频数据并进行显示。
进一步地,所述视频采集单元与所述投影融合单元一一对应;
每一视频采集单元进行独立的视频数据采集后发送给对应的投影融合单元,投影融合单元接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理,获取融合视频数据。
进一步地,所述数据重组单元与所述显示屏一一对应;
每一数据重组单元,接收对应显示屏视野范围内的融合视频数据进行叠加组合,并传递至对应的显示屏直接显示。
本发明与现有技术相比,有益效果在于:本发明将传统的视频全景生成过程,用分布式并行计算的方式去实现,如视频采集、投影变换、视频融合、显示等,能适用于当生成全景的视频源增加或减少的情况,解决多路视频源不能实时生成全景的问题。
附图说明
图1是本发明实施例提供的一种视频全景生成方法的流程图。
图2、图3是本发明实施例提供的单路视频的投影变换示意图
图4是本发明实施例提供的一路独立视频数据的分块示意图。
图5是本发明实施例提供的一种视频全景示意图。
图6是本发明实施例提供的一种视频全景并行计算***的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明实施例提供的一种视频全景生成方法,步骤包括:
S1,视频采集:调用全景视野范围内的所有网络摄像机,进行独立的视频数据采集。
S2,投影变换:通过匹配好的4对匹配点计算出投影变换矩阵,所述投影变换矩阵为3x3的矩阵,全景视野中的网络摄像机标定完后,每一路网络摄像机获取相应的投影变换矩阵,根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换,获取相对应的变换视频数据。如图2、图3所示,假设全景视野由1、2、3、4四部分组成,其中一路网络摄像机投影变换到全景视野内,如图2中所示的不规则四边形区域,为了减少运算量,投影变换只取不规则四边形最大外接矩形区域内的投影变换运算。最大外接矩阵区域的投影变换图像定义为ProjImg。
S3,图像融合:多路视频数据在统一坐标***下做投影变换,会存在两路或多路视频投影后有部分重叠的情况,在这种情况下,需要对每一路网络摄像机投影变换后的变换视频数据做加权融合处理,加权融合处理是对投影变换后的变换视频数据中图像的每个像素点乘以一个小于等于1的权值系数,这里定义一个融合系数模板MergeMask,大小与投影变换图像ProjImg大小相等。融合系数模板的计算用渐入渐出的方法可以计算得出,这里不再详述。图像融合过程转变为两矩阵对应元素相乘的运算,运算实现可采用GPU并行处理的方式加速。
S4,数据重组:投影变换、融合后的视频图像数据,可能处于电视墙上几块显示屏的交接处,所以无法把这路视频直接显示在某一块显示屏上,并且这种投影变换后的视频数据也不适合外界访问和存储。这里采用的方法是按电视墙的分块显示屏来对每路视频数据进行分块再重组,确保每个显示屏对应一路视频。如图4,把摄像机A的视频分为了四块,分别对应到电视墙上的4个显示屏。
S5,全景显示:把分块、重组后的每路视频数据显示到电视墙上对应的显示屏上,整个电视墙的视频内容就组成了一个分辨率不损失的实时全景视频。
本发明还提供了如图5所示的一种视频全景并行计算***,包括:
若干视频采集单元1,用于进行独立的视频数据采集。具体的,每一视频采集单元1包括一网络摄像机。
若干投影融合单元2,用于对所述视频数据进行投影变换和图像融合,获取融合视频数据;
若干数据重组单元3,用于对所述融合视频数据进行数据重组,获取重组视频数据;
显示单元4,包括若干显示屏,所述显示屏组成显示墙,用于接收所述重组视频数据并进行显示。
进一步地,视频采集单元1与投影融合单元2一一对应;
每一视频采集单元1进行独立的视频数据采集后发送给对应的投影融合单元2,投影融合单元2接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理,获取融合视频数据。
进一步地,数据重组单元3与显示屏一一对应;
每一数据重组单元3,接收对应显示屏视野范围内的融合视频数据进行叠加组合,并传递至对应的显示屏直接显示。
全景并行计算***主要包括四部分,分别为:视频采集单元1、投影融合单元2、数据重组单元3、显示单元4。在本实施例中,全景视野内有5摄像机,分别以摄像机A、摄像机B、……、摄像机E来表示,显示单元4的电视墙由6块显示屏组成时,分别用显示屏41、显示屏42、……、显示屏46来表示,如图5和图6所示。此时***需要5个投影融合单元2,每个摄像机对应一个投影融合单元2,每个投影融合单元2对接收到的视频数据进行区域投影变换、融合加权、数据分块等处理;全景显示的电视墙由6块显示屏组成,所以需要6个视频数据重组单元3,每个数据重组单元3从投影融合单元2接收对应显示屏视野范围内的视频数据,进行叠加组合并传递给对应的显示屏直接显示。如图6所示,显示屏43上有数据有C、D、E三个摄像机的部分数据,所以对应的数据重组单元33只需要接收这三个摄像机上对应的块数据并对其叠加。在摄像机数目增加时,只需要增加对应的投影融合单元,当显示电视墙的显示屏数目增加时,只需要增加相应的数据重组单元3。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种视频全景生成方法,其特征在于,所述视频全景生成方法步骤包括:
步骤A,进行独立的视频数据采集;
步骤B,对每一路独立的视频数据进行投影变换,获取相对应的变换视频数据;
步骤C,对所述变换视频数据进行图像融合,获取融合视频数据;
步骤D,对所述融合视频数据进行数据重组,获取重组视频数据;
步骤E,对所述重组视频数据进行全景显示。
2.如权利要求1所述的视频全景生成方法,其特征在于,步骤A具体包括:调用全景视野范围内的所有网络摄像机,每一台网络摄像机进行独立的视频数据采集。
3.如权利要求2所述的视频全景生成方法,其特征在于,步骤B具体包括:将全景视野范围内的网络摄像机进行标定,通过匹配好的4对匹配点计算投影变换矩阵,每一路标定好的网络摄像机获取相应的投影变换矩阵;
根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换,获取相对应的变换视频数据。
4.如权利要求1所述的视频全景生成方法,其特征在于,步骤C具体包括:对所述变换视频数据进行加权融合处理,获取融合视频数据。
5.如权利要求1所述的视频全景生成方法,其特征在于,步骤D具体包括:按照需显示的电视墙的分块显示屏的数量对每路融合图像数据进行分块再重组,获取重组视频数据;每一分块显示屏对应一路所述重组视频数据。
6.一种视频全景并行计算***,其特征在于,所述视频全景并行计算***包括:
若干视频采集单元,用于进行独立的视频数据采集;
若干投影融合单元,用于对所述视频数据进行投影变换和图像融合,获取融合视频数据;
若干数据重组单元,用于对所述融合视频数据进行数据重组,获取重组视频数据;
显示单元,包括若干显示屏,所述显示屏组成显示墙,用于接收所述重组视频数据并进行显示。
7.如权利要求6所述的视频全景并行计算***,其特征在于,所述视频采集单元与所述投影融合单元一一对应;
每一视频采集单元进行独立的视频数据采集后发送给对应的投影融合单元,投影融合单元接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理,获取融合视频数据。
8.如权利要求6所述的视频全景并行计算***,其特征在于,所述数据重组单元与所述显示屏一一对应;
每一数据重组单元,接收对应显示屏视野范围内的融合视频数据进行叠加组合,并传递至对应的显示屏直接显示。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510780661.5A CN105450945A (zh) | 2015-11-13 | 2015-11-13 | 一种视频全景生成方法及并行计算*** |
PCT/CN2016/085685 WO2017080206A1 (zh) | 2015-11-13 | 2016-06-14 | 一种视频全景生成方法及并行计算*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510780661.5A CN105450945A (zh) | 2015-11-13 | 2015-11-13 | 一种视频全景生成方法及并行计算*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105450945A true CN105450945A (zh) | 2016-03-30 |
Family
ID=55560676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510780661.5A Pending CN105450945A (zh) | 2015-11-13 | 2015-11-13 | 一种视频全景生成方法及并行计算*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105450945A (zh) |
WO (1) | WO2017080206A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017080206A1 (zh) * | 2015-11-13 | 2017-05-18 | 深圳大学 | 一种视频全景生成方法及并行计算*** |
WO2017101278A1 (zh) * | 2015-12-14 | 2017-06-22 | 深圳大学 | 分布式视频全景显示*** |
CN108989826A (zh) * | 2017-06-05 | 2018-12-11 | 上海交通大学 | 视频资源的处理方法及装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107566757A (zh) * | 2017-08-25 | 2018-01-09 | 包谦 | 一种全景视频的制作方法 |
CN112235649A (zh) * | 2020-10-16 | 2021-01-15 | 广州星洛科技有限公司 | 一种分布式全景融合*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215930A1 (en) * | 2005-03-25 | 2006-09-28 | Fujitsu Limited | Panorama image generation program, panorama image generation apparatus, and panorama image generation method |
CN101931772A (zh) * | 2010-08-19 | 2010-12-29 | 深圳大学 | 一种全景视频融合方法、***及视频处理设备 |
CN103095990A (zh) * | 2012-12-18 | 2013-05-08 | 武汉烽火众智数字技术有限责任公司 | 具有分布式图像采集单元的超高清摄像机 |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
CN103905741A (zh) * | 2014-03-19 | 2014-07-02 | 合肥安达电子有限责任公司 | 超高清全景视频实时生成与多通道同步播放*** |
CN103985254A (zh) * | 2014-05-29 | 2014-08-13 | 四川川大智胜软件股份有限公司 | 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 |
CN104618648A (zh) * | 2015-01-29 | 2015-05-13 | 桂林长海发展有限责任公司 | 一种全景视频拼接***及拼接方法 |
CN104639911A (zh) * | 2015-02-09 | 2015-05-20 | 浙江宇视科技有限公司 | 一种全景视频拼接方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100194851A1 (en) * | 2009-02-03 | 2010-08-05 | Aricent Inc. | Panorama image stitching |
CN101626513A (zh) * | 2009-07-23 | 2010-01-13 | 深圳大学 | 全景视频生成方法及*** |
CN105450945A (zh) * | 2015-11-13 | 2016-03-30 | 深圳大学 | 一种视频全景生成方法及并行计算*** |
-
2015
- 2015-11-13 CN CN201510780661.5A patent/CN105450945A/zh active Pending
-
2016
- 2016-06-14 WO PCT/CN2016/085685 patent/WO2017080206A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215930A1 (en) * | 2005-03-25 | 2006-09-28 | Fujitsu Limited | Panorama image generation program, panorama image generation apparatus, and panorama image generation method |
CN101931772A (zh) * | 2010-08-19 | 2010-12-29 | 深圳大学 | 一种全景视频融合方法、***及视频处理设备 |
CN103095990A (zh) * | 2012-12-18 | 2013-05-08 | 武汉烽火众智数字技术有限责任公司 | 具有分布式图像采集单元的超高清摄像机 |
CN103905741A (zh) * | 2014-03-19 | 2014-07-02 | 合肥安达电子有限责任公司 | 超高清全景视频实时生成与多通道同步播放*** |
CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理*** |
CN103985254A (zh) * | 2014-05-29 | 2014-08-13 | 四川川大智胜软件股份有限公司 | 一种用于大场景交通监视的多视点视频融合及交通参数采集方法 |
CN104618648A (zh) * | 2015-01-29 | 2015-05-13 | 桂林长海发展有限责任公司 | 一种全景视频拼接***及拼接方法 |
CN104639911A (zh) * | 2015-02-09 | 2015-05-20 | 浙江宇视科技有限公司 | 一种全景视频拼接方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017080206A1 (zh) * | 2015-11-13 | 2017-05-18 | 深圳大学 | 一种视频全景生成方法及并行计算*** |
WO2017101278A1 (zh) * | 2015-12-14 | 2017-06-22 | 深圳大学 | 分布式视频全景显示*** |
US10334166B2 (en) | 2015-12-14 | 2019-06-25 | Shenzhen University | Distributed video panoramic display system |
CN108989826A (zh) * | 2017-06-05 | 2018-12-11 | 上海交通大学 | 视频资源的处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017080206A1 (zh) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10595004B2 (en) | Electronic device for generating 360-degree three-dimensional image and method therefor | |
CN105450945A (zh) | 一种视频全景生成方法及并行计算*** | |
CN103607568B (zh) | 立体街景视频投影方法及*** | |
CN111698463A (zh) | 使用神经网络进行视图合成 | |
CN104641633A (zh) | 用于组合来自多个深度相机的数据的***和方法 | |
US20180198970A1 (en) | High dynamic range imaging using camera arrays | |
CN103248855B (zh) | 基于固定机位的课程录制***、视频处理装置和录课方法 | |
CN107451952A (zh) | 一种全景视频的拼接融合方法、设备以及*** | |
JP7010952B2 (ja) | 投影画像構築方法及び装置 | |
CN111935425B (zh) | 视频降噪方法、装置、电子设备及计算机可读介质 | |
CN106339194B (zh) | 一种用于多设备之间的显示效果的动态调整方法及*** | |
DE102019215387A1 (de) | Zirkularfischaugenkameraarrayberichtigung | |
US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
WO2021101732A1 (en) | Joint rolling shutter correction and image deblurring | |
CN103997616B (zh) | 一种处理视频会议画面的方法、装置及会议终端 | |
CN112565603B (zh) | 图像处理方法、装置及电子设备 | |
CN109889765A (zh) | 视频处理方法、视频处理装置和会议*** | |
Gutenko et al. | Remote volume rendering pipeline for mHealth applications | |
CN112308809B (zh) | 一种图像合成方法、装置、计算机设备及存储介质 | |
CN103577133B (zh) | 超高清信息显示***及其显示方法 | |
CN103945103A (zh) | 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法 | |
CN102905138A (zh) | 一种视频高分辨率重建的方法 | |
CN202904553U (zh) | 超高清信息显示*** | |
Wang et al. | A component-driven distributed framework for real-time video dehazing | |
Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160330 |
|
RJ01 | Rejection of invention patent application after publication |