CN105979241B - 一种柱面立体全景视频快速反变换方法 - Google Patents
一种柱面立体全景视频快速反变换方法 Download PDFInfo
- Publication number
- CN105979241B CN105979241B CN201610488449.6A CN201610488449A CN105979241B CN 105979241 B CN105979241 B CN 105979241B CN 201610488449 A CN201610488449 A CN 201610488449A CN 105979241 B CN105979241 B CN 105979241B
- Authority
- CN
- China
- Prior art keywords
- cylinder
- pixel
- image
- cylindrical picture
- real scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种柱面立体全景视频快速反变换方法，首先由柱面图像与平面实景图像的几何关系得到简化的柱面投影公式，通过该公式计算出平面视图与柱面图之间的坐标对应关系，然后用数组矩阵存储其坐标对应关系，实现柱面图像到平面实景视图的快速变换，最后将该快速反变化方法用于双目立体柱面全景视频生成双目立体平面视频。本发明能提高计算速率，并大大减少计算量，可实现双目立体柱面全景图像的实时浏览。
Description
技术领域
本发明涉及计算机视觉领域，特指一种柱面立体全景视频快速反变换方法。
背景技术
柱面立体全景视频快速反变换方法是计算机视觉领域的重要问题之一，是虚拟现实应用中的关键性技术，在虚拟校园、虚拟旅游、网上商业产品展示、军事仿真、等多个领域均有广泛应用。
柱面正投影方法是将多张实景图像投影到一个圆柱面上，以柱面图像的形式存储。浏览时，由于柱面图不符合人的视觉***面视图。通常，从柱面图像重新构造出柱面视点空间每一个视线方向所对应视图的方法称为柱面图像反变换方法。本发明中的柱面立体全景视频是由水平面360度的连续双目立体柱面图像序列构成。柱面立体全景视频快速反变换方法即把立体全景视频每一帧对应视角的双目立体柱面图像快速还原成双目立体平面视图。
目前，柱面全景图的获取多采用图像拼接的方法得到，即通过相机不同拍摄角度，获取场景各个方向上的实景图像，并将实景图像上的点通过柱面正投影投影到柱面上，然后把投影到柱面上的图像通过图像拼接和图像融合得到柱面图像。双目立体全景图像则是由双目立体摄像机拍摄的有视差的图像对通过柱面图像拼接和图像融合得到的两幅柱面全景图。双目立体全景视频就是由连续的双目立体全景图像对构成。立体全景视频与全景视频的平面视图恢复原理是一致的。图1为柱面正投影和柱面图像反投影示意图。现有的由柱面图像生成平面实景图像的方法是利用柱面图像反投影方法实现的，反投影方法对应坐标计算公式为：
通过该公式可计算柱面图像上任意像素点Q(x′,y′)与视线方向θ处反投影图像上的对应点P(x,y)，其中，f为焦距，W为平面视图的宽度，H为平面视图的高度。可以看出，这种传统的柱面投影方法公式复杂，计算环节多，在柱面图像观看时，反投影方法的连续计算复杂度增加，对柱面立体全景视频要求实时观看的结果难以满足。同时，由实景图像生成柱面图像时，是一个大图像生成小图像的过程，实景图像上的部分像素点会丢失，而由柱面图像生成平面实景图像时，是一个由小图像生成大图像的过程，像素点并不能一一对应被赋值。用传统的柱面反投影方法来将柱面图像还原成平面视图，还原图像中会有像素点因没有对应的值而填充为黑色像素，造成图像质量下降。常用的提高视图质量的方法是利用插值方法来提高图像画质，而这种方法增加了计算机处理的难度。
发明内容
本发明针对双目立体柱面全景视频传统反变换方法计算复杂，生成平面视图速度慢的缺点，提出了一种柱面立体全景视频快速反变换方法。该方法通过对双目立体全景视频每一帧对应视角的双目立体柱面全景图进行快速双目立体平面视图的还原而实现立体视频的快速变换，旨在提高生成双目立体平面视图的速率，加强观看时的视觉一致性，提高浏览质量，实现全景立体视频的即时观看。
本发明的技术方案是：
一种柱面立体全景视频快速反变换方法，该方法输入是360度的双目立体柱面全景视频，输出是对应视角的双目立体平面视频，包括以下步骤：
(1)建立圆柱面投影模型的几何关系，根据平面实景图像与柱面图像的平面几何关系，得到柱面图像正投影计算公式其中(x,y)为平面实景图像中的像素点，(x′,y′)为平面实景图像上的像素点(x,y)投影到柱面图像上的像素点，f为圆柱面半径即焦距；
(2)用步骤(1)中的柱面图像正投影计算公式计算平面实景图像各像素点(x,y)与柱面图像上像素点(x′0,y′0)的对应关系，此时，视角为0；
(3)把步骤(2)中计算得到的平面实景图像与柱面图像的像素点对应关系存入一个数组m中，并将该数组m作为一个模板数组；
(4)设视角为θ，焦距为f，求得柱面图像上任意像素点的坐标(x′,y′)为(x′0+f·θ,y′0)；
(5)利用步骤(3)中的模板数组m找到(x,y)对应的相对坐标(x′0,y′0)，并通过步骤(4)求取到平面实景图像(x,y)在柱面图像中的实际对应点(x′0+f·θ,y′0)，并将(x′0+f·θ,y′0)的像素值赋给(x,y)；
(6)根据立体全景视频场景的焦距f，通过步骤(2)、(3)得到模板数组m，对立体全景视频每一帧对应视角θ的影像，通过步骤(4)、(5)以及求取的数组模板m求得对应平面实景视图；
(7)当立体全景视频场景焦距f变化时，重复步骤(6)。
本发明提出的一种柱面立体全景视频快速反变换方法主要有这些优点：
基于平面几何的柱面投影公式计算与像素点对应关系的模板建立大大简化了计算过程，降低了计算量，提高了双目立体平面视图的生成效率；
将柱面正投影方法用到柱面图像生成平面视图的环节，提高了双目立体平面视图的图像画质，节省了常规方法由于平面视图画质下降而使用插值方法提高图像质量的复杂计算。
附图说明
图1是柱面正投影和柱面图像反投影示意图；
(a)是柱面正投影示意图；
(b)是柱面图像反投影示意图；
图2是柱面图像与平面实景图像投影关系示意图；
(a)是俯视图示意图；
(b)是投影关系示意图；
图3是柱面投影切面示意图；
(a)是P与P′投影到水平面上的几何关系示意图；
(b)是沿观察点O到P与P′与柱面长度方向切面上的几何关系示意图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
本发明提供一种柱面立体全景视频快速反变换方法，包括以下步骤：
(1)建立圆柱面投影模型的几何关系，根据平面实景图像与柱面图像的平面几何关系，得到柱面图像正投影计算公式其中(x,y)为平面实景图像中的像素点，(x′,y′)为平面实景图像上的像素点(x,y)投影到柱面图像上的像素点，f为圆柱面半径即焦距。
(2)用步骤(1)中的柱面图像正投影计算公式计算平面实景图像各像素点(x,y)与柱面图像上像素点(x′0,y′0)的对应关系，此时，视角为0；
(3)把步骤(2)中计算得到的平面实景图像与柱面图像的像素点对应关系存入一个数组m中，并将该数组m作为一个模板数组；
(4)设视角为θ，焦距为f，求得柱面图像上任意像素点的坐标(x′,y′)为(x′0+f·θ,y′0)；
(5)利用步骤(3)中的模板数组m找到(x,y)对应的相对坐标(x′0,y′0)，并通过步骤(4)求取到平面实景图像(x,y)在柱面图像中的实际对应点(x′0+f·θ,y′0)，并将(x′0+f·θ,y′0)的像素值赋给(x,y)；
(6)根据立体全景视频场景的焦距f，通过步骤(2)以及步骤(3)得到模板数组m，对立体全景视频每一帧对应视角θ的影像，通过步骤(4)、(5)以及求取的数组模板m求得对应平面实景视图；
(7)当立体全景视频场景焦距f变化时，重复步骤(6)。
在上述技术方案中，本发明首先得到简化的柱面投影公式。由于柱面图像的生成是在以视点O为圆心环绕拍摄的一系列平面实景图像，相邻图像之间有较多的重叠，通过柱面正投影公式将这些平面实景图像投影到柱面上，相邻的两张平面实景图像相交的地方融合。所有平面实景图像都投影到圆柱面后会得到一圈圆柱形的360度无缝视图。将柱面图像沿一个角度剖开，并沿柱面长度方向将柱面图像展开，可以得到一幅矩形的可以保存的平面图。
根据柱面图像与展开的柱面图像的平面实景图像几何关系，可以建立图2、图3所示的几何模型。图2(a)为圆柱面投影模型的俯视平面表示图，其中圆为投影柱面的水平截面，圆外的每一条直线代表一幅实景图像，相机位于圆心O处。图2(b)为一幅实景图ABCD与其在圆柱面上投影A′B′C′D′的关系。由图2(a)与图2(b)易知平面实景图像上任意一点P(x,y)在柱面图像上的投影点P′(x′,y′)的几何关系，如图3所示。图3(a)是P与P′投影到水平面上的几何关系，图3(b)是沿观察点O到P与P′与柱面长度方向切面上的几何关系。其中圆柱面的半径为焦距f。
由图3(a)，可以求得图中为：根据弧长的计算公式，可以求得由图3(b)，根据三角形几何关系可知OPP1与OP′P1′相似，又OP1′＝f，可求得于是可求得平面实景图像像素点(x,y)到柱面图像像素点(x′,y′)的正投影公式为：
由正投影公式可推出柱面图像生成平面实景图像的反投影公式为：
以上柱面投影计算公式简单，与传统的柱面投影公式相比，计算参数减少了，计算复杂度降低，计算速度更快。
其次，采用逆向思维，用柱面正投影方法计算柱面图像坐标与平面视图坐标的对应关系。
由柱面图像生成平面实景图像是一个小图像生成大图像的过程，直接用传统的柱面反投影方法计算平面视图，平面视图中会有某些像素点因没有对应像素点而用黑色像素填充，视图中形成一些“黑洞”，造成图像画质下降，影响浏览者的视觉体验。传统方法中为解决这一问题通常采用插值方法来填补黑洞，该方法虽然图像画质有所提高，同时也增加了计算机的计算量。
本发明中，采用逆向思维，用柱面正投影方法计算得到相应的平面视图。具体实现过程是：
(1)先确定要得到平面视图的大小，当视角为0，依次计算平面视图每个像素坐标(x,y)在柱面图像上对应的坐标点(x′0,y′0)。
(2)当视角为θ时，计算每一个像素点(x,y)对应的实际坐标(x′0+f·θ,y′0)。
(3)把柱面像素点(x′0+f·θ,y′0)的像素值赋给平面视图像素点(x,y)。
通过上述方法得到的平面视图，其任意一个像素点都有对应的柱面像素点，解决了传统方法中由柱面像素点向平面像素点对应造成的平面视图“黑洞”问题，免去了利用插值恢复视图质量的复杂计算，提高了视图生成速度。
最后，结合模板数组共享，减少平面视图生成的计算量。
当柱面图像焦距一定时，柱面图像与平面视图之间的投影关系不会发生变化。基于这一特性，本发明提出使用模板数组保存平面视图坐标点与柱面视图坐标点之间的相对关系，并通过计算柱面图像中任意像素点的相对位置坐标得到其与平面视图的对应像素点。
模板数组保存的相对位置关系是视角为0时的对应关系。当视角为θ时，柱面图像沿x轴移动了f·θ的距离，那么柱面图像上点(x′,y′)的坐标位置为(x′0+f·θ,y′0)。通过模板数组，在焦距相同的柱面图像生成对应视角平面视图时，程序只需要计算x′0+f·θ，省去了大量计算。
对于双目立体柱面全景视频，本发明只需要分别对两幅柱面全景视频同步计算其每帧对应视角的平面实景视图，获得对应的双目立体平面视图。
Claims (1)
1.一种柱面立体全景视频快速反变换方法，其特征在于，该方法输入是360度的双目立体柱面全景视频，输出是对应视角的双目立体平面视频，该方法包括以下步骤：
(1)建立圆柱面投影模型的几何关系，根据平面实景图像与柱面图像的平面几何关系，得到柱面图像正投影计算公式其中(x,y)为平面实景图像中的像素点，(x′,y′)为平面实景图像上的像素点(x,y)投影到柱面图像上的像素点，f为圆柱面半径即焦距；
(2)用步骤(1)中的柱面图像正投影计算公式计算平面实景图像各像素点(x,y)与柱面图像上像素点(x′0,y′0)的对应关系，此时，视角为0；
(3)把步骤(2)中计算得到的平面实景图像与柱面图像的像素点对应关系存入一个数组m中，并将该数组m作为一个模板数组；
(4)设视角为θ，焦距为f，求得柱面图像上任意像素点的坐标(x′,y′)为(x′0+f·θ,y′0)；
(5)利用步骤(3)中的模板数组m找到(x,y)对应的相对坐标(x′0,y′0)，并通过步骤(4)求取到平面实景图像(x,y)在柱面图像中的实际对应点(x′0+f·θ,y′0)，并将(x′0+f·θ,y′0)的像素值赋给(x,y)；
(6)根据立体全景视频场景的焦距f，通过步骤(2)以及步骤(3)得到模板数组m，对立体全景视频每一帧对应视角θ的影像，通过步骤(4)、(5)以及求取的数组模板m求得对应平面实景视图；
(7)当立体全景视频场景焦距f变化时，重复步骤(6)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610488449.6A CN105979241B (zh) | 2016-06-29 | 2016-06-29 | 一种柱面立体全景视频快速反变换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610488449.6A CN105979241B (zh) | 2016-06-29 | 2016-06-29 | 一种柱面立体全景视频快速反变换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105979241A CN105979241A (zh) | 2016-09-28 |
| CN105979241B true CN105979241B (zh) | 2017-09-29 |
Family
ID=57019401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610488449.6A Active CN105979241B (zh) | 2016-06-29 | 2016-06-29 | 一种柱面立体全景视频快速反变换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105979241B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108012160B (zh) * | 2016-10-31 | 2019-07-23 | 央视国际网络无锡有限公司 | 一种基于全景视频的台标***方法 |
| CN106780406A (zh) * | 2017-02-28 | 2017-05-31 | 长沙全度影像科技有限公司 | 一种快速鱼眼图像去模糊方法 |
| CN109325902B (zh) * | 2017-07-31 | 2023-03-31 | 株式会社理光 | 全景图像融合的方法、装置、***及计算机可读存储介质 |
| CN113487668B (zh) * | 2021-05-25 | 2024-07-16 | 北京工业大学 | 一种半径不受限的可学习柱面反投影方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777193A (zh) * | 2010-02-03 | 2010-07-14 | 中国人民解放军国防科学技术大学 | 基于双向映***确插值的折反射全向图柱面全景展开方法 |
| KR20120072146A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법 |
| CN102999891A (zh) * | 2011-09-09 | 2013-03-27 | 中国航天科工集团第三研究院第八三五八研究所 | 一种基于装订参数的全景图像拼接方法 |
| CN103106641B (zh) * | 2013-02-25 | 2016-09-14 | 深圳市繁维科技有限公司 | 应用于全景成像***的投影变换方法以及装置 |
| CN105069761A (zh) * | 2015-08-28 | 2015-11-18 | Tcl集团股份有限公司 | 一种低计算量的柱面全景图实现方法及*** |
-
2016
- 2016-06-29 CN CN201610488449.6A patent/CN105979241B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105979241A (zh) | 2016-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102447934B (zh) | 稀疏镜头采集的组合立体图像***中立体元的合成方法 | |
| CN105979241B (zh) | 一种柱面立体全景视频快速反变换方法 | |
| CN104599317B (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| JP2014522591A (ja) | 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法 | |
| CN206563985U (zh) | 三维成像*** | |
| CN101277454A (zh) | 一种基于双目摄像机的实时立体视频生成方法 | |
| CN104809719A (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
| CN101902657A (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| CN104519340A (zh) | 基于多深度图像变换矩阵的全景视频拼接方法 | |
| JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
| CN103607584A (zh) | 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法 | |
| CN104751508B (zh) | 3d立体影视制作中新视图的全自动快速生成及补全方法 | |
| JP2006211291A (ja) | 立体視可能な表示装置および方法 | |
| CN102520970A (zh) | 一种立体用户界面的生成方法及装置 | |
| US8577202B2 (en) | Method for processing a video data set | |
| CN101600123B (zh) | 获取视差图像的平行摄像机阵列移位法 | |
| CN101729920A (zh) | 一种自由视角立体视频显示方法 | |
| CN107545537A (zh) | 一种从稠密点云生成3d全景图片的方法 | |
| CN102316354A (zh) | 显像技术中可平行处理的多视角图像合成方法 | |
| Deng et al. | The realization of computer generated integral imaging based on two step pickup method | |
| JP2006163547A (ja) | 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。 | |
| JP2013238716A (ja) | 多視点画像情報の合成方法 | |
| CN104463958B (zh) | 基于视差图融合的三维超分辨率方法 | |
| CN106210694B (zh) | 三维图像的成像方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180523 Address after: 410000 A658, room 39, Changsha central software park headquarters, No. 39, Jian Shan Road, hi tech Development Zone, Hunan. Patentee after: HUNAN YOUXIANG TECHNOLOGY CO., LTD. Address before: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Patentee before: Shenzhen Youxiang Computing Technology Co., Ltd. |
|
| TR01 | Transfer of patent right |