CN105184738A - 一种三维虚拟展示装置与方法 - Google Patents
一种三维虚拟展示装置与方法 Download PDFInfo
- Publication number
- CN105184738A CN105184738A CN201510565527.3A CN201510565527A CN105184738A CN 105184738 A CN105184738 A CN 105184738A CN 201510565527 A CN201510565527 A CN 201510565527A CN 105184738 A CN105184738 A CN 105184738A
- Authority
- CN
- China
- Prior art keywords
- picture
- video
- frame
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006641 stabilisation Effects 0.000 claims abstract description 10
- 238000011105 stabilization Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000001747 exhibiting effect Effects 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 206010044565 Tremor Diseases 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 230000000712 assembly Effects 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：视图扭曲，根据两个视点的图像，虚拟构建出两视点之间的直线路径上的任意视点的图片；视图插值；视频防抖，对视频帧基于SfM算法得到场景的三维结构和摄像机运动轨迹，对路径做光滑处理得到稳定后的视频帧，再对视频每一帧做色差分析得到用户关注区域，扭曲每一帧图片，得到保持用户关注内容基本形状的每一帧图片，然后对图片做边界处理得到最终视频；同心拼图，摄像机拍摄周边环境图片，然后从每一帧图片中选取“带状”图片，将所有带状图片拼接得到最终的场景全景图。本发明具有设计简便、易于操作、利于网上传输、应用广泛广等优点。
Description
技术领域
本发明涉及基于图像渲染(Image-BasedRendering，IBR)的虚拟建模和人机交互技术领域，尤其涉及一种三维虚拟展示装置与方法。
背景技术
IBR(基于图像的渲染)是场景渲染的主要手段之一。IBR技术利用图片来代替几何模型，这种技术达到了更短的建模时间，更快的渲染速度，而且更加真实。IBR利用一组场景照片来生成场景的新视图，能反映为丰富的纹理细节和色彩，有效地克服了计算机图形学存在的建模复杂度高和渲染真实感不足的缺陷。IBR的渲染速度取决于图像的分辨率，有效地克服了计算机图形学渲染速度随场景复杂度增加而下降的缺陷。IBR技术为实时绘制极为复杂的真实场景提供了可能。IBR技术在三维虚拟展示领域的应用也非常广泛，例如基于同心拼图的场景漫游、基于光场的虚拟物体展示等。
在图像渲染的过程中，用户只需要对物体或者场景拍摄一定数量的照片，然后进行图像拼接或者图像合成来构造一个场景的整体拼接图像。比如手机拍照程序中内置的全景图应用。但是这种应用的缺陷在于很难得到一个沉浸式环境。如果照片拍摄的质量过低，在拼接或者合成的过程中还会发生严重的失真。为了改进这些问题，沈向洋博士研发的同心拼图技术利用拍摄的二维图像渲染得到任意视角的场景图。但是该技术需要相对特殊的设备，而且摄像机被限制在一定的范围内运动拍摄照片。为渲染更真实的场景，需要拍摄数量巨大的照片。
因此，本领域的技术人员致力于开发一种新的图像拼接算法，以解决现有技术存在的问题。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种三维虚拟展示装置与方法，旨在利用手持相机拍摄视频以生成不同视点下的物体图像，模拟三维视觉效果。该方法无需建立物体三维模型的复杂过程，并且可以生成更为真实的与拍摄图像质量可以等同的物体三维视图效果，具有设计简便、易于操作、利于网上传输、应用广泛广等优点。
为实现上述目的，本发明提供了一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤101、视图扭曲，根据两个视点的图像，虚拟构建出两视点之间的直线路径上的任意视点的图片；
步骤102、视图插值；
步骤103、视频防抖，基于保持图像内容的图像扭曲算法的视频防抖技术，对视频帧基于SfM算法得到场景的三维结构和摄像机运动轨迹，对路径做光滑处理得到稳定后的视频帧；再对视频每一帧做色差分析得到用户关注区域，扭曲每一帧图片，得到保持用户关注内容基本形状的每一帧图片；然后对图片做边界处理得到最终视频；
步骤104、同心拼图，摄像机固定在一个水平转动杆上，绕中心运动拍摄周边环境图片；然后从每一帧图片中选取“带状”图片，将所有带状图片拼接得到最终的场景全景图。
进一步地，所述步骤101具体为：
第一步，根据两幅图片I0和I1之间的特征点对应关系，求得一个基础矩阵F，再求其转置矩阵FT，再求出关于z轴旋转-φ0的旋转矩阵旋转φ1的旋转矩阵最后分别得到两图片的变换矩阵和根据这两个矩阵和将两幅图片I0和I1扭曲到和
第二步，假设摄像机光心为C，有第一步求出的矩阵H，则根据Π＝[H|-HC]，扭曲后的图像上点的坐标和原图上的点的坐标为p＝ΠP，将Cs处的图像构建出来；
第三步，根据第二步得到的Πs得到Hs，将Hs作用到得到Is。
进一步地，所述步骤103具体为：
首先，利用voodoocamreatracker软件得到每帧图片的摄像机参数和每帧图片的特征点云，构建出摄像机三维空间中的轨迹和三维点云；
其次，将摄像机轨迹拟合成一个圆，达到初步光滑摄像机轨迹的作用；
再次，对视频的每一帧做保持内容的扭曲。
进一步地，所述对视频的每一帧做保持内容的扭曲的扭曲算法分为两步：
第一步把图片分为64*36的网格，用双线性插值算法找到每一个特征点所对应的网格的四个角点的坐标；
第二步再将图片的每个网格分为两个三角形，最小化所有输入点和输出点的之间的偏差和，并求得每个三角形的三个角点在该三角形内的局部坐标(u,v)，以及网格内每个三角形的每个角点与输出角点之间的误差函数Es,误差函数Es乘以α作为第二步在整个优化过程中的权重。
进一步地，所述步骤104具体为：
第一步，准备特定设备，一个三脚架上挂载一个水平的运动杆，可以绕中心旋转一周，在运动杆的最外点架设一个摄像机，可以拍摄视频，然后，运动杆运动的过程中摄像机拍摄视频，基本速率为每帧转动0.12度，共拍摄3000帧的一个视频；
第二步，视频的每一帧按照某种方式选取带状图片片段，再将所有片段拼接起来，得到最终的长条式图片；
第三步，利用第二步结果，构建该圆内部的所有同心圆；
第四步，在第三部得到的这些同心圆范围内，选取任意视点就能得到该视点所对应的图片。
本发明还提供一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤201、拍摄视频，用户使用手持摄像头或者手机对某一静态物体拍摄视频；
步骤202、对视频离线处理，使用专用的摄像机软件voodoocameratracker和收费软件AdobePremierePro对视频离线处理；
步骤203、根据步骤202得到的视频帧基于Content-preservingwarps算法对视频除抖；
步骤204、对步骤203得到的视频帧，将所有图片基于同心拼图的方式将每一帧选取的“带状”片段做拼接；
步骤205、在电脑端或者手机端对步骤204得到的“长条状”图片按照屏幕的长宽比展示“长条状”图片中的相应大小的图片。
进一步地，所述步骤201具体为：
第一步，绕物体拍摄一周；
第二步，保持摄像机稳定；
第三步，拍摄速度在一分钟之内拍摄一段绕物体的视频即可。
进一步地，所述步骤202具体为：
第一步，将步骤201拍摄的视频先导入AdobePremierePro软件将视频的每一帧转成tga文件；
第二步，将所有的tga文件导入voodoocameratracker软件，基于SIFT算法得到每一帧的特征点云，基于SfM算法得到每一帧对应的摄像机内参、外参。
进一步地，所述步骤203具体为：
第一步，拟合路径，将摄像机运动轨迹拟合为三维圆，得到新的摄像机运动轨迹；
第二步，在新的轨迹上的每一个新的摄像机中心所对应的图片做Content-preservingwarps算法；
第三步，对第二步得到的每一帧图片统一做边界处理得到除抖后的视频。
进一步地，所述步骤204具体为：
第一步，随机选取某一视频帧作为0度角拍摄的帧，以该帧为起始帧，逆时针方向每隔0.12度选取一帧图片。如果该角度处没有“真实”视频帧，则选取最近邻的两“真实”帧基于ViewMorphing和ViewInterpolation算法得到该角度处的“虚拟”视频帧。如果有“真实”视频帧则跳过该角度；
第二步，基于同心拼图的方式，对第一步得到的每隔0.12度的图片选取中心的“带状”片段。将所有片段按图片顺序直接拼接得到一副“长条状”图片。
进一步地，所述步骤205具体为：选取“长条状”图片中一部分符合屏幕窗口长宽比的图片，随用户交互左右翻看的过程中，窗口相对于“长条状”图片左右移动得到该视点的图片，达到基于图片的“三维”展示静态物体的目的。
本发明的有益效果是：
1、本发明旨在利用手持相机拍摄视频以生成不同视点下的物体图像，模拟三维视觉效果。该方法无需建立物体三维模型的复杂过程，并且可以生成更为真实的与拍摄图像质量可以等同的物体三维视图效果，具有简便、易于操作的优点；
2、本发明进一步将生成的图像表达成一种简洁有效的表达，利于网上传输，可以广泛应用在电子商务中的网上商品展示、虚拟现实内容生成等多个应用领域；
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的实施例1流程图；
图2是本发明的实施例2流程图；
图3是本发明的两幅图片I0和I1的特征点扭曲到和特征点的关系示意图；
图4是本发明的用双线性插值算法第一步中把图片分为64*36的网格的原始帧坐标图；
图5是本发明的用双线性插值算法第一步中把图片分为64*36的网格的目标帧坐标图；
图6是本发明的用双线性插值算法第二步中把图片的每个网格分为输入网格角点三角形示意图；
图7是本发明的用双线性插值算法第二步中把图片的每个网格分为输出网格角点三角形示意图；
图8是本发明的同心拼图步骤中将视频的每一帧按照某种方式选取带状图片片段并最终的长条式图片流程示意图；
图9是本发明的同心拼图步骤中构建图8圆内部的所有同心圆流程示意图；
图10是本发明的同心拼图步骤中在图9构建的同心圆范围内选取任意视点得到该视点所对应的图片的流程示意图；
图11是本发明的同心拼图步骤中求得光线发出点Q点所在的同心圆上的带状图片来标识P点某位置的带状图片的计算坐标图；
图12是图11的内部细节图。
具体实施方式
实施例1
如图1所示，本发明的一具体实施例，一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤101、视图扭曲，根据两个视点的图像，虚拟构建出两视点之间的直线路径上的任意视点的图片；
步骤102、视图插值；
步骤103、视频防抖，基于保持图像内容的图像扭曲算法的视频防抖技术，对视频帧基于SfM算法得到场景的三维结构和摄像机运动轨迹，对路径做光滑处理得到稳定后的视频帧；再对视频每一帧做色差分析得到用户关注区域，扭曲每一帧图片，得到保持用户关注内容基本形状的每一帧图片；然后对图片做边界处理得到最终视频；
步骤104、同心拼图，摄像机固定在一个水平转动杆上，绕中心运动拍摄周边环境图片；然后从每一帧图片中选取“带状”图片，将所有带状图片拼接得到最终的场景全景图。
如图3所示，进一步地，所述步骤101具体为：
第一步，根据两幅图片I0和I1之间的特征点对应关系，求得一个基础矩阵F，再求其转置矩阵FT。求得F的特征向量和FT的特征向量取设两个角
求出关于向量d0旋转-θ0的旋转矩阵关于向量d1旋转θ1的旋转矩阵得到一个点并令求出关于z轴旋转-φ0的旋转矩阵旋转φ1的旋转矩阵最后分别得到两图片的变换矩阵。
根据这两个矩阵和将两幅图片I0和I1扭曲到和
第二步，假设摄像机光心为C，有第一步求出的矩阵H，则根据Π＝[H|-HC]，扭曲后的图像上点的坐标和原图上的点的坐标为p＝ΠP。则有：
Π0＝[H0|-H0C0]
Π1＝[H1|-H1C1]
使用任何一种ImageMorphing的算法或者直接按照如下公式：
将Cs处的图像构建出来。
第三步，根据第二步得到的Πs得到Hs，将Hs作用到得到Is。
进一步地，所述步骤103具体为：
首先，利用voodoocamreatracker软件得到每帧图片的摄像机参数和每帧图片的特征点云，构建出摄像机三维空间中的轨迹和三维点云；
生成的摄像机参数有以下几种：
[Cx,Cy,Cz]:CameraPosition[mm]
[Ax,Ay,Az]:RotationAxis2[unitvector]
[Hx,Hy,Hz]:RotationAxis0[pel](includingFocalLength,
PixelSizeX,andPrincipalPointoffset)
[Vx,Vy,Vz]:RotationAxis1[pel](includingFocalLength,
PixelSizeY,andPrincipalPointoffset)
[K3,K5]:Radialdistortion,K3[1/(mm)^2],K5[1/(mm)^4]
[sx,sy]:PixelSize[mm/pel]
[Width,Height]:ImageSize[pel]
则假设图像上的点[x,y]和三维空间中的点[X,Y,Z]之间的关系是：
其中x＝x'/z'，y＝y'/z'。
生成的特征点云的数据格式如下
xymanualtype3dpxpypzidenthasprevpcxpcysupport
其中
x:xpositionof2Dfeaturepointinthatimage
y:ypositionof2Dfeaturepointinthatimage
manual:manualfeaturepoint(1yes,0no)
type3d:0forno3Dpoint,1forSpherical,2forCartesian
px:xpositionof3Dfeaturepoint
py:ypositionof3Dfeaturepoint
pz:zpositionof3Dfeaturepoint
ident:uniqueidentifierfora3Dfeaturepoint
hasprev:hasapreviousfeaturepoint(1yes,0no)
pcx:xpositionof2Dfeaturepointinthepreviousimage
pcy:ypositionof2Dfeaturepointinthepreviousimage
support:inlier/outlierbitmask
根据上述参数，我们可以构建出摄像机三维空间中的轨迹和三维点云。
其次，因为该***应用的前提是手持摄像头围绕静止物体拍摄一段视频，我们的摄像机轨迹尽量接近一个圆。所以，我们在视频除抖前先将摄像机轨迹拟合成一个圆，达到初步光滑摄像机轨迹的作用，并为接下来的同心拼图算法的应用提供；
再次，对视频的每一帧做保持内容的扭曲。因为视频每一帧画面不是我们所关注的，比如天空，路面。这些场景在画面里色差变化不明显，所以我们选取色差变化明显的场景作为我们的关注区域，色差变化大的权值高，变化小的权值低；
另外，随摄像机的运动，场景不断在变化，每一帧检测的特征点也在变化，那么我们选取出现的相对稳定的特征点作为我们所关注的，在该步骤中，我们选取连续出现至少20帧的特征点作为我们的关注部分。基于这些限制，我们对每一帧图片做保持内容的扭曲。
扭曲算法分两步，第一步把图片分为64*36的网格，用双线性插值算法找到每一个特征点所对应的网格的四个角点的坐标。
如图4、5所示，其中原始帧分为64*36的网格，(i,j)处的网格点坐标为光滑摄像机轨迹后得到的新的帧上的特征点的位置为Pk，光滑摄像机轨迹前的新的帧上的特征点位置为 对应的网格的四个角点和根据双线性插值算法得到的权值向量ωk之间的关系如下：
因为已知，可以根据得到，最后根据双线性插值算法：
(x,y)＝(1-u)(1-v)p00+u(1-v)p10+(1-u)vp01+uvp11
从第一幅图右边到左边的转换关系，由上面的三个公式，就可以得到ωk。则该步骤的能量公式为：
第二步再将图片的每个网格分为两个三角形，根据我们关注的特征点云，每个点的权值不同ωs，对网格的扭曲效果就不同。
输入网格的角点如图6和最终输出的网格的角点Vk如图7之间有偏差，我们最小化所有输入点和输出点的之间的偏差和。
首先求得每个三角形的三个角点在该三角形内的局部坐标(u,v)。则任意角点在该三角形内都满足如下关系：
根据这个关系，对网格内每个三角形的每个角点与输出角点之间的误差函数之和为如下函数：
Es(V1)＝ωs||V1-(V2+u(V3-V2)+vR90(V3-V2))||2
最终我们的过程如下：
E＝Ed+αEs
将两步的误差函数加起来，其中第二步的误差函数须乘以α作为第二步在整个优化过程中的权重。
进一步地，所述步骤104具体为：
第一步，准备特定设备，一个三脚架上挂载一个水平的运动杆，可以绕中心旋转一周，在运动杆的最外点架设一个摄像机，可以拍摄视频，然后，运动杆运动的过程中摄像机拍摄视频，基本速率为每帧转动0.12度，共拍摄3000帧的一个视频；
第二步，如图8所示，视频的每一帧按照某种方式选取带状图片片段，再将所有片段拼接起来，得到最终的长条式图片；
第三步，利用第二步结果，构建该圆内部的所有同心圆，如图9虚线表示的圆上任一点的切线与实线大圆有一交点，则虚线圆的点的图片就可以用大圆交点的图片来代替。即我们可以用大圆的图片CMn来得到内部同心圆CM0～CMn-1的图片；
第四步，在第三部得到的这些同心圆范围内，选取任意视点就能得到该视点所对应的图片。如图10所示。假设P点没有落在任意同心圆上，如果在该点放置一台摄像机，该点处拍摄的照片，我们可以用已知的同心圆图片渲染出来。例如图10中从P点发射出的光线和某圆COi相切于PVi和圆COj相切于PVj，则P点拍摄的图片viewplane上两“带状”图片i和j就可以用CMi处的Li和CMj处的Lj来代替。
具体Vi的位置的求解细节如下,其坐标图如图11、12所示：
P点与某同心圆相切于Q点。其中已知P点坐标为(Px,Py),中心轴O点坐标为(Ox,Oy)，则我们可以求解P点的极坐标(rp,θp)。
θp＝arctan(Py-Oy,Px-Ox)
则Q点的极坐标(rq,β)为
rq＝rp|sin(θ)|
β＝θ+θp-π/2
进一步，我们就可以求出Q点的欧氏空间坐标。
得到Q点的欧氏空间坐标，我们就可以取得Q点所在的同心圆上的带状图片来标识P点某位置的带状图片。
本发明还提供一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤201、拍摄视频，用户使用手持摄像头或者手机对某一静态物体拍摄视频；
步骤202、对视频离线处理，使用专用的摄像机软件voodoocameratracker和收费软件AdobePremierePro对视频离线处理；
步骤203、根据步骤202得到的视频帧基于Content-preservingwarps算法对视频除抖；
步骤204、对步骤203得到的视频帧，将所有图片基于同心拼图的方式将每一帧选取的“带状”片段做拼接；
步骤205、在电脑端或者手机端对步骤204得到的“长条状”图片按照屏幕的长宽比展示“长条状”图片中的相应大小的图片。
进一步地，所述步骤201具体为：
第一步，绕物体拍摄一周；
第二步，保持摄像机稳定；
第三步，拍摄速度在一分钟之内拍摄一段绕物体的视频即可。
进一步地，所述步骤202具体为：
第一步，将步骤201拍摄的视频先导入AdobePremierePro软件将视频的每一帧转成tga文件；
第二步，将所有的tga文件导入voodoocameratracker软件，基于SIFT算法得到每一帧的特征点云，基于SfM算法得到每一帧对应的摄像机内参、外参。
进一步地，所述步骤203具体为：
第一步，拟合路径，将摄像机运动轨迹拟合为三维圆，得到新的摄像机运动轨迹；
第二步，在新的轨迹上的每一个新的摄像机中心所对应的图片做Content-preservingwarps算法；
第三步，对第二步得到的每一帧图片统一做边界处理得到除抖后的视频。
进一步地，所述步骤204具体为：
第一步，随机选取某一视频帧作为0度角拍摄的帧，以该帧为起始帧，逆时针方向每隔0.12度选取一帧图片。如果该角度处没有“真实”视频帧，则选取最近邻的两“真实”帧基于ViewMorphing和ViewInterpolation算法得到该角度处的“虚拟”视频帧。如果有“真实”视频帧则跳过该角度；
第二步，基于同心拼图的方式，对第一步得到的每隔0.12度的图片选取中心的“带状”片段。将所有片段按图片顺序直接拼接得到一副“长条状”图片。
进一步地，所述步骤205具体为：选取“长条状”图片中一部分符合屏幕窗口长宽比的图片，随用户交互左右翻看的过程中，窗口相对于“长条状”图片左右移动得到该视点的图片，达到基于图片的“三维”展示静态物体的目的。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (11)
1.一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤101、视图扭曲，根据两个视点的图像，虚拟构建出两视点之间的直线路径上的任意视点的图片；
步骤102、视图插值；
步骤103、视频防抖，基于保持图像内容的图像扭曲算法的视频防抖技术，对视频帧基于SfM算法得到场景的三维结构和摄像机运动轨迹，对路径做光滑处理得到稳定后的视频帧；再对视频每一帧做色差分析得到用户关注区域，扭曲每一帧图片，得到保持用户关注内容基本形状的每一帧图片；然后对图片做边界处理得到最终视频；
步骤104、同心拼图，摄像机固定在一个水平转动杆上，绕中心运动拍摄周边环境图片；然后从每一帧图片中选取“带状”图片，将所有带状图片拼接得到最终的场景全景图。
2.如权利要求1所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤101具体为：
第一步，根据两幅图片I0和I1之间的特征点对应关系，求得一个基础矩阵F，再求其转置矩阵FT，再求出关于z轴旋转-φ0的旋转矩阵旋转φ1的旋转矩阵最后分别得到两图片的变换矩阵和根据这两个矩阵和将两幅图片I0和I1扭曲到和
第二步，假设摄像机光心为C，有第一步求出的矩阵H，则根据Π＝[H|-HC]，扭曲后的图像上点的坐标和原图上的点的坐标为p＝ΠP，将Cs处的图像构建出来；
第三步，根据第二步得到的Πs得到Hs，将Hs作用到得到Is。
3.如权利要求1所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤103具体为：
首先，利用voodoocamreatracker软件得到每帧图片的摄像机参数和每帧图片的特征点云，构建出摄像机三维空间中的轨迹和三维点云；
其次，将摄像机轨迹拟合成一个圆，达到初步光滑摄像机轨迹的作用；
再次，对视频的每一帧做保持内容的扭曲。
4.如权利要求3所述的一种三维虚拟展示装置与方法，其特征在于，所述对视频的每一帧做保持内容的扭曲的扭曲算法分为两步：
第一步把图片分为64*36的网格，用双线性插值算法找到每一个特征点所对应的网格的四个角点的坐标；
第二步再将图片的每个网格分为两个三角形，最小化所有输入点和输出点的之间的偏差和，并求得每个三角形的三个角点在该三角形内的局部坐标(u,v)，以及网格内每个三角形的每个角点与输出角点之间的误差函数Es,误差函数Es乘以α作为第二步在整个优化过程中的权重。
5.如权利要求1所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤104具体为：
第一步，准备特定设备，一个三脚架上挂载一个水平的运动杆，可以绕中心旋转一周，在运动杆的最外点架设一个摄像机，可以拍摄视频，然后，运动杆运动的过程中摄像机拍摄视频，基本速率为每帧转动0.12度，共拍摄3000帧的一个视频；
第二步，视频的每一帧按照某种方式选取带状图片片段，再将所有片段拼接起来，得到最终的长条式图片；
第三步，利用第二步结果，构建该圆内部的所有同心圆；
第四步，在第三部得到的这些同心圆范围内，选取任意视点就能得到该视点所对应的图片。
6.一种三维虚拟展示装置与方法，其特征在于，包括以下步骤：
步骤201、拍摄视频，用户使用手持摄像头或者手机对某一静态物体拍摄视频；
步骤202、对视频离线处理，使用专用的摄像机软件voodoocameratracker和收费软件AdobePremierePro对视频离线处理；
步骤203、根据步骤202得到的视频帧基于Content-preservingwarps算法对视频除抖；
步骤204、对步骤203得到的视频帧，将所有图片基于同心拼图的方式将每一帧选取的“带状”片段做拼接；
步骤205、在电脑端或者手机端对步骤204得到的“长条状”图片按照屏幕的长宽比展示“长条状”图片中的相应大小的图片。
7.如权利要求6所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤201具体为：
第一步，绕物体拍摄一周；
第二步，保持摄像机稳定；
第三步，拍摄速度在一分钟之内拍摄一段绕物体的视频即可。
8.如权利要求6所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤202具体为：
第一步，将步骤201拍摄的视频先导入AdobePremierePro软件将视频的每一帧转成tga文件；
第二步，将所有的tga文件导入voodoocameratracker软件，基于SIFT算法得到每一帧的特征点云，基于SfM算法得到每一帧对应的摄像机内参、外参。
9.如权利要求6所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤203具体为：
第一步，拟合路径，将摄像机运动轨迹拟合为三维圆，得到新的摄像机运动轨迹；
第二步，在新的轨迹上的每一个新的摄像机中心所对应的图片做Content-preservingwarps算法；
第三步，对第二步得到的每一帧图片统一做边界处理得到除抖后的视频。
10.如权利要求6所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤204具体为：
第一步，随机选取某一视频帧作为0度角拍摄的帧，以该帧为起始帧，逆时针方向每隔0.12度选取一帧图片。如果该角度处没有“真实”视频帧，则选取最近邻的两“真实”帧基于ViewMorphing和ViewInterpolation算法得到该角度处的“虚拟”视频帧。如果有“真实”视频帧则跳过该角度；
第二步，基于同心拼图的方式，对第一步得到的每隔0.12度的图片选取中心的“带状”片段。将所有片段按图片顺序直接拼接得到一副“长条状”图片。
11.如权利要求6所述的一种三维虚拟展示装置与方法，其特征在于，所述步骤205具体为：选取“长条状”图片中一部分符合屏幕窗口长宽比的图片，随用户交互左右翻看的过程中，窗口相对于“长条状”图片左右移动得到该视点的图片，达到基于图片的“三维”展示静态物体的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510565527.3A CN105184738A (zh) | 2015-09-08 | 2015-09-08 | 一种三维虚拟展示装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510565527.3A CN105184738A (zh) | 2015-09-08 | 2015-09-08 | 一种三维虚拟展示装置与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105184738A true CN105184738A (zh) | 2015-12-23 |
Family
ID=54906793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510565527.3A Pending CN105184738A (zh) | 2015-09-08 | 2015-09-08 | 一种三维虚拟展示装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105184738A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331480A (zh) * | 2016-08-22 | 2017-01-11 | 北京交通大学 | 基于图像拼接的视频稳像方法 |
| CN108564554A (zh) * | 2018-05-09 | 2018-09-21 | 上海大学 | 一种基于运动轨迹优化的视频稳定方法 |
| CN109146943A (zh) * | 2018-08-03 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 静止物体的检测方法、装置及电子设备 |
| CN109561253A (zh) * | 2018-12-18 | 2019-04-02 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖的方法、装置及便携式终端 |
| CN109597430A (zh) * | 2019-01-18 | 2019-04-09 | 东北农业大学 | 基于照片升维分析的无人机*** |
| WO2019080913A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技（深圳）有限公司 | 视频处理方法、计算机设备和存储介质 |
| CN110478914A (zh) * | 2019-08-28 | 2019-11-22 | 武汉宇宙寓言影视发展有限公司 | 一种仿真儿童摇摆机的控制方法、***及装置 |
| CN115578499A (zh) * | 2022-11-29 | 2023-01-06 | 北京天图万境科技有限公司 | 一种非对称色彩失调一致性的拟合重建的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037829A1 (en) * | 2004-07-30 | 2008-02-14 | Dor Givon | System And Method For 3D Space-Dimension Based Image Processing |
| CN104599277A (zh) * | 2015-01-27 | 2015-05-06 | 中国科学院空间科学与应用研究中心 | 一种面向保积仿射变换的图像配准方法 |
| CN104832136A (zh) * | 2015-06-05 | 2015-08-12 | 四川石油射孔器材有限责任公司 | 一种油气井用低围压射孔器 |
-
2015
- 2015-09-08 CN CN201510565527.3A patent/CN105184738A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037829A1 (en) * | 2004-07-30 | 2008-02-14 | Dor Givon | System And Method For 3D Space-Dimension Based Image Processing |
| CN104599277A (zh) * | 2015-01-27 | 2015-05-06 | 中国科学院空间科学与应用研究中心 | 一种面向保积仿射变换的图像配准方法 |
| CN104832136A (zh) * | 2015-06-05 | 2015-08-12 | 四川石油射孔器材有限责任公司 | 一种油气井用低围压射孔器 |
Non-Patent Citations (5)
| Title |
|---|
| 俞泓: "基于视图插值的图像绘制***", 《中国优秀硕士学位论文全文数据库.信息科技辑》 * |
| 王海鹏等: "基于三维模型的Android手机端人脸姿态实时估计***", 《计算机应用》 * |
| 胡金辉等: "同心拼图中深度的计算", 《计算机学报》 * |
| 高岚: "基于图像的视图变形与插值", 《中国优秀硕士学位论文全文数据库.信息科技辑》 * |
| 龚昌来: "一种基于数据融合的图像插值算法", 《光电工程》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106331480B (zh) * | 2016-08-22 | 2020-01-10 | 北京交通大学 | 基于图像拼接的视频稳像方法 |
| CN106331480A (zh) * | 2016-08-22 | 2017-01-11 | 北京交通大学 | 基于图像拼接的视频稳像方法 |
| WO2019080913A1 (zh) * | 2017-10-27 | 2019-05-02 | 腾讯科技（深圳）有限公司 | 视频处理方法、计算机设备和存储介质 |
| US11032510B2 (en) | 2017-10-27 | 2021-06-08 | Tencent Technology (Shenzhen) Company Limited | Video processing method, computer device, and storage medium |
| CN108564554A (zh) * | 2018-05-09 | 2018-09-21 | 上海大学 | 一种基于运动轨迹优化的视频稳定方法 |
| CN109146943A (zh) * | 2018-08-03 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 静止物体的检测方法、装置及电子设备 |
| US11328401B2 (en) | 2018-08-03 | 2022-05-10 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Stationary object detecting method, apparatus and electronic device |
| CN109146943B (zh) * | 2018-08-03 | 2019-12-03 | 百度在线网络技术（北京）有限公司 | 静止物体的检测方法、装置及电子设备 |
| CN109561253A (zh) * | 2018-12-18 | 2019-04-02 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖的方法、装置及便携式终端 |
| US11490010B2 (en) | 2018-12-18 | 2022-11-01 | Arashi Vision Inc. | Panoramic video anti-shake method and portable terminal |
| CN109597430A (zh) * | 2019-01-18 | 2019-04-09 | 东北农业大学 | 基于照片升维分析的无人机*** |
| CN109597430B (zh) * | 2019-01-18 | 2023-04-18 | 东北农业大学 | 基于照片升维分析的无人机*** |
| CN110478914A (zh) * | 2019-08-28 | 2019-11-22 | 武汉宇宙寓言影视发展有限公司 | 一种仿真儿童摇摆机的控制方法、***及装置 |
| CN115578499A (zh) * | 2022-11-29 | 2023-01-06 | 北京天图万境科技有限公司 | 一种非对称色彩失调一致性的拟合重建的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184738A (zh) | 一种三维虚拟展示装置与方法 | |
| Huang et al. | 6-DOF VR videos with a single 360-camera | |
| US5561745A (en) | Computer graphics for animation by time-sequenced textures | |
| CN103426163B (zh) | 用于渲染受影响的像素的***和方法 | |
| CN102592275B (zh) | 虚拟视点绘制方法 | |
| CN105069827B (zh) | 一种采用三维模型处理视频转场的方法 | |
| US20170038942A1 (en) | Playback initialization tool for panoramic videos | |
| CN107330964B (zh) | 一种复杂三维物体的显示方法及*** | |
| CN109523622B (zh) | 一种非结构化的光场渲染方法 | |
| CN110246146A (zh) | 基于多次深度图像渲染的全视差光场内容生成方法及装置 | |
| Oliveira | Image-based modeling and rendering techniques: A survey | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| Schroers et al. | An omnistereoscopic video pipeline for capture and display of real-world VR | |
| CN102819855B (zh) | 二维图像的生成方法及装置 | |
| CN106780759A (zh) | 基于图片构建场景立体全景图的方法、装置及vr*** | |
| CN104599305A (zh) | 一种二三维结合的动画生成方法 | |
| CN111696185A (zh) | 利用静态人脸图像生成动态表情图像序列的方法和装置 | |
| CN110648274A (zh) | 鱼眼图像的生成方法及装置 | |
| JP4996922B2 (ja) | 立体映像化 | |
| CN111612878A (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN108986232A (zh) | 一种在vr显示设备中呈现ar环境画面的方法 | |
| CN109461197B (zh) | 一种基于球面uv和重投影的云实时绘制优化方法 | |
| CN104217461A (zh) | 一种基于深度图模拟实时凹凸效果的视差映射方法 | |
| US20130336640A1 (en) | System and method for distributing computer generated 3d visual effects over a communications network | |
| WO2009068942A1 (en) | Method and system for processing of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151223 |