CN1856991A - 实时无失真成像的全景视频*** - Google Patents

Abstract

一种全景环状透镜***(PAL)，单位摄像机和基于PC的软件***，将360°视频图像实时展开为无缝、无失真水平图像。优选实施例的PAL***在40mm直径小型组件中具有360°水平视角以及90°垂直视角。本发明不局限于任意特定类型的透镜***。实际上，存在用于提供360°全景视图的各种透镜***。摄像机可以是具有1280×1024(高分辨率)或720×480(NTSC)像素分辨率的、基于CCD或CMOS的设备。展开***是使用计算机图形卡能力而执行的放射射线追踪程序，在使软件开销最小化的同时产生高效区域变换。结果是从球形失真图像到笛卡儿坐标中的平面全景图像的实时、高分辨率30fps变换。

Description

实时无失真成像的全景视频***

本发明的工作是在USMA合同No.M67854-03-C-1006之下进行的，并且按照公开法律条文96-517(35 USC 202)的规定，立约人选择保留权利。

技术领域

本发明大体上涉及特殊摄像***领域，更具体地，涉及一种使用全景环状镜、摄像机和独特展开软件的实时360°全景视频***，提供了全景图像的无缝、无失真的水平视图。

本发明要求2003年7月3日申请的临时申请序列号No.60/485,336的优先权。

背景技术

已经公知了可以用于提供360°视角的全景光学***。作为范例，U.S.专利No.6,459,451公开了一种提供360°视角的反射折射镜头。可以有利地将这种光学***用于摄像机，来提供一种能够使用单个摄像机而不需要扫描或缝合多个图像来成像例如整个房间或从单一位置看到的景色的整个360°视角的***。然而，这种镜头提供图像观察者不易于理解的图像，除非首先“展开”图像。360°视角镜头的图像是环状或圈形的并因此有失真，并且人类观察者不易于辨别它。因此需要将该图像转换或“展开”到相对二维格式，例如实际位于薄膜上或电子地位于计算机屏幕上等相对平面介质上的水平视图。展开过程包括例如每一个画面单元或像素的转换的数学变换，并且优选地按照产生很少或没有失真的方式来完成该过程，否则将降低产生的平面图像的质量。典型地，这种逐个像素的转换是非常复杂的，并且需要复杂且耗时的计算机程序，尤其是对于合理水平的分辨率和具有较大数目像素的图像。因此，不可能使用全景镜头技术来提供具有合意分辨率的实时展开视频图像。

一种可以提供由全景镜头和摄像机产生的实时展开视频图像的***对于多种有用的应用是非常有利的。作为范例，这种***可以使用只具有一个观察者的单位显示器来提供连续全视角的安全监视。这种***还可以被安装在传送装置上，并且用于军事或治安侦察目的或者用于机器人成像。可以修改它使其与因特网发送、无线***兼容，并且可以将其设计用于视频图像压缩来减少发送带宽需求。当其能够方便地具有较少或没有失真地实时“展开”具有合意分辨率水平的全景视频图像时，有用和有利的应用的主机成为可行并且易于使用。

发明内容

在其优选实施例中，本发明组合了全景环状透镜***(PAL)、单位摄像机和基于PC的软件***，将360°视频图像实时展开为无缝、无失真水平图像。PAL包括两个镜子，即，双曲面镜和椭球面镜，由360°圆形折射前端或入射孔径透镜相互连接，并且具有与聚光透镜相邻的后方或出射孔径。优选实施例的PAL***在40mm直径的小型组件中具有360°水平视角以及90°垂直视角。本发明不局限于任意特定类型的透镜***。实际上，存在用于提供360°全景视角的各种透镜***。摄像机可以具有1280×1024(高分辨率)或720×480(NTSC)像素分辨率的、基于CCD或CMOS的设备。展开***是使用计算机图形卡能力来执行的放射射线追踪程序，以便在使软件开销最小化的同时产生高效区域转换。结果是从球面失真图像到笛卡儿坐标中的平面全景图像的实时、高分辨率30fps转换。图形用户界面(UI)允许选择任意的断点(全景图像的任意中心线)以及放大和缩小能力以及内建校准。

附图说明

作为详细说明的结果，结合附图，可以更完整地理解本发明的各种实施例、特点和优点，图中：

图1是可以在本发明中实现的全景环状透镜结构的示意图；

图2包括图2a和2b，分别示出了图1的透镜结构的照片顶视图和侧视图；

图3是集成了CCD摄像机的图1所示的镜头的照片视图；

图4包括图4a和4b，分别是在裁剪之前和之后的PAL图像的照片演示；

图5是图4a和4b的PAL图像的展开版本的照片表示；

图6包括图6a、6b、6c和6d，分别提供了两个不同摄像机分辨率、盘绕形式和两个相同分辨率、展开形式的图4a和4b的图像的照片视图；

图7是反射折射全向超广角摄像机的可选实施例的示意图；

图8是使用双抛物面镜的全景立体成像的简化示意图；

图9是示出了多级抛物面镜和摄像机的设计的示意图；

图10是使用凸反射镜的全景成像的示意图；

图11是可用于白天和夜间操作的全景摄像***的示意图；

图12是在图11的***中使用的环状平面镜的示意图；

图13是具有第二介质波长的红外光信道的全景成像器的示意图；

图14是圆形鱼眼镜头的半球视图圆形投影的示意图；

图15是圆形鱼眼镜头的球坐标映射的几何图；

图16包括图16a和16b，分别是球和角映射的几何表示；

图17包括图17a和17b，分别是圆形鱼眼镜头的原始和转换后的图像的照片视图；

图18是本发明优选实施例的实时转换(“展开”)软件的图形用户界面的计算机屏幕表示；

图19是由鱼眼摄像***以30fps按照全帧捕获的图像的计算机屏幕表示；

图20是使用本发明的“展开”软件以30fps从图19的鱼眼图像转换出的1500×1000笛卡儿计算机屏幕图像；

图21是类似于图19的计算机屏幕表示，示出了用于减少失真的各种校准方法的效果；

图22是对于像素块、从输入平面到输出平面的放射射线追踪的图形表示；

图23包括图23a、23b和23c，分别是示出了从环状图像到无失真矩形图像的转换过程的图形表示；

图24是本发明所使用的实时展开软件流程的方框图；

图25和26是用于解释使用全景成像器作为测距仪的示意图；以及

图27和28是用于解释为全景成像器附加变焦功能的示意图。

具体实施方式

全景环状镜头(PAL)

PAL镜头是根据光的反射和折射，并且在只有40mm直径的超小型组件中提供全景360°视角。PAL镜头提供例如-40°到+50°的垂直视场。如图1所示，全景镜头是由360°圆形孔径(R1)、与聚光透镜相连的后向孔径(R2)、顶部镜(H)和圆形镜(E)组成的一片玻璃。“垂直摄像机”的观察点是在椭球面镜(E)的平面(O)上。利用这种几何结构，PAL传感器可以看见其垂直轴BC周围的整个360°场景。由圆形镜E和顶部镜H的有效尺寸和垂直确定位置视场。通常视角是90°垂直。

图2a和2b示出了PAL。为了保持较广的摄像机角度选项，利用适合于大多数1/3英寸和1/2英寸拾取设备、包括CMOS和CCD的C型底座来端接PAL底座。选择拾取设备是重要的，因为其定义了最终的图像质量。最重要的特征是分辨率，其应该在1000像素每视频线的数量级上。逐行模式拾取设备是优选的，因为他们消除了时间视频场的不同。市场上有多种这种设备，随着市场份额进入HDTV可携式摄像机，例如可以按照720p HD格式(在30fps的逐行扫描中为1024×720像素)录制视频的JVC GR-HD1，价钱下降很快。图3中示出了集成有摄像机的PAL。

如图4所示，PAL镜头产生的图像是圆对称的。PAL镜头将360°方位角和90°仰角内的所有空间映射到环孔图像中。仍然可以辨别该图像，并且相比于其它全景可视化***，例如基于双曲面镜的360°***，该图像有相对较低的几何失真。PAL的主要优点在于其保持了垂直线为笔直，显著减少了图像展开的计算复杂度。如图4b所示，只有图4a中图像的一部分可以被有用地展开。图4a的中心和外部边缘没有携带任何有用的视觉信息，并被丢弃。通过优化PAL和摄像机之间的中继镜，保持覆盖整个环孔图像的最大分辨率。图5示出了展开到全景笛卡儿坐标的展开图像。

在具有各种像素分辨率的多个摄像机上广泛地测试了PAL组件。开始用标准NTSC摄像机，其具有420×240像素每场。接下来测试具有逐行扫描摄像机的镜头，一个为480×480像素并且一个为1024×1024像素。对于每一个PAL-摄像机组合，展开图像，并通过双三次缩放使其标准化为基准摄像机分辨率。图6比较图像。图6a示出了由1024×1024像素的摄像机捕获的图像。图6b示出了480×480像素的图像。图6c示出了1024×1024像素的相应展开图像并且图6d示出了480×480像素的相应展开图像。两个情况中放大了两个图像的细节(墙上的照片)。可以预见，两个图像的细节的近距离观察示出了高分辨率图像的更平滑的边缘和更好的色彩渲染。

具有抛物面镜的反射折射超广角摄像机

在可选的全景方法中，反射折射***利用抛物面镜产生全向景象。如图7所示，反射折射全向超广角摄像机(CUWMC)由安装在框架中、并且直接对准包围在透明半球中的抛物面镜的顶点的微型数字摄像机组成。图7中的折光摄像机镜头使抛物面的焦点成像在CCD成像器上。这种摄像机经由抛物面镜看见半球面中的所有方向。具有折光成像透镜的CCD摄像机与镜子距离几英寸相对并且产生反射的圆形图像。然后将产生的圆形图像转换到任意方向中的正常视图。然而，图像质量在视场上变化很大；***放大倍数在图像的中心较大并且随着图像高度Y的增加而逐渐减小。这导致在视场边缘处图像质量的急剧下降。为了克服该缺点，将全景成像概念延伸到曲率不同的两个同心抛物面镜。在图8所示的两个镜子的***中，镜子的轴共线，并且与折光摄像机的光轴一致。每一个镜子具有围绕该轴的径向对称的外形。主抛物面镜产生较小的缩小，并且以较高的分辨率捕获在较大角度上的半球面的部分。次反射镜具有较大的曲率以及较大的放大倍数，并且捕获该场景的中心部分，即靠近光轴的部分。

CUWAC抛物面光学***保证具有单个有效投影中心、来自场景的所有光线在前进到摄像机镜头的路径上必须通过的单个点。这种设计模仿只拍摄线性透视图的摄像机，并且允许CUWAC计算机软件产生没有失真的线性透视图像。

具有背靠背安装的鱼眼镜头或抛物面镜的两个摄像机可以产生360°完整球面的视场，用于监视或安全操作。在远程电信会议中，这种全景摄像机可以同时按照半球或线性透视图的方式来示出坐在桌边的每一个参与者。允许移动机器人查看半球场景。被放置在演奏舞台的顶上或在运动赛事期间被放置在中场之上，超广角摄像机可以向观众提供360°整个球面的视场。利用操纵杆或鼠标，观众可以在他们的屏幕上获得任何视图，并且不仅看见半球透视图而且看见正常的、未失真的线性透视图。

图9示出了这种多级抛物面镜的基本设计。双曲面镜的投影中心C与焦点F重合。根据内部摄像机校准矩阵K来设计透视摄像机，K使3D坐标X＝[x，y，z]^T与视网膜坐标q＝[q_u，q_v，1]^T相关

$q=\frac{1}{z}\mathrm{KX}.---\left(1\right)$

全景成像***的分析

关于遥控操作和自动***的研究显示了可以跨距非常广视角的成像的有用性。如果代替较小的锥形视图，摄像机可以同时捕获几乎整个半球面的可视信息(“视场球”)，成像***获得多个优点。首先，不需要移动摄像机来使焦点对准感兴趣的物体上，或者执行探测摄像机运动。第二，处理环境或物体场景的全局图像不受包含较少信息的图像区域的影响。第三，较广的视场可以轻松地搜索基准物体，因为他们没有从视场中消失；有助于稳定追踪这些特征的图像处理算法。第四，较广的视场可以容易地辨别由于摄像机旋转而导致的图像伪像和由于物体转换而导致的图像伪像。在机械视觉、监视、避免冲突、自我运动的计算、环境中运动物体的简单和容易的检测以及机器人科学的应用范围中，全景地查看和使环境成像的能力是有用地。

反射光学是成本效率较高的并且对于全局成像是鲁棒的。放置于凸反射表面之下的摄像机可以观察到较大的视场(见图10)。可以将镜子的外形设计为角增益的，以便延伸摄像机观测几何角度。利用适当形状的镜子，典型地具有～30°可视视场的摄像机可以将完整的360°成像到方位角θ中，并且将可达±120°成像到仰角Φ中。图10示出了如何将从反射表面反射的射线送往摄像机观测锥。这种成像设备具有明显的优点：首先，作为无源传感器，其具有最小的功率需求。第二，其可能极其鲁棒，因为传感器是完全的固体状态并且没有运动部分。第三，可以使弯曲的镜子不具有透镜的典型光学失真。

具有凸面镜的摄像机可以按照视频速率立即获得图像；其可以是紧凑的，并且可以花费相对较少来制造。商用的“鱼眼”镜头则花费更多并且比镜子更庞大。此外，基于凸面镜的摄像机光学可以具有良好定义的数学关系，可以将所述数学关系编码到图像处理和数据滤波中，将视场球的弯曲形状映射到2D平面像素阵列。没有简单且成本有效的完全光学装置，用于校正从3D表示变为2D表示中所发生的图像变形。使用弯曲反射表面的全景成像的基本困难在于成像分辨率取决于图像中的位置。在来自标准球面凸反射器的图像中，分辨率取决于仰角。在较高仰角处的可视斑块(patch)与接近水平的斑块的分辨率孑然不同，因为他们比赤道附近的斑块捕获更少的可视空间的立体角。将镜子外形设计为等角的、将弯曲图像转换为柱面圆柱投影、相对于检测器阵列中心、保留光入射到镜面的入射角和反射到摄像机的反射角之间的线性关系。这确保摄像机在垂直平面内保持环境的均匀分辨率，而与仰角无关，这对于高质量全景成像是非常重要的。留下两个镜子的设计和图像处理未进行解释，垂直非均匀性会导致给定物体场景中的较差分辨率。

白天/夜间操作的POC全景成像器

图11示出了组合可视/红外摄像***。来自场景的光入射到双曲面镜上。按照双曲面的焦点作为摄像机投影中心、其中所有光线呈现为交叉的方式来设计该镜子的表面外形(即锥形常数、曲率半径和孔径大小)。在该***中，使镜子与摄像机对齐对于保持仰角和摄像机观测角之间的线性关系是重要的。满足单个观察点关系的那些射线被双曲面镜表面反射，并且入射到相对于底点朝向45°的环形平面镜(见图1 2)。击中环形平面镜的光的一半穿过镜子中央部分的通光孔径(观测几何形状的较低仰角)，并且光的一半(观测几何形状的较高仰角)以90°被反射。

由变焦透镜收集沿每一个光路径传播的光。这种光学***的视频变焦透镜是具有从8mm到48mm的焦距长度、工作距离从1.2m到∞、以及与1/2英寸格式检测器兼容、以及具有F数为F1.2-16以及角视场从44.6°到8°的商用现货供应产品。两个变焦透镜使我们能够独立地调整传感器的每一个臂。他们不需要被设置为相同的变焦放大倍数(即，模糊点大小可以被设置为填满像素阵列)；这可以改善可视图像的每一部分中的分辨率，其具有使***能够作为全景成像器的观测仰角的函数来均衡分辨率的优点。估计具有这种变焦透镜的全景成像器的最小模糊点尺寸为～1.5到2倍衍射极限。将来自每一个变焦透镜的光成像到商用3百万像素、1/2英寸格式、CMOS硅检测器芯片上。每一个检测器阵列中的像素数目是2048×1520，具有7μm线性斑块。较大的像素大小将摄像机芯片的较低光灵敏度提高为～0.05lux并减少固定图样噪声。根据制造商的说明书，这种摄像机的SNR是78dB。摄像机操作在非隔行方式(逐行方式)，并且以30帧每秒的视频速率产生全帧输出。以可编程部分扫描(感兴趣区域模式操作)捕获的完全异步图像赋与这些摄像机多种白天/夜间应用的灵活性。彩色和单色版本的摄像机是可用的。在彩色版本中，由Bayer滤色镜减少了整体分辨率；对于每一个原色，分辨率是大约1/3。

因为硅在光谱的近红外区域(700nm到1100nm)敏感，成像器可以被用于夜间监视。此外，设计全景成像器以便可以容易地引入第二信道来使夜间视觉能力延伸到中波红外(3到10μm)区域。利用反射率在MWIR光谱范围内＞98％的平面镜来实现该设计。平面镜的45°定向使光线朝向第二光信道(见图13)。

其它的光路布置类似于以上所述，利用PtSi或HgCdTe检测器和红外变焦透镜组件来检测红外场景。注意，这些红外焦面阵列只是QVGA规模(320×240像素)、具有12μm的直线间隔，因此降低了整体分辨率。然而，在超出基于硅的检测器的能力范围之外的条件下，多色全景成像器可以追踪目标。在夜间，在月光条件下，红外辐射比可视光谱的辐射大两个数量级。此外，可以应用复杂的图像插值技术来增加图像分辨率。

全景图像展开的数学基础

如图14所示，圆形鱼眼镜头将环境的半球视图投影到圆形图像中。全景图像是180°鱼眼投影。投影的全景图像水平地覆盖整个180°，然而因为帧的修剪，其实际上，在垂直方向，覆盖较少，为～135°。

在构成展开处理时，分配给180°鱼眼投影的有限圆形的单位是半径，并且其中心被选为图像原点。为图像中的点分配极坐标(r，θ)，并且被变换为具有角坐标θ和φ的球坐标，如方程(2)所示，其中θ是经度并且φ是离开投影的轴的角度。图15几何学地示出了圆形鱼眼图像的球形映射。从极坐标到球坐标的转换使θ保持相同，并将r变为φ。图16示出了映射坐标的角度(图16a)以及角坐标变换的几何表示(图16b)。

$\left(\begin{array}{c}{x}_b\\ y_b\\ z_b\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\α}& 0\\ \sin \mathrm{\α}\sin \mathrm{\β}& \cos \mathrm{\β}\\ -\sin \mathrm{\α}\cos \mathrm{\β}& \sin \mathrm{\β}\end{array}\right)\left(\begin{array}{c}{x}_d\\ y_d\end{array}\right)+\left(\begin{array}{c}\sin \mathrm{\β}\\ -\sin \mathrm{\α}\cos \mathrm{\β}\\ \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)---\left(2\right)$

然后，将半立方体映射到鱼眼图像，并且从该图像可以将180°鱼眼图像(见图17a)变换为正常的透视图像，在图17b中示出了结果。用于坐标变换的映射方程是：

$\left(\begin{array}{c}{x}_v\\ y_v\end{array}\right)=\left(\begin{array}{c}{r}_v\cos \mathrm{\θ}\\ r_v\sin \mathrm{\θ}\end{array}\right)---\left(4\right)$

对于输入图像的连续操作，映射按照下面的步骤进行：

1.像平面到角坐标

2.角坐标到球坐标

3.找出逆变换

一些必要的方程涉及球坐标。下面方程中的角度θ和φ与规范笛卡儿(x，y，z)坐标框架相关：

x＝r·sin(δ)·cos(θ)                      (7)

y＝r·sin(δ)·sin(θ)                      (8)

z＝r·cos(θ)，                             (9)

以及其逆变换：

r²＝x²+y²+z²                           (10)

$\cos \left(\mathrm{\θ}\right)=x/\sqrt{x^2+y^2}---\left(11\right)$

$\sin \left(\mathrm{\θ}\right)=y/\sqrt{x^2+y^2}---\left(12\right)$

cos(φ)＝z/r                                (13)

$\sin \left(\mathrm{\φ}\right)=\sqrt{x^2+y^2}/r.---\left(14\right)$

实时全景视频转换软件

这部分说明视频映射软件架构的基本原理和设计问题。对变换***进行编码，并根据微软视窗视频技术和其它视频操作软件架构来进行调试。针对实时视频转换软件，优化软件的性能和稳定性。

视频映射软件的设计和功能性

本发明的优选实施例包括实时全景视频转换软件，来将视频从圆形极坐标变换到30帧每秒、2000×1000视频分辨率的笛卡儿全景视频。

在微软Direct3D和DirectShow中已经开发出实时全景转换软件。微软Direct3D具有实时渲染并映射图像的全部能力。Direct3D可以直接访问并操作视频存储器而不需要调用操作***服务，因此可以在硬件中操作图形。下面的列表总结了Direct3D的能力。

Direct3D功能性

·按照设备无关方式，对3D视频显示硬件进行设备相关存取

·支持3D z-缓冲

·可转换/深度缓冲

·变换和剪切

·对图像拉伸硬件已经存取

·专用硬件存取

·对变换、照明和光栅3D图形管道的即时存取

·如果硬件加速不可用则软件仿真

Direct3D低级功能性

·3D坐标***和几何学

·明暗处理技术

·矩阵和变换

·向量和顶点

·复制表面

·翻页和后台缓冲

·矩形

Direct3D应用级功能性

·块映射

·环境映射

·几何混合

·索引顶点混合

·补丁

·点块纹理

·程序像素着色器

·程序顶点着色器

·四元数

·聚光灯

·补间动画

·顶点混合

·立体纹理

微软引入新技术，将Direct3D应用无粘接地(gluelessly)到视频应用中，利用映射、混合、纹理和阴影实时操作视频。下面强调了DirectShow技术。

·流媒体的架构

·多媒体流的高质量回放

·基于文件

·网络流

·通用解码能力

·与其它DirectX技术的无粘接接口

·硬件加速支持的自动检测

·基于公共目标模型(COM)的接口

围绕微软Direct3D和DirectShow的核心功能开发出实时视频软件，然而该软件的创新和独特的架构和层次研发是多媒体界的第一次，可以实时、没有明显等待时间地变换并显示全景视频。

定制微软视频混合渲染器

视频混合渲染器(VMR)是新的DirectShow滤波器，只可用于Windows XP Home Edition和XP Professional，代替交叠混合器和视频渲染器，并添加多个新的混合特点。在性能和特点的宽度方面，VMR表示渲染视窗平台上的视频中的新生产物。

VMR支持下面的新的特点：

·多个视频流的实时混合，利用Direct3D硬件设备的α混合能力

·***自身编撰的组件，在进入VMR的视频流之间实现效果和变换的能力。

·真正的无窗口渲染。不再需要使视频回放窗口成为应用窗口的子窗口来回放视频。VMR的新无窗口渲染模式使应用程序容易地将视频回放驻留在任何窗口中而不需要将窗口消息转发给渲染器来实现渲染器专用处理。

·新的无渲染回放模式，其中，应用程序可以提供自身的分配器组件，在其被显示在屏幕上之前，获得对解码视频图像的存取。

·对备有多个监视器的PC的改善支持。

·支持微软新的DirectX视频加速架构。

·同时支持在多个窗口中的高质量视频回放。

·支持DirectDraw专用模式。

·与现有应用程序的100％向后兼容性。

·支持帧步进和用于捕获正在显示的当前图像的可靠方式

·应用程序可以容易地按照平滑无闪烁的方式α混合其自身的静态图像数据(例如信道标识或UI组件)和视频。

VMR完全取决于计算机显示卡的图形处理能力；VMR不在主机处理器上混合或渲染任何视频，因为这么做将显著地影响正在显示的视频的帧速率和质量。VMR提供的新的特点，尤其是多个视频流和/或应用图像的混合，极大地取决于图形卡的能力。与VMR表现良好的图形卡具有下面的内建硬件支持：

·支持YUV和“非2次幂”Direct3D纹理表面。

·从YUV到RGB DirectDraw表面的StretchBit能力。

·如果要混合多个视频流，则至少16MB的视频存储器。所需存储器的实际量取决于视频流的图像大小和显示模式的分辨率。

·支持RGB交叠或混合为YUV交叠平面的能力。

·硬件加速视频解码(支持DirectX加速)。

·高像素填充率。

在我们的转换软件中，特别定制VMR无渲染模式来使软件的能力和灵活性最大化，以便更好地操作控制参数。VMR无渲染模式针对定制渲染表面展示了定制分配器，并且针对定制渲染模式展示了定制渲染器。

在无渲染回放模式中，应用程序

·管理回放窗口。

·分配DirectDraw目标和最终帧缓冲。

·将正在使用的DirectDraw目标通知回放***的其他部分。

·在适当的时间“呈现”帧缓冲

·处理所有分辨率模式、监视变化和“表面损失”-将这些事件告知回放***的其他部分。

VMR

·处理与呈现视频帧相关的所有时序

·将质量控制信息提供给应用程序以及回放***的其他部分。

·向没有意识到应用程序正在执行帧缓冲分配以及渲染的、回放***的上行组件呈现一致的界面。

·执行在渲染之前所需的任何视频流混合。

基本地，转换软件调用VMR的各种功能并且定制DirectX表面，使其满足针对正在进行的流视频的实时非线性图像转换的特定目的。特意地，只针对Windows XP利用VMR-7来编码该软件。具有VMR-9编码移植的DirectX9使软件与例如Windows 9x和Windows 2K以及Windows XP的其它操作***兼容。

实时全景展开软件

实时转换软件执行具有几何关系的Direct3D即时模式来符合任何透视法地将球面图像变换到笛卡儿图像。即时模式的管理方式是基于顶点、多边形和控制其的命令。允许即时存取变换、照明和光栅3D图形管道。图像变换被应用到图元(primitive)，因此不存在来自其它界面的中间开销、和直接存取硬件功能。利用Nvidia GeForce、ATIRadeon和Intel low-profile VGA芯片来测试软件。最终的编码与多数视频加速芯片和处理器兼容，因此可以被用于主要的硬件平台。图18示出了转换软件的图形用户界面(GUI)。图19示出了GUI中的鱼眼视频。图20示出了由球形鱼眼图像、按照全30帧/秒实时转换出的相应全景视频。可以优化展开算法来减少帧边缘附近的失真。图21示出了播放器的增强功能。

下面的列表总结了播放器的能力和功能：

·通用回放能力(MPEG、AVI及更多)

·位图捕获(右键点击)

·通过点击圆上的三点来校准(以红色示出了圆)

·针对非方形像素数字转换器的高宽比调整

·改变360°全景观测模式中的视图的中心

·变焦、平转和倾斜

-F1和F2用于放大和缩小

-箭头按钮用于平转和倾斜

·状态栏表示电影大小、捕获设备、播放时间、电影和显示器的分辨率、性能和视角

·捕获(以及DV)设备属性。

以及性能参数是：

·全景和360°视图：具有抗混叠和各向异性滤波时为～30帧/秒

·180°视图：具有抗混叠和各向异性滤波时～20帧/秒以上，取决于处理器以及视频卡

·视频分辨率-全屏为2048×1536像素

放射射线-追踪(R²T)

对于任意连续光学介质，R²T产生如图22所示从输入面到输出面的亮度(明亮度)的放射量的单值映射。

图23a、23b和23c中示出了该过程，从环状图像(a)到失真的展开图像(b)、然后到校正的展开图像(c)。按照R2T从落地窗的失真(b)全景图像变换到理想的(c)全景图像，是基于现有射线追踪，等效于从弯曲的坐标***变换到笛卡儿坐标***。为了实时执行该操作，将120°水平观测区域划分为大量的像素块，10×10或者更大，并且单独针对每一个块进行均匀变换。

硬件加速

传统的全向视图***按照图像变换过程使用图像来产生变换的(或展开的)视频，具有或没有硬件加速。然而，逐个像素地完成传统的变换(商用现货供应软件)并且需要巨大的CPU能力来将球形或柱形图像变换为笛卡儿或平面视图图像。本申请人解决该问题的方法是加倍地增加性能(典型地大约比当前市场中的现有软件快～30倍)，并且仍然保持图像或视频的质量。动画应用程序需要巨大的处理能力用于操作图像，因为他们必须提供透视图、变焦水平、渐变、渲染等的实时变换。多个相互竞争的视频卡制造商开发出具有非常高的图形性能的视频卡(或图形处理单元)的3D动画引擎，用于更好的游戏。可以发现使用这些GPU或3D引擎的高性能特点使得在全向视图***上实现实时视频变换的实时性能成为可能。

本发明的软件使用基于顶点的变换而不是逐个像素处理。每一个顶点包括坐标、色彩和用于透视的像平面信息。单个图像的顶点数目限制为65536，因为对于多于65536的顶点没有发现任何质量改进。将以下图形处理单元(GPU)内部功能用于硬件加速：照明、几何混合、α、用于失真校正的各向异性滤波或线性滤波、3D纹理、立体纹理、箝位、以及顶点和像素管道。

·照明：提供详细的亮度和光学校准

·几何和顶点混合：增加变换图像的真实性

·α混合：提供特征并且向主要视频绘制交叠

·各向异性滤波：通过使变换失真最小化来增加质量

·3D纹理：使3D坐标变换更容易

·立体纹理：用于在任何透视图上的理想变换

·箝位：用于边界外的图像控制

·顶点和像素管道：使图像操作的性能提高多个数量级

总之，更具体地，在硬件或在GPU中完成色彩、线、点和透视图改变的实际图像操作。此外，还在硬件中与如顶点的3D操作等其它功能性没有干扰地完成视频呈现。唯一的CPU载入是根据控制方程计算顶点坐标变化，例如，将球坐标变换到笛卡儿坐标。

软件流程

如图24所示，软件包括四个模块：1)视频捕获，2)图像变换，3)作为图像操作模块呈现图像，以及4)在视频表面上渲染图像。软件提供多个视频捕获特点，例如DV捕获、利用任何MicrosoftActiveMovie灵活性(16位)的视频捕获、利用WDM(视窗驱动器模型-32位)驱动器针对视频流的视频捕获、以及可由视窗操作***识别的第三方捕获驱动器。

视频捕获模块通常为软件引入了显著的开销和资源。然而，提供适当的管道和缓冲可以避免这些问题。

图像转换模块按照具有多线程(或超管道)的管道方式来转换输入位图，因此在该过程期间保证了最小延迟。在该模块中，微软Direct3D和DirectX功能被用于图像变换和视频存储器的操作。在图元等级中而不是在应用等级中完成图像操作，因此具有最大的可编程性和灵活性。此外，性能的优化是可能的，然而编码是及其沉闷的，因为需要在C++、C和汇编语言中进行编程。

呈现模块负责准备视频、位图捕获、校准(反馈到图像转换模块)并且绘制圆形或在视频顶部示出性能信息。

最后，渲染模块极大地取决于硬件(视频工具)并且主要通过使用Microsoft DirectShow的内建功能来完成。该模块将最终图像流发送到视频存储器中。

图24示出了当前优选实施例的实时全向视图视频软件的整体软件架构。

全景测距仪

基于反射镜的全景全向成像器在垂直轴附近存在盲区(见图25)。因此，可以沿相同垂直轴放置两个这种成像器，一个在另一个之上，没有任何共有的视场遮蔽。使用两个这种成像器产生立体效果，并且提供根据视差角、测量获得到物体的距离的能力(见图26)。

具有变焦的全景成像器

基于反射镜的全景成像器按照两个步骤形成图像。在第一步骤中，将全向物体空间转换到镜子上的中间环形虚像(见图27的图像A’)。在第二步骤中，投影透镜将中间虚像转换为在接收面处的实像(见图27的图像A”)。区域0’0可以用于利用变焦能力来直接查看上部区域。图28的额外透镜(图28的负变焦透镜)在平面0’0处产生上部锥形物体区域的虚像。然后，投影透镜填充区域0”0”，在接收面具有中间图像的实像。

因此已经公开了优选实施例来示出本发明的各种独特特点，显而易见的是，可以按照各种方式实现根据本发明的全景视频***，其中一些未必在此进行说明。因此，其范围不局限于公开的特定实施例，而是只由所附权利要求书及其等效物来定义。

Claims (22)

1、一种提供矩形格式的实时全景视频图像的方法；该方法包括步骤：

a)提供全景环状透镜***来捕获360°可视环状图像；

b)将所述360°可视环状图像聚焦在摄像机像平面上；

c)将从所述摄像机像平面输出的数据信号发送到个人计算机；

d)使用所述个人计算机来将所述环状图像展开为至少30fps速率的、实质上无失真的矩形图像；以及

e)在可视显示器上呈现所述矩形图像。

2、根据权利要求1所述的方法，其中，在步骤a)提供所述全景环状透镜***中包括步骤：提供双曲面透镜和椭球面镜。

3、根据权利要求1所述的方法，其中，在步骤b)提供所述摄像机中包括步骤：提供CCD像平面。

4、根据权利要求1所述的方法，其中，在步骤b)提供所述摄像机中包括步骤：提供CMOS像平面。

5、根据权利要求1所述的方法，其中，步骤d)包括步骤：使用放射射线追踪首先将所述环状图像变换为失真展开图像，并随后将所述失真展开图像变换为无失真展开图像。

6、根据权利要求1所述的方法，其中，步骤d)包括步骤：使用所述个人计算机的图形处理单元来采用基于顶点的变换。

7、根据权利要求1所述的方法，其中，步骤d)包括步骤：捕获所述数据信号输出；变换来自所述数据信号输出的所述视频图像；操作所述变换后的视频图像；并且按照笛卡儿格式渲染所述图像。

8、根据权利要求1所述的方法，其中，步骤d)包括步骤：使用所述个人计算机的至少一个图形卡来展开所述环状图像。

9、一种提供矩形格式的实时全景视频图像的设备；该设备包括：

全景环状透镜***，配置用于捕获360°可视环状图像；

摄像机，具有像平面，用于接收所述环状图像并且产生相应的数据信号输出；

计算机，接收所述数据信号输出；

图形卡和至少一个软件模块，位于所述计算机中，用于展开所述数据信号输出，从环状图像展开到至少30fps速率的、实质上无失真的矩形图像；以及

可视显示器，用于显示所述矩形图像。

10、根据权利要求9所述的设备，其中，所述全景环状透镜***具有双曲面透镜和椭球面镜。

11、根据权利要求9所述的设备，其中，所述摄像机具有CCD像平面。

12、根据权利要求9所述的设备，其中，所述摄像机具有CMOS像平面。

13、根据权利要求9所述的设备，其中，所述软件模块具有放射射线追踪程序，首先将所述环状图像变换为失真展开图像，并随后将所述失真展开图像变换为无失真展开图像。

14、根据权利要求9所述的设备，其中，所述软件模块具有基于顶点的变换程序，用于展开所述环状图像。

15、根据权利要求9所述的设备，其中，还包括：用于捕获所述数据信号输出的装置；用于变换来自所述数据信号输出的所述视频图像的装置；用于操作所述变换后的视频图像的装置；以及用于按照笛卡儿格式渲染所述图像的装置。

16、一种具有实时无失真成像的全景视频***；该***包括：

全景光学***，具有至少一个光学元件，用于查看360°视角并且在像平面上聚焦相应的图像；

摄像机，在所述像平面处具有传感元件，用于将所述图像变换为相应的视频信号；

计算机，接收所述视频信号并且具有至少一个程序，用于以至少30fps速率配置所述图像的实质上无失真矩形显示；以及

监视器，用于呈现所述显示。

17、根据权利要求16所述的全景视频***，其中，所述光学***的光学元件包括环状元件，并且所述相应图像是所述360°视角的环状图像。

18、根据权利要求16所述的全景视频***，其中，所述摄像机包括CCD传感元件。

19、根据权利要求16所述的全景视频***，其中，所述摄像机包括CMOS传感元件。

20、根据权利要求16所述的全景视频***，其中，所述摄像机传感元件具有至少1280×1024的像素分辨率。

21、根据权利要求16所述的全景视频***，其中，所述摄像机传感元件具有至少720×480的像素分辨率。

22、根据权利要求16所述的全景视频***，所述计算机包括用于配置所述矩形显示的至少一个图形卡。

Images