CN109074632B - 图像失真变换方法和设备 - Google Patents

Abstract

一种用于将由成像器成像的具有原始失真轮廓的原始图像变换成针对失真处理单元所优化的所变换图像的图像失真变换方法包括把来自成像器的原始图像输入到变换单元中，将原始图像失真轮廓输入到变换单元的原始失真轮廓存储器中，并且将目标失真轮廓输入到变换单元的目标失真轮廓存储器中。目标失真轮廓与原始失真轮廓不同。该方法还包括通过把原始图像的失真轮廓从原始图像失真轮廓变换成目标图像失真轮廓，将原始图像变换为所变换图像，并且从变换单元输出所变换图像。

Description

图像失真变换方法和设备

相关申请的交叉引用

本申请要求当前待决美国临时专利申请号62/295724(2016年2月16日提交，标题为“Image Distortion Transformation Method and Apparatus”)的权益，通过引用将其完整内容结合到本文中。

背景技术

本发明的实施例涉及用来变换图像的图像或成像器失真处理方法和设备，针对失真处理算法(例如去翘曲算法)对它进行优化。使用相同方法，本发明的实施例允许图像或成像器视场中的某些感兴趣区域的放大，从而优化内容的储存、传输、分辨率或显示。

二维(2D)图像由成像器(例如窄角成像器、全景成像器、广角光学***、鱼眼光学***、全象(panomorph)光学***或者甚至从多个窄角图像拼接的图像或从多个全景图像拼接的图像)来创建。无论使用哪一种成像器，图像常常包含光学失真。这个行为由三维(3D)环境到2D平面的重新映射所引起。因此，图像中的内容变形，并且准确失真轮廓(profile)取决于成像器参数。通常地，失真对全景成像器更加明显。

为了没有失真地适当显示图像或者将正确图像馈送到任何图像处理算法，全景图像中的失真必须进行处理，如分别对于（美国专利号RE 44087 E中的）线性失真或者（美国专利号6844990 B2和6865028 B2中的）定制对称和定制不对称失真。这些现有失真处理算法或去翘曲算法(校正、去除、处理或修改图像的失真的动作)通过不同平台(例如计算机、智能电话、平板、芯片上***(SoC)等)上的软件或硬件来实现。作为示例，Milestone***的IPIX插件是校正鱼眼透镜的失真的去翘曲软件。一些去翘曲算法仅使用线性分布函数来校正来自不同全景成像器的不同失真轮廓。在这种情况下，因为所使用的线性校正函数不匹配全景图像或成像器的实际失真轮廓，所以一些失真在去翘曲之后留存在图像中。为了适当校正失真，去翘曲算法必须使用分布函数(失真轮廓)，从而考虑全景成像器的失真轮廓和应用用户体验。这意味着，失真轮廓与去翘曲算法分布函数之间的偏离必须得到控制。一种方式能够是要将失真轮廓作为数学函数输入到失真处理算法，以校正全景图像。但是，这种方式不能用于所有状况中，例如但不限于，有时失真轮廓是保密的或者不存在于运行失真处理算法的图像处理单元中。此外，新成像器的失真轮廓在现有软件中或者硬件处理算法中不能轻易添加或更新。这要求软件更新、固件更新或硬件修改(例如ASIC修改)。

ImmerVision Enables 2.0算法校正全象图像或成像器的失真。包括算法的资料库包含与图像处理单元(资料库、ASIC、FPGA等)中的算法发布的时候可用的全象成像器或全象透镜对应的一些失真轮廓(或分布函数)。如果全景图像或成像器的失真轮廓在预先记录失真轮廓的这个列表中，则用户只需要输入失真轮廓参考号，并且处理算法将使用适当现有失真轮廓。例如，美国专利申请US 2015/0281507 A1中的至少一些实施例使用图像上的标记来记录这个失真轮廓参考号或失真轮廓本身。在仅标记失真轮廓的参考号的实施例中，失真处理单元能够从标记来读取参考号，并且自动使用对应失真轮廓。与将整个失真轮廓传递给失真处理算法相比，这种方式更有效。在一些情况下，这种方式不能使用，因为失真轮廓不存在于算法中，并且因此算法没有设计成支持这种新类型的失真轮廓。这种情况的示例是具有新失真轮廓的全景图像，该全景图像由例如但不限于新广角、鱼眼或全象透镜或者新图像处理算法来创建。对于这个图像，失真处理单元必须在失真处理单元能够校正、去除、处理或修改全景图像或成像器的失真之前采用新失真轮廓或者全新算法来更新。在一些状况中，算法更新不能轻易进行，特别是当失真处理算法在硬件上实现时。这限制失真处理算法对不同全景图像或成像器的应用。

由于图像或视频的大数据大小，图像储存或传输资源的优化始终是优选的。优化方式是要降低图像或视频大小。对于全景图像或广角图像，美国专利号8238695提出从整个图像修剪虚拟照相装置的图像数据的一部分，以降低图像数据大小。这种解决方案牺牲虚拟照相装置区域外部的图像数据，并且它只能够用于虚拟照相装置的用例。所保存或传送的图像仅包含虚拟照相装置的图像数据，而来自视场的其余部分的其他图像数据丢失。这不适用于整个全景图像的应用。保持整个全景视场的另一个备选方案是要改为将整个图像均匀地缩小到更低分辨率并且要减小图像大小。但是，这个扩缩对整个图像是相同的，并且图像质量在整个图像中降级。一种优化的方式会是要使用重要图像区域中的更高分辨率和其他图像区域中的更低分辨率，表示不同扩缩比率应用于图像的不同区域。这样，更多像素会用来在减小图像大小时强调重要区域。这种非线性扩缩造成所生成图像中的新失真。这个新失真与原始全景图像的原始失真不同。因此，原始全景图像中的失真不能用于处理这个优化的图像。

美国专利号6865028提出将非圆盘形状全景图像投影到矩形图像传感器上。这包括但不限于椭圆形图像。与圆形图像相比，椭圆形图像占用矩形图像传感器上的更多像素，并且因此在输出图像中存在更少黑色像素。这样，从图像的总文件大小中，与无用黑色内容相比，较大部分由有用图像内容来使用。所产生图像具有更高有效分辨率。对于图像储存和传输，包含更少黑色像素的这个椭圆形全景图像比圆形全景图像更为有效。但是，美国专利号6865028仅建议实现创建全象光学***的这种方法的光学部件，并且失真轮廓对每个全象光学***是唯一的。另外，失真轮廓在产生全象光学***之后是固定的。失真轮廓只能够通过设计新透镜来修改，因此现有光学透镜不能修改，并且不能根据应用动态改变失真。

过去在美国专利公布号2012/0314065 A1中已提出动态改变失真。但是，本发明使用由作为可变形反射镜的可变形光学表面组成的硬件光学***实时地改变失真。这种构造是复杂的，并且不能用于现有全景成像器中来动态修改感兴趣区域。

自2006年以来，由ImmerVision所开发的全象几何模型模拟器(PGMS)软件模拟图像中的失真，以分析图像失真效应。在论文“Novel hemispheric image formation:concepts and applications”(在“Proc. SPIE 6994, Photon Management III, 699406(2008年4月25日)”中发表)中描述了全象几何模型。软件能够创建图像上的不同失真，包括不同预设失真、非线性扩缩失真或者任何定制的失真。但是，软件没有用于全景图像失真处理，并且它不能变换具有新失真轮廓的全景图像，以便优针对失真处理算法来优化。它也不能将全景图像失真传递给非线性扩缩失真，以强调图像中的重要区域。最后，它不能集成到全景图像处理管线中。

发明内容

为了克服全部先前所述问题，本发明的实施例提出一种图像失真变换方法，以变换不同成像器所捕获的图像，以便针对失真处理算法来优化。这允许图像失真处理算法处理不同成像器所捕获的图像。在这里，成像器包括但不限于窄角透镜、广角透镜、鱼眼透镜、全象透镜、多透镜***、反折射***、通过图像拼接的全景图像生成器或者任何图像处理单元等。图像失真处理算法用来处理对图像显示或任何其他图像处理算法的图像失真。失真处理算法能够通过不同平台上的软件或硬件(包括但不限于计算机、智能电话、平板、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、芯片上***(SoC)等)来实现。图像失真变换方法用来将原始图像变换成具有图像失真处理单元已经支持的任何种类的失真轮廓的图像。这种图像失真变换方法能够通过不同平台上的软件或硬件(包括但不限于计算机、智能电话、平板、FPGA、ASIC、SoC等)来实现。这种方法还能够通过光学***或者任何种类的***或关联的装置来实现。这种图像失真变换方法能够在不同地点(包括但不限于照相装置、图像捕获装置、媒体服务器、客户端计算机、显示装置、图像处理算法或云***)来实现。

更具体来说，在本发明的至少一些实施例中，由全景成像器所捕获的全景原始图像被变换成具有众所周知失真轮廓(其已经由失真处理算法所支持)的图像。失真处理算法能够按照这个所支持失真轮廓来处理失真。

为了优化图像储存、变换、分辨率、质量或显示，有效方式是要将更多像素分配给图像中的感兴趣区域。更具体来说，在本发明的至少一些实施例中，目标失真轮廓设计成增加感兴趣区域所占用的像素的数量，并且减少较不重要内容所占用的像素的数量。感兴趣区域具有比较不重要内容更高的分辨率(或像素密度)。失真变换方法能够在图像被保存、传送、分析、处理或显示之前将原始图像变换成具有合适轮廓的所变换图像。失真变换方法能够改变跨图像的放大率，而不是原始图像的线性扩缩。这样，在图像大小可保持为相同的同时强调重要图像区域。在一些实施例中，本发明能够用来缩小图像，同时保持感兴趣区域中比图像的其他部分更多的像素。在一些其他实施例中，这个变换能够按照应用要求实时地动态进行。

附图说明

通过结合附图进行阅读，将会更好地了解以上概述以及本发明的优选实施例的以下详细描述。为了便于说明，附图中示出当前优选的实施例。但是应当理解，本发明并不限于所示的准确布置和手段。

在附图中：

图1是将原始全景图像变换成具有失真处理单元已知的目标失真轮廓的所变换全景图像的图像变换过程的示意图；

图2是详述图像变换单元内部的图像变换方法的示意图；

图3示出原始图像格式的多个示例和所变换图像的多个示例；

图4是本发明的示例实施例，其中所变换图像失真轮廓的选择按照原始全景成像器的一些参数进行；

图5是本发明的示例实施例，其中所变换图像失真轮廓的选择按照原始全景图像的图像内容的变化动态改变；

图6是本发明的示例实施例，其中图像变换单元从原始全景图像来生成多个所变换图像，该所变换图像每个具有给定应用的不同失真轮廓；

图7是本发明的示例实施例，其中图像变换单元从原始全景图像来生成多个所变换图像，该所变换图像每个具有从具有不同应用的不同装置所输入的不同目标失真轮廓；以及

图8是本发明的示例实施例，其中图像变换单元从原始全景图像来生成所变换图像，所变换图像根据其应用所需的感兴趣区域的位置实时地改变从显示装置所输入的目标失真轮廓。

具体实施方式

如权利要求书中以及本说明书的对应部分中所使用的词语“一”或“一个”表示“至少一个”。

图1示出把来自全景成像器的全景图像变换成具有目标失真轮廓的图像的图像失真变换方法的示意图。捕获装置100优选地构建有全景成像器110。备选地，捕获装置100能够构建有一个或多个窄角成像器105。捕获装置100可以是任何设备，其上能够添加全景成像器，以添加全景成像特征，包括并非限制性地例如移动电话、平板、汽车、机器人、TV、路由器、GPS单元、因特网盒、家用监控照相装置、安全照相装置、机车照相装置、内窥镜等。当全景成像器110集成到捕获装置100中时，这个装置能够捕获原始全景图像120。

在这里，全景成像器110是任何装置，其能够从广角全景环境来捕获图像或者图像的部分。所产生全景环境优选地产生大约120º或更大的视场。能够用于该过程中的全景成像器110的一些示例并非限制性地是广角透镜、反折射成像器、多个窄视场照相装置、计算机生成的全景图像等。

原始全景图像120是捕获装置100的输出图像。全景图像120包含全景图像内容125。全景图像内容125中存在一些原始图像失真。当全景图像失真处理单元160不知道原始全景图像120中的失真轮廓时，图像失真不能容易进行处理。本发明的实施例提出添加图像失真变换单元130，以便将原始全景图像120变换成具有目标失真轮廓(其是失真处理单元已知的)的图像。这样，原始全景图像120中的失真能够针对失真处理单元160来优化。

原始全景图像120和所变换全景图像140均能够是任何种类的全景图像，包括但不限于圆形或椭圆形投影的图像、周边投影的图像、非线性扩缩的图像、具有连续、不连续、对称或不对称或者任何其他投影的广角图像。

原始全景图像120是图像失真变换单元130的输入图像。图像失真变换单元130能够通过软件或硬件来实现。它能够在任何平台(包括但不限于计算机、智能电话、平板、FPGA、ASIC、SoC等)上实现。它还能够通过光学***或者任何种类的***或关联的装置来实现。这种方法能够在不同地点(包括但不限于照相装置、图像捕获装置、媒体服务器、客户端计算机、全景显示装置、全景图像处理算法或云***)来实现。通过将针对图2进一步说明的方式，图像失真变换单元130输出所变换全景图像140。所变换全景图像140包含目标失真轮廓。

更具体来说，在本发明的至少一些实施例中，存在全象图像（通过创建感兴趣区带的全象成像器所创建的一种全景图像）的一些公共失真轮廓。全象失真处理软件或硬件包含这些公共失真轮廓，并且能够处理使用这些公共失真轮廓所映射的任何图像。本发明中所提出的失真变换方法将原始全景图像变换成具有公共全象失真轮廓之一的所变换图像。这样，全象失真处理软件或硬件能够在失真变换单元之后处理任何原始全景图像的失真。

在算法单元中显示或处理全景图像之前，所变换全景图像140中的失真需要由失真处理单元160来处理。所变换全景图像140能够直接输入到算法单元175或输入到失真处理单元160。备选地，所变换全景图像140能够经过图像储存或不同传输方式150(并非限制性地包括数字图像通过因特网的传递、经由TCP-IP协议、USB、防火墙、存储器、套接字的传递、使用物理介质(如软盘、激光盘、磁盘、USB驱动器、硬盘驱动器)的传递或者图像经过物理打印图像并且然后将它扫描回为数字文件的传递等)来输出。当传送图像时，它能够在装置内部内部地或者在另一个装置外部进行。

因为失真处理单元160知道所变换全景图像140中的目标失真轮廓，所以它能够处理失真，并且产生经处理图像180。

经处理图像180能够在显示装置170上显示。显示装置170能够是部分或完全显示失真处理单元的结果的任何事物，并非限制性地包括计算机或TV屏幕、移动电话、平板、虚拟现实(VR)头戴式设备、增强现实(AR)头戴式设备、投影仪等。另外，经处理图像180或者所变换全景图像140还能够在另一算法单元175(其进一步处理经处理图像，以提取相关信息，并非限制性地包括：行人检测、跟踪和识别；脸部识别；道路车道偏离；危险识别；3D位置跟踪；3D重构等)内部使用。

在本发明的至少一些实施例中，显示装置170或算法单元175能够经由可选链路190与图像失真变换单元130进行通信，并且根据其应用的要求实时地改变变换单元的作为目标的失真轮廓。

图2示出图1中的图像失真变换单元130的详细操作。图像失真变换方法230在图像失真变换单元210内部实现。另外，图像失真变换单元210还包含原始失真轮廓存储器220和目标失真轮廓存储器225。原始图像失真轮廓250和目标图像失真轮廓260分别保存在这两个存储器单元中。图像失真变换方法230利用原始图像失真轮廓和目标图像失真轮廓来将原始全景图像200变换成按照目标失真轮廓进行失真的所变换全景图像240。图像失真变换方法230能够包括但不限于像素映射、内插、滤波或者不同图像处理算法。

原始全景图像200是图像失真变换方法230的输入图像。每个不同原始全景图像200能够包含不同原始图像失真轮廓250，其由不同全景成像器来创建。图像失真变换方法230需要知道原始全景图像200的失真轮廓。原始图像失真轮廓250能够从一些内部或外部源(包括但不限于从用户界面从预先保存的图像失真轮廓的列表中的手动选择、原始图像的内容的自动分析(包括读取原始图像中的标记或元数据)或者从成像器自动传送)输入到原始失真轮廓存储器220。在这些情况下，在原始失真轮廓存储器220内部写入原始图像失真轮廓250。在本发明的其他实施例中，如对使用于特定变换应用的ASIC的情况，原始失真轮廓能够在原始失真轮廓存储器220内部硬写入并且不能调整。

图像失真变换方法230需要知道所输出所变换全景图像240的目标图像失真轮廓，该目标图像失真轮廓能够由现有失真处理算法来处理。目标失真轮廓能够是并非限制性地例如若干公共全象失真轮廓之一。在这种情况下，目标图像失真轮廓260能够预先保存在目标失真轮廓存储器225中，如对为单个特定应用所编程的ASIC的情况。另外，目标图像失真轮廓260还能够从一些内部或外部源输入到目标失真轮廓存储器225。目标失真轮廓260能够是从目标失真轮廓存储器225内部的预先保存的目标图像失真轮廓的列表中的选择或者是整个图像失真轮廓。目标图像失真轮廓260的源包括但不限于图像失真处理单元、全景图像显示装置、脸部跟踪或其他图像处理算法等。图像失真变换方法230将原始图像变换成具有针对现有失真处理算法所优化的失真轮廓的目标图像。具有目标失真轮廓的所输出所变换全景图像240以后能够通过现有失真处理算法来处理。因此，在没有对失真处理单元的任何修改或更新的情况下，失真处理单元能够在图像失真变换方法230之后处理任何全景图像。

原始图像失真轮廓250和目标图像失真轮廓260均能够是静态失真轮廓。在本发明的一些实施例中，它们还能够是动态失真轮廓。原始图像失真轮廓250并非限制性地能够例如在原始全景图像200的失真轮廓对动态全景成像器随时间而改变时实时地更新。在另一个实施例中，目标图像失真轮廓260并非限制性地能够更新到应用所要求的不同目标图像轮廓。

原始图像和所变换图像的若干示例在图3示出。图像失真变换方法300的原始全景图像能够是圆形全景图像310或椭圆形全景图像317。在本发明的一些其他实施例中，图像失真变换方法300从多个窄图像320来获取原始多个图像或者从多个全景图像来获取原始多个图像作为输入，并且将它们拼接为具有目标所变换失真轮廓的单或双全景图像。在本发明的一些其他实施例中，输入还能够是原始等距矩形图像330或单个窄图像335。

通过图像失真变换方法300，所输出所变换全景图像能够具有不同目标失真。所输出所变换全景图像的一些示例为350、360、365、370、375、380、385和390。在变换之后，在感兴趣区域内部记录信息的更多像素。在总图像大小降低的情况下，本发明允许感兴趣区域中的全部原始信息的保留。

作为第一示例，一些鱼眼或全象成像器仅在中央圆盘区域中(例如在原始全景图像310中)创建具有原始全景图像内容315的图像。图像在原始全景图像内容圆盘外部为黑色。通过矩形图像文件(其由图像传感器所输出，具有16:9或4:3纵横比)，黑色边界比原始图像内容圆盘甚至更大。在这种图像中，黑色边界不是有用的。当黑色边界变窄并且占用更少像素时，有用图像内容将占用更多像素并且具有更高分辨率。

简单失真轮廓变换是要将具有图像内容的圆形区域伸展成椭圆形区域，如同所变换全景图像A 350中一样。与原始全景图像内容315相比，所变换图像内容355占用图像中的更多像素，并且存在更少黑色边界像素。还能够应用更复杂的失真轮廓，包括但不限于超椭圆形形状(如同所变换全景图像B 360中一样)或者非线性平面天球投影(如同所变换全景图像H 390中一样)。当全景图像在被存储或传送之前按照这种方式来变换时，更多图像储存或传输资源能够使用在重要内容而不是无用黑色内容上。

作为另一个示例，图像显示软件或硬件能够在用户或装置希望放大感兴趣区域时要求图像失真变换方法300增加该区域的分辨率。与图像储存或传输之后对降级的图像的数字缩放相比，当在图像储存或传输之前通过图像失真变换方法300增加分辨率时，能够取得更好的图像质量。图像失真变换方法300能够在某些位置增加分辨率，如同具有边缘放大的所变换全景图像C 365、具有中心放大的所变换全景图像D 370以及具有中区带放大的所变换全景图像E 375中一样。感兴趣区域的准确位置按照来自用户或应用的要求来挑选。

作为另一个示例，图像失真处理算法通过硬件来实现。通过这个特定硬件，仅支持圆形对称失真轮廓。当原始全景图像没有如同原始椭圆全景图像317中一样的旋转对称性时，则图像失真变换方法能够将图像变换成具有旋转对称失真轮廓的所变换图像。

作为另一个示例，目标失真轮廓能够是任何种类的投影失真，该投影失真能够由图像失真处理单元来处理。所变换全景图像能够是：椭圆形全景图像350；超椭圆形360；圆形全景图像365、370和375；或者参数投影的全景图像390。在按照本发明的大多数实施例中，原始图像的视场和所变换图像的视场是相似的。备选地，所变换全景图像还能够是感兴趣区域中具有如同所变换图像F 380中一样的更小视场的全图像的去翘曲的部分。更具体来说，在380的所变换图像F的情况表明，在本发明的一些实施例中，通过压缩图像的其余部分来保持全景视图不是强制性的，而且我们能够在应用所要求时将这个处理(其创建增加的分辨率的区带)与图像的其他较不重要部分的修剪相组合。

作为另一个示例，当输入图像是具有特定失真轮廓的原始窄图像335时，所输出所变换图像G 385也能够是具有创建感兴趣区域的不同失真的窄角。

作为另一个示例，当输入图像是如同立体全景成像的情况中一样的原始多个图像325时，输出能够是所变换多个图像F 380，以允许在处理之后对每个眼睛显示不同的所变换图像，同时增加感兴趣区域中的像素的数量。

图4示出本发明的示例实施例，其中所输出所变换图像失真轮廓的选择按照原始全景成像器的一些参数进行。在本发明的至少一些实施例中，来自图3的图像失真变换过程的目标失真轮廓能够是应用所要求的动态失真轮廓，并且目标失真轮廓能够按照来自原始图像或成像器的任何参数实时地改变。这些参数并非限制性地包括装置取向、装置位置或者来自GPS装置的海拔高度等、日期和时间、周围环境条件(包括气候或水底成像)或者用户选择。作为并非限制本发明的范围的一个具体示例，失真变换方法能够将不同目标失真轮廓用于捕获装置的不同取向。当全景成像器400正面向下或向上时，边界上的图像内容更为重要，因为它们是照相装置周围的物体。在这种情况下，图像失真变换单元420能够将原始全景图像变换成朝图像内容的边缘具有更高分辨率的所变换全景图像430。备选地，当全景成像器410正面向前时，图像失真变换单元420能够将原始全景图像变换成在中央区域具有更高分辨率的所变换全景图像440，该所变换全景图像440包含照相装置前面的物体。

图5示出本发明的另一个示例实施例，其中目标失真轮廓按照场景内容动态调整。失真轮廓的调整能够来自任何源，包括用户手动移动感兴趣区域或者算法单元进行特定对象识别或脸部跟踪。在所示示例中，存在人在全景成像器的视场中移动，并且感兴趣区域跟随他。最初，人502处于全景成像器530所成像的对象场景500的左边。图像失真变换单元540因此配置成创建在图像550的左部分中具有更高放大率552的感兴趣区域，同时通过压缩图像的其余部分仍然保持全景视图。在稍后的时间，人512这时处于同一全景成像器530所成像的对象场景510的中心。图像失真变换单元540因此配置成创建在图像560的中心部分中具有更高放大率562的感兴趣区域，同时通过压缩图像的其余部分仍然保持全景视图。在更加稍后的时间，人522处于同一全景成像器530所成像的对象场景520的右边。图像失真变换单元540因此配置成创建在图像570的左部分中具有更高放大率572的感兴趣区域，同时通过压缩图像的其余部分仍然保持全景视图。

图6示出本发明的示例实施例，其中图像失真变换单元605从同一原始全景图像600来输出多个所变换图像。备选地，在按照本发明的另一个实施例中，多个所变换图像还能够从多个原始全景图像始发，如同立体视觉的情况中一样。在并非限制本发明的范围的这个具体示例中，存在两个所变换图像610和615，其每个具有不同的感兴趣区域。处于左边的图像610在图像的中心中具有感兴趣区域中的更多像素，而处于右边的图像615在图像的右边具有感兴趣区域中的更多像素。这些多个所变换图像然后在620被存储或传送，以便由图像失真处理单元630来使用。当传送图像时，它能够在装置内部内部地或者在另一个装置外部进行。在失真处理之后，两个经处理图像640和645被输出，每个图像示出感兴趣区域处于所变换图像610和615中的图像的部分。这些经处理图像640和645然后在单个或多个观看装置650内部使用。这些装置能够是例如虚拟现实观看设备。在本发明的至少一些实施例中，还存在观看装置650与图像失真变换单元605之间的可选通信链路660，从而允许观看装置按照所要求应用实时地修改感兴趣区域的位置和大小。

图7示出本发明的示例实施例，其中图像失真变换单元705从同一原始全景图像700来输出多个所变换图像710。所输出图像可具有按照本发明的任何所输出所变换失真。目标所变换图像失真轮廓按照应用的要求来配置，并且经由通信链路750来传送给图像失真变换单元705。所变换图像710然后在720内部存储或者传送给失真处理单元730。当传送图像时，它能够在装置内部内部地或者在另一个装置外部进行。来自这个失真处理单元730的输出是多个显示装置740。按照其应用，显示装置740经由通信链路750向图像失真变换单元700实时地请求准确所变换失真图像。每个不同显示装置能够具有不同感兴趣区域或者不同的所变换图像失真轮廓。

图8示出本发明的示例实施例，其中图像失真变换单元805从原始全景图像800连续生成所变换全景图像810，并且将它们输出到图像储存或传输820，以便在失真处理单元830中使用。当传送图像时，它能够在装置内部内部地或者在另一个装置外部进行。失真处理单元830接收所变换图像，其包含全景内容或者具有比所要求要显示的更大视场的全景内容的一部分。失真处理单元830对显示装置840所请求的、在全景图像的感兴趣区域上居中的图像的区域进行提取和去翘曲。这些显示装置840显示在感兴趣区域上居中的图像的去翘曲的视图。当显示装置要求新的感兴趣区域(如例如使用虚拟现实显示装置的用户的头部的旋转)时，显示装置840经由通信链路850与图像失真变换单元810进行通信，以便具有新的所变换全景图像810(其中具有这个新的感兴趣区域)。这个过程因显示装置与图像失真变换单元之间的等待时间而能够花费一些时间。但是，由于本发明创建仍然具有图像中的全面全景内容或者具有比所要求要显示的更大视场的全景内容的一部分的所变换图像(其中在感兴趣区域外部具有更低分辨率)，失真处理单元830能够对新的感兴趣区域的内容瞬时进行去翘曲，并且以更低分辨率在显示装置上显示结果。在这个等待时间周期结束之后，失真处理单元最终接收具有新目标失真轮廓的所变换图像，其在新的感兴趣区域中具有最大分辨率。显示装置840中所显示的所产生去翘曲的视图从较低分辨率视图改进成最大分辨率视图。此外，在本发明的一些实施例中，只有来自图像失真变换单元805的两个所变换图像之间的差异被传送或存储，从而优化储存或传输，并且降低***的等待时间。

以上所述的全部是特定图像失真变换单元和方法的附图和示例。在所有这些示例中，成像器能够具有从非常窄到极大广角的任何视场。这些示例不是要作为详尽列表或者限制本发明的范围和精神。本领域的技术人员将会理解，可对上述实施例进行改变，而没有背离其广义发明概念。因此要理解，本发明并不限于所公开的具体实施例，而是意在涵盖如所附权利要求书所限定的本发明的精神和范围之内的修改。

Claims (18)

1.一种用于将由成像器成像的具有原始失真轮廓的原始图像变换成针对失真处理单元所优化的所变换图像的图像失真变换方法，所述方法用于创建所变换图像中的感兴趣区域，所述方法包括：

a)把来自所述成像器的所述原始图像输入到变换单元中；

b)将原始图像失真轮廓输入到所述变换单元的原始失真轮廓存储器中；

c)将目标失真轮廓输入到所述变换单元的目标失真轮廓存储器中，所述目标失真轮廓与所述原始失真轮廓不同；

d)通过把所述原始图像的所述失真轮廓从所述原始图像失真轮廓变换成目标图像失真轮廓，将所述原始图像变换为所变换图像，所变换图像不是所述原始图像的线性扩缩；以及

e)从所述变换单元输出所变换图像。

2.如权利要求1所述的图像失真变换方法，其中，按照所述原始图像内部的移动内容动态调整所述原始图像中的所述感兴趣区域。

3.如权利要求1中所述的图像失真变换方法，其中，来自所述成像器的所述原始图像是全景图像。

4.如权利要求1中所述的图像失真变换方法，其中，所述原始图像和所变换图像具有相似视场。

5.如权利要求1中所述的图像失真变换方法，其中，来自所述成像器的所述原始图像由多个图像组成。

6.如权利要求1所述的图像失真变换方法，其中，所述目标失真轮廓由所述变换单元按照所述成像器的参数来选择。

7.如权利要求6所述的图像失真变换方法，其中，所述参数是所述成像器的取向。

8.如权利要求1所述的图像失真变换方法，其中，将所变换图像输出到处理单元。

9.如权利要求8所述的图像失真变换方法，其中，所述目标失真轮廓由所述处理单元所支持。

10.如权利要求8所述的图像失真变换方法，其中，将所述失真轮廓从所述变换单元传送给所述处理单元，或者将所述失真轮廓从所述处理单元传送给所述变换单元。

11.如权利要求10所述的图像失真变换方法，其中，将所述失真轮廓与所变换图像一起传送。

12.如权利要求1所述的图像失真变换方法，还包括显示装置，其中将所述失真轮廓从所述显示装置传送给所述变换单元。

13.如权利要求1中所述的图像失真变换方法，其中，将所变换图像输出到显示装置，所述方法还包括：

f)由所述显示装置按照所述显示装置所要求的特定应用来调整所述变换方法的所输入目标失真轮廓。

14.如权利要求13所述的方法，其中，所述变换方法的所输入目标失真轮廓调整成修改感兴趣区域的位置、大小或放大率。

15.如权利要求1所述的方法，其中，所述原始失真轮廓通过以下方式输入所述变换单元中：从经过用户界面的手动选择来输入；从分析所述原始图像的内容自动来输入；直接从所述成像器自动传送来输入；或者在所述原始失真轮廓存储器内部硬编码来输入。

16.如权利要求12所述的方法，其中，所述目标失真轮廓通过以下方式输入所述变换单元中：从经过用户界面的手动选择来输入；从所述失真处理单元、所述显示装置或者算法单元自动传送来输入；或者在所述目标失真轮廓存储器内部硬编码来输入。

17.一种在与失真处理单元结合使用的图像失真变换单元内部的图像失真变换方法，所述方法用于创建所变换图像中的感兴趣区域，所述方法包括：

a)失真处理单元，配置成处理失真轮廓；

b)图像失真变换单元，按照所述失真轮廓将原始图像变换成所变换图像，所变换图像不是所述原始图像的线性扩缩。

18.一种用于将由成像器成像的具有原始失真轮廓的原始图像变换成针对失真处理单元所优化的所变换图像的图像捕获***，所述***用于创建所变换图像中的感兴趣区域，所述***包括具有原始失真轮廓存储器和目标失真轮廓存储器的变换单元，所述变换单元被配置为：

a)接收来自所述成像器的所述原始图像；

b)将原始图像失真轮廓输入到原始失真轮廓存储器中；

c)将目标失真轮廓输入到目标失真轮廓存储器中，所述目标失真轮廓与所述原始失真轮廓不同；

d)通过把所述原始图像的所述失真轮廓从所述原始图像失真轮廓变换成目标图像失真轮廓，将所述原始图像变换为所变换图像，所变换图像不是所述原始图像的线性扩缩；以及

e)输出所变换图像。

Images