CN101673394B - 内容感知的广角图像 - Google Patents

Abstract

本说明书涉及内容感知的广角图像，描述了涉及数字图像的技术。总体上，本说明书中所描述的主题的一方面可以实施为一种方法，所述方法包括以下动作：接收源广角图像；标识该源广角图像的一个或多个局部显著特征；根据利用了所标识的一个或多个空间上可变的显著特征的约束来计算从源广角图像到二维映射广角图像的映射；利用计算出的映射来绘制映射后的广角图像以使得映射后的广角图像相对于源广角图像的失真而言降低了局部显著特征的失真。

Description

内容感知的广角图像

技术领域

本发明涉及数字图像。

图像捕获设备，例如照相机，可被用来捕获部分视场的图像。此外，这样的图像捕获设备可以具有变化的视场。由特定照相机捕获的视场部分取决于照相机镜头的焦距和底片大小。广角镜头的焦距小于普通镜头(例如，镜头的焦距基本上等于底片大小的对角线长度)。对于不变的底片大小，相对于较大焦距的镜头而言，广角镜头能捕获更大的视场。

任何由输入设备捕获的图像经常包括一些失真。例如，照相机可能使得在图像中所描述的目标的大小失真，以致于远处目标看起来比近处目标小。特别地，捕获图像导致部分视场的投影。该投影可以根据图像捕获设备的视点来改变，这导致了在捕获图像之间的透视失真。

一些广角图像提供具有大视场的直线图像(例如，用于35mm照相机的24mm广角镜头)。其它广角镜头不能提供矩形图像，例如一些鱼眼镜头。鱼眼镜头提供广角半球图像，其可以被修剪成一个传统的矩形图像。

此外，广角镜头固有地会产生额外的失真，特别是在接近边缘处，例如在现实世界中看起来是直的线在此处看起来是弯的，而圆形则被拉伸成椭圆形。

另一种形式的广角图像是将两个或更多的分量图像拼合到一起形成的合成图像(例如全景图像)。因此，为了形成更大视场的图像，可以获取多个部分视场的重叠图像，并且这些图像可以拼合到一起以形成合成图像。该合成图像也可能包含失真，包括透视失真。

发明内容

本说明书描述了涉及数字图像的技术。

总体上，本说明书中描述的主题的一方面可以实施为包括以下动作的方法：接收源广角图像；标识源广角图像中的一个或多个局部显著特征；利用所标识的一个或多个显著特征来计算从源广角图像到二维映射广角图像的空间上可变的映射；利用计算出的映射来绘制映射后的广角图像，以使得映射后的广角图像相对于源广角图像的失真而言降低了所述局部显著特征的失真。这方面的其它实施方式包括相应的***、装置以及计算机程序产品。

这些以及其它实施方式可选择地包括一个或多个下述特征。接收源广角图像包括接收与源广角图像相关联的照相机的一个或多个特性，还包括利用照相机的一个或多个特生将源广角图像投影到球表面上；标识局部显著特征包括检测源广角图像中的线；标识局部显著特征包括检测源广角图像中的面部；计算映射包括将离散限制方程的线性***定义为局部显著性的函数；线性***定义保形性(conformality)约束、直线约束和平滑度约束；计算映射包括利用最小二乘法限制方程求解。该方法还包括存储映射后的广角图像。

本说明书中描述的主题的具体实施方式可以被实施从而实现以下一个或多个优点。源广角图像可被映射到表面上，使得固有的照相机失真降低。图像内容可被用来计算最优映射，为了降低显著图像内容的失真，该最优映射针对不同的图像区域而改变。所生成的映射后的广角图像降低了失真，以提供比由源广角图像提供的视图的表示更进一步匹配相对应的现实世界的视图。

本发明的一个或多个实施方式的细节在下附的附图以及描述中得以阐述。本发明的其它特征、方面以及优点将从实施方式、附图及权利要求中变得明显。

附图说明

图1是用于以降低的失真映射广角图像的的示例方法的流程图；

图2A是广角图像的示例；

图2B是另一个源广角图像的示例；

图3是投影在一个球体上的广角图像的示例；

图4是示例线段的示图；

图5是非平滑广角图像映射的示例；

图6是映射后的广角图像的示例；

图7是示例性的用户***结构框图。

在不同附图中同样的附图标记及名称表示同样的元件。

具体实施方式

图1是用于以降低的失真映射广角图像的示例方法100的流程图。为了方便起见，针对执行方法100的***来描述该方法100。

***接收102源广角图像。源广角图像可以是利用广角镜头(例如鱼眼镜头)捕获的图像或是由两个或更多个分量图像形成的合成图像。***可以本地或者远程地从存储设备接收源广角图像。此外，可以响应于图像的用户标识(例如，从用户界面的用户选择)而获取源广角图像。在一些实施方式中，源广角图像包括附加信息(例如，作为与广角图像相关联的元数据)，例如，与源广角图像相关联的照相机参数(例如焦距、照相机视角)。

图2A是一个源广角图像200的示例。源广角图像200是通过具有特殊焦距的鱼眼镜头捕获的图像。此外，源广角图像200可以被修剪成矩形图像，而不是半球图像。在源广角图像200中可以看见图像失真。例如，广角图像中的失真包括直线的弯曲、局部拉伸和剪切、缩放变化以及朝向变化。例如，在源广角图像200中，表示窗户的框202的垂直线是弯曲的。此外，在源广角图像200中，前景中的个人204被拉伸。拉伸是由不均匀的缩放造成的(例如，沿着一个方向的缩放大于另一方向)。不均匀的缩放是损失保形性的原因之一，这将在下面详细介绍。

图2B是另一个源广角图像201的示例。源广角图像201是一个广角直线透视图像。拉伸失真在源广角图像201的边缘清晰可见。

***根据特定的球面投影将接收到的源广角图像投影104到球表面。广角图像的球面变换是一种几何变换，其提供了从广角图像的参考系到球表面上的投影图像的广角图像的变换。特别地，球面变换提供从平面坐标***(例如，笛卡尔x、y坐标或者平面极坐标半径ρ和角度θ)到标识球面上的点的球坐标系，或者更特别的是，到地理坐标(例如，经度λ和纬度Φ)的广角图像的变换。

在一些实施方式中，***利用与源广角图像相关联的照相机属性，特别是焦距，将源广角图像投影到球面上。在一些可选择的实施方式中，***利用柱状投影将源广角图像投影到柱面上。

对一个由λ和Φ参数化表示的球面投影，图像上的每个点都可由诸如 $\mathrm{\λ}=\left[\begin{array}{c}\mathrm{\λ}\\ \mathrm{\φ}\end{array}\right]$ 的矢量符号标识。球面可根据在λ、Φ空间中的均匀栅格被离散化。栅格可由i和j来表征，其中i表示λ方向上的步进移动(例如象素的指定数目)，j表示Φ方向的相应步进。这产生了球表面上的四边形网格，其中每个四边形的大小取决于i和j的具体范围，例如，0＜i＜w，并且0＜j＜h。变量w和h对应于四边形网格在水平和竖直维度上的步进数，其取决于输入图像的大小。

图3是投影到一个球上的投影的广角图像300示例。此外，栅格206在球表面以及投影的广角图像300上表示出来。示出的栅格206具有相对于经线Φ202和纬线λ204的线。此外，当投影到球上时，广角图像300的局部是无失真的。例如，在球上，图像内容(例如两个人)以自然、无失真的形式被显示。因此，图1中的广角图像100显示的失真没有在球面投影的广角图像300中出现。

***标识106广角图像的显著特征。显著特征是在映射后的二维广角图像中不应该失真的图像局部特征。例如，标识广角图像的显著区域，以保留诸如脸部形状/缩放或者要保持为直线的线。类似地，广角图像的其它区域可以较为不显著。例如，表示空墙的区域可被标识为较少局部显著，因为此处的局部失真对映射后的二维广角图像的影响小。此外，图像里高对比度的区域或者尖锐的区域也可标识显著特征。

在一些实施方式中，局部显著特征是人工标识的。例如，***可以显示广角图像，用户可以标识图像中的脸部或者要保持为直线的线(例如，通过标识一个线段的端点)。在一些其它的实施方式中，显著特征是自动标识的。例如，可以利用不同的线检测技术，比如霍夫变换(Hough-transform)。类似地，脸部检测技术可被用来标识图像中的脸，之后其可被标识为显著特征。

基于所标识的显著特征，广角图像的球面投影被用来计算从球到二维平面的映射，其中该二维平面由u和v来参数化。这个映射后的广角图像根据局部显著性可变地降低源广角图像中显示的失真。二维平面中的映射后的广角图像上的每个点都可在如 $u=\left[\begin{array}{c}u\\ v\end{array}\right]$ 的矢量符号中标识。

***计算108广角图像到如下二维平面的最优映射，该二维平面降低了图像中显著特征的失真。特别地，***标识从球表面上的点λ_i，j到二维面上的点u_i，j的映射。为了计算映射，***试图满足定义从球到二维平面的投影的具体微分方程。然而，由于具体的约束，这些方程通常不能在广角图像的所有点上得到满足。因此，不存在从球到二维平面的没有失真的全局投影。然而，多种技术可用来计算空间变换的映射(也称为空间变换投影)，其近似满足由微分方程定义的约束。例如，最小二乘法技术可被用来计算根据微分方程约束来逼近投影的特定映射。

定义投影约束的微分方程可被离散化，以产生对球表面上的每个点具有已知变量 $\left({\mathrm{\λ}}_{i,j}{\mathrm{\φ}}_{i,j}\right)\∀i,j,$ 而对二维平面上的每个映射点具有未知变量 $\left(u_{i,j}{v}_{i,j}\right)\∀i,j$ 的线性方程***。在下面将更详细地描述，对这个线性***进行求解，以便基于局部图像显著性来计算具有降低的失真的广角图像的映射。

在一些实施方式中，有与从λ、Φ到u、v空间的映射相关联的四个特定约束：保形性约束、直线约束、平滑度约束、正则性约束，将依次对其进行描述。根据局部图像显著性，可以对约束值进行修改从而空间地改变。特别地，保形性、直线和平滑度的离散值可根据显著性而改变。

保形性描述了确保球表面上所有的角都在二维平面中局部保持的特性。因此，保形性确保图像没有作为从球到平面的投影结果的局部切变或不均匀缩放。根据柯西-黎曼(Cauchy-Riemann)方程，保形性通常被描述成：

$\frac{\∂u}{\∂\mathrm{\λ}}=\cos \mathrm{\φ}\frac{\∂v}{\∂\mathrm{\φ}};$

$\frac{\∂v}{\∂\mathrm{\λ}}=-\cos \mathrm{\φ}\frac{\∂u}{\∂\mathrm{\φ}}$

具有非零导数的满足柯西-黎曼方程的函数保持角度。因此，柯西-黎曼方程表示保持保形性所需要的条件。柯西-黎曼方程与那些用于平面到平面的映射近似。然而，因为使用了纬度线大小不均匀的球坐标，上述公式引入了cosΦ项。通过由于偏导数而造成的距离上的极小改变而定义的柯西-黎曼方程，可相对于Φ、u和v被离散化，以形成线性限制方程：

u_i+1，j-u_i，j-cosφ_i，j(v_i，j+1-v_i，j)＝0

v_i+1，j-v_i，j-cosφ_i，j(u_i，j+1-u_i，j)＝0

根据广角图像的局部内容，所标识的显著特征可被用来对这些约束进行加权。例如，对属于脸部的广角图像的部分实施更强的保形性。线性限制方程的加权形式可被表示成：

W_i，j(u_i+1，j-u_i，j-cosφ_i，j(v_i，j+1-v_i，j))＝0

W_i，j(v_i+1，j-v_i，j-cosφ_i，j(u_i，j+1-u_i，j))＝0

其中，W_i，j是基于权重的局部地(空间地)变化的显著性。可选择地，在一些实施方式中，W是针对所有点的固定权重。cosΦ和W的值在直线约束中是已知的，所以只有u和v的值是未知的。

直线段的弯曲是图像投影中很普遍的显而易见的失真。线性约束控制从球表面到二维平面的投影中针对线产生的弯曲量。直线弯曲在广角图像的特殊类型(例如鱼眼或者柱状全景图像)中更普遍。标识的显著线是那些(例如在三维现实世界中)直的线段并且当投影到二维平面时也应该保持其是直的(例如，从直线立体图像中标识出的或者由投影球上的弧形标识的)。根据局部显著性，也就是广角图像中的点，直线约束的应用在空间上发生变化，尤其是在线被标识为特征的地方。

线可由在线上的任意点以及来自线的标准矢量n定义。根据直线约束，线上的任意点u_i，j都要满足：

(u_i，j-u)^Tn＝0，

其中，u是线的中点。根据该约束，对投影到二维平面的线上的任意点，该点在该线的标准矢量上的投影应该为零。因此，二维的线同样被限制为直线。

图4是线段400的示例图。线段400具有起点u_start、终点u_end、中点u和标准矢量n。此外，图4图示了从点u_i，j到标准矢量n的投影。在标准矢量上的投影到线的长度提供了该点到线的距离，其被定义为(u_i，j-u)^Tn。因此，如果点u_i，j在该线上，这个值就为零。

为了保持应用直线约束的方程的线性***，要确定投影线的方向。在一些实施方式中，***通过选择在直线透视图像中线所具有的线的方向来确定方向。在一些其它的实施方式中，方向选自其它投影。

栅格线可被用来标识投影线的方向。然而，由于线以有限的分离而离散，因此线可能与栅格的顶点对不准。然而，如果线与投影栅格的四边形相交，***在线-四边形相交的中点处会限制双线性插值的点。这将直线约束修改为：

${({\mathrm{au}}_1+{\mathrm{bu}}_2+{\mathrm{cu}}_3+{\mathrm{du}}_4-\frac{1}{2}(u_{\mathrm{start}}+u_{\mathrm{end}}))}^{t}n=0,$

其中，(u₁，u₂，u₃，u₄)形成四边形，(a，b，c，d)是使得a+b+c+d＝1的双线性映射系数。此外，

是线段的中点。对线性***而言，n和(a，b，c，d)的值是已知的，只有u和v的值是未知的。

保形性约束和直线约束没有考虑投影的缩放和旋转失真。因此，为了符合其它需要的约束条件，投影可以在图像的空间上显著地改变。

图5是一个非平滑广角图像投影500的示例。在缩放或者旋转方面没有限制的广角图像500显示栅格线以直角交叉，这意味着保形性。然而，缩放的变化很大，特别在边缘处，这是不理想的。例如，如广角图像投影500所示，中央四边形502的缩放与边缘处的四边形504的缩放显著不同。

为了限制这些失真效应，平滑度约束可被应用到沿着球表面的经线及平行线进行指向的单位矢量。单位矢量分别被指代为h和k。更具体地，它们被定义为：

$h=\left[\begin{array}{c}\frac{\∂u}{\∂\mathrm{\φ}}\\ \frac{\∂v}{\∂\mathrm{\φ}}\end{array}\right]$

$k=\frac{1}{\cos \mathrm{\φ}}\left[\begin{array}{c}\frac{\∂u}{\∂\mathrm{\λ}}\\ \frac{\∂v}{\∂\mathrm{\λ}}\end{array}\right]$

为了避免缩放或旋转的突变(例如使得h和k缓慢变化)，h和k被限制为不应该改变。约束被定义为：

$\frac{\∂h}{\∂\mathrm{\φ}}=\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂{\mathrm{\φ}}^2}\\ \frac{{\∂}^{2}v}{\∂{\mathrm{\φ}}^2}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

$\frac{\∂h}{\∂\mathrm{\λ}}=\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂\mathrm{\φ}\∂\mathrm{\λ}}\\ \frac{{\∂}^{2}v}{\∂\mathrm{\φ}\∂\mathrm{\λ}}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

以及

$\frac{\∂k}{\∂\mathrm{\φ}}=\sec \mathrm{\φ}\tan \mathrm{\φ}\left[\begin{array}{c}\frac{\∂u}{\∂\mathrm{\λ}}\\ \frac{\∂v}{\∂\mathrm{\λ}}\end{array}\right]+\sec \mathrm{\φ}\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂\mathrm{\λ}\∂\mathrm{\φ}}\\ \frac{{\∂}^{2}v}{\∂\mathrm{\λ}\∂\mathrm{\φ}}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

$\frac{\∂k}{\∂\mathrm{\λ}}=\sec \mathrm{\φ}\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂{\mathrm{\λ}}^2}\\ \frac{{\∂}^{2}v}{\∂{\mathrm{\λ}}^2}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

由于无法始终该方程，将其设定为等于零可以降低它们逼近解的时候所能够改变的量(例如当利用最小二乘法求解线性方程***时)。对于线性***，这些约束再次被离散化。特别是，它们被离散化以形成下面的线性方程：

$\frac{\∂k}{\∂\mathrm{\φ}}=\sec \mathrm{\φ}\tan \mathrm{\φ}\left[\begin{array}{c}\frac{\∂u}{\∂\mathrm{\λ}}\\ \frac{\∂v}{\∂\mathrm{\λ}}\end{array}\right]+\sec \mathrm{\φ}\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂\mathrm{\λ}\∂\mathrm{\φ}}\\ \frac{{\∂}^{2}v}{\∂\mathrm{\λ}\∂\mathrm{\φ}}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

$\frac{\∂k}{\∂\mathrm{\λ}}=\sec \mathrm{\φ}\left[\begin{array}{c}\frac{{\∂}^{2}u}{\∂{\mathrm{\λ}}^2}\\ \frac{{\∂}^{2}v}{\∂{\mathrm{\λ}}^2}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

以及

$\frac{\∂k}{\∂\mathrm{\φ}}=\sec {\mathrm{\φ}}_{i,j}\tan {\mathrm{\φ}}_{i,j}\left[\begin{array}{c}{u}_{i+1,j}-u_{i-1,j}\\ u_{i+1,j}-u_{i-1,j}\end{array}\right]+{\sec \mathrm{\φ}}_{i,j}\left[\begin{array}{c}{u}_{i+1,j+1}-u_{i+1,j-1}-u_{i-i,j+1}+u_{i-1,j-1}\\ v_{i+1,j+1}-v_{i+1,j-1}-v_{i-i,j+1}+v_{i-1,j-1}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

$\frac{\∂k}{\∂\mathrm{\λ}}=\sec {\mathrm{\φ}}_{i,j}\left[\begin{array}{c}{u}_{i-1,j}-{2u_{i,j}+u}_{i-1,j}\\ u_{i-1,j}-2u_{i,j}+u_{i-1,j}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$

这些平滑度约束可以以与上述保形性约束相类似的方式通过显著性测量而被加权。平滑度权重可基于局部显著性而在投影中进行空间上的变化。例如，可在图像中的高细节区域对于关于平滑度的局部显著性进行标识，例如在图像中绘制的脸部。其它区域将具有低显著性，例如，旋转失真具有很小影响的表示空墙的局部区域。

既然Φ的值是已知的，线性方程中仅有的未知项仍然是u和v的投影值。

还可以对现行***应用正则性约束。正则性约束被用来防止广角图像到一个单独点的映射的平凡解。为了防止这种可能性，***可以应用弱Tikhonov正则化法，优选墨卡托(Mercator)投影法，因此：

W_小(u_i，j-M(λ_i，j，φ_i，j))＝0

其中，M(λ_i，j，φ_i，j)是墨卡托投影，W_small非常小(值是基于应用于其它约束条件的权重而发生变化的，更特别地，权重W相对于线权重小，例如，可应用相对于线权重500的0.0001的权重)。这个正则性约束防止没有显著影响投影的总体形状的平凡解。在一些实施方式中，使用其它投影，例如立体摄影投影。

广角图像从球表面到u、v平面的最优映射是通过求解限制方程的线性***来计算的。特别地，线性方程的形式为矩阵-矢量方程。未知项(例如，u_i，j和v_i，j)排列在单列矢量x中。因此，任意线性约束方程，a_k，可被写作a_kx＝b_k的形式，其中a_k是一个表示特殊约束方程的行矢量，b_k是矢量的标量积。

例如，具有线性方程W_i，j(v_i+1，j-v_i，j-cosφ_i，j(u_i，j+1-u_i，j))＝0的保形性约束的约束方程可被写作矩阵-矢量方程：

其中已知项的行矢量，a_k，被简写为列矢量的转置矩阵。每个线性约束方程都可被写作a_kx＝b_k的形式。因此，如果相对于特殊线性约束方程的每个a_k被叠加成矩阵A，并且相应的b_k标量为矢量b，则线性***可被表示为：

$\mathrm{Ax}=\left[\begin{array}{c}\←a_1\→\\ .\\ .\\ .\\ \←a_n\→\end{array}\right]\left[\begin{array}{c}{u}_{\mathrm{1,1}}\\ v_{\mathrm{1,1}}\\ .\\ .\\ .\\ u_{w,h}\\ v_{w,h}\end{array}\right]=\left[\begin{array}{c}{b}_1\\ .\\ .\\ .\\ b_n\end{array}\right]=b$

由于矩阵的行多于列，线性***的合成矩阵形式是超定(overdetermined)的。然而，u、v的值可利用通过形成正态方程A^TAx＝A^Tb的最小二乘法来计算，对其进行x求解，得到：

x＝(A^TA)^-1A^Tb

x的解可通过包括一个或多个计算机应用的标准数学方法来计算。例如，利用由The Math Works公司提供的

中的“\”算符来求解x。因此，不需要明确地倒置矩阵A^TA。x的值可被有效地计算，因为当A^TA大时，其每行的非零条目的数目很少。x的解提供所有u和v的值，这些值是根据约束将广角图像映射到二维平面所必需的，其中约束是内容感知的，例如，约束说明了图像中的可变的显著性。因此，对球表面上的每个图像点坐标λ_i，j、φ_i，j，可以计算特定的映射坐标u_i，j、v_i，j，以生成映射后的广角图像。

如图1中所示，***绘制110映射后的广角图像。特别地，x的解被用来标识二维平面的坐标，其对应于空间投影的广角图像的λ、Φ坐标。此外，因为x的解是基于说明图像中局部显著性的约束的(例如约束是内容感知的)，映射后的广角图像具有基于显著性的降低的失真。

在一些实施方式中，该呈现包括将分辨率缩放到特定大小，并且扫描绘制所得到的u、v栅格的每个四边形。图像纹理的分辨率取决于方程的线性***。因此，从相对小的***可产生高分辨率的绘制。在一些实施方式中，利用从输出四边形到相关联的输入四边形的双线性映射来绘制图像纹理。

图6是映射后的广角图像600的示例。映射后的广角图像600是根据最优映射关系映射到二维平面的广角图像，其降低了来自源广角图像(例如图2中的广角图像200)的失真。特别地，最优映射是内容感知的，以使广角图像的特殊显著性特征被标识并且被用以限制映射，从而使失真降低。

例如，在映射后的广角图像600中包括无失真的个人602，其对应于图2中的源广角图像200的失真个人204。类似地，在源广角图像200中弯曲的线在映射后的广角图像600中是直的(例如，源广角图像200中的线202是弯的，而其相对应的线604是直的)。

图7是示例性的用户***架构700的框图。***架构700能够主处理电子接收、显示、编辑一个或多个音频信号的音频处理应用程序。架构700包括一个或多个处理器702(例如IBM PowerPC、IntelPentium 4等等)、一个或多个显示设备704(例如CRT、LCD)、图形处理单元706(例如NVIDIA GeForce等)、网络接口708(例如Ethernet、Fire Wire、USB等)、输入设备710(例如键盘、鼠标等)以及一个或多个计算机可读介质712。这些部件通过一个或多个总线714(例如EISA、PCI、PCI Express等)交换通信信息和数据。

术语“计算机可读介质”指的是参与提供指令到处理器702用以执行的任意介质。计算机可读介质712还包括操作***716(例如Mac

Linux等)、网络通信模块718、浏览器720(例如Internet Explorer、

等)、成像应用程序722和其它应用程序724。

操作***716可以是多用户、多进程、多任务、多线程、实时以及类似的。操作***716执行基本任务，包括但不限于：识别来自输入设备710的输入；发送输出到显示设备704；在计算机可读介质712(例如内存或者存储设备)上保持文件和目录的轨道；控制***设备(例如盘驱动器、打印机等)；并且管理一个或多个总线714上的通信。网络通信模块718包括用于建立和保持网络连接的多种元件(例如用于实现诸如TCP/IP、HTTP、以太网等通信协议的软件)。浏览器720能够使用户在网络(例如Internet)上搜索信息(例如数字媒体项目)。

成像应用程序722提供各种软件成分，用来执行如图1-图6中所描述的以下各种功能：从广角图像标识显著内容、利用显著内容计算广角图像的映射、绘制校正图像。

说明书中描述的主题和函数运算的实施方式可由数字电子电路或者计算机软件、固件或硬件来实现，包括说明书中揭示的结构以及它们的结构上的等价物，或者它们中一个或多个的组合。说明书中描述的主题的实施方式可实现为一个或多个计算机程序产品，例如，一个或多个计算机程序指令模块，其编码在计算机可读介质上，由数据处理装置执行或者控制处理处理装置的操作。计算机可读介质可以是可机读的存储设备、可机读存储基体、内存设备、影响可机读传播信号的合成物或者是它们中的一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括作为示例的可编程处理器、计算机或者多个处理器或计算机。除硬件之外，装置可以包括向当前计算机程序创建执行环境的编码，例如组成处理器固件、协议堆栈、数据库管理***、操作***或者它们中一个或多个组合的编码。传播的信号是人工产生信号，例如机器产生的电、光或者电磁信号，其被生成从而编码信息以用于传送到适当的接收器装置。

计算机程序(也已知为程序、软件、软件应用程序、脚本或者代码)可以编程语言的任何形式写入，包括汇编或者翻译语言，它也可以任何形式配置，包括作为独立程序或者作为模块、组件、子例程或者其它适用于计算环境的单元。计算机程序并非必须对应于文件***中的文件。程序可被存储在也保存其它程序或数据(例如，一个或多个存储在标记语言文档中的脚本)的文件的一部分中、当前程序的专用单独文件中或者多个配套文件中(例如存储一个或多个模块、子程序或者代码部分的文件)。计算机程序可被配置在一个计算机或位于一个现场或者分布在多个现场并且通过通信网络互相连接的多个计算机上执行。

说明书中描述的过程和逻辑流可由一个或多个可编程处理器来完成，所述可编程处理器执行一个或多个计算机程序，以通过对输入数据进行操作以及生成输出来完成操作。过程和逻辑流也可以由专用逻辑电路完成，并且装置也可通过专用逻辑电路来实现，例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。

适用于执行计算机程序的处理器例如包括，通用和专用微处理器以及任意种类的数字计算机的任意一个或多个处理器。通常，处理器接收来自只读存储器或者随机存取存储器亦或二者的指令和数据。计算机的主要元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储设备。通常，计算机也包括一个或多个海量存储设备，或者可操作地连接到一个或多个海量存储设备以接收和/或发送数据，所述海量存储设备用于存储数据，例如为磁盘、磁光盘或者光盘。然而，计算机并非必需这样的装置。此外，计算机可被嵌入到其它设备中，例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位***(GPS)接收器，这里仅列举几个。适用于存储计算机程序指令和数据的计算机可读介质包括所有类型的非易失存储器、介质和存储装置，包括例如EPROM、EEPROM和闪存装置的半导体存储设备；例如内部硬盘或移动硬盘的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路。

为提供与用户交互，说明书中描述的主题的实施方式可通过带有诸如CRT(阴极射线管)或LCD(液晶显示器)监视器的显示设备的计算机来实现，用于向用户显示信息，用户可通过键盘和诸如鼠标或轨迹球的指向设备向计算机提供输入。其它种类的设备也可用来提供与用户交互，例如，提供给用户的反馈可为诸如视觉反馈、听觉反馈或者触觉反馈的任意形式的可感测的反馈；来自用户的输入也可以以包括声音、语音或触觉输入的任意形式被接收。

说明书中描述的主题的实施方式可以实施在计算***中，该计算机***包括例如数据服务器的后端组件，或者包括例如应用程序服务器的中间设备组件，或者包括例如带有用户可通过其与说明书中描述的主题设备进行交互的图形用户接口或者网络浏览器的客户计算机的前端组件，或者这样的后端组件、中间设备、前端组件中的一个或多个的任意组合。***的组件可以通过任何形式或者诸如通信网络的数字数据通信介质互联。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。

计算***可以包括客户机和服务器。客户机和服务器通常彼此距离很远并且典型地通过通信网络进行交互。客户机和服务器的关系出现是由于运行在各自计算机上并且彼此具有客户机-服务器关系的计算机程序。

说明书包含许多细节，尤其是发明的特殊实施方式的具体特征的描述，这些不应该被解释为对发明范围或者权利要求的限制。在说明书各个实施方式的上下文中描述的某些特征也可以组合在一个单独的实施方式中来实现。与之相反地，在一个单独实施方式上下文中的描述的各种特征也可以在多个实施方式分别实现，或者在任意适当的子组合中实现。此外，虽然这些特征被上文描述成在特定的组合中进行动作并且对此进行了要求，但是来自所要求的组合的一个或多个特征在某些情形下也可以从组合中分离，所要求的组合可被导向子组合或者子组合的变化。

类似地，虽然在附图中描述的操作是按特定顺序的，这不应该被理解为为达到期望结果，需要操作以图示特定顺序或者顺次执行，或者所有举例说明的操作都应该执行。在某些环境下，多任务和并行处理是有利的。此外，上文描述的实施方式中多种***组件的分离不应该被理解为在所有实施方式中都需要这样的分离，它应该被理解为描述的程序组件和***通常被集成在单独的软件产品或者打包在多个软件产品中。

因此，已经描述了本发明的特殊实施方式。其它实施方式在下面权利要求的范围内。例如，权利要求列举的动作可按照不同顺序执行并且仍然能获得期望结果。

Claims (16)

1.一种用于内容感知的广角图像的方法，包括：

接收源广角图像；

标识所述源广角图像的一个或多个局部显著特征；

利用所标识的一个或多个显著特征来计算从所述源广角图像到二维映射广角图像的、空间上可变的映射；

利用计算出的映射来绘制映射后的广角图像，使得映射后的广角图像相对于所述源广角图像的失真而言降低了所述局部显著特征的失真。

2.如权利要求1所述的方法，其中接收源广角图像包括接收与源广角图像相关联的照相机的一个或多个特性，该方法还包括：

利用照相机的一个或多个特性将所述源广角图像投影在球表面上。

3.如权利要求1所述的方法，其中标识局部显著特征包括检测所述源广角图像中的线。

4.如权利要求1所述的方法，其中标识局部显著特征包括检测所述源广角图像中的面部。

5.如权利要求1所述的方法，其中计算映射包括将离散约束方程的线性***定义为局部显著性的函数。

6.如权利要求5所述的方法，其中线性***定义保形性约束、直线约束和平滑度约束。

7.如权利要求1所述的方法，其中计算映射包括利用最小二乘法对约束方程求解。

8.如权利要求1所述的方法，还包括存储映射后的广角图像。

9.一种用于内容感知的广角图像的设备，包括：

用于接收源广角图像的装置；

用于标识所述源广角图像的一个或多个局部显著特征的装置；

用于利用所标识的一个或多个显著特征来计算从所述源广角图像到二维映射广角图像的、空间上可变的映射的装置；

用于利用计算出的映射来绘制映射后的广角图像以使得映射后的广角图像相对于所述源广角图像的失真而言降低了所述局部显著特征的失真的装置。

10.如权利要求9所述的设备，其中用于接收源广角图像的装置包括用于接收与所述源广角图像相关联的照相机的一个或多个特性的装置，并且所述设备包括：

用于利用照相机的一个或多个特性将所述源广角图像投影在球表面上的装置。

11.如权利要求9所述的设备，其中用于标识局部显著特征的装置包括用于检测所述源广角图像中的线的装置。

12.如权利要求9所述的设备，其中用于标识局部显著特征的装置包括用于检测所述源广角图像中的面部的装置。

13.如权利要求9所述的设备，其中用于计算映射的装置包括用于将离散约束方程的线性***定义为局部显著性的函数的装置。

14.如权利要求13所述的设备，其中线性***定义保形性约束、直线约束和平滑度约束。

15.如权利要求9所述的设备，其中用于计算映射的装置包括用于利用最小二乘法对限制方程求解的装置。

16.如权利要求9所述的设备，还包括用于存储映射后的广角图像的装置。

Images