CN106803884B - 图像处理装置 - Google Patents

Abstract

本发明涉及一种图像处理***，其包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视角和视点位置；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围为比所述第一范围更广角度侧。

Description

图像处理装置

本申请是申请日为2013年12月26日、申请号为201310738978.3、发明名称为“图像处理***和图像处理方法”的发明专利申请的分案申请。

相关申请的交叉引用

本申请基于2012年12月26日提交的日本专利申请No.2012-282899，并主张其优先权，其全部内容以引用的方式合并入本文中。

技术领域

本发明涉及一种图像处理技术的改进，更具体地，涉及一种用于根据三维模型来投影广角图像的图像处理***和图像处理方法。

背景技术

迄今已知全景图像浏览器作为用于在平面上显示摄像机等拍摄的图像的显示***。全景图像浏览器是一种将多个从不同方向拍摄的局部重合的目标图像组合起来并在显示器中显示所组合的图像的***。

众所周知的全景图像浏览器具有多种功能，能够改变显示范围例如摇摆 (视场的左右移动)、俯仰(视场的上下移动)和缩放(放大和缩小)。全景图像浏览器常常具有这种技术：将附着在圆柱体侧表面或球体外表面上的图像以该圆柱体或该球体重心上的视图投影到平面上。在这种情况下，在平面显示器上，附着在三维表面上的图像被投影成平面图像，并根据用户设置的每个摇摆、俯仰和缩放设置值进行显示。该图像的焦点取决于圆柱体的侧表面或球体的表面。

然而，现存的全景图像浏览器存在的问题是：当通过显示范围的改变操作，特别是通过缩放使视场变得比特定范围更广时，在图像的视场边缘上会产生失真等现象。

作为被设计用于显示例如全景图像的广角图像的技术，已知有非专利文献 (下文中称为非专利文献1)：在纽约的ACM出版的第93号文章，ACM Transactions on Graphics(TOG)Proceedings of ACM SIGGRAPH 2007，2007年7 月，第3期，第26卷，J.Kopf等人所著的“Capturing and Viewing Gigapixel Images”。非专利文献1公开了以能够获得全景图像的视场来显示图像的浏览器。在非专利文献1中公开的浏览器，连续控制其投影方法以在小的视场内执行透视投影以及在大的视场内执行圆柱状投影或球状投影。

然而，由于非专利文献1中的一般技术是根据缩放而改变投影方法，所以导致进行实时处理时处理复杂并且需要高性能的计算。另一方面，近来，不但在个人电脑中，而且在计算性能相对低的智能电话或平板电脑终端中也频繁提供有全景图像浏览器。在这种计算性能相对低的信息终端设备中，很难执行如非专利文献1所述的、以30fps(帧/秒，Frameper Second)进行诸如实时显示的复杂处理。

近来，信息终端设备中除包括CPU之外还常常包括作为图像计算器的 GPU(Graphics Processing Unit,图形处理单元)。典型的，GPU包括诸如OPEN GL等的对应于API(Application Programming Interface，应用程序接口)的计算功能，并且能够进行高速图像处理计算。然而，由于在智能电话等中提供的 GPU是OPEN GL的子集版本，因此其计算模型相对简单。

考虑到上述情况，描述了这样的技术发展：即使在计算性能有限的信息终端设备中，在提供高速显示的同时，可以在以大的视场显示时，降低因目标的顶/底和左/右边缘被放大而导致的失真等。

发明内容

考虑到上述现有技术中的问题而提出本发明。本发明的目的是：提供一种图像处理***、一种图像处理方法以及一种程序，部分降低了对计算性能的需求，用于显示全景图像显示器的大的视场，其能够降低因目标的顶/底和左/ 右边缘被放大而导致的失真等，并且高速显示。

为了达到该目的，本发明的实施方式提供：一种图像处理***，包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视点位置和视角；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围的角度边界比所述第一范围的角度边界更广。

附图说明

图1示意性地说明了根据本发明实施例的全向图像显示***。

图2是根据本发明实施例的全向图像显示***的全向图像输出处理功能的框图。

图3是全向图像输出处理过程中图像数据的流程图。

图4A-4D示出了在鱼眼镜头的情况下使用的投影方法的示例。

图5A和5B示出了根据本发明实施例的全向图像格式的图像数据结构。

图6示出了在三维图形显示中执行的透视投影。

图7是示出了根据本发明实施例的图像处理器执行的全向图像显示处理的流程图。

图8示出了在预先确定的范围内显示全向图像的图像浏览器屏幕的示例。

图9是根据本发明实施例，放置在图像处理器中的平面图像生成器的功能框图。

图10示出了模型坐标***、摄像机的视点位置(d)、视角(θ)和场角

之间的关系。

图11A-11E示出了根据设计的缩放值来决定图像生成参数的方法。

图12示出了根据本发明实施例的图像处理器的硬件配置。

具体实施方式

下文将给出根据本发明的实施例的描述，但本发明的实施例并不限于下面的实施例。在实施例的描述中，将作为图像处理***的例子而描述全向图像显示***，包括全向成像设备和图像处理器，其通过全向成像设备接收图像，并为显示设备生出输出图像等。

图1示意性示出了根据本发明实施例的全向图像显示***100的配置。图 1所示的全向图像显示***100包括：全向成像设备110、智能电话120、平板电脑终端122和个人计算机124。智能电话120、平板电脑终端122和个人计算机124中的每一个都构成了根据本实施例的图像处理器，其具有作为图像浏览器的功能，在显示器等中显示由全向成像设备110获得的图像。

在如图1所示的本实施例中，全向成像设备110和图像处理器120到124 通过无线LAN(Local Area Network，局域网)、无线USB(Universal Serial Bus, 通用串行总线)、Bluetooth(注册商标)等无线连接。然而，这些设备间的连接并不限于上述连接。由全向成像设备110获得的预先确定格式的图像经由无线通信被发送给图像处理器120到124，并在经过预先确定的图像处理之后，在图像处理器120到124中所提供的显示设备上被显示。尽管上述连接状态是示例，也可以使用例如有线LAN、有线USB等有线方式。

在本文所描述的实施例中，全向成像设备110包括两个成像光学***，其中的每一个都包括透镜光学***和固态成像元件，并且通过各个成像光学***从每个方向拍摄来生成图像。透镜光学***可被配置为具有六组七镜头的鱼眼镜头。鱼眼镜头的场角大于180度(＝360度/n；n＝2)，优选地为185度或更大，更优选地190度或更大。在本实施例中，鱼眼镜头包括所谓的广角镜头和超广角镜头。

全向成像设备110将由多个固态成像元件中的每一个所成像的图像组合起来，并以4π弧度立体角生成图像(下文中，称为全向图像)。全向图像具有从拍摄点可见的全向视场。如上所述，由于鱼眼镜头的视角大于180度的场角，因此在每个成像光学***所获得的图像的超过180度的部分中，拍摄范围是重叠的。在组合图像时，将重叠的部分被指代为基本数据，其表示同一物体，然后生成全向图像。

在本文描述的实施例中，生成4π弧度立体角的全向图像。然而，另一具体实施例也可以获得水平面上360度的图像，即全景图像。此外，本文描述的实施例具有包括两个光成像学***的配置，但是成像光学***的数目并不受限。在另一实施方式中，全向成像设备110可以包括这样成像设备，在光学***中具有三个或更多的鱼眼镜头，并且具有根据通过三个或多个鱼眼镜头获得的多个图像来生成全向图像的功能。此外，全向成像设备110还可以包括这样的成像设备，其在光学***中具有单个鱼眼镜头，并且具有根据通过该单个鱼眼镜头获得的不同方向的多个图像来生成全向图像的功能。

以特定形式的通信将生成的全向图像发送给外部图像处理器120到124。否则，将其输出给外部记录媒介，例如SD卡(注册商标)或紧凑式闪存(注册商标)。

图像处理器120到124经由连接接收全向图像，或经由记录有全向图像的外部记录媒介接收全向图像，并立即将全向图像存储到图像处理器的记录设备中。图像处理器120到124能够通过所获得的全向图像生成要被输出并要被显示在配置在图像处理器中的显示器上、或者连接在图像处理器上的例如投影仪的平面显示设备上的图像。所生成的输出图像可以被显示在平面显示设备上。图像处理器120到124也能够经由与其连接的图像形成设备将生成的输出图像输出印刷在纸张上。后面将给出对由全向图像生成输出图像的过程的详细描述。

在图1所示的实施例中，全向图像设备110和图像处理器120到124通过例如访问点、移动路由器或宽带路由器的通信设备104连接到互联网102上。在互联网102上提供有图像显示服务器130。

图1中所示的图像显示服务器130接收从全向成像设备110或图像处理器 120到124发送的全向图像。图像显示服务器130存储并控制接收到的全向图像。图像显示服务器130还响应用于显示来自图像处理器120到124或其他信息处理器的图像的请求，根据全向图像生成输出图像并将该输出图像发送给发出请求的设备。因此，输出图像可以被显示在发出请求的设备中所配置的平面显示设备中。

特定实施例中，图像显示器130可以被配置为网络服务器。图像显示服务器130接收依照HTTP(超文本传输协议)的、对包括全向图像的图像进行注册的请求，并存储该全向图像。此外，在为输出图像指定了想要的全向图像的情况下，图像显示服务器130接收显示图像的请求，检索指定的全向图像，经过图像处理后生成输出图像，并以输出图像作为响应。在发出请求的设备中，在接收到图像后，由网络浏览器在平面显示设备上显示输出图像。由网络浏览器随意输出打印该输出图像。在本实施例中，图像显示服务器130还被配置为图像处理器来生成输出图像。

下文中，将参考附图2到12详细描述本实施中，由全向图像生成输出图像的全向图像输出处理。图2示出了根据本实施例的全向图像显示***中，有关全向图像输出处理的功能框图200。图2中所示的功能框图200包括有关全向成像设备110的功能框图210，和有关图像处理器120到124和130的功能框图250。

在全向成像设备110中的功能框图210包括两个成像光学***212A和 212B，他们从各各自的不同方向成像，以及组合处理块214，根据由成像光学***212A和212B的每一个所生成的每个图像的输入，该组合处理块214生成并输出全向图像。

图像处理器的功能框图250包括：输入部252；输出部254；全向图像存储部256；用户输入接收器(接收器，接收单元)258；平面图像生成器260 以及图像输出部262。输入部252包括例如触摸屏、鼠标和键盘的输入设备。输出部254包括例如平面显示设备的输出设备，根据用户在输入部252进行的操作来显示图像处理结果；以及图像形成设备，输出图像处理结果进行打印。输入部252和输出部254可被配置在图像处理器中或与图像处理器相连的外部设备中。

全向图像存储部256存储由全向成像设备110所成像的全向图像，并且该全向图像经由上述连接或外部记录媒介被输入给图像处理器120到124。用户输入接收器(接收器，接收单元)258基于通过输入部252执行的输出范围的改变操作，根据该操作接收提供全向图像的输出范围的输入值，并将该输入值发送给平面图像生成器260。

在进行输出范围的改变操作时，有左右移动视场的摇摆(pan)操作、上下移动视场的俯仰(tilt)操作和放大或缩小输出图像范围的缩放操作。作为上述改变操作的结果，或者相反地，作为直接输入的结果，可以获得摇摆指定值、俯仰指定值和缩放指定值作为提供全向图像输出范围的输入值。

在根据所接收的输入值来生成图像的同时，平面图像生成器260确定参数 (下文中，称为图像生成参数)，并根据所确定的图像生成参数由全向图像生成输出图像。图像输出部262将输出图像输出给输出部254。输出图像完全成为平面图像，以便在平面显示设备上恰当地被显示。

当图像处理器被用做例如图像显示服务器130的网络服务器时，输入部 252和输出部254的配置如下。也就是说，输入部252被配置为HTTP接收者，接收有关图像注册的HTTP请求。输出部254被配置为HTTP发送者，将生成的输出图像返回给请求发送者，作为对有关图像显示的HTTP请求的响应。

图3示出了全向图像输出处理中图像的数据配置和数据流。根据本实施例的成像光学***通过成像处理生成两个图像。在本实施例中，根据预先确定的投影方法，入射到透镜光学***中的光在相应的固态成像设备的光接收区上成像。由在光接收区内具有平面表面的二维固态成像设备形成上述摄影图像。该图像具有由平面坐标***标识的图像数据。在本实施例中，镜头被配置为所谓的圆形鱼眼镜头，其图像圈的直径比图像的对角线更小。因此，如图3中所示的，作为摄影图像A和B，获得的图像具有这样的平面图像配置，该平面图像包括每个摄影范围都投影到的全部图像圈。

图4A-4D示出了鱼眼镜头可以操作的投影方法示例。作为鱼眼镜头，可考虑多种配置。作为用于这种鱼眼镜头的投影方法，可以执行正交投影(图 4A)、等距投影(图4B)、立体投影(图4C)和等立体角投影(图4D)。在本文所述的实施例中，由单鱼眼镜头所拍摄的图像显示出从拍摄点看的近似半球视图(从整个超过180度的场角的半球发出)。然后，如图4A-4D所示，生成这样的图像，其高度r对应于与光轴形成的入射角为β。假设焦距为f，则根据预先确定的投影模型，通过下列投影函数，可以确定从入射角β接收光线的光接收区域上的像素位置r(图像高度：从镜头焦点位置到发射方向的距离)。

r＝fsinβ(ORTHOGONAL PROJECTION，正交投影)

r＝fβ(EQUIDISTANT PROJECTION，等距投影)

(STEREOGRAPHIC PROJECTION，立体投影)

(EQUISOLID ANGLE PROJECTION，等立体角投影)

根据上述对应于鱼眼镜头所选择的投影方法的表达式，方向(入射角和围绕轴的旋转角)与平面表面图像上的像素位置坐标联系起来。在优选实施例中，鱼眼镜头能够完成如图4C中所示的立体投影。

在组合处理块214中，由两个成像光学***212A和212B获得的两个摄影图像被组合起来，并且对于其失真和垂直失真，利用未显示的三轴加速度传感器得到的信息来修正。在图像组合处理中，首先，为每个被配置为平面表面图像的每个摄影图像生成部分重叠的半球图像的全向图像。然后，根据重叠区域匹配操作，包括各自半球部分的两个全向图像的位置被调整并且被组合。因此，生成具有整个球面的全向图像。

图5A和图5B示出了本实施例中所用的全向图像格式中的图像数据的数据配置。如图5A所示，在全向图像格式中的图像数据被表示为像素值阵列，使得与预先确定的轴的垂直角

和根据围绕预定轴的旋转角的水平角θ成为坐标。这里，如图3所示，在如以下所述的坐标系中表示全向图像，该坐标系包括从轴到顶点方向的垂直角(经纬坐标中的纬度)和围绕轴到摄影光辉的顶点方向的水平角(经纬坐标中的经度)。垂直角

为-90度和+90度范围之间，水平角θ为-180度到+180度范围之间。

全向格式的每个坐标值

对应于球表面上的每个点，所述点代表如图5B所示的，以拍摄点为中心的全方位方向。球体的全方位方向被表示在全向图像上。通过上述投影函数和适当的坐标变换，通过鱼眼镜头拍摄的摄影图像的平面坐标与全向图像格式的球形表面上的坐标一致。

在下面，用灰色轴在图5A中所示的全向图像格式中指示的二维坐标是从左下方开始的全向***。在以下描述中，二维坐标将水平角的值x从0变换到根据水平方向的像素数目的值，并将垂直角的值y从0变换到根据垂直方向的像素数目的值。例如，当像素被配置为每1/10度时，水平角的值x在从0到 3799的范围内，并且垂直角的值y在从0到1800的范围内。下列表达式1和 2表示出了水平角的值x和水平角θ之间的关系以及垂直角的值y和垂直角

之间的关系。在下述表达式1和2中，w和h分别代表全向图像格式中图像宽度(例如，3600像素)和图像高度(例如，1801像素)。

x＝w*(θ+180)/360…(1)

y＝h*(φ+90)/180…(2)

下述表达式3和4计算在图5A中所示的全向图像的二维坐标(x，y)与全向表面的三维坐标(xs,ys,zs)之间的关系。图5B中所示的三维坐标是右手***，其原点起始于球体中心，并且这里r代表球体的半径。

在本文所述的实施例中，图3中所示的“全向图像”代表由两个成像光学***212A和212B所成像的两个摄影图像(摄影图像A和摄影图像B)与全向图像的图像范围之间的关系。以预先确定的格式将组合的全向图像记录在内部存储器或外部记录介质内。用于记录全向图像的文件格式可以是例如位图 (bitmap)的未压缩的静态图像。此外，例如JPEG(Joint Photographic Experts Group，联合图像专家组)、GIF(Graphics InterchangeFormat，图像交换格式) 和PNG(Portable Network Graphics，可移植的网络图象)的压缩静态图像格式也可以使用。此外，在另一个实施例中，可以以例如MPEG(Moving PictureExperts Group)和AVI(Audio Video Interleave)的运动图像格式将全向图像记录为帧图像。在下文描述的实施例中，以静态图像描述全向图像。

在图像处理器250的功能块中，全向图像被存储到全向图像存储部256 中，随后由平面图像生成器260通过图像处理将全向图像输入并转换为输出图像。在优选实施例中，要被输入的全向图像是由全向成像设备110所成像的，但是全向图像的起源绝不仅限于此。例如，可对摄影图像执行预先确定的图像处理或者可以包括通过电脑绘图生成的图像。

平面图像生成器260接收包括上述摇摆指定值、俯仰指定值和缩放指定值的输入值作为来自用户输入接收器258的输出范围的改变操作的结果。平面图像生成器260根据如下的输入值决定图像生成参数，并根据所决定的图像生成参数执行输出图像的图像生成过程。

如上所述，通过上述表达式3和4可以将全向图像与三维坐标进行关联。在上述图像生成处理中，构建了内表面附着有输入的全向图像的三维模型。然后，在预先确定的条件下，可以通过虚拟摄像机(下文中，成为摄像机)投影并显示三维模型获得输出图像S。

图6示出了三维图形显示器中执行的透视投影。如图6所示，平面图像生成器260通过透视投影具有附加到球体内表面的全向图像的三维模型来生成平面图像的输出图像。根据输入值决定透视投影过程中的图像生成参数。在特定实施例中，图像生成参数包括摄像机的位置d、方向v、视角θ和投影范围 zNear和zFar。

当从球体中心、面向特定纬度/精度方向v看三维模型时，输出图像S具有可以从特定场角θ看到的视图。并且这里，根据显示区域的形状切割图像。以上投影范围的参数(zNear和zFar)适当地定义了透视投影的范围。稍后将结合附图7-12详细描述确定图像生成参数和投影处理的方法。

在如图中2所示的实施例中，成像图像***212和组合处理块214被配置为全向成像设备的组件。输入部252、输出部254、全向图像存储部256、用户输入接收器258、平面图像生成器260和图像输出部262作为图像处理器的组件被分散装配。然而，装配的实施例并部特别限定于上述方式。

在另一实施方式中，全向图像显示***可以被配置为在单个设备上包括所有组件。此外，在另一实施例中，将组件的每个任意部分安排在配置整个全向图像显示***的多个设备中的一个上。例如，在特定实施例中，可以有这样的配置，使得图像处理器包括图像组合处理块，从全向成像设备接收两个摄影图像，并形成全向图像。

下文中，结合附图7至图8，详细描述根据本实施例的全向图像输出处理的流程。首先，作为输出处理，对显示全向图像的图像浏览器表面上的显示处理做出描述。图7是流程图，示出根据本实施例，由图像处理器进行的全向图像显示处理的流程图。图8示出在预先确定的范围内显示全向图像的图像浏览器表面的示例。

在图7中所示的处理中，例如，图像处理器250中的操作者从步骤S100 开始，对执行显示识别预先确定的全向图像的命令进行响应。在步骤S101中，图像处理器250根据预先确定的摇摆指定值、俯仰指定值和缩放指定值，通过平面图像生成器260确定原始的图像处理参数。在步骤S102中，图像处理器 250根据所确定的图像处理参数，通过平面图像生成器260由全向图像生成平面图像。

在步骤S103中，图像处理器250通过图像输出部262在图像浏览器表面的预先确定的位置上显示生成的平面图像。图8中所示的图像浏览器表面300 包括图像显示区域310和GUI构件(Graphical User Interface，图像用户界面) 322和324，来改变要在图像显示区域310上显示的图像的显示范围。在图像显示区域310上，由图像输出部262显示输出图像，该输出图像的范围取决于输入值，并通过以上平面图像生成器260生成。

在步骤S104中，图像处理器250确定用户输入接收器258是否接受改变显示区域的操作。这里，通过单击、轻弹等在相应的GUI构件322和324上执行的操作事件来探测改变显示区域的操作。例如图8所示的图像浏览器表面 300，包括等待放大命令的GUI构件322I和等待缩小命令的GUI构件322O 用以改变缩放指定值。图像浏览器显示器表面300还包括等待左右方向上摇摆命令的左按钮324L和右按钮324R，以及等待上下方向上俯仰命令的向上按钮 324U和向下按钮324D，用以改变摇摆指定值和俯仰指定值。

除了对GUI构件的操作外，还可通过对应于改变显示范围的每个操作的例如快捷键、手势和多点触控操作的操作事件来探测改变显示范围的操作。例如，作为快捷键，可以包括键盘上表示放大和/或缩小的增加按钮和减小按钮。另外，快捷键还可以是对键盘的操作，其中所述键盘具有指令左右摇摆和上下俯仰的左/右和上/下箭头的按钮。作为多点触控操作，可以执行对应于缩放操作的双指打开(pinch-out)和双指收拢(pinch-in)操作。

在步骤S104中，直到改变显示范围的操作被接受(在步骤S104中为“否”)，在步骤S104中循环处理，来等待改变显示范围的操作。当确定了在步骤S104 中接受了改变显示范围的操作时(步骤S104中为“是”)，处理前进到步骤S105。

在步骤S105中，根据被确定为改变显示区域的操作的摇摆指定值、俯仰指定值和缩放指定值，来确定改变的图像处理参数，并且处理前进到步骤S102。在接下来的步骤S102中，根据平面图像生成器260所改变的图像处理参数来执行平面图像的生成处理。在步骤S103中，根据用户的操作，图像输出部262 使用新生成的平面图像来更新图像浏览器表面300的图像显示区域310。

下面，将结合附图9-11E详细描述根据本实施例的全向图像输出处理。图 9详细地示出了根据本实施例，配置在图像处理器中的平面图像生成器260的功能框。图9中所示的平面图像生成器260包括参数决策部264、纹理映射部 266和投影部268。

参数决策部264是这样的决策部，其根据从用户输入接收器258接收的例如摇摆指定值、俯仰指定值和缩放指定值输入值中的每一个来决定包括视点d 的位置和摄像机的视角θ的图像生成参数。

纹理映射部266是生成三维模型的生成器，在该三维模型中，要被显示的全向图像被附着在预先确定的三维构造上。可以通过所谓的纹理映射的方法生成三维模型。纹理映射是Open GL中常用的图形处理，Open GL对应于在例如智能电话和平板电脑终端的具有有限计算性能的信息终端设备中提供的 GPU。纹理映射处理使得纹理图像被附着在三维构造的表面上，纹理映射部 266读出所选择的全向图像，将其发送到存储纹理的纹理缓冲区，并将其分配给三维模型。

在这里所述的实施例中，可使用具有三维构造的多种模型，这些模型可以是球体、圆柱体和其他能够投影输出图像而不会令观察者体验到失真等的模型。为了避免观察者体验到失真等，并简化计算处理，优选地使用球体。当模型为球体时，具有三维构造的模型包括至少一个内侧和附着有全向图像的球表面。

投影部268是生成输出图像的投影仪。通过摄像机将具有全向图像的三维模型的图像进行投影来生成输出图像，根据参数决策部264确定的图像生成参数，在摄像机中将视点设定在特定位置。在应用了纹理映射后，通过渲染三维模型的图像来实现了输出图像，如同以预先确定的条件从摄像机的任意视点所看到的一样。

根据非专利文献1，依据广视场显示或窄视场显示而变化投影方法是有效的。然而，如果持续执行多个投影方法，对图像处理器的性能需求会变得更复杂。

因此，在本实施例中，为了简化对图像处理器的硬件需求，平面图像生成器260采用获得适当的显示效果的配置，该种显示效果适于通过单个投影方法，通过改变显示模型的图像生成参数由观察者监视。下文中，将结合附图10-11E 详细描述根据输入值进行的图像生成参数的确定处理。在本文所述的实施例中，透视投影被执行为投影方法；然而，在其他实施例中也可以采用其他投影方法，例如正交投影。

如上所述，在将透视投影执行作为投影方法的特定实施例中，图像生成参数包括摄像机的视点d的位置、方向v、视角θ和投影范围zNear和zFar。典型的，在三维计算机图形中，定义了世界坐标***，模型坐标***和摄像机坐标***。世界坐标***定义绝对三维空间。在世界坐标***定义的三维空间中提供摄像机和对象。模型坐标***是以规定的对象为中心的坐标***。在本文所述的实施例中，构建了球状模型并将其放置在世界坐标***的原点。因此，世界坐标***和球状模型的模型坐标***具有共同的原点和各自不同的轴。摄像机坐标***代表以摄像机的视点为中心的视场方向v。

投影部268显示从摄像机的视点处将球状模型投影到二维屏幕上而获得的投影图像，其中，全向图像附着在所述球状模型的内表面。屏幕被放置在穿过摄像机坐标***原点的平面表面上，并且由透视投影将全向图像投影到屏幕上。

图10示出了模型坐标***、摄像机的视点d的位置、视角θ和场角

之间的关系，所述场角

代表具有这种视场的图像范围。当摄像机的视点位于球状模型的中心时，场角

(代表具有这种视场的图像范围)与摄像机的视角θ一致。正如图10中用双圆标记所指示的，当摄像机的视点位置离开三维模型的中心时，摄像机的视角θ和场角

都为不同的值。放大/缩小性能对应于摄像机的场角

的改变操作。在这里所述的实施例中，摄像机的场角

的变化是通过根据缩放指定值的范围来改变摄像机的视点d或视角θ而生成的。

下表1中示出了根据本发明，与摇摆、俯仰和缩放的关于显示范围的操作相对应的图像生成参数的改变性能。

表1

这里，在表1中，按照俯仰和摇摆而进行的图像显示位置的移动是通过固定视场的方向并在要转换的世界坐标***上旋转球状模型而实现的。然而，在另一实施例中，可以在世界坐标***上固定球状模型的同时，通过改变摄像机的视场方向v来改变图像显示位置。

下文中，参考附图11A-11E，详细描述根据本实施例的缩放指定值的图像生成参数的决策处理。图11A-11E是示出根据缩放指定值确定图像生成参数的方法的视图。也示出了球状模型的输出图像和显示范围。图11A-11E示出了确定图像生成参数的方法，其中提供的特定的缩放指定值z如图11A-11E所示。

下表2中示出了根据缩放指定值z、显示放大和与其相关的场角

决定的图像生成参数。在下表2中，viewWH代表输出图像的显示区域的宽度或高度。当显示区域为横向长的形状时，viewWH代表显示区域的宽度，当显示区域为纵向长的形状时，viewWH代表显示区域的高度。在下表2中，imgWH代表图像的宽度或高度。当显示区域为横向长的形状时，imgWH代表图像的宽度，当显示区域为纵向长的形状时，imgWH代表图像的高度。imgDeg代表图像的显示范围的角度，其中，图像宽度为360度并且图像高度为180度。

表2

在本实施例中，如表2所示，缩放指定值z的范围被分为包括从A到B、从B到C、从C到D和从D到E的四个范围。缩放指定值z对应于所需的要显示的场角。在本文所述的实施例中，由用户将场角指定为从最小60度到最大300度的范围内。

关于缩小性能，当缩放指定值z在范围A到B内时，摄像机的视角θ被固定为60度。由于摄像机的视点位置d远离中心，所以如图11A和11B所示，场角

被扩大。在范围A到B内的摄像机位置d确定为对应于如表2中计算公式所示的场角

和缩放指定值z的值，从图11A中所示的原点O到对应于球状模型外边缘的图11B中的1。

当缩放指定值z在比范围A到B更广角侧的范围B到C内时，如图11B 和11C所示，摄像机的视点位置d被固定为球状模型的外边缘(d＝1)，并且依照摄像机的视角θ的扩展而扩大场角

依照计算公式

摄像机的视角θ从范围A到B中固定的60度增加到120度。场角

代表在视域中出现的图像的范围，在范围A到B和范围B到C中，场角

与缩放指定值z相同，并单调增大。

当缩放指定值z在比范围B到C更广角侧的范围C到D和范围D到E内时，球状模型的输出图像和显示范围如图11C、11D和11E所示。也就是说，以固定为120度的视角θ将摄像机的视点位置d再次移动到远离中心的方向时，场角

被扩大。摄像机的视点位置d根据表2中指出的计算公式来确定，并对应于缩放指定值z。在范围C到D和范围D到E中，场角

与缩放指定值z 不一致。

表2中，对应于图11D中示出的位置d的dmax1，对应于在足够宽度和长度的矩形显示区域上以最大场角显示球状模型的距离，如图11D所示。在特定实施方式中，可以通过以下公式5计算dmax1。表2中，对应于图11E 示出的位置d的dmax2，对应于以使得球状模型与矩形显示区域内部相接触的最大场角显示球状模型的距离，如图11E中所示。在特定实施方式中，dmax2 可以由以下公式6计算。

在以上公式5和6中，viewW和viewH代表显示区域的宽度和高度。因此，dmax1和dmax2的值取决于显示表面的尺寸(宽度、高度、对角线的长度)。dmax2对应于摄像机视点的最长距离，并且根据显示区域的尺寸限制缩放指定值z。通过限制缩放指定值z，使得摄像机的视点被定位在表2中表明的范围(到dmax2)内，可以在以下条件下结束缩小操作：图像符合显示图像或以预先确定的放大率将全向图像显示为预先确定的球型。由此，观察者能够将显示图像在视觉上识别为全向图像，并且可以在不体验任何失真等的前提下结束缩小操作。

很明显的是，从表2和图11A-11E中，在每个上述范围内，场角

是连续的，但是不与到广角侧的缩小操作一起增大。也就是说，在摄像机的视点位置改变的范围C到D和范围D到E中，场角

随着从球状模型中心到摄像机视点位置的距离的增加而增加。而在范围D到E中，场角

随距离的增加而减小。这源于球状模型的外部区域出现在视场内。通过在具有240度或更大的缩放设定值的广角区域内移动摄像机的视点位置d，能够以更少的失真等执行显示操作，并且也可以改变场角

因此，当缩放指定值被改变为广角方向时，基本上，场角

增加。就这一点而言，摄像机的视角θ的增加是被控制的，并且作为摄像机远离模型坐标***的结果，可实现广角显示过程中的开放感，使得图像的变形可以被降低。此外，由于移开摄像机的动作与确认宽广范围的人的实际动作类似，因此可以说缩小移动的失真更低。在范围D到E中，当缩放指定值被改变为广角侧时，场角

减少，并且观察者感到类似于移动远离球体。因此，缩小操作的失真更少。

根据以上描述，在每个范围中，摄像机视点位置d或视角θ总是其中一个固定而另一个改变。然而，在另一实施方式中，可优选地改变摄像机视点位置 d和视角θ的两者之一，并且另一个由相对小的改变值来改变。如上所述，确定图像生成参数的方法对应于缩小性能，但图像生成参数可以根据放大性能而被确定。

下文中，结合附图12，描述根据本实施例的图像处理器的硬件配置。图 12示出根据本实施例的图像处理器的硬件配置。根据本实施例的图像处理器被配置为例如平板电脑终端122的移动信息终端设备。图12中所示的平板电脑终端122包括：移动处理器10，其中，单核或多核CPU(Central Processing Unit，中央处理单元)、GPU、基带处理器、存储控制器被集成为SoC(System on Chip，片上***)；存储器12，该存储器12例如是LPDDR(Low-PowerDouble Data Rate，低功耗双倍数据库速率)SDRAM，被连接到移动处理器10并提供类似CPU的工作区；闪存14和例如SD卡的外部记录介质的槽16。

闪存14存储OS来控制平板电脑终端122、存储控制程序来执行上述功能部、存储多种***和设定信息，以及存储包括上述全向图像的用户数据。存储例如全向图像的用户数据的记录介质被***外部记录介质槽16中。

通过触摸屏幕控制器18和显示接口20将移动处理器10连接到包括触摸屏幕传感器的显示屏幕22上。在显示屏幕22上显示多种设定屏幕和应用屏幕。在本实施例中，可以在显示屏幕22上显示包括了由全向图像生成的输出图像的图像浏览器屏幕。此外，平板电脑终端122还包括HDMI(High-Definition Multimedia Interface，高清晰度多媒体接口)的图像输出接口24，其被连接到移动处理器10上并且能够与外部显示器和/或投影仪连接。

平板电脑终端122还包括具有例如CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)的图像传感器的摄像机28。通过摄像机接口26将摄像机28连接到移动处理器10上。平板电脑终端122还包括执行声音编码和解码处理的声音解码器30，以及切换耳机或扬声器声音的声音开关32。

无线LAN端口34和例如Bluetooth(注册商标)的近距离通信端口36也被连接到移动处理器10上，使得移动处理器10能够通过无线通信连接到外部设备上。在本文所述的实施例中，通过无线LAN端口34或近距离通信端口 36将平板电脑终端122连接到外部全向成像设备110上。平板电脑终端122 包括供电源控制单元38，并且由此控制平板电脑的外部电源和电池。

根据本实施例的平板电脑终端122从闪存14读取控制程序，并在存储器 12提供的工作区内展开控制程序，在集成到移动处理器10中的CPU的控制下，由此实现上述功能部和处理。就这一点而言，通过API调用集成在移动处理器10中的GPU的计算功能用于例如OpenGL的图像处理，并且执行上述纹理映射处理和例如投影处理的图像计算。

按照上述实施例，可以提供这样的图像处理***、图像处理方法和程序，其中在广角区域的图像的显示中，降低了由于目标的上下和左右边缘的扩张而导致的失真等，实现了高速显示，并且降低了有关计算能力的需求。

按照上述实施例，由于以单投影方法构建了显示模型，所以即使在图像计算功能有限的图像处理器中，也可以实现实时和平滑地缩放显示。通过将摄像机的视点位置移动远离三维模型实现缩小(zoom out)，使得即使仍然存在扩张感，但是视角的增加被最小化并且图像的失真被降低。上述功能部可以通过计算机能够执行的程序来表示，并以例如assembler、C、C++、C#和Java(注册商标)或面向对象的程序语言来描述。程序可以被存储在一次性记录介质上，例如ROM、EEPROM、EPROM、闪存、软盘、CD-ROM、CD-RW、DVD-ROM、 DVD-RAM、DVD-RW、蓝光盘、SD卡和MO中，或者通过电子通信线路而被分发。例如，上述功能部的部分或全部可以被安装在例如场可编程门阵列 (FPGA)的可编程设备(programmabledevice,PD)中。否则，程序可以被安装为ASIC(Application-Specific IntegratedCircuit，特定应用集成电路)。还可以通过记录介质将程序分发作为电路配置数据(Bit流数据)，所述电路配置数据被下载到PD中以在PD上呈现上述功能部，或者作为通过HDL(Hardware Description Language,硬件描述语言)、VHDL(VHSIC“Very High SpeedIntegrated Circuits”Hardware Description Language,甚高速集成电路硬件描述语言)和Verilog-HDL所描述的数据，用于生成电路配置数据。

通过上述配置，在执行高速显示时对计算性能的需求可以被降低，同时在广角区域中图像的显示中，由于目标的上下和左右边缘被扩张而导致的失真等被最小化。

尽管以上已经描述了本发明的实施例，但本发明并未仅限于此。应当理解的是，本领域的技术人员在不背离本发明的范围的情况下，可以以其他实施例、添加、改变或删减对所描述的实施例和方面做出改变。只要包括本发明的功能和有益效果，那么任何实施例都被包括在本发明的范围内。

Claims (2)

1.一种图像处理装置，包括：

图像生成器，用于在三维表面上投影图像以成为平面图像；

图像输出部，用于显示由图像生成器生成的平面图像；以及

接收器，用于接收作为图像输出范围的改变操作的输入值，该输入值至少包括摇摆指定值、俯仰指定值或缩放指定值；

其中，所述图像生成器包括参数决策部，参数决策部用于根据摇摆指定值、俯仰指定值和缩放指定值决定包括视点的位置和摄像机的视角的图像生成参数；

其中，当输入值包括摇摆指定值、俯仰指定值和缩放指定值时，图像生成器在图像输出部上显示投影的平面图像，其中至少在三维表面上的图像的视点或视角以及显示位置已经改变，

其中，根据缩放指定值的变化，确定图像生成参数，根据图像生成参数在平面图像上显示三维表面上的图像；

其中，根据摇摆指定值和俯仰指定值，关于在三维表面上的图像的位置的改变，将改变表示围绕预定轴的旋转角的水平角θ和从轴到顶点方向的垂直角φ，并且

垂直角φ为-90度到+90度的范围之间；

其中，平面图像的二维坐标(x，y)与三维表面的三维坐标(xs,ys,zs)的关系如下：

其中，r代表球体的半径，w代表三维表面上的图像的宽度，h代表三维表面上的图像的高度。

2.一种图像处理装置，包括：

图像生成器，用于在三维表面上投影图像以成为平面图像；

图像输出部，用于显示由图像生成器生成的平面图像；以及

接收器，用于接收作为图像输出范围的改变操作的输入值，该输入值至少包括摇摆指定值、俯仰指定值或缩放指定值；

其中，所述图像生成器包括参数决策部，参数决策部用于根据摇摆指定值、俯仰指定值和缩放指定值决定包括视点的位置和摄像机的视角的图像生成参数；

其中，当输入值包括摇摆指定值、俯仰指定值和缩放指定值时，图像生成器在图像输出部上显示投影的平面图像，其中至少在三维表面上的图像的视点或视角以及显示位置已经改变，

其中，根据缩放指定值的变化，确定图像生成参数，根据图像生成参数在平面图像上显示三维表面上的图像；

其中，根据摇摆指定值和俯仰指定值，关于在三维表面上的图像的位置改变，将改变表示围绕预定轴的旋转角的水平角θ和从轴到顶点方向的垂直角φ，并且

水平角θ为-180度到+180度的范围之间；

其中，平面图像的二维坐标(x，y)与三维表面的三维坐标(xs,ys,zs)的关系如下：

其中，r代表球体的半径，w代表三维表面上的图像的宽度，h代表三维表面上的图像的高度。

Images