CN106062826B

CN106062826B - 图像生成装置以及图像生成方法

Info

Publication number: CN106062826B
Application number: CN201480061487.2A
Authority: CN
Inventors: 大户友博; S.M.本森; I.H.比克斯塔夫
Original assignee: Sony Interactive Entertainment Europe Ltd; Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Europe Ltd; Sony Interactive Entertainment Inc
Priority date: 2013-11-11
Filing date: 2014-10-31
Publication date: 2020-05-15
Anticipated expiration: 2034-10-31
Also published as: US20190049728A1; EP4235367A2; US20160282619A1; CN106062826A; EP4235367A3; BR112016010442B1; US10133073B2; WO2015068656A1; EP3070680A4; US11914147B2; CN111696213B; US11592668B2; CN111696213A; JP6353214B2; EP3070680B1; EP3070680A1; RU2016123173A; JP2015095045A; RU2638776C1; US20210239978A1

Abstract

位置/旋转信息取得部(730)取得与穿戴了头戴式显示器(100)的用户的头部的位置以及旋转有关的信息。坐标变换部(740)以及全景图像处理部(750)使用通过位置/旋转信息取得部(730)在某个时刻所取得的与位置以及旋转有关的信息，生成应显示在头戴式显示器上的图像。校正处理部(780)使用在其他时刻被更新的与位置以及旋转有关的信息，对所生成的图像进行校正。

Description

图像生成装置以及图像生成方法

技术领域

本发明涉及一种对图像进行生成并校正的装置以及方法。

背景技术

将与游戏机连接了的头戴式显示器(HMD)穿戴在头部上，一边观看在头戴式显示器上被显示的画面，一边对控制器等进行操作而进行游戏娱乐的情况正在进行。关于与游戏机连接了的通常的固定放置型显示器，由于用户的视野范围也会扩大到显示器的画面的外侧，因此，存在不能集中于显示器的画面上、或者欠缺对游戏的沉浸感的情况。这一点，若穿戴头戴式显示器，则用户看不见头戴式显示器所显示的映像以外，因此，对映像世界的沉浸感提高，存在进一步提高游戏的娱乐性的效果。

此外，使头戴式显示器显示全景图像，使得若穿戴了头戴式显示器的用户旋转头部则会显示360度的全景图像或虚拟空间，则对映像的沉浸感进一步增高，游戏等的应用的操作性也提高。

发明内容

发明要解决的课题

这样使头戴式显示器具有头部追踪功能，在与用户的头部的动作进行连动而改变视点或视线方向从而生成全景图像的情况下，由于从全景图像的生成到显示为止存在滞后，因此，在全景图像生成时作为前提的用户的头部的朝向、与将全景图像显示在头戴式显示器上的时间点的用户的头部的朝向之间发生偏差，存在用户陷入如眩晕那样的感觉的情况。

本发明是鉴于这样的课题而完成的，其目的在于，提供一种能够显示降低了从图像的生成到显示为止的滞后的校正图像的图像生成装置以及图像生成方法。

用于解决课题的手段

为了解决上述课题，本发明的某一方式的图像生成装置包括：取得部，取得与视点位置以及视线方向的至少一个有关的信息；图像生成部，使用由所述取得部在某个时刻所取得的与视点位置以及视线方向的至少一个有关的信息，生成图像；以及校正处理部，从所述取得部接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，使用被更新的与视点位置以及视线方向的至少一个有关的信息，对由所述图像生成部生成的图像进行校正。

本发明的另一方式也是图像生成装置。该装置是被安装在经由网络连接到服务器的客户端中的图像生成装置，其包括：取得部，取得包含与视点位置以及视线方向的至少一个有关的信息的视野信息；以及校正处理部，从所述服务器接收使用由所述取得部在某个时刻取得的与视点位置以及视线方向的至少一个有关的信息而生成的图像，从所述取得部接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，并使用被更新的与视点位置以及视线方向的至少一个有关的信息，对所接收到的图像进行校正。

本发明的又另一方式也是图像生成装置。该装置包括：取得部，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；图像生成部，使用由所述取得部在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及校正处理部，从所述取得部接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转的至少一个有关的信息，对由所述图像生成部生成的图像进行校正。

本发明的又另一方式是图像生成方法。该方法包含：取得步骤，取得与视点位置以及视线方向的至少一个有关的信息；图像生成步骤，使用通过所述取得步骤在某个时刻所取得的与视点位置以及视线方向的至少一个有关的信息，生成图像；以及校正处理步骤，接受在其他时刻被更新的与视点位置以及视线方向的至少一个有关的信息，使用被更新的与视点位置以及视线方向的至少一个有关的信息，对通过所述图像生成步骤生成的图像进行校正。

本发明的又另一方式也是图像生成方法。该方法包含：取得步骤，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；图像生成步骤，使用通过所述取得步骤在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及校正处理步骤，接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转有关的信息，对通过所述图像生成步骤生成的图像进行校正。

另外，对以上的构成要素的任意的组合、本发明的表现，在方法、装置、***、计算机程序、数据结构、记录介质等之间进行了变换的方式，作为本发明的方式也是有效的。

发明效果

根据本发明，能够对降低了从图像的生成到显示为止的滞后的校正图像进行显示。

附图说明

图1是头戴式显示器的外观图。

图2是头戴式显示器的功能结构图。

图3是实施方式所涉及的全景图像生成***的结构图。

图4是实施方式所涉及的全景图像生成装置的功能结构图。

图5是用于说明头戴式显示器所显示的全景图像的图。

图6是用于说明对头戴式显示器所显示的全景图像需要校正处理的理由的图。

图7是用于说明不进行校正处理的以往的图像生成处理的时序图。

图8是用于说明伴随实施方式的校正处理的图像生成处理的时序图。

图9A是用于说明追踪坐标系和HMD坐标系的关系的图。

图9B是用于说明HMD坐标系和视野坐标系的关系的图。

图10是用于说明穿戴了头戴式显示器的用户的视野的图。

图11是用于说明基于图4的全景图像生成装置的全景图像生成过程的流程图。

图12是用于说明实施方式的图像校正处理的图。

图13是用于说明实施方式的变形例的图像校正处理的图。

具体实施方式

(第1实施方式)

图1是头戴式显示器100的外观图。头戴式显示器100包括主体部110、前头部接触部120、以及侧头部接触部130。

头戴式显示器100是用于穿戴在用户的头部上而对显示器所显示的静止图像或动态图像等进行鉴赏，对从头戴式耳机所输出的声音或音乐等进行聆听的显示装置。

通过在头戴式显示器100上内置或者外挂的GPS(全球定位***(GlobalPositioning System))等的位置传感器能够对用户的位置信息进行测量。此外，通过在头戴式显示器100上内置或者外挂的姿势传感器能够对穿戴了头戴式显示器100的用户的头部的旋转角或倾斜这样的姿势信息进行测量。

在主体部110中包括显示器、位置信息取得传感器、姿势传感器、通信装置等。在前头部接触部120以及侧头部接触部130中，作为一个选项，也可以具有能够对用户的体温、脉搏、血液成分、出汗、脑电波、脑血流等的生物体信息进行测量的生体信息取得传感器。

在头戴式显示器100中，也可以进一步设置用于拍摄用户的眼睛的摄像机。通过在头戴式显示器100上搭载的摄像机，能够检测用户的视线、瞳孔的运动、眨眼等。

在此，说明在头戴式显示器100上显示的图像的生成方法，但是，本实施方式的图像生成方法不限于狭义的头戴式显示器100，也适用于穿戴了眼镜、眼镜型显示器、眼镜型摄像机、头戴式耳机、耳麦(附带麦克风的头戴式耳机)、耳机、耳环、耳挂式摄像机、帽子、附带摄像机的帽子、发带等的情况。

图2是头戴式显示器100的功能结构图。

控制部10是对图像信号、传感器信号等的信号、命令或数据进行处理并输出的主处理器。输入接口20从触摸面板以及触摸面板控制器接受操作信号或设定信号，供应给控制部10。输出接口30从控制部10接受图像信号，使显示器进行显示。背光灯32向液晶显示器供应背光。

通信控制部40经由网络适配器42或者天线44，通过有线或者无线通信，将从控制部10输入的数据发送到外部。此外，通信控制部40经由网络适配器42或者天线44，通过有线或者无线通信，从外部接收数据，输出至控制部10。

存储部50对控制部10处理的数据或参数、操作信号等暂时地进行存储。

GPS单元60根据来自控制部10的操作信号，从GPS卫星接收位置信息而供应给控制部10。无线单元62根据来自控制部10的操作信号，从无线基站接收位置信息而供应给控制部10。

姿势传感器64对头戴式显示器100的主体部110的旋转角或倾斜等的姿势信息进行检测。姿势传感器64通过对陀螺仪传感器、加速度传感器、角加速度传感器等进行适当组合而实现。

外部输入输出端子接口70是用于连接USB(Universal Serial Bus)控制器等的***设备的接口。外部存储器72是闪存存储器等的外部存储器。

计时部80根据来自控制部10的设定信号而设定时间信息，将时间数据供应给控制部10。

控制部10能够使图像或文本数据供应给输出接口30而在显示器上显示、或者使其供应给通信控制部40而发送到外部。

图3是本实施方式所涉及的全景图像生成***的结构图。头戴式显示器100通过无线通信或者用于连接USB等的***设备的接口而连接到游戏机200。游戏机200也可以还经由网络而连接到服务器。该情况下，服务器也可以将能够多个用户经由网络而参加的游戏等的在线应用提供给游戏机200。也可以代替游戏机200，头戴式显示器100连接到计算机或便携终端。

图4是本实施方式所涉及的全景图像生成装置700的功能结构图。同图描绘了着眼于功能的方框图，这些功能方框能够通过仅硬件、仅软件、或者它们的组合而以各种形式来实现。

全景图像生成装置700被安装在连接了头戴式显示器100的游戏机200中，但是，也可以将全景图像生成装置700的至少一部分的功能安装在头戴式显示器100的控制部10中。特别是也可以将后述的校正处理部780的功能安装在头戴式显示器100侧。或者，也可以将全景图像生成装置700的至少一部分的功能安装在经由网络而与游戏机200连接的服务器中。

放大(ズーム)指示取得部710经由头戴式显示器100的输入接口20而取得用户所指示的放大的倍率。放大指示取得部710取得的放大倍率被供应给灵敏度调整部720和全景图像处理部750。

位置/旋转信息取得部730基于由头戴式显示器100的GPS单元60或运动传感器探测的位置信息和由姿势传感器64探测的姿势信息，取得与穿戴了头戴式显示器100的用户的头部的位置和旋转有关的信息。用户的头部的位置也可以通过游戏机200的摄像机对头戴式显示器100的运动进行检测从而取得。

位置/旋转信息取得部730基于从灵敏度调整部720指示的灵敏度，取得用户的头部的位置和旋转。例如，若用户转头，则通过姿势传感器64而检测用户的头部的角度的变化，但是，灵敏度调整部720对位置/旋转信息取得部730进行指示，以使直到角度的变化超过规定的值为止忽略所检测到的角度的变化。

此外，灵敏度调整部720基于从放大指示取得部710取得的放大倍率，对头部的角度检测的灵敏度进行调整。放大倍率变得越大，则越降低头部的角度检测的灵敏度。由于进行放大则视场角变小，因此，通过降低头部的角度检测灵敏度，从而能够抑制由头部的摇动引起的显示图像的振动。

作为运动传感器，也可以使用3轴地磁传感器、3轴加速度传感器以及3轴陀螺仪(角速度)传感器的至少一个以上的组合，对用户的头部的前后、左右、上下的运动进行检测。此外，也可以将用户的头部的位置信息进行组合，提高头部的运动检测的精度。

坐标变换部740使用由位置/旋转信息取得部730取得的头戴式显示器100的位置以及旋转，进行用于生成应显示在附带追踪功能的头戴式显示器100上的图像的坐标变换。

全景图像处理部750从全景图像存储部760中读出全景图像数据，根据由坐标变换部740进行的坐标变换，将与头戴式显示器100的位置以及旋转相应的全景图像，以从放大指示取得部710指定的放大倍率来进行生成，赋予给校正处理部780。在此，全景图像数据可以是事先制成的动态图像或者静止图像内容，也可以是渲染后的计算机图形。

校正处理部780从位置/旋转信息取得部730中取得头戴式显示器100的最新的被更新的位置以及旋转，使用最新的被更新的位置以及旋转来对由全景图像处理部750生成的图像进行校对。关于该校正处理的细节在后面叙述。

校正处理部780将校正后的图像赋予给图像提供部770。图像提供部770将由全景图像处理部750生成的全景图像数据，供应给头戴式显示器100。

图5是用于说明头戴式显示器100所显示的全景图像500的图。相对于全景图像500，在用户正朝向左前方的情况下，在头戴式显示器100a的方向上位于视场角150a的范围的图像510a被显示，在用户转头而正朝向右前方的情况下，在头戴式显示器100b的方向上位于视场角150b的范围的图像510b被显示。

如此根据头部的运动，观看头戴式显示器100所显示的全景图像的视点和视线方向也发生变化，因此，能够提高对于全景图像的沉浸感。

图6是用于说明对头戴式显示器100所显示的全景图像需要校正处理的理由的图。在用户转头而朝向了右前方的情况下，生成在头戴式显示器100b的方向上位于视场角150b的范围的图像510b，在头戴式显示器100上进行显示，但是，在图像510b的显示的时点，头戴式显示器100b的位置和旋转已经如标号150c所示那样在进行变化。因此，需要将本来在视场角150c的范围能看到的图像显示在头戴式显示器100c上，但是，实际上所生成且显示的图像成为在不久前的时点的头戴式显示器100b的方向上在视场角150b的范围能看到的图像。由于该时间差引起的偏差，与用户正观看的方向稍微偏差的图像在头戴式显示器100上被显示，用户有时会感觉到某种“眩晕”。

在本实施方式中，为了消除该偏差，执行对所生成的图像进行校正的处理。首先，为了比较，参照图7，说明不进行校正处理的以往的图像生成处理，其后，参照图8而说明本实施方式的校正处理。

全景图像生成装置700进行3维物体或纹理等的资源(アセット)的准备，取得在时刻t1的头戴式显示器100的位置p1和旋转q1。与资源准备并行地，执行对在时刻t1的位置p1和旋转q1上的图像进行描绘的处理。例如，在以60帧/秒进行渲染的情况下，为了生成1帧的图像而花费约16毫秒。

由全景图像生成装置700生成的图像被供应给头戴式显示器100。头戴式显示器100和全景图像生成装置700通过有线或者无线而被连接，从全景图像生成装置700向头戴式显示器100的图像的供应需要一定的传输时间。在全景图像生成装置700和头戴式显示器100经由网络而连接的情况下，产生网络延迟。

头戴式显示器100取得由全景图像生成装置700生成的图像，进行用于在面板上进行显示的扫描等的显示处理。为了该显示处理而产生延迟，图像在时刻t’在面板上被显示。

如此，从在时刻t1将头戴式显示器100的位置p1、旋转q1提供给全景图像生成装置700起，直到在时刻t’在头戴式显示器100的面板上图像被显示为止，渲染、图像传输、显示处理需要一定的时间，如图7所示那样，产生滞后。在为了图像生成而赋予了头戴式显示器100的位置和旋转的时刻t1、和在头戴式显示器100上图像被显示的时刻t’之间，穿戴了头戴式显示器100的用户也正在移动、或者改变姿势。其结果，成为用户看到时间差分Δt＝t’-t1以前的头戴式显示器100的位置以及旋转上的图像，由于所显示的图像作为前提的位置/旋转、和当前的位置/旋转的偏差，所以用户感到“眩晕”。

图8是用于说明伴随本实施方式的校正处理的图像生成处理的时序图。

全景图像生成装置700从头戴式显示器100取得时刻t1的位置p1和旋转q1，进行资源准备和描绘处理，将所生成的图像提供给头戴式显示器100为止是与图7的以往的图像生成处理相同的。在本实施方式中，在全景图像生成装置700对头戴式显示器100提供图像的时点t2，对所生成的图像进行校正处理。该校正处理可以在头戴式显示器100、全景图像生成装置700的任一个中进行。在头戴式显示器100具有充分的处理性能的情况下能够在头戴式显示器100中进行校正处理，但是，在并非如此的情况下，全景图像生成装置700进行校正处理，将校正后的图像提供给头戴式显示器100。

校正处理取得图像被生成的时刻t2的头戴式显示器100的位置p2和旋转q2的信息，基于渲染开始时的时刻t1和最新的时刻t2之间的头戴式显示器100的位置和旋转的偏差，对图像进行校正。头戴式显示器100对校正后的图像进行显示处理，在面板上进行显示。由此，看起来的滞后如图11所示那样被减少为时刻t2和时刻t’之差。

以下，对本实施方式的校正处理进行详细叙述，但首先对成为前提的技术事项进行说明。

(1)坐标系

图9A以及图9B是用于说明在头戴式显示器100中使用的坐标系的图。在头戴式显示器100中，使用追踪坐标系802、HMD坐标系804、左右的视野坐标系806。

图9A是用于说明追踪坐标系802和HMD坐标系804的关系的图。

追踪坐标系802是成为头戴式显示器100的位置p和旋转q的基准的坐标系。只要是正交坐标系即可，可以将各轴选为任意方向，原点也可以是任意的。对在头戴式显示器100中所采用的传感器，选择适合的传感器。例如，也可以在游戏等的应用的开始时，由穿戴了头戴式显示器100的用户在成为基准的位置上获取成为基准的姿势，且从此时的头戴式显示器100的传感器信息中取得头戴式显示器100的基准位置p0、基准旋转q0，从而决定追踪坐标系802。

此外，用户也可以将游戏机200的运动控制器350拿在手中。用户在穿戴了头戴式显示器100的状态下对运动控制器350进行操作。根据游戏应用，有时会一边拿着运动控制器350一边挪动手或者使身体移动。在运动控制器350中包含3轴的陀螺仪传感器、3轴的加速度传感器、以及磁传感器。

在运动控制器350中附带了标志物(マーカ)300，通过与游戏机200连接了的摄像机而对标志物300的位置进行检测，结合从运动控制器350的传感器得到的位置信息，能够准确地确定标志物300的3维坐标。通过对该标志物300的3维坐标设定头戴式显示器100的追踪坐标系802，从而能够同步地处理通过运动控制器350的运动而控制的虚拟对象物的位置/姿势、和通过头戴式显示器100的运动而控制的观看全景图像500的视点/视线方向。

HMD坐标系804是用于表示配置于用户穿戴的头戴式显示器100上的显示器面板等的器件的位置的移动坐标系。对原点以及轴没有限制，为了方便，原点以成为用户的头的中心的方式进行定义，关于轴，在将头戴式显示器100戴在头上的状态下，将上下方向的上方向设为Y轴，将从正面向右方向设为X轴，将从正面朝向跟前的方向设为Z轴。

用户在穿戴了头戴式显示器100的状态下在现实空间中进行移动、改变身体的方向、或者使头部进行旋转。在应用的开始时位于初始位置p0以及初始旋转q0的头戴式显示器100随着时间进行移动，如图9A所示那样，当前，头戴式显示器100位于位置p、旋转q。

图9B是用于说明HMD坐标系804和视野坐标系806的关系的图。

如前述那样，HMD坐标系804是，以穿戴了头戴式显示器100的用户的头顶设为原点，将上方向设为Y轴，将从正面向右方向设为X轴，将从正面朝向跟前的方向设为Z轴的坐标系。另一方面，视野坐标系806是用于决定左眼用以及右眼用的显示器的方向的坐标系。将从左右任意一只眼起右方向设为X轴，将上方向设为Y轴，将从正面朝向跟前的方向设为Z轴。

(2)坐标变换

为了将图像在头戴式显示器100的面板上进行显示，介入3个坐标变换。每一个都是仿射变换。

首先，将图像生成坐标系(在CG中为摄像机坐标系)变换为追踪坐标系802。由此，从摄像机观看现实或者虚拟的对象物所存在的现实世界或者虚拟世界所得的观察坐标系被映射到表示头戴式显示器100的基准位置和基准旋转的追踪坐标系。

接着，从传感器信息取得头戴式显示器100的当前的位置p和旋转q的值，将追踪坐标系802变换为HMD坐标系804。由此，头戴式显示器100的基准位置和基准旋转被变换为当前的位置和旋转。

最后，将HMD坐标系804变换为视野坐标系806。该变换是根据穿戴着头戴式显示器100的人物和状态而决定的变换，在穿戴着头戴式显示器100的期间是固定的。由此，被变换为与头戴式显示器100的用户的眼的位置相符合的坐标系。

在图像生成时，使用从追踪坐标系802经由HMD坐标系804而向视野坐标系806进行变换的坐标变换，但是，在校正处理时，使用从视野坐标系806经由HMD坐标系804而向追踪坐标系802进行逆变换的坐标变换。

(3)头戴式显示器100的视野角数据

图10是用于说明穿戴了头戴式显示器100的用户的视野的图。将从眼的中心向上下左右扩展的视野(field of view)通过4个参数FoVu、FoVb、FoVl、FoVr而决定，使用这些参数而通过反正切来定义视野角的信息。由于在右眼用的视野和左眼用的视野中分别同样地进行定义，因此，合计使用8个参数。

接着，说明通过本实施方式的全景图像生成装置700而生成在头戴式显示器100上显示的图像的过程的概略。关于详细的计算式在后面叙述。

图11是用于说明基于全景图像生成装置700的全景图像生成过程的流程图。

作为初始化处理，生成从图像生成坐标系向追踪坐标系的坐标变换矩阵(S10)。这是决定成为头戴式显示器100的运动的基准的位置和旋转的作业。在用户指示的位置上从头戴式显示器100的传感器信息中取得初始位置p0和初始旋转q0，使用该值而求出从图像生成坐标系向追踪坐标系的坐标变换矩阵。例如，在竞速游戏中为了将坐在游戏内的车上的姿势设为基准，在竞速开始时使用户采取坐在椅子上朝向正面的状态，将该位置和旋转设为基准。

从头戴式显示器100的传感器信息中，取得在时刻t1的头戴式显示器100的位置p1和旋转q1(S12)。头戴式显示器100将在时刻t1的位置p1和旋转q1赋予给全景图像生成装置700(S14)。

全景图像生成装置700对在时刻t1位于位置p1和旋转q1的头戴式显示器100的显示器上应显示的图像进行渲染(S16)。

具体而言，位置/旋转信息取得部730从头戴式显示器100中取得时刻t1的位置p1和旋转q1。坐标变换部740从图像生成坐标系(摄像机坐标系)经由追踪坐标系802、HMD坐标系804而向视野坐标系806进行变换，从而全景图像处理部750按左右眼的每一只而描绘全景图像。在此，在从追踪坐标系802向HMD坐标系804的变换时，使用仿射变换，该仿射变换是根据由位置/旋转信息取得部730取得的在时刻t1的头戴式显示器100的位置p1以及旋转q1而生成的仿射变换。视野角与从头戴式显示器100中取得的视野角信息匹配。

全景图像生成装置700在时刻t1的渲染完成后，从头戴式显示器100的传感器信息中，取得时刻t2的头戴式显示器100的位置p2和旋转q2(S18)。头戴式显示器100将时刻t2的位置p2和旋转q2赋予给全景图像生成装置700(S20)。

在全景图像生成装置700对图像进行渲染的期间，穿戴了头戴式显示器100的用户也进行移动、或者改变方向，因此，头戴式显示器100的在时刻t2的位置p2和旋转q2与在时刻t1的位置p1和旋转q1相比稍微偏差。

全景图像生成装置700为了吸收时刻t1和时刻t2之间的头戴式显示器100的位置和旋转的偏差，执行对渲染后的图像进行校正的处理(S22)。

具体而言，位置/旋转信息取得部730从头戴式显示器100中取得在最新的时刻t2的被更新的位置p2和旋转q2，赋予给校正处理部780。校正处理部780进一步从位置/旋转信息取得部730中取得为了坐标变换部740制成仿射变换所利用的头戴式显示器100的时刻t1的位置p1以及旋转q1。此外，校正处理部780取得用于表示头戴式显示器100的显示器的描绘视场角的视野角数据。校正处理部780从全景图像处理部750取得所生成的图像，将位于时刻t1的位置p1、旋转q1上的视野坐标系上的长方形，在时刻t2的位置p2、旋转q2上的视野坐标系中进行渲染。

时刻t1的位置p1、旋转q1上的视野坐标系的长方形的4个顶点的坐标为

(-FoVl×d，FoVu×d，-d)

(-FoVl×d，-FoVb×d，-d)

(FoVr×d，FoVu×d，-d)

(FoVr×d，-FoVb×d，-d)

(参照图11)。在此作为值d，使用头戴式显示器100的光学***的焦点距离。

校正处理部780将该长方形的4个顶点映射到时刻t2的位置p2、旋转q2上的视野坐标系。这由如以下那样进行坐标变换而完成。

(A)首先，使用时刻t1的位置p1、旋转q1的值，将视野坐标系逆变换为HMD坐标系，进而将该HMD坐标系逆变换为追踪坐标系。由此，从时刻t1的位置p1、旋转q1看到的情况的视野坐标系被暂时还原为基准位置p0以及基准旋转q0的追踪坐标系。

(B)接着，使用时刻t2的位置p2、旋转q2的值而将追踪坐标系变换为HMD坐标系，进而将该HMD坐标系变换为视野坐标系。由此，基准位置p0以及基准旋转q0的追踪坐标系被变换为从时刻t2的位置p2、旋转q2看到的情况的视野坐标系。

若看(A)以及(B)的坐标变换整体，则成为从时刻t1的位置p1、旋转q1看到的情况的视野坐标系被变换为从时刻t2的位置p2、旋转q2看到的情况的视野坐标系。

对这样坐标变换后的视野的矩形，将以时刻t1的位置p1、旋转q1为前提而生成的图像作为纹理进行粘贴，则其成为从时刻t2的位置p2、旋转q2上的视野坐标系中看到的校正图像。在用户的当前的视野中能够看见对时刻t1和时刻t2之间头戴式显示器100的位置以及旋转所偏差的量进行了校正的图像，时刻t1和时刻t2的时间差分的滞后被吸收，且用户的“眩晕”被减轻。

图像提供部770将通过校正处理部780校正后的图像数据，赋予给头戴式显示器100(S24)。在头戴式显示器100中显示校正后的全景图像(S26)。其后，返回步骤S12，反复进行其以后的处理。

以下，关于由校正处理部780进行的校正处理，使用算式而详细地进行说明。

作为前提，设为传感器能够提供来自头戴式显示器100的绝对的基准的位置和旋转的信息。作为传感器，使用头戴式显示器100的GPS单元60以及姿势传感器64。此外，也可以使用运动控制器350。根据穿戴了头戴式显示器100的用户的运动，位置p和旋转q发生变化。头戴式显示器100是刚体，且不是点，但位置p定义为头戴式显示器100上固定的一点的位置。以下，将该固定的一点称为头戴式显示器100的中心点。

使用头戴式显示器100的位置p和旋转q，根据平行移动矩阵T和旋转矩阵R，通过下式而求出HMD位置旋转矩阵H。

(数1)

H(p，q)＝T(-p)×R(q^-1)

p＝(tx，ty，tz)

q＝(q1，q2，q3，q4)

|q|＝1

位置p是3维向量，旋转q是4元数(Quaternion)。-p是将p的各要素取负后的向量，q^-1是q的共轭(q的实部保持原状态，且将q的虚部取负后的向量)。

另外，基于平行移动矩阵T(p)的平行移动通过下式来定义。

[数2]

基于旋转矩阵R(q)的旋转通过下式来定义。

[数3]

使用了四元数的计算机图形相关的3维旋转等的计算方法在「3D－CGプログラマーのためのクォータニオン入門」(工学社、2004年1月)中被记载。

在一般的计算机图形的坐标变换中，使用世界变换矩阵W、摄像机(观察)变换矩阵V、透视变换矩阵P，将世界坐标系的点(x，y，z，1)通过下式变换为投影坐标系的点(x’，y’，z’，1)。

(数4)

(x’，y’，z’，1)＝(x，y，z，1)×W×V×P

要在头戴式显示器100的显示器上进行显示，就必须对头戴式显示器100的位置和旋转进行追踪，在当前的头戴式显示器100的位置和旋转上进行显示。因此，在附带追踪功能的头戴式显示器100用的图像生成中，进一步使用追踪基准变换矩阵B和HMD位置旋转矩阵H和HMD显示位置矩阵D，进行下式的坐标变换。另外，留意在此示出了没有进行上述的校正处理的计算。

(数5)

(x’，y’，z’，1)＝(x，y，z，1)×W×V×B×H×D×P

在此，追踪基准变换矩阵B是将摄像机(观察)坐标系变换为头戴式显示器100的基准位置和基准旋转上的追踪坐标系802的矩阵。追踪基准变换矩阵B能够作为HMD位置旋转矩阵H的逆矩阵而求出，其中，该HMD位置旋转矩阵H根据将头戴式显示器100放置于基准位置p0、基准旋转q0时的传感器信息而制成。

HMD位置旋转矩阵H是从追踪坐标系802变换为HMD坐标系804的矩阵。如前述那样使用在渲染开始时从传感器中取得的位置p、旋转q，根据平行移动矩阵T和旋转矩阵R而生成HMD位置旋转矩阵H(p，q)。

HMD显示位置矩阵D是将HMD坐标系804变换为视野坐标系806的矩阵。通过该矩阵，以头戴式显示器100的头顶为原点的HMD坐标系804中的点，被变换为以穿戴了头戴式显示器100的用户的视点为原点的视野坐标系806中的点。该矩阵根据从头戴式显示器100的中心点到穿戴了头戴式显示器100的用户的眼的位置的距离、和从用户的眼向显示器中心的方向相对于头戴式显示器100的中心轴倾斜的旋转角度而求出。由于基于头戴式显示器100的穿戴者的眼的位置的差异足够小，因此，对于头戴式显示器100的设备，通常HMD显示位置矩阵D设为固定。

另外，由于与眼的位置有关，因此，HMD显示位置矩阵存在左眼用和右眼用，用于生成左眼用、右眼用各自的图像。根据***，也有在双眼使用相同的图像的***，在该情况下使用双眼用的1个HMD显示位置矩阵。

透视变换矩阵P是从观察坐标变换为透视坐标的矩阵，在一般的计算机图形中视场角自由地决定，但是，在头戴式显示器100中，使视场角与头戴式显示器100穿戴者的视场角匹配。使用用于表示用户的视野角的4个参数FoVu、FoVb、FoVl、FoVr，透视变换矩阵P被定义如下。

[数6]

在此，α、β由进深的剪裁(クリッピング)而决定，±1由坐标系为左手系还是右手系而决定。由于也存在左眼和右眼视场角不同(一般来说成为左右对称)的情况，因此，透视变换矩阵P存在左右不同的情况。

针对基于校正处理部780的校正处理进行说明。被赋予给校正处理部780的输入是对在时刻t1的头戴式显示器100的位置p1、旋转q1所生成的图像、在生成该图像时在HMD位置旋转矩阵H中所使用的位置p1和旋转q1、在最新的时刻t2的头戴式显示器100的被更新的位置p2和旋转q2。

校正处理部780对将对在时刻t1的位置p1、旋转q1所生成的图像映射到投影面的矩形图像，实施如下的变换处理，从而生成校正图像。若将矩形图像的顶点设为(x，y，z，1)、将校正后的投影坐标系中的点设为(x’，y’，z’，1)，将校正矩阵设为C，则变换处理能够表示如下。

(数7)

(x’，y’，z’，1)＝(x，y，z，1)×C

在此，校正矩阵C是

C＝D^-1×H(p1，q1)^-1×H(p2，q2)×D×P。

对在时刻t1的位置p1、旋转q1所生成的矩形图像的4个顶点为(-FoVl×d，FoVu×d，-d，1)、(-FoVl×d，-FoVb×d，-d，1)、(FoVr×d，FoVu×d，-d，1)、(FoVr×d，-FoVb×d，-d，1)。作为d的值，例如使用头戴式显示器100的光学***的焦点距离。

校正矩阵C的前半的D^-1×H(p1，q1)^-1意味着：通过HMD显示位置矩阵的逆矩阵D^-1而将视野坐标系还原为HMD坐标系，通过使用了在时刻t1的位置p1、旋转q1的HMD位置旋转矩阵的逆矩阵H(p1，q1)^-1而将HMD坐标系还原为追踪坐标系。在此基础上，后半的H(p2，q2)×D×P意味着：通过使用了在时刻t2的被更新的位置p2、旋转q2的HMD位置旋转矩阵H(p2，q2)而将追踪坐标系变换为HMD坐标系，进而通过HMD显示位置矩阵D而将HMD坐标系变换为视野坐标系，最后通过透视变换矩阵P而变换为投影坐标系。

若假设在时刻t1和时刻t2头戴式显示器100的位置以及旋转不变化、即p1＝p2且q1＝q2，则H(p1，q1)^-1×H(p2，q2)成为单位矩阵，因此，校正矩阵C变得与透视变换矩阵P相等，不进行校正处理，而是成为如以下那样仅进行透视变换。

(x’，y’，z’，1)＝(x，y，z，1)×P

可是，在时刻t1和时刻t2头戴式显示器100的位置以及旋转的至少一个发生变化、即p1≠p2以及/或者q1≠q2的情况下，校正矩阵C具有通过H(p1，q1)^-1×H(p2，q2)的计算，对头戴式显示器100的位置以及/或者旋转的偏差进行校正的作用。

这样通过校正矩阵C变换后的矩形图像是将对于时刻t1的位置p1、旋转q1的投影图像校正为对于时刻t2的位置p2、旋转q2的投影图像后的图像。由此，即使在时刻t1和时刻t2之间头戴式显示器100的位置和旋转偏差，通过图像处理对图像进行校正，也能够将偏差吸收。

以下，对几个变形例进行说明。

(变形例1)

参照图12以及图13，说明第1实施方式的校正处理的变形例。图12是为了比较而说明第1实施方式的图像校正处理的图。如同图所示，全景图像生成装置700接受在时刻t1头戴式显示器100的位置p1和旋转q1，开始渲染。全景图像生成装置700对使用在时刻t2头戴式显示器100的最新的位置p2和旋转q2而生成的图像进行校正处理。若头戴式显示器100的面板的帧率设为30帧/秒，则全景图像生成装置700按30帧/秒来生成帧，进行校正处理，将校正后的图像提供给头戴式显示器100。另外，校正处理也可以在头戴式显示器100侧进行。

图13是用于说明第1实施方式的变形例的图像校正处理的图。在相对于基于全景图像生成装置700的渲染的帧率为30帧/秒，头戴式显示器100的面板的帧率为高帧率、例如60帧/秒的情况下，在变形例中与头戴式显示器100的面板的帧率匹配而提高校正处理的频度。

如同图所示，使用时刻t2的头戴式显示器100的位置p2和旋转q2，对由全景图像生成装置700所生成的图像进行第一次校正处理，将校正后的图像显示在头戴式显示器100上。其后，使用时刻t3的头戴式显示器100的位置p3和旋转q3，对相同的图像进行第二次校正处理，将校正后的图像显示在头戴式显示器100上。由此，即使全景图像生成装置700的帧率为30帧/秒，校正后的图像也以60帧/秒来显示。如此，通过以规定的频度来进行校正处理，能够对帧率进行提高、或者降低，尤其是在全景图像生成装置700和头戴式显示器100的帧率不同的情况下，能够使***具有帧率变换的功能。

在图13的说明中，对由全景图像生成装置700生成的相同的图像，进行了使用时刻t2的位置p2和旋转q2的第一次校正处理、和使用时刻t3的位置p3和旋转q3的第二次校正处理。作为其他的方法，第二次校正处理也可以对通过第一次校正处理而生成的校正后的图像而进行。

(变形例2)

在上述的坐标变换式(x’，y’，z’，1)＝(x，y，z，1)×W×V×B×H×D×P中，有追踪基准变换矩阵B和HMD位置旋转矩阵H的乘法运算，该计算能够简化。将追踪基准变换矩阵B与HMD位置旋转矩阵H乘法运算后的结果的矩阵，称为标准化HMD矩阵N。追踪基准变换矩阵B能够作为根据将头戴式显示器100放置于基准位置p0、基准旋转q0时的传感器信息而制成的HMD位置旋转矩阵H的逆矩阵而求出，HMD位置旋转矩阵H(p，q)使用在渲染开始时从传感器取得的位置p、旋转q，根据平行移动矩阵T和旋转矩阵R而生成，因此，若将逆矩阵通过Inv(·)来记述，则标准化HMD矩阵N被计算如下。

N＝B×H(p，q)

＝Inv(T(-p0)×R(q0^-1))×(T(-p)×R(q^-1))

＝Inv(R(q0^-1))×Inv(T(-p0))×T(-p)×R(q^-1)

＝R(q0)×T(p0)×T(-p)×R(q^-1)

＝R(q0)×T(p0-p)×R(q^-1)

＝R(q0)×R(q^-1)×R(q)×T(p0-p)×R(q^-1)

＝R(q^-1×q0)×T(Rot(p0-p，q^-1))

在此，Rot(p，q)意味着将向量p通过四元数q进行旋转。具体而言，若将旋转后的向量p设为p’，则计算为p’＝q×p×q^-1。Rot(p0-p，q^-1)是将向量p0-p通过四元数q^-1进行旋转。根据上述的最后的变形式，标准化HMD矩阵N意味着通过四元数q^-1×q0进行旋转之后，平行移动Rot(p0-p，q^-1)的量。

若对计算量进行评价，仅从乘法运算次数来看，平行移动矩阵T为0次、旋转矩阵R为16次、2个四元数的积为16次、2个旋转矩阵R的积为36次，且平行移动矩阵T和旋转矩阵R的积为0次。若使用上述的第4变形式，N＝R(q0)×T(p0)×T(-p)×R(q^-1)，旋转矩阵R的计算需要16次乘法运算、R×T需要0次、此外的2次矩阵的积需要36次乘法运算，合计需要16×2+36×2＝104次的乘法运算。对此，若使用上述的最后的变形式，N＝R(q^-1×q0)×T(Rot(p0-p，q^-1))，2次四元数的积需要16次乘法运算、旋转矩阵R的计算需要16次乘法运算，在Rot的计算中需要2次四元数的计算，因此，合计需要16+16+16×2＝64次的乘法运算。比较而言，若通过上述的最后的变形式来计算标准化矩阵N，则乘法运算从104次减少为64次，计算被简化。

(变形例3)

头戴式显示器100的位置p和旋转q能够使用卡尔曼滤波(Kalman filter)等而根据过去的传感器信息进行预测。上述的图像校正处理能够用于校正预测值和现实的值的偏差。

在头戴式显示器100或者全景图像生成装置700中设置传感器信息的预测部，预测部基于头戴式显示器100的过去的运动来预测在图像被显示时的定时的位置pf和旋转qf。全景图像生成装置700对预测位置pf和预测旋转qf生成图像。校正处理部780从头戴式显示器100的当前时点的传感器信息中接受当前位置pt和当前旋转qt，使用当前位置pt和当前旋转qt而进行图像的校正处理。由此，即使在预测位置pf和预测旋转qf从当前位置pt和当前旋转qt偏差了的情况下，通过图像校正处理，也能够对该偏差进行吸收。

(变形例4)

在校正处理中，将进行一次渲染后的结果的图像用作再次描绘源，进行透视变换以使与最新的位置和旋转相符合，因此，在运动量大的情况下，存在需要未被描绘的区域的信息的情况。说明几个应对产生欠缺部分的问题的方法。

作为欠缺部分的补偿方法，有以下的方法。

(1)欠缺部分通过最外周的像素的颜色来填充。

(2)欠缺部分通过单色(例如黑色)来填充。

(3)预先描绘比最外周更大的区域，以使不产生欠缺部分。

为采取(3)的方法，作为用于赋予在附带追踪功能的头戴式显示器100用的图像生成时的坐标变换和校正处理时的变换处理中使用的矩形区域的4个顶点的参数，代替头戴式显示器固有的视场角参数FoVu、FoVb、FoVl、FoVr，而使用表示描绘视场角的参数FoVu’、FoVb’、FoVl’、FoVr’。在此，FoVx’>FoVx’(在此x＝u，b，l，r)。其中，在校正处理时的变换处理中使用的透视变换矩阵P中，使用头戴式显示器固有的角参数FoVu、FoVb、FoVl、FoVr。

也存在对2个时刻t1和时刻t2之间的运动量进行限制以使不产生欠缺部分的方法。

(1)将运动量限制为限制值A，即使在运动量超过限制值A而成为了B(>A)的情况下，也设为运动量为A而进行校正处理。

(2)在运动量超过了限制值A的情况下，不进行校正处理，而是作为错误来处理。

(3)将上述(1)、(2)进行组合，在运动量超过第1限制值A但是为第2限制值B(>A)以下的情况下，设为运动量为A而进行校正处理，在运动量超过了第2限制值B的情况下，不进行校正处理，而是作为错误来处理。

通过这样对运动量进行限制，从而认为运动量收敛在限制值A以内，能够预先描绘与运动量对应的区域以使不产生欠缺部分。

运动量能够如下进行计算。旋转的变化量qd能够通过qd＝q^-1×q0来计算，位置的变化量pd能够通过pd＝p0-p来计算。旋转的变化量qd的大小由实部决定，实部越小则旋转量越大。计算上述的标准化HMD矩阵N的式子为N＝R(q^-1×q0)×T(Rot(p0-p，q^-1))＝R(qd)×T(Rot(pd，q^-1))，因此，旋转的变化量qd和位置的变化量pd的值在计算标准化HMD矩阵N的过程中已被进行了计算。如此，运动量在计算标准化HMD矩阵N的过程中被得到，因此，存在不需要根据图像对运动进行分析而检测运动向量的处理的优点。

通过采取限制运动量的方法，从而能够将描绘视场角设为一定，能够构成只要运动量不超过限制值，在校正后的图像中就不产生欠缺的***。在如变形例3那样使用传感器的预测值而进行描绘的情况下，能够根据预测值和现实的值的偏差(误差)的大小，决定描绘视场角。在该情况下，在预测为误差大的情况下描绘大范围的区域，在预测为误差小的情况下描绘小范围的区域。

(变形例5)

在第1实施方式中，考虑平行移动和旋转的双方，因此，在校正处理中需要3维的运算，但是，以仅进行平行移动而不伴随旋转的情况为前提，能够将校正处理进行简化。由于只要支持平行移动即可，因此，只要准备能够进行由固定行数的行缓冲所构成的平行移动的图像处理装置即可，能够构成便宜的***。

具体而言，校正处理只要通过校正矩阵C对图像的中心即坐标(0，0，-d)进行变换即可。只要使图像在x、y方向上平行移动通过该变换而求出的x的变化量、y的变化量即可。

在穿戴了头戴式显示器100的用户向上下或者左右摇头的情况下，能够设为上下或者左右的平行移动，应用该变形例的校正处理。

(第2实施方式)

在第1实施方式中，说明了将由全景图像生成装置700生成的全景图像在头戴式显示器100上进行显示时的校正处理，在第2实施方式中，说明用户对现实或者虚拟的空间进行摄像机操作，在计算机或便携设备的画面上显示图像时的校正处理。以下，针对与第1实施方式相同的结构和动作，省略说明，针对基于第2实施方式的校正处理部780的校正处理进行说明。

在第1实施方式中，以穿戴了头戴式显示器100的用户在空间中进行移动的情况为前提，因此，需要从追踪坐标系802经由HMD坐标系804而向视野坐标系806进行变换的坐标变换。因为在第1实施方式中，必须将摄像机的视点和视线方向，坐标变换为穿戴了头戴式显示器100的用户的当前的位置和旋转。在第2实施方式中，用户操作的摄像机的视点和视线方向按原状态成为计算机或便携设备的观察者的视点和视线方向，因此，不需要在头戴式显示器100的情况下所需的坐标变换。

使用摄像机的位置(视点)p、摄像机的方向(视线方向)q，根据平行移动矩阵T和旋转矩阵R，通过下式而求出第2实施方式的摄像机变换矩阵V。

(数8)

V(p，q)＝T(-p)×R(q^-1)

在此，摄像机的位置p为3维向量，摄像机的方向q为四元数。

在第2实施方式中，使用一般的计算机图形中的坐标变换。使用世界变换矩阵W、摄像机(观察)变换矩阵V、透视变换矩阵P，世界坐标系的点(x，y，z，1)通过下式而变换为投影坐标系的点(x’，y’，z’，1)。另外，留意在此示出了没有进行校正处理的计算。

(数9)

(x’，y’，z’，1)＝(x，y，z，1)×W×V×P

在此，与第1实施方式同样地，使用表示用户的视野角的4个参数FoVu、FoVb、FoVl、FoVr来定义透视变换矩阵P，但是，由于依赖于视场角，因此，在对摄像机进行了放大的情况下，视场角变化，透视变换矩阵P也被变更。将时刻t1的视野角参数设为FoVu1、FoVb1、FoVl1、FoVr1，将时刻t2的视野角参数设为FoVu2、FoVb2、FoVl2、FoVr2。将时刻t1的透视变换矩阵P记述为P(t1)，将时刻t2的透视变换矩阵P记述为P(t2)。

针对基于第2实施方式的校正处理部780的校正处理进行说明。被赋予给校正处理部780的输入是，对时刻t1的摄像机的位置P1、摄像机的方向Q1所生成的图像、在生成该图像时在摄像机变换矩阵V中所使用的摄像机的位置P1和摄像机的方向Q1、最新的时刻t2的摄像机的位置P2、摄像机的方向Q2。

校正处理部780通过对将对时刻t1的位置p1、方向q1所生成的图像映射到投影面的矩形图像，实施如下的变换处理，从而生成校正图像。若将矩形图像的顶点设为(x，y，z，1)、将校正后的投影坐标系的点设为(x’，y’，z’，1)、将校正矩阵设为C，则变换处理能够表示如下。

(数10)

(x’，y’，z’，1)＝(x，y，z，1)×C

在此，校正矩阵C为

C＝V(p1，q1)^-1×V(p2，q2)×P(t2)。

对在时刻t1的位置p1、方向q1所生成的矩形图像的4个顶点为(-FoVl1×d，FoVu1×d，-d，1)、(-FoVl1×d，-FoVb1×d，-d，1)、(FoVr1×d，FoVu1×d，-d，1)、(FoVr1×d，-FoVb1×d，-d，1)。作为d的值，使用适当的距离的固定值(例如10米等)或进深的统计数据(例如全区域的进深值的中值、区域的中心附近的进深的平均值等)。

校正矩阵C的前半的V(p1，q1)^-1意味着：通过使用了时刻t1的位置p1、旋转q1的摄像机变换矩阵的逆矩阵V(p1，q1)^-1而将摄像机坐标系还原为世界坐标系。在此基础上，后半的V(p2，q2)×P(t2)意味着：通过使用了时刻t2的位置p2、旋转q2的摄像机变换矩阵V(p2，q2)而将世界坐标系变换为摄像机坐标系，进而通过使用了时刻t2的视场角的透视变换矩阵P(t2)而变换为投影坐标系。

若假设在时刻t1和时刻t2摄像机的位置以及方向不变化、即p1＝p2且q1＝q2，则V(p1，q1)^-1×V(p2，q2)成为单位矩阵，因此，校正矩阵C变得与透视变换矩阵P(t2)相等，不进行校正处理，而是成为如以下那样仅进行对时刻t2的视场角进行反映的透视变换。

(x’，y’，z’，1)＝(x，y，z，1)×P(t2)

可是，在时刻t1和时刻t2摄像机的位置以及旋转的至少一个发生变化、即p1≠p2以及/或者q1≠q2的情况下，校正矩阵C具有通过V(p1，q1)^-1×V(p2，q2)的计算，对摄像机的位置以及/或者方向的偏差进行校正的作用。此外，最后通过透视变换矩阵P(t2)进行变换，从而时刻t1和时刻t2之间的视场角的变化也被反映。

这样通过校正矩阵C变换后的矩形图像是将对于时刻t1的位置p1、方向q1、视场角的投影图像校正为对于时刻t2的被更新的位置p2、方向q2、视场角的投影图像后的图像。由此，即使在时刻t1和时刻t2之间摄像机的位置和方向变化、或者通过放大而视场角变化，通过图像处理对图像进行校正，也能够将偏差吸收。

第2实施方式在多个终端经由网络而利用由应用服务器提供的服务的云服务的结构中是有益的。该情况下，图像生成装置是服务器，终端将摄像机操作的信息发送给服务器，经由网络接收服务器所生成的图像，但是，根据服务器的图像生成所花费的时间和网络传输所花费的时间，产生一定的滞后，因此，不能实时地反映用户的摄像机操作。根据第2实施方式，能够将基于图像生成时的摄像机的位置以及方向而生成的图像，进行校正以使与图像显示时的最新的摄像机的位置以及方向相符合，能够使其模拟地具有实时性。

尤其是在游戏应用中，用户使用游戏控制器的按钮或便携终端的触摸屏等而改变虚拟空间内的视点位置和视线方向，与游戏中的其他的用户的角色进行互动的情况下，实时性成为重要的要素。在这样的情况下，通过校正处理而使模拟地具有实时性是有益的。

如以上已说明那样，根据第1实施方式以及第2实施方式，通过使用图像显示时点的视点位置以及视线方向，对以图像生成时点的视点位置以及视线方向为前提而生成的图像进行校正，从而吸收从图像生成时点到图像显示时点为止的时间差分，能够减轻看起来的滞后。

以上，基于实施方式而说明了本发明。实施方式是例示，本领域技术人员应理解在这些各结构要素或各处理过程的组合中各种的变形例是可能的，并且这样的变形例也属于本发明的范围。对这样的变形例进行说明。

标号说明

10控制部、20输入接口、30输出接口、32背光灯、40通信控制部、42网络适配器、44天线、50存储部、60GPS单元、62无线单元、64姿势传感器、70外部输入输出端子接口、72外部存储器、80计时部、100头戴式显示器、110主体部、120前头部接触部、130侧头部接触部、200游戏机、300标志物、350运动控制器、500全景图像、700全景图像生成装置、710放大指示取得部、720灵敏度调整部、730位置/旋转信息取得部、740坐标变换部、750全景图像处理部、760全景图像存储部、770图像提供部、780校正处理部。

产业上的利用可能性

能够利用于生成图像并进行校正的技术。

Claims

1.一种图像生成装置，其特征在于，包括：

取得部，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；

图像生成部，使用由所述取得部在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及

校正处理部，从所述取得部接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转的至少一个有关的信息，对由所述图像生成部生成的图像进行校正，

所述图像生成部使用在某个时刻所取得的与位置以及旋转的至少一个有关的信息，进行从头戴式显示器的基准坐标系变换为头戴式显示器的移动坐标系的坐标变换，从而以第一频率生成所述图像，

所述校正处理部为了对由所述图像生成部生成的图像进行校正，在使用在某个时刻所取得的与位置以及旋转的至少一个有关的信息，进行所述坐标变换的逆变换，从而将移动坐标系暂时还原为基准坐标系之后，使用在其他时刻被更新的与位置以及旋转的至少一个有关的信息，进行所述坐标变换，从而再次变换为移动坐标系，

其中，所述图像生成部使用与位置和旋转的至少一个有关的信息而以第一频率生成在头戴式显示器上显示的所述图像，

所述校正处理部以与所述头戴式显示器的帧速率对应的第二频率从所述取得部接收与位置和旋转的至少一个有关的更新信息，并且使用与在高于第一频率的第二频率中接收到的位置和旋转的至少一个有关的多个更新信息，来执行由所述图像生成部在第一频率下生成的所述图像的多次校正。

2.一种图像生成方法，其特征在于，包含：

取得步骤，取得与穿戴了头戴式显示器的用户的头部的位置以及旋转的至少一个有关的信息；

图像生成步骤，使用通过所述取得步骤在某个时刻所取得的与位置以及旋转的至少一个有关的信息，生成应显示在头戴式显示器上的图像；以及

校正处理步骤，接受在其他时刻被更新的与位置以及旋转的至少一个有关的信息，使用被更新的与位置以及旋转有关的信息，对通过所述图像生成步骤生成的图像进行校正，

在所述图像生成步骤中，使用在某个时刻所取得的与位置以及旋转的至少一个有关的信息，进行从头戴式显示器的基准坐标系变换为头戴式显示器的移动坐标系的坐标变换，从而以第一频率生成所述图像，

在所述校正处理步骤中，为了对通过所述图像生成步骤生成的图像进行校正，在使用在某个时刻所取得的与位置以及旋转的至少一个有关的信息，进行所述坐标变换的逆变换，从而将移动坐标系暂时还原为基准坐标系之后，使用在其他时刻被更新的与位置以及旋转的至少一个有关的信息，进行所述坐标变换，从而再次变换为移动坐标系，

其中，在所述图像生成步骤中，使用与位置和旋转的至少一个有关的信息而以第一频率生成在头戴式显示器上显示的所述图像，

在所述校正处理步骤中，以与所述头戴式显示器的帧速率对应的第二频率从所述取得步骤接收与位置和旋转的至少一个有关的更新信息，并且使用与在高于第一频率的第二频率中接收到的位置和旋转的至少一个有关的多个更新信息，来执行在所述图像生成步骤中在第一频率下生成的所述图像的多次校正。