CN106998409A - 一种图像处理方法、头戴显示器以及渲染设备 - Google Patents

一种图像处理方法、头戴显示器以及渲染设备 Download PDF

Info

Publication number
CN106998409A
CN106998409A CN201710169082.6A CN201710169082A CN106998409A CN 106998409 A CN106998409 A CN 106998409A CN 201710169082 A CN201710169082 A CN 201710169082A CN 106998409 A CN106998409 A CN 106998409A
Authority
CN
China
Prior art keywords
moment
information
attitude information
head
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710169082.6A
Other languages
English (en)
Other versions
CN106998409B (zh
Inventor
郑方舟
高剑
罗毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710169082.6A priority Critical patent/CN106998409B/zh
Publication of CN106998409A publication Critical patent/CN106998409A/zh
Priority to PCT/CN2018/078131 priority patent/WO2018171421A1/zh
Application granted granted Critical
Publication of CN106998409B publication Critical patent/CN106998409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例公开了一种图像处理方法、头戴显示器以及渲染设备。其中一种方法包括：向渲染设备发送头戴显示器在第一时刻的姿态信息；接收来自渲染设备的视频数据，视频数据包括根据姿态信息渲染得到图像数据；获取头戴显示器在第二时刻的姿态信息，第二时刻晚于第一时刻；根据第二时刻的姿态信息与第一时刻的姿态信息的信息差，调整图像数据指示的图像，从而得到用于显示的调整后的图像。采用本发明实施例，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生画面绘制延时。

Description

一种图像处理方法、头戴显示器以及渲染设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、头戴显示器以及渲染设备。
背景技术
虚拟现实(Virtual Reality，VR)技术是近年来新兴的多媒体技术。它是一种可以创建和体验虚拟世界的计算机仿真***。在VR场景中，使用者通过佩戴一种集成图形***、光学***以及姿态追踪***的头戴显示器(Head Mounted Display，HMD)后，可以让使用者获得一种可交互的沉浸式体验。
在VR视频传输场景中，多采用无线进行传输。目前，无线VR视频传输过程如图1所示，HMD采集姿态信息后通过无线传输至渲染设备(Application Processor，AP)，而AP则根据接收到的姿态信息渲染出对应的图像数据/视频数据，并无线回传至HMD，使得HMD对图像数据/视频数据进行显示。当AP在渲染时，若某一帧数据渲染性能不足(如渲染时间过长)，下一帧数据就会被丢掉，使得HMD就会显示与上一帧数据相同的图像数据。而一旦头部转动，相同图像的光线则会落在视网膜上的不同部位，从而导致画面抖动。此时，通过AP侧的图形处理器(Graphics Processing Unit，GPU)进行二次渲染处理，也就是直接对该帧的图像进行空间上的移位和扭曲以匹配头部转动，减小画面抖动。
但由于在二次渲染时，需要根据该帧图像对应的姿态信息与当前时刻HMD采集的姿态信息的信息差进行移位以匹配头部转动，也就是说需要将当前时刻采集的姿态信息无线传输至AP侧，而姿态信息在传输过程中存在传输时延，使得调整后的图像仍然无法匹配头部转动，因此，无法消除了因头部转动引起场景变化产生的画面绘制延时。
发明内容
本发明实施例所要解决的技术问题在于，提供一种图像处理方法、头戴显示器以及渲染设备，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
本发明第一方面提供了一种图像处理方法，包括：头戴显示器向渲染设备发送头戴显示器在第一时刻的姿态信息，并接收来自渲染设备的视频数据，其中视频数据包括根据第一时刻的姿态信息渲染得到的图像数据，然后获取所述头戴显示器在第二时刻的姿态信息，第二时刻晚于所述第一时刻，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差调整该图像数据指示的图像，从而得到用于显示的调整后的图像。
在本发明实施例第一方面中，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
结合第一方面，在第一方面的第一种实现方式中，所述方法还包括：头戴显示器向渲染设备发送用于指示第一时刻的第一时刻信息，其中，第一时刻信息与第一时刻的姿态信息绑定；在视频数据还包括与视频数据绑定的第一时刻信息时，头戴显示器通过获取与第一时刻信息绑定的在第一时刻的姿态信息，并根据第二时刻的姿态信息与所述第一时刻的姿态信息的信息差调整图像数据指示的图像。
结合第一方面或第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
结合第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到调整后的图像，包括：将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。
结合第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式或第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述方法还包括：头戴显示器获取头戴显示器在第三时刻的姿态信息，第三时刻晚于第一时刻，第二时刻与第三时刻不是同一时刻，并根据第三时刻的姿态信息与第一时刻的姿态信息的信息差调整图像数据指示的图像，从而得到用于显示的另一调整后的图像。通过第三时刻的姿态信息与第一时刻的姿态信息的信息差以及第二时刻的姿态信息与第一时刻的姿态信息的信息差对渲染的一帧图像数据经过两次不同的位移调整，实现了图像数据的插帧处理，并减小了图像数据的渲染帧率，降低了无线图像数据的传输带宽。
本发明第二方面提供了一种图像处理方法，包括：渲染设备接收来自头戴显示器的在第一时刻的姿态信息以及与在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻，然后根据在第一时刻的姿态信息渲染得到图像数据，具体可以为根据第一时刻的姿态信息，对全景视频/图像进行渲染，从而得到图像数据。最后向所述头戴显示器发送图像数据以及与所述图像数据绑定的第一时刻信息，用于头戴显示设备对图像数据进行调整处理。
在本发明实施例第二方面中，渲染设备接收头戴显示器的姿态信息后，根据该姿态信息渲染得到视频数据/图像数据，并发送至头戴显示器，用于头戴显示器对该视频数据/图像数据进行调整并显示，从而使得显示的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
本发明第三方面提供了一种头戴显示器，包括：无线传输单元，用于向渲染设备发送所述头戴显示器在第一时刻的姿态信息；所述无线传输单元，还用于接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；运动传感器单元，用于获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；图像处理单元，用于根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像，从而得到用于显示的调整后的图像。
在本发明实施例第三方面中，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
结合第三方面，在第三方面的第一种实现方式中，所述头戴显示器还包括：所述无线传输单元，还用于向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；所述图像处理单元具体用于：根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像。
结合第三方面，在第三方面的第二种实现方式中，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
结合第三方面的第二种实现方式，在第三方面的第三种实现方式中，所述图像处理单元具体用于：将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。
结合第三方面的第三种实现方式，在第三方面的第四种实现方式中，所述头戴显示器还包括：所述运动传感器单元，还用于获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；所述图像处理单元，还用于根据所述运动传感器单元获取的所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。通过第三时刻的姿态信息与第一时刻的姿态信息的信息差以及第二时刻的姿态信息与第一时刻的姿态信息的信息差对渲染的一帧图像数据经过两次不同的位移调整，实现了图像数据的插帧处理，并减小了图像数据的渲染帧率，降低了无线图像数据的传输带宽。
本发明第四方面提供了一种渲染设备，所述渲染设备包括：无线传输单元，用于接收来自头戴显示器的在第一时刻的姿态信息以及与所述在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻；渲染显示单元，用于根据所述无线传输单元接收到的所述在第一时刻的姿态信息，渲染得到图像数据；所述无线传输单元，还用于向所述头戴显示器发送所述渲染显示单元得到的所述图像数据以及所述无线传输单元接收到的与所述图像数据绑定的第一时刻信息。
在本发明实施例第四方面中，渲染设备接收头戴显示器的姿态信息后，根据该姿态信息渲染得到视频数据/图像数据，并发送至头戴显示器，用于头戴显示器对该视频数据/图像数据进行调整并显示，从而使得显示的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
在一个可能的设计中，头戴显示器的结构中包括处理器和收发器。所述处理器用于执行本发明实施例第一方面提供的图像处理方法。可选的，还可以包括存储器，所述存储器用于存储支持头戴显示器执行上述方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的应用程序。
在一个可能的设计中，渲染设备的结构中包括处理器和收发器。所述处理器用于执行本发明实施例第二方面提供的图像处理方法。可选的，还可以包括存储器，所述存储器用于存储支持渲染设备执行上述方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的应用程序。
通过实施本发明实施例，通过头戴显示器采集头戴显示器在第一时刻的姿态信息并发送至渲染设备，由渲染设备根据该姿态信息渲染得到视频数据/图像数据，然后将视频数据/图像数据回传至头戴显示器，头戴显示器采集头戴显示器在第二时刻的姿态信息后，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差对接收到的视频数据/图像数据进行调整。无需将第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本发明实施例提供的一种无线VR视频传输的逻辑结构示意图；
图2(a)是本发明实施例提供的一种ATW渲染操作的界面示意图；
图2(b)是本发明实施例提供的一种姿态信息发送与接收的界面示意图；
图3是本发明实施例提供的一种图像处理方法的流程示意图；
图4是本发明实施例提供的一种姿态角描述的界面示意图；
图5是本发明实施例提供的一种图像调整操作的界面示意图；
图6是本发明实施例提供的一种头戴显示器的结构示意图；
图7是本发明实施例提供的一种渲染设备的结构示意图；
图8是本发明另一实施例提供的一种头戴显示器的结构示意图；
图9是本发明另一实施例提供的一种渲染设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例中的HMD可以为VR眼镜、眼动仪等显示设备，用于采集信息、计算处理以及显示；本发明实施例中的渲染设备可以为提供虚拟现实计算处理的应用处理器，也可为其它类型的计算终端(Proxy)，如移动电话(cellphone)、智能手机(smartphone)、计算机(computer)、平板电脑(tablet computer)、个人数码助理(personal digitalassistant，PDA)、移动互联网设备(mobile Internet device，MID)等。
本发明实施例中提及的无线传输方式可以为紫蜂协议(Zigbee)、蓝牙(Bluetooth)、无线保真(WIreless-Fidelity，WIFI)、红外数据组织(Infrared DataAssociation，IrDA)、超宽频(Ultra WideBand)、近距离无线通信(Near FieldCommunication，NFC)、WiMedia、全球定位***(Global Positioning System，GPS)、无线139和专用无线***等。
本发明实施例的技术方案适用于各种通信***，如全球移动通讯(Global Systemof Mobile communication，GSM)***、码分多址(Code Division Multiple Access，CDMA)***、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)***、长期演进(Long-Term Evolution，LTE)***、MIMO***等等。
下面对本发明实施例的应用场景进行描述。在VR场景中，受限于现有的移动终端处理器能力，一些大型游戏或视频类应用无法通过在头戴显示器放置处理单元完成VR的处理，因此对于一部分需要大量计算或节能的VR应用的解决方法是把计算单元放在台式机、手机或游戏控制台上，通过有线的方式连接头戴显示器，减轻了头戴显示器重量同时给用户带来了极致的视听体验。但这类分体式VR***由于需要有线连接，使得用户移动时极为不便，因此提出采用无线传输的方式解决有线连接带来的困扰。而现有的无线VR视频传输常用的方法如图1所示，HMD采集姿态信息后通过无线传输至渲染设备(如AP)，而AP则接收该姿态信息并渲染出对应的视频数据/图像数据，并将视频数据/图像数据无线回传至HMD，使得HMD对视频数据指示的视频进行显示。在VR场景中，图像的更新必须要与Vsync信号同步，但是，若某一帧渲染性能不足(如渲染时间过长)，下一帧就会被丢掉，使得HMD就会显示与上一帧相同的图像。而一旦头部转动，相同图像的光线则会落在视网膜上的不同部位，从而导致画面抖动。为了减小画面抖动，此时，通过AP侧的GPU进行二次渲染处理，如图2(a)所示，L1、L2和L3为左眼的连续三帧图像数据，R1、R2和R3为右眼的连续三帧图像数据，通常先渲染左眼图像数据后渲染右眼图像数据，可以将同一帧的左眼图像数据和右眼图像数据作为一帧图像数据。在第一帧的处理中，左右眼图像数据渲染及时完成，直接发送至HMD进行显示即可，而在第二帧处理中，渲染未能及时完成，此时如果什么都不做就会出现画面抖动，通过在AP侧对第二帧图像进行空间上的移位和扭曲以匹配头部转动，减小画面抖动。但由于在二次渲染时，需要根据该帧图像对应的姿态信息与当前时刻HMD采集的姿态信息的信息差进行移位以匹配头部转动，也就是说需要将当前时刻采集的姿态信息无线传输至AP，而姿态信息在传输过程中存在传输时延，如图2(b)所示，若HMD在T0、T1、T2、T3时刻采集到的姿态信息分别为MU0、MU1、MU2以及MU3，由于MU由HMD传输至AP时存在传输时延，使得AP在T1、T2以及T3时刻才接收到MU0、MU1以及MU2。以MU0为例，若AP在T1时刻根据MU0进行渲染，并在T2时刻(渲染也存在时延)得到渲染图像数据A，由于A无法匹配头部运动，则要对A进行二次渲染，也就是说，需要求解T2时刻HMD采集到的姿态信息MU2与A对应的姿态信息MU0的信息差，而事实上，AP在T2时刻接收到的姿态信息为MU1，那么此时AP求解的是MU1与MU0的信息差，因此，虽然减小了画面的抖动，但仍然无法消除画面抖动产生的画面绘制延时。
在本发明实施例中，通过头戴显示器采集头戴显示器在第一时刻的姿态信息并发送至渲染设备，由渲染设备根据该姿态信息渲染得到视频数据/图像数据，然后将视频数据/图像数据回传至头戴显示器，头戴显示器采集头戴显示器在第二时刻的姿态信息后，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差对接收到的视频数据/图像数据进行调整。无需将第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。
以下通过图3—图9所示的实施例对图像处理方法进行详细描述。
请参阅图3，图3是本发明实施例提供的一种图像处理方法的流程示意图。下面以头戴显示器以及渲染设备两侧为例进行描述，所述方法包括：
步骤S101：头戴显示器向渲染设备发送所述头戴显示器在第一时刻的姿态信息。
具体的，姿态信息也就是VR场景的全景图像中人眼当前所看到的其中一部分图像所对应的头戴显示设备的姿态信息。以FOV(视场角)为例，全景图像为水平360°FOV、垂直180°FOV，VR场景中的FOV通常为水平90°，垂直90°，即VR场景中人眼能看见的图像只是全景图像中的1/8(90*90/360/180)，在头戴显示器转动过程中，这1/8图像也是变化的。也就是说，显示的1/8图像与头戴显示设备的姿态信息是一一对应的。其中，所述第一时刻的姿态信息包括所述第一时刻的姿态角。
通常，可通过惯性测量单元(Inertial measurement unit，IMU)传感器测量物体的姿态信息。其中，一个IMU传感器包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标***独立三轴的加速度信号，而陀螺仪检测载体相对于载体坐标系的角速度信号，通过测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。所述解算方法可以为预设算法，具体不限定。
具体实施中，通过在设备中设置IMU传感器就可以直接获取设备的姿态信息。例如，在英特尔芯片intel Curie上集成了一个BMI160 IMU，它封装了16位极低功耗的三轴加速度计和三轴陀螺仪，因此可以直接采用intel Curie的模组测量并解算自己的姿态信息。在本发明实施例中，IMU传感器设置在头戴显示器中，通过头戴显示器就可以获取姿态信息，并将获取的姿态信息发送至渲染设备。
可选的，在头戴显示器转动时，所测量的姿态信息是时刻变化的。
在一种实施方式中，头戴显示器还执行步骤S1011：头戴显示器向渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定。
具体的，所述时刻信息可以为时间戳。所述时间戳(timestamp)通常是一个字符序列，唯一地标识某一时刻的时间。由于头戴显示器采集姿态信息为一个持续实时的过程，因此可通过时间戳唯一标识姿态信息。
在本发明实施例中，将指示第一时刻的时刻信息作为第一时刻信息，如第一时间戳。由于头戴显示器根据采集的速率持续性采集姿态信息，通过对采集的姿态信息添加时间戳以识别目标姿态信息。
在一种实施方式中，头戴显示器还执行步骤S1012：头戴显示器将所述采集的姿态信息与指示各姿态信息的时刻信息添加至缓存中。
具体的，头戴显示器将采集的姿态信息与对应的时间信息进行缓存，可以以映射表的形式进行缓存，如表1所示。表1为缓存中的一种姿态信息与时间戳的对应关系表，通过时间戳显示的采集时间就可以查找到对应的姿态信息。当头戴显示器接收到目标姿态信息的时间戳为时刻1时，在缓存中查找确定对应的目标姿态信息为姿态信息1。
表1
姿态信息 时间戳
姿态信息1 时刻1
姿态信息2 时刻2
姿态信息3 时刻3
姿态信息4 时刻4
步骤S102：渲染设备接收来自头戴显示器的在第一时刻的姿态信息。
进一步的，渲染设备还执行步骤S1021：渲染设备接收与所述在第一时刻的姿态信息绑定的第一时刻信息。
步骤S103：渲染设备根据所述在第一时刻的姿态信息，渲染得到图像数据。
具体的，所述根据所述在第一时刻的姿态信息，渲染得到图像数据，可以理解的是，渲染设备根据第一时刻的姿态信息对全景视频/图像进行渲染，从而生成视频数据/图像数据。其中，所述渲染(Render)是指将属性和方法加入到对应的组件，然后将组件加入对应的容器的过程。例如，在PS(Adobe Photoshop)中，渲染是指将颜色，尺寸等属性加入到当前画布的过程，其中，可以把画布看成为容器，里面有很多小组件，每个组件对应有自己的属性。
具体实施中，渲染设备根据IMU传感器采集得到的姿态信息，渲染左右眼视角对应的图像。渲染顺序可以为先渲染左眼图像，后渲染右眼图像，且采用相同的方式进行渲染。
在一种实施方式中，由于头戴显示器持续实时的采集姿态信息，而渲染设备则根据自身的渲染帧率进行渲染，因此，渲染设备对多个姿态信息进行渲染，从而生成渲染视频数据，所述渲染视频数据包括多帧图像数据。
例如，头戴显示器采集姿态信息的速率为1000个/秒，而渲染设备的渲染帧率为100HZ，那么在这1秒内，渲染设备从接收到的1000个姿态信息中选择100个姿态信息进行渲染，从而生成渲染视频数据，所述生成的渲染视频数据包括100帧图像数据。其中，姿态信息选择方式可以为从每10个姿态信息中随机选择1个。
可选的，所述步骤S103之后，还执行步骤S1031：渲染设备将所述图像数据与所述第一时刻信息进行绑定。
在一种实施方式中，渲染设备对生成的渲染视频中的每一帧图像数据绑定对应的时刻信息。所述时刻信息为每帧图像数据对应的姿态信息的时刻信息。例如，生成的渲染视频包括5帧图像数据，这5帧图像数据是根据接收到的姿态信息1—姿态信息10这10个姿态信息中的姿态信息1、姿态信息2、姿态信息5、姿态信息8以及姿态信息10生成，而姿态信息1、姿态信息2、姿态信息5、姿态信息8以及姿态信息10分别对应的时刻信息为T1、T2、T5、T8和T10，因此，将这5帧图像数据分别绑定T1、T2、T5、T8和T10这5个时刻信息，以识别这些图像数据对应的姿态信息。
步骤S104：渲染设备向所述头戴显示器发送所述图像数据以及与所述图像数据绑定的第一时刻信息。
步骤S105：头戴显示器接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据。
在一种实施方式中，所述步骤S105之后，还执行步骤S1051：头戴显示器接收与所述视频数据中的图像数据绑定的第一时刻信息。
具体的，视频数据中包括至少一帧图像数据，将至少一帧图像数据中用于调整的图像数据作为目标图像数据，目标图像数据对应的姿态信息为目标姿态信息。
其中，获取所述目标姿态信息可以为获取所述目标姿态信息携带的时刻信息，如时间戳，然后在缓存中查找所述时间戳对应的目标姿态信息即可。
步骤S106：头戴显示器获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻。
具体的，由于头戴显示器持续采集头戴显示器的姿态信息，通过时刻信息标识姿态信息。其中，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
其中，物体在三维空间中的姿态角可以用旋转矩阵、欧拉角、四元素等来表示。以欧拉角为例，对于在三维空间里的一个参考系，任何坐标系的取向都可以用三个欧拉角来表现。其中，三个欧拉角分别为章动角a、旋进角(即进动角)b和自转角r组成，如：(a，r，b)。
例如，如图4所示，xyz为参考系的坐标轴(头部转动前的姿态信息的坐标轴)，XYZ为头部转动后的样本姿态信息的坐标轴，xy平面与XY平面的相交线为交点线，用英文字母(N)标识。那么，zxz顺规的欧拉角可以这样定义：a是x轴与交点线的夹角，b是z轴与Z轴的夹角，r是交点线与X轴的夹角，其中，a＝α,b＝β,r＝γ。也就是说，α、β、γ为头部转动后的样本姿态角。
步骤S107：头戴显示器根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的调整后的图像。
具体的，头戴显示器获取与所述第一时刻信息绑定的在第一时刻的姿态信息，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差，调整图像数据指示的图像。
具体实施中，在所述姿态信息包括姿态角时，将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。其中，所述信息差也就是两个不同时刻头戴显示器的姿态差。在一种可行的实施方式中，将所述第二时刻的姿态角与所述第一时刻的姿态角相减，从而得到两时刻的信息差。如图4中所示，将xyz作为第一时刻的姿态信息的坐标轴，XYZ作为第二时刻的姿态信息的坐标轴，以xyz为参考轴，那么，α、β、γ为两个时刻之间的信息差。
以xyz坐标轴为参考轴，当绕x，y，z轴分别旋转θ(α＝θ、β＝θ、γ＝θ)的矩阵为：
那么，对应的欧拉角的变换矩阵为：
图像信息指示的图像对应的源矩阵为其中xy表示图像信息指示的图像上每个像素的坐标，也就是说，C中包含了多个像素的矩阵C1、C2…Cn，那么，分别将C1、C2…Cn与Fix相乘，得到对每个像素的处理矩阵A1、A2…An，其中：
所得到的每个An所指示的是调整后的图像上的每个像素点，从而得到调整后的图像。
可选的，所述方法还包括：获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；
根据所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。
具体的，头戴显示设备采用与步骤S107相同的调整方式对第三时刻的姿态信息与第一时刻的姿态信息的信息差所指示的图像数据进行调整，具体不再赘述。
如图5所示，PicA、PicB为渲染设备所渲染的图像数据，PicA0、PicA1为头戴显示器调整后的对应于PicA的两帧图像数据，PicB0、PicB1则为头戴显示器调整后的对应于PicB的两帧图像数据。
在本发明实施例中，通过头戴显示器采集头戴显示器在第一时刻的姿态信息并发送至渲染设备，由渲染设备根据该姿态信息渲染得到视频数据/图像数据，然后将视频数据/图像数据回传至头戴显示器，头戴显示器采集头戴显示器在第二时刻的姿态信息后，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差对接收到的视频数据/图像数据进行调整。无需将第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，一方面减小了因头部转动引起场景变化产生的画面绘制延时，另一方面，如图2(b)所示，由于在T2时刻渲染设备(如AP)将二次渲染生成的图像数据A1传输至头戴显示器(如)HMD进行显示时，基于图像数据/视频数据的传输时延而使得AP在T3时刻才接收到并显示图像数据A1，而A1则是根据MU2与MU0的信息差生成，而事实上为了消除画面绘制延时，此时HMD显示的图像数据应该根据MU3与MU0的信息差得到，因此，在本发明实施例中，HMD可以采用最新时刻的姿态信息对渲染图像数据进行调整，进一步匹配了头部转动与显示的图像数据。因此，采用本发明实施例，可以消除因头部转动引起场景变化产生的画面绘制延时。另外，通过第三时刻的姿态信息与第一时刻的姿态信息的信息差以及第二时刻的姿态信息与第一时刻的姿态信息的信息差对渲染的一帧图像数据经过两次不同的位移调整，实现了图像数据的插帧处理，并减小了图像数据的渲染帧率，降低了图像数据的传输带宽。
上述详细阐述了本发明实施例的方法，下面提供了本发明实施例的装置。
请参阅图6，图6是本发明实施例提供的一种头戴显示器10的结构示意图。如图6所示，该设备包括无线传输单元11、运动传感器单元12和图像处理单元13，其中，各个单元的详细描述如下。
无线传输单元11，用于向渲染设备发送所述头戴显示器在第一时刻的姿态信息；
所述无线传输单元11，还用于接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；
运动传感器单元12，用于获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；
图像处理单元13，用于根据所述运动传感器单元12获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元11接收到的所述图像数据指示的图像，从而得到用于显示的调整后的图像。
可选的，所述头戴显示器10还包括：
所述无线传输单元11，还用于向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；
所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；
所述运动传感器单元12，还用于获取与所述第一时刻信息绑定的所述在第一时刻的姿态信息，
所述图像处理单元13具体用于：根据所述运动传感器单元12获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元11接收到的所述图像数据指示的图像。
可选的，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
可选的，所述图像处理单元13具体用于：
将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。
可选的所述头戴显示器10还包括：
所述运动传感器单元12，还用于获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；
所述图像处理单元13，还用于根据所述运动传感器单元12获取的所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元11接收到的所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。
在本发明实施例中，通过头戴显示器采集头戴显示器在第一时刻的姿态信息并发送至渲染设备，由渲染设备根据该姿态信息渲染得到视频数据/图像数据，然后将视频数据/图像数据回传至头戴显示器，头戴显示器采集头戴显示器在第二时刻的姿态信息后，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差对接收到的视频数据/图像数据进行调整。无需将第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，一方面减小了因头部转动引起场景变化产生的画面绘制延时，另一方面，如图2(b)所示，由于在T2时刻渲染设备(如AP)将二次渲染生成的图像数据A1传输至头戴显示器(如)HMD进行显示时，基于图像数据/视频数据的传输时延而使得AP在T3时刻才接收到并显示图像数据A1，而A1则是根据MU2与MU0的信息差生成，而事实上为了消除画面绘制延时，此时HMD显示的图像数据应该根据MU3与MU0的信息差得到，因此，在本发明实施例中，HMD可以采用最新时刻的姿态信息对渲染图像数据进行调整，进一步匹配了头部转动与显示的图像数据。因此，采用本发明实施例，可以消除因头部转动引起场景变化产生的画面绘制延时。另外，通过第三时刻的姿态信息与第一时刻的姿态信息的信息差以及第二时刻的姿态信息与第一时刻的姿态信息的信息差对渲染的一帧图像数据经过两次不同的位移调整，实现了图像数据的插帧处理，并减小了图像数据的渲染帧率，降低了图像数据的传输带宽。
请参阅图7，图7是本发明实施例提供的一种渲染设备20的结构示意图。如图7所示，该设备包括无线传输单元21和渲染显示单元22，其中，各个单元的详细描述如下。
无线传输单元21，用于接收来自头戴显示器的在第一时刻的姿态信息以及与所述在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻；
渲染显示单元22，用于根据所述无线传输单元21接收到的所述在第一时刻的姿态信息，渲染得到图像数据；
所述无线传输单元21，还用于向所述头戴显示器发送所述渲染显示单元22得到的所述图像数据以及所述无线传输单元21接收到的与所述图像数据绑定的第一时刻信息。
在本发明实施例中，通过头戴显示器采集头戴显示器在第一时刻的姿态信息并发送至渲染设备，由渲染设备根据该姿态信息渲染得到视频数据/图像数据，然后将视频数据/图像数据回传至头戴显示器，头戴显示器采集头戴显示器在第二时刻的姿态信息后，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差对接收到的视频数据/图像数据进行调整。无需将第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，一方面减小了因头部转动引起场景变化产生的画面绘制延时，另一方面，如图2(b)所示，由于在T2时刻渲染设备(如AP)将二次渲染生成的图像数据A1传输至头戴显示器(如)HMD进行显示时，基于图像数据/视频数据的传输时延而使得AP在T3时刻才接收到并显示图像数据A1，而A1则是根据MU2与MU0的信息差生成，而事实上为了消除画面绘制延时，此时HMD显示的图像数据应该根据MU3与MU0的信息差得到，因此，在本发明实施例中，HMD可以采用最新时刻的姿态信息对渲染图像数据进行调整，进一步匹配了头部转动与显示的图像数据。因此，采用本发明实施例，可以消除因头部转动引起场景变化产生的画面绘制延时。
图8所示实施例中的头戴显示器可以以图3和图6所示的头戴显示器实现。如图8所示，为本发明实施例提供了一种头戴显示器的结构示意图，图8所示的头戴显示器1000包括：处理器1001、收发器1004和传感器1005。其中，处理器1001和收发器1004相连，如通过总线1002相连。可选的，所述数据发送装置1000还可以包括存储器1003。需要说明的是，实际应用中收发器1004不限于一个，该数据发送装置1000的结构并不构成对本发明实施例的限定。
其中，处理器1001应用于本发明实施例中，用于实现图6所示的图像处理单元13的功能。收发器1004包括发射机和接收机，收发器1004应用于本发明实施例中，用于实现图6所示的无线传输单元11的功能。传感器1005包括运动传感器，传感器1005应用于本发明实施例中，用于实现图6所示的运动传感器单元12的功能。
处理器1001可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理(Digital Signal Processing，DSP)，集成电路(Application SpecificIntegrated Circuit，ASIC)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
总线1002可包括一通路，在上述组件之间传送信息。总线1002可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器1003用于存储执行本发明方案的应用程序代码，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的应用程序代码，以实现图6所示实施例提供的头戴显示器的动作。
在本发明实施例中还提供了一种计算机存储介质，用于储存为上述头戴显示器所用的计算机软件指令，其包含用于执行上述方面为头戴显示器所设计的程序。
图9所示实施例中的渲染设备可以以图7所示的渲染设备实现。如图9所示，为本发明实施例提供了一种渲染设备的结构示意图，图9所示的渲染设备2000包括：处理器2001和收发器2004。其中，处理器2001和收发器2004相连，如通过总线2002相连。可选的，渲染设备2000还可以包括存储器2003。需要说明的是，实际应用中收发器2004不限于一个，该数据接收装置2000的结构并不构成对本发明实施例的限定。
其中，处理器2001应用于本发明实施例中，用于实现图7所示的渲染显示单元22的功能。收发器2004包括接收机和发射机，收发器2004应用于本发明实施例中，用于实现图7所示的无线传输单元21的功能。
处理器2001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器2003用于存储执行本发明方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现图7所示实施例提供的渲染设备的动作。
在本发明实施例中还提供了一种计算机存储介质，用于储存为上述渲染设备所用的计算机软件指令，其包含用于执行上述方面为渲染设备所设计的程序。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信***。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种图像处理方法，所述方法由头戴显示器执行，其特征在于，所述方法包括：
向渲染设备发送所述头戴显示器在第一时刻的姿态信息；
接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；
获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；
根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的调整后的图像。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；
所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；
所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，包括：
获取与所述第一时刻信息绑定的所述在第一时刻的姿态信息，根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像。
3.如权利要求1或2所述的方法，其特征在于，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到调整后的图像，包括：
将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；
根据所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。
6.一种图像处理方法，所述方法由渲染设备执行，其特征在于，所述方法包括：
接收来自头戴显示器的在第一时刻的姿态信息以及与所述在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻；
根据所述在第一时刻的姿态信息，渲染得到图像数据；
向所述头戴显示器发送所述图像数据以及与所述图像数据绑定的第一时刻信息。
7.一种头戴显示器，其特征在于，所述头戴显示器包括：
无线传输单元，用于向渲染设备发送所述头戴显示器在第一时刻的姿态信息；
所述无线传输单元，还用于接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；
运动传感器单元，用于获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；
图像处理单元，用于根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像，从而得到用于显示的调整后的图像。
8.如权利要求7所述的头戴显示器，其特征在于，所述头戴显示器还包括：
所述无线传输单元，还用于向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；
所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；
所述运动传感器单元，还用于获取与所述第一时刻信息绑定的所述在第一时刻的姿态信息，
所述图像处理单元具体用于：根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像。
9.如权利要求7或8所述的头戴显示器，其特征在于，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。
10.如权利要求7至9任一项所述的头戴显示器，其特征在于，所述图像处理单元具体用于：
将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。
11.如权利要求7至10任一项所述的头戴显示器，其特征在于，所述头戴显示器还包括：
所述运动传感器单元，还用于获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；
所述图像处理单元，还用于根据所述运动传感器单元获取的所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。
12.一种渲染设备，其特征在于，所述渲染设备包括：
无线传输单元，用于接收来自头戴显示器的在第一时刻的姿态信息以及与所述在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻；
渲染显示单元，用于根据所述无线传输单元接收到的所述在第一时刻的姿态信息，渲染得到图像数据；
所述无线传输单元，还用于向所述头戴显示器发送所述渲染显示单元得到的所述图像数据以及所述无线传输单元接收到的与所述图像数据绑定的第一时刻信息。
CN201710169082.6A 2017-03-21 2017-03-21 一种图像处理方法、头戴显示器以及渲染设备 Active CN106998409B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710169082.6A CN106998409B (zh) 2017-03-21 2017-03-21 一种图像处理方法、头戴显示器以及渲染设备
PCT/CN2018/078131 WO2018171421A1 (zh) 2017-03-21 2018-03-06 一种图像处理方法、头戴显示器以及渲染设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710169082.6A CN106998409B (zh) 2017-03-21 2017-03-21 一种图像处理方法、头戴显示器以及渲染设备

Publications (2)

Publication Number Publication Date
CN106998409A true CN106998409A (zh) 2017-08-01
CN106998409B CN106998409B (zh) 2020-11-27

Family

ID=59431689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710169082.6A Active CN106998409B (zh) 2017-03-21 2017-03-21 一种图像处理方法、头戴显示器以及渲染设备

Country Status (2)

Country Link
CN (1) CN106998409B (zh)
WO (1) WO2018171421A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835404A (zh) * 2017-11-13 2018-03-23 歌尔科技有限公司 基于头戴式虚拟现实设备的图像显示方法、设备及***
WO2018171421A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN108829627A (zh) * 2018-05-30 2018-11-16 青岛小鸟看看科技有限公司 虚拟现实设备间的同步控制方法及***
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
WO2019076356A1 (zh) * 2017-10-20 2019-04-25 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、服务器、虚拟现实设备和***
CN109725730A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示***及其驱动方法
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN109753158A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 一种vr设备延时的确定方法及控制终端
CN109782912A (zh) * 2019-01-03 2019-05-21 京东方科技集团股份有限公司 用于测量设备延时的方法、装置、介质及电子设备
WO2019183914A1 (en) * 2018-03-30 2019-10-03 Intel Corporation Dynamic video encoding and view adaptation in wireless computing environments
CN110505518A (zh) * 2019-08-05 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备、数据传输方法和***
WO2020043105A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 一种图像的显示方法、装置及***
CN111064985A (zh) * 2018-10-16 2020-04-24 北京凌宇智控科技有限公司 一种实现视频串流的***、方法及装置
CN111065053A (zh) * 2018-10-16 2020-04-24 北京凌宇智控科技有限公司 一种视频串流的***及方法
CN111243027A (zh) * 2020-02-28 2020-06-05 京东方科技集团股份有限公司 延时测量方法、装置及***
CN111338546A (zh) * 2020-02-28 2020-06-26 歌尔科技有限公司 控制头戴显示设备的方法、终端及存储介质
CN111586391A (zh) * 2020-05-07 2020-08-25 中国联合网络通信集团有限公司 一种图像处理方法、装置及***
CN111813230A (zh) * 2020-09-14 2020-10-23 芋头科技（杭州）有限公司 一种ar眼镜上的交互方法及装置
WO2020238741A1 (zh) * 2019-05-24 2020-12-03 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN112073632A (zh) * 2020-08-11 2020-12-11 联想(北京)有限公司 图像处理方法、设备及存储介质
WO2020248442A1 (zh) * 2019-06-13 2020-12-17 歌尔股份有限公司 用于电子设备的图像处理方法、装置及电子设备
CN112104855A (zh) * 2020-09-17 2020-12-18 联想(北京)有限公司 一种图像处理方法及装置
WO2021218683A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 图像处理的方法和装置
CN113728615A (zh) * 2020-03-31 2021-11-30 深圳市大疆创新科技有限公司 图像处理方法、图像处理设备、用户设备、飞行器及***
CN114168096A (zh) * 2021-12-07 2022-03-11 深圳创维新世界科技有限公司 输出画面的显示方法、***、移动终端以及存储介质
US11500455B2 (en) 2018-10-16 2022-11-15 Nolo Co., Ltd. Video streaming system, video streaming method and apparatus
WO2022242704A1 (zh) * 2021-05-19 2022-11-24 闪耀现实(无锡)科技有限公司 用于刷新头戴式显示设备的屏幕的方法和头戴式显示设备
WO2023050533A1 (zh) * 2021-09-29 2023-04-06 歌尔股份有限公司 一种头戴设备的控制方法、一种画面渲染方法
WO2023217198A1 (zh) * 2022-05-11 2023-11-16 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809144A (zh) * 2016-03-24 2016-07-27 重庆邮电大学 一种采用动作切分的手势识别***和方法
CN105807798A (zh) * 2014-12-31 2016-07-27 上海乐相科技有限公司 一种头戴式智能眼镜抖动控制方法及装置
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和***
CN106354258A (zh) * 2016-08-30 2017-01-25 上海乐相科技有限公司 一种虚拟现实设备的画面显示方法及装置
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实***及其场景呈现方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
CN106385625A (zh) * 2016-09-29 2017-02-08 宇龙计算机通信科技(深圳)有限公司 一种图像中间帧生成方法及装置
CN106998409B (zh) * 2017-03-21 2020-11-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807798A (zh) * 2014-12-31 2016-07-27 上海乐相科技有限公司 一种头戴式智能眼镜抖动控制方法及装置
CN105809144A (zh) * 2016-03-24 2016-07-27 重庆邮电大学 一种采用动作切分的手势识别***和方法
CN105847785A (zh) * 2016-05-09 2016-08-10 上海乐相科技有限公司 一种图像处理方法、设备和***
CN106354258A (zh) * 2016-08-30 2017-01-25 上海乐相科技有限公司 一种虚拟现实设备的画面显示方法及装置
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实***及其场景呈现方法

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018171421A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN109698949A (zh) * 2017-10-20 2019-04-30 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、装置和***
CN109698949B (zh) * 2017-10-20 2020-08-21 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、装置和***
WO2019076356A1 (zh) * 2017-10-20 2019-04-25 腾讯科技（深圳）有限公司 基于虚拟现实场景的视频处理方法、服务器、虚拟现实设备和***
CN107835404A (zh) * 2017-11-13 2018-03-23 歌尔科技有限公司 基于头戴式虚拟现实设备的图像显示方法、设备及***
US11375244B2 (en) 2018-03-30 2022-06-28 Intel Corporation Dynamic video encoding and view adaptation in wireless computing environments
WO2019183914A1 (en) * 2018-03-30 2019-10-03 Intel Corporation Dynamic video encoding and view adaptation in wireless computing environments
CN108829627B (zh) * 2018-05-30 2020-11-20 青岛小鸟看看科技有限公司 虚拟现实设备间的同步控制方法及***
CN108829627A (zh) * 2018-05-30 2018-11-16 青岛小鸟看看科技有限公司 虚拟现实设备间的同步控制方法及***
KR20210046759A (ko) * 2018-08-28 2021-04-28 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디스플레이 방법, 장치 및 시스템
US20210181506A1 (en) * 2018-08-28 2021-06-17 Huawei Technologies Co., Ltd. Image Display Method, Apparatus, and System
KR102503337B1 (ko) * 2018-08-28 2023-02-23 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디스플레이 방법, 장치 및 시스템
CN109271022A (zh) * 2018-08-28 2019-01-25 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
WO2020043105A1 (zh) * 2018-08-28 2020-03-05 华为技术有限公司 一种图像的显示方法、装置及***
CN110868581A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及***
CN109271022B (zh) * 2018-08-28 2021-06-11 北京七鑫易维信息技术有限公司 一种vr设备的显示方法、装置、vr设备及存储介质
US11662580B2 (en) * 2018-08-28 2023-05-30 Huawei Technologies Co., Ltd. Image display method, apparatus, and system to reduce display latency
US11500455B2 (en) 2018-10-16 2022-11-15 Nolo Co., Ltd. Video streaming system, video streaming method and apparatus
CN111065053A (zh) * 2018-10-16 2020-04-24 北京凌宇智控科技有限公司 一种视频串流的***及方法
CN111064985A (zh) * 2018-10-16 2020-04-24 北京凌宇智控科技有限公司 一种实现视频串流的***、方法及装置
WO2020140657A1 (en) * 2019-01-02 2020-07-09 Boe Technology Group Co., Ltd. Head mounted display apparatus, virtual reality display system and driving method thereof
US11574613B2 (en) 2019-01-02 2023-02-07 Beijing Boe Optoelectronics Technology Co., Ltd. Image display method, image processing method and relevant devices
US11275248B2 (en) 2019-01-02 2022-03-15 Beijing Boe Optoelectronics Technology Co., Ltd. Head mounted display apparatus, virtual reality display system and driving method thereof
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN109725730A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 头戴显示设备及其驱动方法、显示***及其驱动方法
CN109782912A (zh) * 2019-01-03 2019-05-21 京东方科技集团股份有限公司 用于测量设备延时的方法、装置、介质及电子设备
CN109753158A (zh) * 2019-01-11 2019-05-14 京东方科技集团股份有限公司 一种vr设备延时的确定方法及控制终端
WO2020238741A1 (zh) * 2019-05-24 2020-12-03 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
WO2020248442A1 (zh) * 2019-06-13 2020-12-17 歌尔股份有限公司 用于电子设备的图像处理方法、装置及电子设备
CN110505518A (zh) * 2019-08-05 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备、数据传输方法和***
CN111243027B (zh) * 2020-02-28 2023-06-23 京东方科技集团股份有限公司 延时测量方法、装置及***
CN111243027A (zh) * 2020-02-28 2020-06-05 京东方科技集团股份有限公司 延时测量方法、装置及***
CN111338546A (zh) * 2020-02-28 2020-06-26 歌尔科技有限公司 控制头戴显示设备的方法、终端及存储介质
CN113728615A (zh) * 2020-03-31 2021-11-30 深圳市大疆创新科技有限公司 图像处理方法、图像处理设备、用户设备、飞行器及***
WO2021218683A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 图像处理的方法和装置
CN111586391A (zh) * 2020-05-07 2020-08-25 中国联合网络通信集团有限公司 一种图像处理方法、装置及***
CN111586391B (zh) * 2020-05-07 2022-07-08 中国联合网络通信集团有限公司 一种图像处理方法、装置及***
CN112073632A (zh) * 2020-08-11 2020-12-11 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111813230B (zh) * 2020-09-14 2021-03-19 芋头科技（杭州）有限公司 一种ar眼镜上的交互方法及装置
CN111813230A (zh) * 2020-09-14 2020-10-23 芋头科技（杭州）有限公司 一种ar眼镜上的交互方法及装置
CN112104855A (zh) * 2020-09-17 2020-12-18 联想(北京)有限公司 一种图像处理方法及装置
CN112104855B (zh) * 2020-09-17 2022-05-31 联想(北京)有限公司 一种图像处理方法及装置
WO2022242704A1 (zh) * 2021-05-19 2022-11-24 闪耀现实(无锡)科技有限公司 用于刷新头戴式显示设备的屏幕的方法和头戴式显示设备
WO2023050533A1 (zh) * 2021-09-29 2023-04-06 歌尔股份有限公司 一种头戴设备的控制方法、一种画面渲染方法
CN114168096A (zh) * 2021-12-07 2022-03-11 深圳创维新世界科技有限公司 输出画面的显示方法、***、移动终端以及存储介质
CN114168096B (zh) * 2021-12-07 2023-07-25 深圳创维新世界科技有限公司 输出画面的显示方法、***、移动终端以及存储介质
WO2023217198A1 (zh) * 2022-05-11 2023-11-16 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Also Published As

Publication number Publication date
WO2018171421A1 (zh) 2018-09-27
CN106998409B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN106998409A (zh) 一种图像处理方法、头戴显示器以及渲染设备
US10453175B2 (en) Separate time-warping for a scene and an object for display of virtual reality content
EP3051525A1 (en) Display
CN108885342B (zh) 虚拟图像生成***及其操作方法
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
JP2019507509A (ja) 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US10871822B2 (en) Image generation apparatus, image generation system, and image generation method
US20200134923A1 (en) Generating and Modifying Representations of Objects in an Augmented-Reality or Virtual-Reality Scene
EP3500908B1 (en) Supporting an augmented-reality software application
CN112198959A (zh) 虚拟现实交互方法、装置及***
CN109074087A (zh) 偏航姿态控制方法、无人机、计算机可读存储介质
CN111988598B (zh) 一种基于远近景分层渲染的视景图像生成方法
CN112166397A (zh) 用于加速头戴式显示器的位置跟踪的装置、***和方法
CN110351480A (zh) 用于电子设备的图像处理方法、装置及电子设备
CN110537208A (zh) 头戴式显示器和方法
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
WO2021030080A1 (en) Asymmetric pixel operation for compensating lens optics limitations
CN107835404A (zh) 基于头戴式虚拟现实设备的图像显示方法、设备及***
CN105653035B (zh) 虚拟现实控制方法及***
KR20200073784A (ko) 가상 현실 서비스를 제공하는 서버, 단말 및 방법
CN105260441A (zh) 一种3d人体数据模型场景导入方法及过程
CN109076101A (zh) 云台控制方法、设备及计算机可读存储介质
CN110192391A (zh) 一种处理的方法及设备
CN111103979A (zh) 一种基于视觉焦点的分区渲染方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant