CN112017300A - 混合现实图像的处理方法、装置及设备 - Google Patents

混合现实图像的处理方法、装置及设备 Download PDF

Info

Publication number
CN112017300A
CN112017300A CN202010712798.8A CN202010712798A CN112017300A CN 112017300 A CN112017300 A CN 112017300A CN 202010712798 A CN202010712798 A CN 202010712798A CN 112017300 A CN112017300 A CN 112017300A
Authority
CN
China
Prior art keywords
target object
image
target
displayed
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010712798.8A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010712798.8A priority Critical patent/CN112017300A/zh
Publication of CN112017300A publication Critical patent/CN112017300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了混合现实图像的处理方法、装置及设备，该方法包括：获取环境场景图像；识别环境场景图像中包含的目标对象，获得目标对象的空间位置信息；将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。

Description

混合现实图像的处理方法、装置及设备
技术领域
本公开实施例涉及图像处理技术领域，更具体地，本公开实施例涉及一种混合现实图像的处理方法、混合现实图像的处理装置及头戴显示设备。
背景技术
混合现实技术(Mixed Reality，MR)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
目前，在幼儿教学领域，可以利用增强现实技术对教学视频进行处理。在利用头戴显示设备进行幼儿教学时，可以为用户显示更逼真的场景。但是，用户不能与场景中物体进行交互，用户体验较差。
因此，有必要提供一种新的混合现实图像的处理的方案。
发明内容
本公开实施例的目的在于提供一种混合现实图像的处理的新技术方案。
根据本公开实施例的第一方面，提供了一种混合现实图像的处理方法，所述方法包括：
获取环境场景图像；
识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；
基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
可选地，所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤之后，所述方法还包括：
获取待展示的虚拟对象的初始数据集；
根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象；
基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
可选地，所述环境场景图像包括通过所述头戴显示设备的双目相机采集的第一图像和第二图像；
所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤包括：
基于预定的识别模型识别所述第一图像中包含的目标对象，获得所述目标对象所在区域的第一位置信息；
基于预定的识别模型识别所述第二图像中包含的目标对象，获得所述目标对象所在区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定所述目标对象的空间位置信息。
可选地，所述方法还包括：训练预定的识别模型的步骤：
获取历史环境场景图像；
确定所述历史环境场景图像中的目标对象的所在区域，以及对所述目标对象所在区域的位置信息和所述目标对象的类别信息进行标注；
根据标注后的历史环境场景图像生成数据集；
根据所述数据集训练所述识别模型。
可选地，所述方法还包括：
识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息；
根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。
可选地，所述头戴显示设备包括第一相机和第二相机；
所述基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤包括：
根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的三维坐标信息；
对所述三维坐标信息进行转换，获得所述显示位置在所述第一相机的图像坐标系下的第一像素坐标和所述显示位置在所述第二相机的图像坐标系下的第二像素坐标；
根据所述第一像素坐标和所述第二像素坐标，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
可选地，所述方法还包括：确定所述环境场景图像中目标平面的平面参数的步骤：
对所述环境场景图像进行特征点提取；
根据提取到的特征点构建特征点云；
基于所述特征点云对所述环境场景图像进行平面检测，确定目标平面；
获取所述目标平面的平面参数，所述平面参数包括中心点坐标和法向量。
可选地，所述根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象的步骤包括：
获取待展示的虚拟对象的初始数据集，所述初始数据集包括构建所述虚拟对象的多个特征点的三维坐标信息；
根据所述目标平面的中心点坐标确定所述待展示的虚拟对象的放置位置，以及根据所述目标平面的法向量确定所述待展示的虚拟对象的放置方向；
根据所述待展示的虚拟对象的初始数据集、所述待展示的虚拟对象的放置位置和放置方向，确定所述待展示的虚拟对象的目标数据集；
根据所述待展示的虚拟对象的目标数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
可选地，所述基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤包括：
根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的第一位置信息；
根据所述目标平面的中心点坐标和预定的第二偏移量，确定所述待展示的虚拟对象对应的描述信息的显示位置的第二位置信息；
根据所述第一位置信息和所述第二位置信息，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
根据本公开实施例的第二方面，提供了一种混合现实图像的处理装置，所述装置包括：
获取模块，用于获取环境场景图像；
识别模型，用于识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；
图像生成模块，用于基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行本公开实施例的第一方面任一项所述的方法。
根据本公开实施例的第三方面，提供了一种头戴显示设备，包括双目相机和本公开实施例的第二方面所述的混合现实图像的处理装置。
根据本公开实施例，通过对混合现实图像的处理，可以在展示目标对象的同时，向用户展示目标对象相关的描述信息。根据本公开实施例，通过对视频中每一帧图像进行处理，可以将目标对象的描述信息融入到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时，获得目标对象对应的描述信息，用户体验更好。
根据本公开实施例可以应用于教学场景，向用户展示目标对象的同时，向用户展示目标对象相关的描述信息，方便用户了解目标对象，还可以增加教学的趣味性，用户体验更好。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为可用于实现本公开实施例的头戴显示设备的硬件配置示意图；
图2为本公开实施例的混合现实图像的处理方法的流程示意图；
图3为本公开实施例的混合现实图像的处理方法的流程示意图；
图4为本公开实施例的混合现实图像的处理方法的场景示意图；
图5为本公开实施例的混合现实图像的处理装置的结构方框图；
图6为本公开实施例的混合现实图像的处理装置的结构方框图；
图7为本公开实施例的头戴显示设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是可用于实现本公开实施例的混合现实图像的处理方法的一种头戴显示设备100的硬件配置示意图。
在一个实施例中，该头戴显示设备100可以是虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备。
在一个实施例中，该头戴显示设备100包括第一相机和第二相机，第一相机和第二相机用于模拟人眼。
在一个实施例中，如图1所示，该头戴显示设备100可以包括处理器110、存储器120、接口装置130、通信装置140、显示装置150、输入装置160、扬声器170、麦克风180、摄像头190等。其中，处理器110例如可以包括但不限于中央处理器CPU、微处理器MCU等。处理器110例如还可以包括图像处理器GPU(Graphics Processing Unit)等。存储器120例如可以包括但不限于ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置130例如可以包括但不限于USB接口、串行接口、并行接口、红外接口等。通信装置140例如能够进行有线或无线通信，具体的可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置150例如可以是液晶显示屏、LED显示屏、触摸显示屏等。输入装置160例如可以包括但不限于触摸屏、键盘、体感输入等。扬声器170和麦克风180可以用于输出/输入语音信息。摄像头180例如可以用于获取图像信息，摄像头190例如可以是双目摄像头。尽管在图1中对头戴显示设备100示出了多个装置，但是，本发明可以仅涉及其中的部分装置。
应用于本公开实施例中，头戴显示设备100的存储器120用于存储指令，所述指令用于控制所述处理器110进行操作以支持实现根据本公开第一方面提供的任意实施例的混合现实图像的处理方法。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<方法实施例一>
参见图2所示，说明本公开实施例提供的混合现实图像的处理方法。该方法涉及到头戴显示设备，该头戴显示设备可以是如图1所示的头戴显示设备100。该混合现实图像的处理方法包括以下步骤：
步骤210、获取环境场景图像。
本实施例中，通过头戴显示设备获取环境场景图像。头戴显示设备包括双目相机。该环境场景图像包括通过双目相机中的第一相机采集的第一图像和通过双目相机中的第二相机采集的第二图像。其中，所述第一图像和所述第二图像是在同一时刻采集的。可选地，可以采用同一时钟触发源对第一相机和第二相机进行触发，以保证第一相机和第二相机的硬件同步。在本实施例中，所述第一图像和所述第二图像的图像尺寸大小一致，其中，图像的尺寸大小可以有多种设置。
在一个实施例中，在教学场景下，可以通过环境场景图像为用户展示不同的物体，以及针对展示的物体显示对应的教学内容。环境场景图像中包括目标对象。目标对象可以是环境场景图像中用于向用户展示的物体。环境场景图像例如可以是室内场景图像或者室外场景图像。室内场景图像中包含的目标对象可以是家居用品、食物等。家居用品例如可以是沙发、餐桌、座椅等。食物可以是蔬菜、水果、零食等。例如，苹果、香蕉、火龙果、西红柿、青菜等。室外场景图像中包含的目标对象例如可以是商店、公交车、交通灯等。
在获取环境场景图像，之后，进入步骤220。
步骤220、识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息。
在一个实施例中，识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤，可以进一步包括：基于预定的识别模型识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息。根据本公开实施例，基于预定的识别模型，定位环境场景图像中的目标对象，可以提高识别的准确性。
该实施例中，该混合现实图像的处理方法，还包括训练预定的识别模型的步骤。训练预定的识别模型的步骤，可以进一步包括：步骤410-440。
步骤410、获取历史环境场景图像。
该例子中，历史环境场景图像可以是包含目标对象的图像。环境场景可以是室内环境或者室外环境。目标对象可以是用于向用户展示的物体。
步骤420、确定所述历史环境场景图像中的目标对象的所在区域，以及对所述目标对象所在区域的位置信息和所述目标对象的类别信息进行标注。
该例子中，可以通过选取窗口选中历史环境场景图像中的目标对象。也就是说，目标对象所在区域可以是选取窗口选中的区域。目标对象所在区域的位置信息可以包括选取窗口的角点坐标以及选取窗口的尺寸信息。选取窗口的尺寸信息可以包括选取窗口的长度信息和宽度信息。可选地，该选取窗口的尺寸信息可以是预定的固定数值。可选地，针对不同类别的目标对象设置对应的选取窗口，不同类别的目标对象对应的选取窗口的尺寸信息可以相同，也可以不同。选取窗口的形状也可以根据实际需要进行设定。例如，选取窗口为长方形。本公开实施例对此不作限制。
步骤430、根据标注后的历史环境场景图像生成数据集。
步骤440、根据所述数据集训练所述识别模型。
该实施例中，将标注后的历史环境场景图像作为训练样本，并根据多个标注后的历史环境场景图像生成数据集。数据集中的训练样本的数量越多，训练结果的精度越高。并且，在数据集中的训练样本的数量达到一定值时，随着训练样本数量的增加，训练结果的精度的提高的幅度逐渐变小，直至趋于稳定。在此，可以兼顾训练结果的精度和数据处理成本确定所需的训练样本的数量，即历史环境场景图像的数量。
在一个更具体的例子中，根据标注后的历史环境场景图像生成数据集的步骤，可以进一步包括：步骤431-434。
步骤431、获取第一预定数量的标注后的历史环境场景图像作为第一数据集。
该步骤中，可以是选出少量的历史环境场景图像，并对选出的历史环境场景图像进行人工标注，以标注出历史环境场景图像中目标对象所在区域的位置信息和目标对象的类别信息。
步骤432、获取第二预定数量的未标注的历史环境场景图像作为第二数据集。
该步骤中，第二预定数量远大于第一预定数量。
步骤433、根据第一数据集对第二数据集中的历史环境场景图像进行聚类，获得第二数据集中每一历史环境场景图像中目标对象所在区域的位置信息和目标对象的类别信息。
步骤434、将第一数据集和聚类后的第二数据集作为数据集。
根据本公开实施例，能够根据少量的已标注的第一数据集对大量的未标注的第二数据集进行聚类，以确定第二数据集中每一历史环境场景图像中目标对象所在区域的位置信息和目标对象的类别信息，并将第一数据集和聚类后的第二数据集均作为数据集对识别模型进行训练。这样，可以提高获取数据集的效率，降低人工成本。进一步地，还可以提高识别模型识别的准确性。
在一个更具体的例子中，所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤，可以进一步包括：步骤510-530。
步骤510、基于预定的识别模型识别所述第一图像中包含的目标对象，获得所述目标对象所在区域的第一位置信息。
步骤520、基于预定的识别模型识别所述第二图像中包含的目标对象，获得所述目标对象所在区域的第二位置信息。
步骤530、根据所述第一位置信息和所述第二位置信息，确定所述目标对象的空间位置信息。
该例子中，头戴显示设备包括双目相机，即第一相机和第二相机。第一图像和第二图分别通过第一相机和第二相机采集的，且第一图像和第二图像是在同一时刻采集的。也就是说，第一图像和第二图像包含相同的目标对象。第一位置信息可以是在第一相机的图像坐标系下目标对象所在区域的位置信息。第二位置信息可以是在第二相机的图像坐标系下目标对象所在区域的位置信息。例如，目标对象所在区域的位置信息可以是选取窗口的一个角点的坐标和选取窗口的尺寸信息。根据选取窗口的一个角点的坐标和选取窗口的尺寸信息，可以计算出选取窗口的四个角点的坐标。进一步地，利用立体三角定位原理，根据第一位置信息和第二位置信息可以计算出在第一相机的相机坐标系或者第二相机的相机坐标系下目标对象所在区域的空间位置信息。其中，目标对象所在区域的空间位置信息可以是在相机坐标系下选取窗口的四个角点的三维坐标。根据本公开实施例，通过对目标对象所在区域的定位，实现对目标对象的定位，不需要对构成目标对象的多个特征点进行定位，从而能够提高定位的效率。
在识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息之后，进入步骤230。
步骤230、基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
该实施例中，所述描述信息中至少包括目标对象的教学信息。描述信息可以是字幕，也可以是插图。将目标对象的描述信息叠加到环境场景图像上，在向用户展示目标对象的同时，也可以向用户展示该目标对象的描述信息。该实施例中，按照目标对象的描述信息，可以向用户讲解目标对象的相关内容，从而实现对目标对象的展示和教学。针对不同类别的目标对象，描述信息可以不同。例如，家居产品的描述信息可以包括家居产品的名称和使用场景等。水果对应的描述信息可以包括水果的名称、水果的产地和水果的生长环境等。交通灯的描述信息可以包括交通灯的类型、用途和使用场景等。例如，如图4所示，可以对场景中的水果添加描述信息。
在一个实施例中，该混合现实图像的处理方法还可以包括：识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息。根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。
在一个实施例中，基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤，可以进一步包括：步骤610-630。
步骤610、根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的三维坐标信息。
在一个例子中，获取目标对象的选取窗口的左上角的角点的三维坐标；根据该角点的三维坐标和预定的第一偏移量，可以确定出目标对象对应的描述信息的显示位置的三维坐标信息。根据预定的第一偏移量确定描述信息的显示位置的三维坐标信息，可以保证描述信息显示在目标对象的附近，同时也可以避免描述信息对目标对象造成遮挡。
在一个例子中，确定目标对象的描述信息的显示位置，可以是确定用于显示描述信息的信息显示窗口的位置。具体地，获取目标对象的选取窗口的左上角的角点的三维坐标；根据该角点的三维坐标和预定的第一偏移量，可以确定出信息显示窗口的左上角的角点的三维坐标信息；根据信息显示窗口的左上角的角点的三维坐标信息和信息显示窗口的尺寸，为目标对象添加描述信息。该描述信息可以是字幕，也可以是插图。
在一个例子中，基于SLAM(Simultaneous Localization And Mapping，可译为同步定位与建图)算法，可以获取头戴显示设备相对外界环境的姿态信息。该姿态信息包括头戴显示设备在世界坐标系下的旋转矩阵RHMD和平移向量THMD。根据头戴显示设备的姿态信息对描述信息的显示位置的三维坐标信息进行坐标系转换，确定描述信息的显示位置在世界坐标系下的三维坐标信息。具体地，基于如下公式(1)对描述信息的显示位置的三维坐标信息进行坐标系转换。
Pw＝RHMD*Pc+THMD (1)
其中，Pw为描述信息的显示位置在世界坐标系下的三维坐标信息，Pc为描述信息的显示位置在相机坐标系下的三维坐标信息，RHMD为头戴显示设备在世界坐标系下的旋转矩阵，THMD为头戴显示设备在世界坐标系下的平移向量。
步骤620、对所述三维坐标信息进行转换，获得所述显示位置在所述第一相机的图像坐标系下的第一像素坐标和所述显示位置在所述第二相机的图像坐标系下的第二像素坐标。
在一个例子中，基于如下公式(2)-(4)计算第一像素坐标和第二像素坐标。
Puv1＝k1*E*Pw (2)
Puv2＝k2*E*Pw (3)
Figure BDA0002597203180000121
其中，Puv1为显示位置在所述第一相机的图像坐标系下的第一像素坐标，Puv2为显示位置在所述第二相机的图像坐标系下的第二像素坐标，k1为第一相机的内参矩阵，k2为第二相机的内参矩阵，Pw为描述信息的显示位置在世界坐标系下的三维坐标信息，E为头戴显示设备的转换矩阵，RHMD为头戴显示设备在世界坐标系下的旋转矩阵，THMD为头戴显示设备在世界坐标系下的平移向量。
步骤630、根据所述第一像素坐标和所述第二像素坐标，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
该实施例中，头戴显示设备的双目相机可以根据获得的第一像素坐标和第二像素坐标，将描述信息叠加显示在环境场景图像上。进一步地，根据实景视频的每一环境场景图像，可以将目标对象的描述信息叠加显示在实景视频中。
根据本公开实施例，通过对混合现实图像的处理，可以在展示目标对象的同时，向用户展示目标对象相关的描述信息。根据本公开实施例，通过对视频中每一帧图像进行处理，可以将目标对象的描述信息融入到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时，获得目标对象对应的描述信息，用户体验更好。
根据本公开实施例可以应用于教学场景，向用户展示目标对象的同时，向用户展示目标对象相关的描述信息，方便用户了解目标对象，还可以增加教学的趣味性，用户体验更好。
<方法实施例二>
参见图3所示，说明本公开实施例提供的混合现实图像的处理方法。该方法涉及到头戴显示设备，该头戴显示设备可以是如图1所示的头戴显示设备100。该混合现实图像的处理方法包括以下步骤。
步骤310、获取环境场景图像。
步骤320、识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息。
本实施例中，步骤310中获取环境场景图像和步骤320中识别目标对象的空间位置信息的具体过程如前述实施例所述，在此不再赘述。
步骤330、获取待展示的虚拟对象的初始数据集。
在一个实施例中，待展示的虚拟对象的初始数据集包括构建该虚拟对象的多个特征点的三维坐标信息。根据初始数据集，可以构建出虚拟对象。根据用户的实际使用场景，可以预先生成多个待展示的虚拟对象的初始数据集。可选地，待展示的虚拟对象的初始数据可以存储在头戴显示设备中，也可以存储在服务器中。在待展示的虚拟对象的初始数据集，之后，进入步骤340。
步骤340、根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
该实施例中，环境场景图像中的目标平面可以是地面、桌面、平台等。基于目标平面可以生成虚拟对象。根据本公开实施例，在通过头戴显示设备进行教学的过程中，可以将虚拟对象到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时可以与虚拟对象进行交互，便于用户从不同的角度观察虚拟对象，从而提高基于头戴显示设备进行教学的效果，用户体验更好。
在一个实施例中，所述根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象的步骤，可以进一步包括：步骤710-740。
步骤710、获取待展示的虚拟对象的初始数据集，所述初始数据集包括构建所述虚拟对象的多个特征点的三维坐标信息。
步骤720、根据所述目标平面的中心点坐标确定所述待展示的虚拟对象的放置位置，以及根据所述目标平面的法向量确定所述待展示的虚拟对象的放置方向。
可选地，在生成虚拟对象时，可以使虚拟对象的重心与目标平面的中心点重合，并且沿目标平面的法向量方向码放虚拟对象。根据目标平面的平面参数确定待展示的虚拟对象的放置位置和放置方向，可以是待展示的虚拟对象显示于混合现实图像的中间，且避免显示的虚拟对象倾斜。
步骤730、根据所述待展示的虚拟对象的初始数据集、所述待展示的虚拟对象的放置位置和放置方向，确定所述待展示的虚拟对象的目标数据集。
步骤740、根据所述待展示的虚拟对象的目标数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
在一个例子中，虚拟对象的目标数据集包括构建所述虚拟对象的多个特征点的三维坐标信息，并且所述特点的三维坐标信息为根据目标平面的平面参数转换后的坐标信息。在所述环境场景图像中渲染出所述待展示的虚拟对象具体包括，对目标数据集中每一特征点的三维坐标信息进行转换；获得该特征点在第一相机的图像坐标系下第三像素坐标和该特征点在第二相机的图像坐标系下第四像素坐标；头戴显示设备的双目相机根据目标数据集中每一特征点的第三像素坐标和第四像素坐标，在所述环境场景图像中渲染出所述待展示的虚拟对象。
在一个实施例中，该混合现实图像的处理方法还可以包括确定所述环境场景图像中目标平面的平面参数的步骤。具体地，可以进一步包括步骤710-740。
步骤710、对所述环境场景图像进行特征点提取。
该步骤中，该环境场景图像包括通过双目相机中的第一相机采集的第一图像和通过双目相机中的第二相机采集的第二图像。对第一图像进行特征点提取，获取多个第一特征点。对图像进行特征点提取，可以采用FAST(Feature from Accelerated Segment Test，加速分割测试特征)角点检测算法、SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法、或者ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述)算法等，在此不做任何限定。
步骤720、根据提取到的特征点构建特征点云。
在一个例子中，特征点云可以包括多个第一特征点在世界坐标系下的三维坐标信息。具体地，采用极线匹配方法在第二图像中做特征点匹配，获取第二图像中与多个第一特征点匹配的多个第二特征点。通过三角化，根据第一特征点和第二特征点，计算第一相机坐标系下多个第一特征点的三维坐标信息。根据采集到的当前帧的环境场景图像时头戴显示设备的位姿进行坐标系转换，获得多个第一特征点在世界坐标系下的三维坐标信息，即获得特征点云。
步骤730、基于所述特征点云对所述环境场景图像进行平面检测，确定目标平面。
在一个例子中，根据从特征点云中随机抽取的三个特征点，确定当前平面；获取当前平面的法向量和第一内点的数量，在当前平面的法向量和第一内点的数量满足预定条件时，将当前平面确定当前有效平面。第一内点为与当前平面的距离小于第一预定距离的特征点。在确定多个当前有效平面之后，选取第一内点数量最多的平面为目标平面。
步骤740、获取所述目标平面的平面参数，所述平面参数包括中心点坐标和法向量。
下面以一个具体的例子对在环境场景图像中渲染出待展示的虚拟对象的确定进行说明。其中，待展示的虚拟对象为恐龙模型。
步骤901、获取环境场景图像。
步骤902、确定所述环境场景图像中目标平面的平面参数。平面参数包括目标平面的中心点三维坐标Pcplane和法向量Vcplane。
步骤903、基于如下公式(5)和(6)，根据头戴显示设备的姿态信息对目标平面的中心点三维坐标Pcplane和法向量Vcplane的进行坐标系转换。
Pwplane＝RHMD*Pcplane+THMD (5)
Vwplane＝RHMD*Vcplane+THMD (6)
其中，Pwplane为目标平面的中心点在世界坐标系下的三维坐标信息，Pcplane为目标平面的中心点在相机坐标系下的三维坐标信息，Wwplane为在世界坐标系下目标平面的法向量，Vcplane为在相机坐标系下目标平面的法向量，RHMD为头戴显示设备在世界坐标系下的旋转矩阵，THMD为头戴显示设备在世界坐标系下的平移向量。
步骤904、获取待展示的恐龙模型的初始数据集；
步骤905、根据待展示的恐龙模型的初始数据集、在世界坐标系下目标平面的中心点三维坐标Pwplane和法向量Vwplane，确定所述待展示的虚拟对象的目标数据集。
步骤906、基于如下公式(7)-(9)，对恐龙模型的目标数据集中每一特征点的三维坐标信息进行转换；获得该特征点在第一相机的图像坐标系下第三像素坐标和该特征点在第二相机的图像坐标系下第四像素坐标。
Puv3＝k1*E*Pwdinosant (7)
Puv4＝k2*E*Pwdinosant (8)
Figure BDA0002597203180000171
其中，Pwdinosant为目标数据集中任一特征点在世界坐标系下的三维坐标信息，Puv3为目标数据集中任一特征点在第一相机的图像坐标系下的第三像素坐标，Puv4为目标数据集中任一特征点在第一相机的图像坐标系下的第三像素坐标，k1为第一相机的内参矩阵，k2为第二相机的内参矩阵，E为头戴显示设备的转换矩阵，RHMD为头戴显示设备在世界坐标系下的旋转矩阵，THMD为头戴显示设备在世界坐标系下的平移向量。
步骤907、根据恐龙模型的目标数据集中每一特征点的第三像素坐标和第四像素坐标，在所述环境场景图像中渲染出所述待展示的恐龙模型。
在所述环境场景图像中渲染出所述待展示的虚拟对象，之后，进入步骤350。
步骤350、基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
在一个实施例中，所述基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤，可以进一步包括：步骤810-830。
步骤810、根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的第一位置信息。
目标对象对应的描述信息中至少包括目标对象的教学信息。将目标对象的描述信息叠加到环境场景图像上，在向用户展示目标对象的同时，也可以向用户展示该目标对象的相关教学信息。在一个实施例中，识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息。根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。第一位置信息的确定过程如前述实施例所述，在此不再赘述。
步骤820、根据所述目标平面的中心点坐标和预定的第二偏移量，确定所述待展示的虚拟对象对应的描述信息的显示位置的第二位置信息。
待展示的虚拟对象对应的描述信息中至少包括虚拟对象的教学信息。描述信息可以是字幕，也可以是插图。在环境场景图像中渲染出所述待展示的虚拟对象之后，可以将虚拟对象的描述信息叠加到环境场景图像上，从而在向用户展示虚拟对象的同时，也可以向用户展示该虚拟对象的相关教学信息。该实施例中，按照虚拟对象的描述信息，可以向用户讲解目标对象的相关内容，从而实现对虚拟对象的展示和教学。
步骤830、根据所述第一位置信息和所述第二位置信息，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
根据预定的第一偏移量确定目标对象描述信息的显示位置的第一位置信息，根据预定的第二偏移量确定虚拟对象的描述信息的显示位置的第二位置信息，可以保证在目标对象和虚拟对象附近显示对应的描述信息的同时，可以避免描述信息对遮挡目标对象或者虚拟对象。
根据本公开实施例，在通过头戴显示设备进行教学的过程中，可以将虚拟对象到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时可以与虚拟对象进行交互，便于用户从不同的角度观察虚拟对象，从而提高基于头戴显示设备进行教学的效果，用户体验更好。此外，在通过头戴显示设备进行教学的过程中，可以将目标对象和虚拟对象对应的描述信息融入到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时，获得目标对象和虚拟对象对应的教学信息，用户体验更好。
<装置实施例一>
参见图5，本公开实施例提供了混合现实图像的处理装置50，该混合现实图像的处理装置50包括获取模块51、识别模块52和图像生成模块53。
该获取模块51可以用于获取环境场景图像。
该识别模块52可以用于识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息。
在一个具体的例子中，该识别模块52具体用于基于预定的识别模型识别所述第一图像中包含的目标对象，获得所述目标对象所在区域的第一位置信息；基于预定的识别模型识别所述第二图像中包含的目标对象，获得所述目标对象所在区域的第二位置信息；以及根据所述第一位置信息和所述第二位置信息，确定所述目标对象的空间位置信息。
在一个具体的例子中，该识别模块52具体用于识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息。
该图像生成模块53可以用于基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
在一个实施例中，所述描述信息中至少包括所述目标对象的教学信息。
在一个具体的例子中，该图像生成模块53具体用于根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的三维坐标信息；
对所述三维坐标信息进行转换，获得所述显示位置在所述第一相机的图像坐标系下的第一像素坐标和所述显示位置在所述第二相机的图像坐标系下的第二像素坐标；
根据所述第一像素坐标和所述第二像素坐标，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
在一个实施例中，该混合现实图像的处理装置50还可以包括描述信息获取模块，该描述信息获取模块可以用于根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。
在一个实施例中，该混合现实图像的处理装置50还可以包括初始数据集获取模块、虚拟对象生成模块。
在该实施例中，该初始数据集获取模块可以用于获取待展示的虚拟对象的初始数据集。
该虚拟对象生成模块可以用于根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
在一个具体的例子中，该虚拟对象生成模块具体用于获取待展示的虚拟对象的初始数据集，所述初始数据集包括构建所述虚拟对象的多个特征点的三维坐标信息；根据所述目标平面的中心点坐标确定所述待展示的虚拟对象的放置位置，以及根据所述目标平面的法向量确定所述待展示的虚拟对象的放置方向；根据所述待展示的虚拟对象的初始数据集、所述待展示的虚拟对象的放置位置和放置方向，确定所述待展示的虚拟对象的目标数据集；以及根据所述待展示的虚拟对象的目标数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
该图像生成模块53还可以用于基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
在一个具体的例子中，该图像生成模块53具体用于根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的第一位置信息；根据所述目标平面的中心点坐标和预定的第二偏移量，确定所述待展示的虚拟对象对应的描述信息的显示位置的第二位置信息；以及根据所述第一位置信息和所述第二位置信息，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
参见图6，本公开实施例提供了混合现实图像的处理装置60，该混合现实图像的处理装置60包括处理器61和存储器62。存储器62用于存储计算机程序，计算机程序被处理器61执行时实现前述任一实施例公开的混合现实图像的处理方法。
<装置实施例二>
参见图7，本公开的实施例提供了一种头戴显示设备70，该头戴显示设备可以是如图1所示的头戴显示设备100。该头戴显示设备70包括双目相机71和图像处理装置72。
在一个实施例中，该图像处理装置72例如可以是如图5所示的混合现实图像的处理装置50，也可以是如图6所示的混合现实图像的处理装置60。
在一个实施例中，该头戴显示设备100可以是虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备。
根据本公开实施例，在通过头戴显示设备进行教学的过程中，可以将虚拟对象到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时可以与虚拟对象进行交互，便于用户从不同的角度观察虚拟对象，从而提高基于头戴显示设备进行教学的效果，用户体验更好。此外，在通过头戴显示设备进行教学的过程中，可以将目标对象和虚拟对象对应的描述信息融入到实景视频中，使用户可以通过头戴显示设备观看实景视频的同时，获得目标对象和虚拟对象对应的教学信息，用户体验更好。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的***实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“如“语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)网连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (11)

1.一种混合现实图像的处理方法，应用于头戴显示设备，其特征在于，所述方法包括：
获取环境场景图像；
识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；
基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
2.根据权利要求1所述的方法，其中，所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤之后，所述方法还包括：
获取待展示的虚拟对象的初始数据集；
根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象；
基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
3.根据权利要求1所述的方法，其中，所述环境场景图像包括通过所述头戴显示设备的双目相机采集的第一图像和第二图像；
所述识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息的步骤包括：
基于预定的识别模型识别所述第一图像中包含的目标对象，获得所述目标对象所在区域的第一位置信息；
基于预定的识别模型识别所述第二图像中包含的目标对象，获得所述目标对象所在区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定所述目标对象的空间位置信息。
4.根据权利要求3所述的方法，其中，所述方法还包括：训练预定的识别模型的步骤：
获取历史环境场景图像；
确定所述历史环境场景图像中的目标对象的所在区域，以及对所述目标对象所在区域的位置信息和所述目标对象的类别信息进行标注；
根据标注后的历史环境场景图像生成数据集；
根据所述数据集训练所述识别模型。
5.根据权利要求1所述的方法，其中，所述方法还包括：
识别所述环境场景图像中包含的目标对象，获得所述目标对象的类别信息；
根据所述目标对象的类别信息，从预先建立的数据库中选取所述目标对象对应的描述信息。
6.根据权利要求1所述的方法，其中，所述头戴显示设备包括第一相机和第二相机；
所述基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤包括：
根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的三维坐标信息；
对所述三维坐标信息进行转换，获得所述显示位置在所述第一相机的图像坐标系下的第一像素坐标和所述显示位置在所述第二相机的图像坐标系下的第二像素坐标；
根据所述第一像素坐标和所述第二像素坐标，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
7.根据权利要求2所述的方法，其中，所述方法还包括：确定所述环境场景图像中目标平面的平面参数的步骤：
对所述环境场景图像进行特征点提取；
根据提取到的特征点构建特征点云；
基于所述特征点云对所述环境场景图像进行平面检测，确定目标平面；
获取所述目标平面的平面参数，所述平面参数包括中心点坐标和法向量。
8.根据权利要求7所述的方法，其中，所述根据所述环境场景图像中目标平面的平面参数和所述待展示的虚拟对象的初始数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象的步骤包括：
获取待展示的虚拟对象的初始数据集，所述初始数据集包括构建所述虚拟对象的多个特征点的三维坐标信息；
根据所述目标平面的中心点坐标确定所述待展示的虚拟对象的放置位置，以及根据所述目标平面的法向量确定所述待展示的虚拟对象的放置方向；
根据所述待展示的虚拟对象的初始数据集、所述待展示的虚拟对象的放置位置和放置方向，确定所述待展示的虚拟对象的目标数据集；
根据所述待展示的虚拟对象的目标数据集，在所述环境场景图像中渲染出所述待展示的虚拟对象。
9.根据权利要求8所述的方法，其中，所述基于所述空间位置信息和所述平面参数，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像的步骤包括：
根据所述空间位置信息和预定的第一偏移量，确定所述目标对象对应的描述信息的显示位置的第一位置信息；
根据所述目标平面的中心点坐标和预定的第二偏移量，确定所述待展示的虚拟对象对应的描述信息的显示位置的第二位置信息；
根据所述第一位置信息和所述第二位置信息，将所述目标对象对应的描述信息、以及所述待展示的虚拟对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像。
10.一种混合现实图像的处理装置，其特征在于，所述装置包括：
获取模块，用于获取环境场景图像；
识别模型，用于识别所述环境场景图像中包含的目标对象，获得所述目标对象的空间位置信息；
图像生成模块，用于基于所述空间位置信息，将所述目标对象对应的描述信息叠加到所述环境场景图像上，获得混合现实图像；
或者，
所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行权利要求1-9任一项所述的方法。
11.一种头戴显示设备，其特征在于，包括双目相机和如权利要求10所述的混合现实图像的处理装置。
CN202010712798.8A 2020-07-22 2020-07-22 混合现实图像的处理方法、装置及设备 Pending CN112017300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010712798.8A CN112017300A (zh) 2020-07-22 2020-07-22 混合现实图像的处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010712798.8A CN112017300A (zh) 2020-07-22 2020-07-22 混合现实图像的处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN112017300A true CN112017300A (zh) 2020-12-01

Family

ID=73498831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010712798.8A Pending CN112017300A (zh) 2020-07-22 2020-07-22 混合现实图像的处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112017300A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127126A (zh) * 2021-04-30 2021-07-16 上海哔哩哔哩科技有限公司 对象展示方法及装置
CN113240789A (zh) * 2021-04-13 2021-08-10 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
CN113269782A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113269781A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
WO2022134962A1 (zh) * 2020-12-22 2022-06-30 腾讯科技（深圳）有限公司 点云视窗的呈现方法、装置、计算机可读介质及电子设备
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法
CN115361576A (zh) * 2022-07-20 2022-11-18 中国电信股份有限公司 视频数据处理方法、装置，以及，电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665505A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108830943A (zh) * 2018-06-29 2018-11-16 歌尔科技有限公司 一种图像处理方法及虚拟现实设备
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109598796A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 将真实场景与虚拟物体进行3d融合显示的方法和装置
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN109725733A (zh) * 2019-01-25 2019-05-07 中国人民解放军国防科技大学 一种基于增强现实的人机交互方法及人机交互设备
US20190222776A1 (en) * 2018-01-18 2019-07-18 GumGum, Inc. Augmenting detected regions in image or video data
CN110136266A (zh) * 2018-12-20 2019-08-16 初速度（苏州）科技有限公司 增强现实融合场景的方法及仿真结果批量验证方法
CN110136202A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于ssd与双摄像头的多目标识别与定位方法
CN110169821A (zh) * 2019-04-29 2019-08-27 博瑞生物医疗科技(深圳)有限公司 一种图像处理方法、装置及***
WO2019242262A1 (zh) * 2018-06-19 2019-12-26 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN110807431A (zh) * 2019-11-06 2020-02-18 上海眼控科技股份有限公司 对象定位方法、装置、电子设备及存储介质
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665505A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109598796A (zh) * 2017-09-30 2019-04-09 深圳超多维科技有限公司 将真实场景与虚拟物体进行3d融合显示的方法和装置
US20190222776A1 (en) * 2018-01-18 2019-07-18 GumGum, Inc. Augmenting detected regions in image or video data
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
WO2019242262A1 (zh) * 2018-06-19 2019-12-26 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN108830943A (zh) * 2018-06-29 2018-11-16 歌尔科技有限公司 一种图像处理方法及虚拟现实设备
CN110136266A (zh) * 2018-12-20 2019-08-16 初速度（苏州）科技有限公司 增强现实融合场景的方法及仿真结果批量验证方法
CN109683699A (zh) * 2019-01-07 2019-04-26 深圳增强现实技术有限公司 基于深度学习实现增强现实的方法、装置及移动终端
CN109725733A (zh) * 2019-01-25 2019-05-07 中国人民解放军国防科技大学 一种基于增强现实的人机交互方法及人机交互设备
CN110169821A (zh) * 2019-04-29 2019-08-27 博瑞生物医疗科技(深圳)有限公司 一种图像处理方法、装置及***
CN110136202A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于ssd与双摄像头的多目标识别与定位方法
CN110807431A (zh) * 2019-11-06 2020-02-18 上海眼控科技股份有限公司 对象定位方法、装置、电子设备及存储介质
CN111242908A (zh) * 2020-01-07 2020-06-05 青岛小鸟看看科技有限公司 一种平面检测方法及装置、平面跟踪方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YINING LANG 等: "Virtual Agent Positioning Driven by Scene Semantics in Mixed Reality", 《2019 IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES (VR)》, 15 August 2019 (2019-08-15) *
李畅 等: "面向航天员训练的混合现实场景理解方法研究", 《载人航天》, no. 1, 29 February 2020 (2020-02-29), pages 26 - 33 *
毕金强 等: "一种基于SURF与地理格网模型的增强现实方法", 《计算机与现代化》, no. 6, 30 June 2018 (2018-06-30) *
魏智勇: "混合现实***设计及关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 9, 15 September 2019 (2019-09-15), pages 138 - 1215 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134962A1 (zh) * 2020-12-22 2022-06-30 腾讯科技（深圳）有限公司 点云视窗的呈现方法、装置、计算机可读介质及电子设备
CN113240789A (zh) * 2021-04-13 2021-08-10 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
CN113240789B (zh) * 2021-04-13 2023-05-23 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置
US11741678B2 (en) 2021-04-13 2023-08-29 Qingdao Pico Technology Co., Ltd. Virtual object construction method, apparatus and storage medium
CN113269782A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113269781A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
WO2022222689A1 (zh) * 2021-04-21 2022-10-27 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
US11995741B2 (en) 2021-04-21 2024-05-28 Qingdao Pico Technology Co., Ltd. Data generation method and apparatus, and electronic device
CN113127126A (zh) * 2021-04-30 2021-07-16 上海哔哩哔哩科技有限公司 对象展示方法及装置
CN113127126B (zh) * 2021-04-30 2023-06-27 上海哔哩哔哩科技有限公司 对象展示方法及装置
CN114972692A (zh) * 2022-05-12 2022-08-30 北京领为军融科技有限公司 基于ai识别和混合现实的目标定位方法
CN115361576A (zh) * 2022-07-20 2022-11-18 中国电信股份有限公司 视频数据处理方法、装置，以及，电子设备

Similar Documents

Publication Publication Date Title
CN112017300A (zh) 混合现实图像的处理方法、装置及设备
US11574453B2 (en) Generation of synthetic 3-dimensional object images for recognition systems
US10482674B1 (en) System and method for mobile augmented reality
US8681179B2 (en) Method and system for coordinating collisions between augmented reality and real reality
US20170278308A1 (en) Image modification and enhancement using 3-dimensional object model based recognition
US20210035346A1 (en) Multi-Plane Model Animation Interaction Method, Apparatus And Device For Augmented Reality, And Storage Medium
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
US9588651B1 (en) Multiple virtual environments
US20230052169A1 (en) System and method for generating virtual pseudo 3d outputs from images
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
US11769256B2 (en) Image creation for computer vision model training
KR20220149717A (ko) 단안 카메라로부터 전체 골격 3d 포즈 복구
CN113269781A (zh) 数据生成方法、装置及电子设备
CN112950759A (zh) 基于房屋全景图的三维房屋模型构建方法及装置
Gomes Jr et al. Semi-automatic methodology for augmented panorama development in industrial outdoor environments
CN109461203B (zh) 手势三维图像生成方法、装置、计算机设备及存储介质
CN113269782B (zh) 数据生成方法、装置及电子设备
CN115205974A (zh) 手势识别方法及相关设备
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
CN114241046A (zh) 数据标注方法、装置、计算机设备及存储介质
CN110837522B (zh) 一种基于大数据分析的待购产品显示方法及显示平台
US12014471B2 (en) Generation of synthetic 3-dimensional object images for recognition systems
CN114721562B (zh) 用于数字对象的处理方法、装置、设备、介质及产品
Poon et al. Enabling 3D online shopping with affordable depth scanned models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination