CN116679830A - 一种用于混合现实的人机交互***、方法及装置 - Google Patents

Abstract

本发明涉及一种用于混合现实的人机交互***、方法及装置，该方法包括：展示流程设计，包括：设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；内容布置，包括：设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3D空间中的摆放位姿；以及展示使用，包括：在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。本发明采用无代码的手段，在无需客户具备相关软件开发经验的情况下，编辑、生成并使用各种虚拟内容，最终实现在真实世界中，根据客户的需求显示对应的虚拟资源的目的。

Description

一种用于混合现实的人机交互***、方法及装置

技术领域

本发明涉及混合现实设备领域，尤其涉及一种用于混合现实的人机交互***、方法及装置。

背景技术

目前，为混合现实(MR)、增强现实(AR)、虚拟现实(VR)(以下统称XR)头戴显示设备定制开发软件往往需要投入大量专业的人力资源。开发团队需要掌握专业的编辑工具，如Unreal Engine、Unity等软件的使用知识，熟悉C++、C#等编程语言，同时有着丰富的软件设计、开发、调试和项目管理经验，才可以开发出高质量的XR软件产品。然而，在许多商业、工业的XR使用场景中，最终用户往往不具备符合以上要求的软件开发团队，而临时雇佣外包团队又让最终用户面临开发周期长、预算高、项目管理困难的挑战。

目前，在商业、工业场景中，常见的XR技术使用需求包含：在真实世界中，根据客户的需求显示对应的虚拟资源。如何采用无代码手段，帮助用户在没有相关软件开发经验的情况下编辑、生成并使用虚拟内容的人机交互***、方法及装置是本领域技术人员亟待解决的一个技术问题。

发明内容

本发明提供一种用于混合现实的人机交互***、方法及装置，以解决上述技术问题。

为解决上述技术问题，本发明提供一种用于混合现实的人机交互方法，包括：

展示流程设计，包括：设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

内容布置，包括：设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3D空间中的摆放位姿；以及

展示使用，包括：在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

在一些实施例中，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。

在一些实施例中，多个所述展示步骤按照固定顺序依次进行展示。

在一些实施例中，多个所述展示步骤根据触发条件进行展示。

在一些实施例中，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

在一些实施例中，所述用户输入事件包括按压物理按键或者输入指示信号。

在一些实施例中，所述触发条件为经过逻辑运算的多个触发条件的组合。

在一些实施例中，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

在一些实施例中，所述虚拟内容在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位；

通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容的摆放位姿。

在一些实施例中，所述基准定位通过对3D空间中的参考物进行识别和定位后获取。

在一些实施例中，所述参考物至少包括环境、物体或标识。

在一些实施例中，所述锚定物为手持移动设备。

在一些实施例中，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

在一些实施例中，所述定位图案包括图片、二维码、条形码或特定图形。

在一些实施例中，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

在一些实施例中，将所述锚定位置确定为所述虚拟内容的摆放位姿。

在一些实施例中，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

本发明的第二方面提供了一种用于混合现实的人机交互***，包括：

展示流程设计模块，用于设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

内容布置模块，用于设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3D空间中的摆放位姿；以及

展示使用模块，用于在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

在一些实施例中，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。

在一些实施例中，多个所述展示步骤按照固定顺序依次进行展示。

在一些实施例中，多个所述展示步骤根据触发条件进行展示。

在一些实施例中，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

在一些实施例中，所述用户输入事件包括按压物理按键或者输入指示信号。

在一些实施例中，所述触发条件为经过逻辑运算的多个触发条件的组合。

在一些实施例中，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

在一些实施例中，所述虚拟内容在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位；

通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容的摆放位姿。

在一些实施例中，所述基准定位通过对3D空间中的参考物进行识别和定位后获取。

在一些实施例中，所述参考物至少包括环境、物体或标识。

在一些实施例中，所述锚定物为手持移动设备。

在一些实施例中，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

在一些实施例中，所述定位图案包括图片、二维码、条形码或特定图形。

在一些实施例中，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

在一些实施例中，将所述锚定位置确定为所述虚拟内容的摆放位姿。

在一些实施例中，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

本发明的第三方面还提供了一种用于混合现实的人机交互装置，应用于如上所述的方法中，所述装置包括至少一个处理器，至少一个手持移动设备和至少一个头戴显示设备，

所述处理器被配置为执行展示流程设计步骤；

所述手持移动设备被配置为与所述头戴显示设备配合执行内容布置步骤；

所述头戴显示设备被配置为执行展示使用步骤。

在一些实施例中，所述处理器集成于所述头戴显示设备中。

在一些实施例中，所述处理器集成于所述手持移动设备中。

与现有技术相比，本发明提供的用于混合现实的人机交互***、方法及装置采用无代码的手段，在无需客户具备相关软件开发经验的情况下，编辑、生成并使用各种虚拟内容，最终实现在真实世界中，根据客户的需求显示对应的虚拟资源的目的。

附图说明

图1为本发明一具体实施方式中用于混合现实的人机交互***的框图(内容布置阶段)；

图2为本发明一具体实施方式中用于混合现实的人机交互***的框图(展示使用阶段)；

图3为本发明一具体实施方式中展示流程设计阶段和内容布置阶段的流程图；

图4为本发明另一具体实施方式中展示流程设计阶段和内容布置阶段的流程图；

图5为本发明一具体实施方式中展示使用阶段的流程图；

图6至图9分别为本发明一具体实施方式中触发条件触发展示步骤的对应关系示意图。

图中：10-参考物、11-参考坐标系、20-手持移动设备、21-定位图案、22-虚拟内容、30-头戴显示设备。

具体实施方式

为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在混合现实设备的客户端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请的实施例可以应用于不同的使用场景中，例如：1)在展会、展厅中搭建虚实混合的沉浸式看展体验，在展示实物商品的附近搭配虚拟特效等；2)在员工技能培训中使用混合现实展示逐步的操作提示；3)在设备供应商的销售流程中快速为客户虚拟的设备布局预览等。

请参考图1至图9，本发明提供的用于混合现实的人机交互***，包括：展示流程设计模块，用于设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容22；设计各展示步骤的触发条件；

内容布置模块，用于设置所述虚拟内容22的属性，所述属性至少包括所述虚拟内容22在3D空间中的摆放位姿；以及

展示使用模块，用于在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容22。

在一些实施例中，展示流程设计模块、内容布置模块和展示使用模块可以通过至少一个服务器端软件互相连接，用于各个阶段的数据通信和同步。

在一些实施例中，所述虚拟内容22至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。

在一些实施例中，多个所述展示步骤可以按照固定顺序依次进行展示。

在一些实施例中，多个所述展示步骤可以根据触发条件进行展示。

在一些实施例中，所述触发条件可以包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

在一些实施例中，所述用户输入事件可以包括按压物理按键或者输入指示信号。

在一些实施例中，所述触发条件可以是经过逻辑运算的多个触发条件的组合。

在一些实施例中，所述虚拟内容22的属性还可以包括：所述虚拟内容22的大小、颜色、动画行为、播放速度或音量。

在一些实施例中，所述虚拟内容22在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位；

通过与所述虚拟内容22绑定的锚定物(如手持移动设备20)将所述虚拟内容22移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容22的摆放位姿。

在一些实施例中，所述基准定位可以通过对3D空间中的参考物10进行识别和定位后获取。

在一些实施例中，所述参考物至少可以包括环境、物体或标识。

在一些实施例中，所述锚定物上带有定位图案21，所述锚定位置通过对所述定位图案21进行识别和定位后获取。

在一些实施例中，所述定位图案21可以包括图片、二维码、条形码或特定图形。

在一些实施例中，采用搭载于头戴显示设备30上的图像获取设备对所述参考物10和所述定位图案21进行识别和定位。

在一些实施例中，将所述锚定位置确定为所述虚拟内容22的摆放位姿。

在一些实施例中，将所述锚定位置进行数学运算后确定所述虚拟内容22的摆放位姿。

应当理解，上述***及其模块可以利用各种方式来实现。例如，在一些实施例中，***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件和软件的结合来实现。

需要注意的是，以上对于***及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该***的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子***与其他模块连接。例如，在一些实施例中，展示流程设计模块、内容布置模块和展示使用模块可以是一个***中的不同单元，也可以是一个单元实现上述的两个或以上模块的功能。又例如，各个模块可以共用一个存储设备，各个单元也可以分别具有各自的存储设备。诸如此类的变形，均在本申请的保护范围之内。

本发明提供的用于混合现实的人机交互方法，如图1至图9所示，包括：

展示流程设计，包括：设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容22；设计各展示步骤的触发条件。用户可以在设计展示流程时，新建、更改、删除一个或多个展示步骤，并为每个展示步骤指定需要展示的虚拟内容22。

内容布置，包括：设置所述虚拟内容22的属性，所述属性至少包括所述虚拟内容22在3D空间中的摆放位姿(位置和/或姿态)。内容布置阶段可以通过***中的内容布置模块和头戴显示设备30帮助用户布置虚拟内容22在3D空间中的摆放布局和其他属性。

以及展示使用，包括：在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容22。该阶段，头戴显示设备30根据展示流程设计阶段的展示步骤和触发条件，以及内容布置阶段生成的虚拟内容22的位姿和其他属性进行展示。

图3描述了一种关于展示流程设计和内容布置的实现过程。在S101中，用户首先设计展示流程，定义展示流程中的各个展示步骤、展示步骤下需要展示的虚拟内容22、以及各展示步骤的起始或者步骤到步骤流转的触发条件。之后用户进入内容布置阶段，对虚拟内容22进行布置。在S102中，可利用头戴显示设备30根据用户设计建立参考坐标系11，然后在S103中，利用头戴显示设备30对环境中的手持移动设备20所显示的定位图案21进行识别和定位，并根据定位结果将用户当前正在布置的虚拟内容22叠加显示在手持移动设备20附近，让其随手持设备移动20而移动。在S104中，用户通过调整手持移动设备20的位姿来调整虚拟内容22的位姿，并根据头戴显示设备30预览的效果来确认该虚拟内容22的布置摆放。在S105，当用户需要布置更多虚拟内容22时，用户可选择需要布置的虚拟内容22并重复S103和S104。如果用户选择完成内容布置，则会在S106中储存展示流程设计和内容布置的数据。

在一些实施例中，S106可以与其他流程同步执行，比如用户有任何对展示流程和内容布置有改动时、或用户决定要存储当前设计时，都可以存储相关数据。

在一些实施例中，展示流程设计和内容布置可以同步进行，比如用户可以在进行内容布置时，进入展示流程设计阶段，来添加或删减展示步骤、更改展示步骤的触发条件、增减对应的虚拟内容22，或将虚拟内容22移动到不同展示步骤下等。

图4描述了关于展示流程设计和内容布置阶段的另一种实现方式。与图3描述的实现方式相比，在该实现方式中，用户可以针对不同的虚拟内容22定义不同的参考坐标系11。当用户开始布置一个虚拟内容22时，S111会根据S101中的设计或用户当前的选择，决定是否需要建立不同的参考坐标系11。比如，当虚拟内容22对应的参考坐标系与当前参考坐标系不同、当前未建立参考坐标系、或用户指定新的参考坐标系时，S111会选择进入S102来建立参考坐标系。如无需建立不同的参考坐标系，则会延用已经建立的参考坐标系，直接进入S103开始虚拟内容22的布置。

图5描述了关于展示使用阶段的一种实现方式。S201中，用户设计的触发条件成立，头戴显示设备30准备展示对应的虚拟内容22。S202会对虚拟内容22所对应的参考坐标系11进行判断，如果该参考坐标系11还未建立，则由S203在环境中识别和定位参考物10，并建立参考坐标系11。S204在参考坐标系11下根据该虚拟内容22的布置数据进行展示。

在一些实施例中，所述虚拟内容22至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。例如，虚拟内容22可以是对部件位置进行指示的箭头；可以是一段文字介绍或音频、视频介绍；还可以是使用方法的演示动画等等。

在一些实施例中，多个所述展示步骤可以按照固定顺序依次进行展示。例如，按下启动键，展示步骤1开始展示，播放完成后(或播放完成并延迟一定时间后)，展示步骤2开始展示，以此类推，直至所有展示步骤展示完成。

在一些实施例中，多个所述展示步骤可以根据触发条件进行展示。也就是说，多个所述展示步骤的展示顺序可以是线性的，也可以是非线性的，比如多个展示步骤同时展示，亦或展示步骤的开始或结束由用户定义的条件决定。

图6描述了展示流程设计阶段中一种线性步骤的设计。当触发条件1满足时，会触发展示步骤1的展示，而后当触发条件2满足时，会触发展示步骤2的展示。

图7描述了展示流程设计阶段中一种非线性步骤的设计，其中当触发条件1满足时，会触发展示步骤1的展示；当触发条件2满足时会触发展示步骤2的展示；当触发条件3满足时，会触发展示步骤3的展示。三个展示步骤的展示流程互相独立，互不影响。

图8描述了展示流程设计阶段中一种非线性步骤的设计。当触发条件1满足时会触发展示步骤1，而后当触发条件2满足时情况1时会触发展示步骤2的展示、满足情况2时会触发展示步骤3的展示。

图9描述了展示流程设计阶段中另一种非线性步骤的设计，其中当展示步骤1执行之后，可以有多个后续条件，当触发条件3满足时，会触发展示步骤4的展示，当触发条件2满足时会触发展示步骤2的展示，当触发条件2不满足时会触发展示步骤3的展示。

在一些实施例中，触发条件可以是多种形式，例如时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

在一些实施例中，触发条件可以是一个计时器，比如展示程序开始运行后一段预定义的时间后触发一个展示步骤的展示；或者一个展示步骤展现后一段预定时间后触发另一个展示步骤的展示。

在一些实施例中，触发条件可以是头戴显示设备30的使用者在3D空间中与一个特定位置的距离，比如当头戴显示设备30使用者与一个特定位置的距离小于或者大于一个阈值后，开始或者停止该触发条件所指定的展示步骤。

在一些实施例中，触发条件可以是一个空间范围，比如当头戴显示设备30使用者进入或离开一个预设的空间区域时，开始或停止该触发条件指定的展示步骤。

在一些实施例中，触发条件可以是头戴显示设备30使用者在3D空间中头部的朝向，比如当头戴显示设备30使用者头部朝向或转离一个方向区间后，开始或停止该触发条件所指定的展示步骤。

在一些实施例中，触发条件也可以是一个用户输入事件，比如头戴显示设备30的使用者按压物理按键或者在用户界面输入指示信号等。在一些实施例中，用户输入事件也可以由头戴显示设备30的使用者通过一个和头戴显示设备30有数据连接的外部硬件产生，比如一个蓝牙耳机、智能手机、平板电脑等。

在一些实施例中，触发条件也可以是预存程序脚本，例如基于视觉算法、程序算法设定的触发条件，如某特定场景、物品等落入头戴显示设备30的视觉范围内，触发某个展示步骤；也可以是基于网络数据事件设定的触发条件，如某个设备连入指定网络后，触发特定的展示步骤等等。在一些实施例中，用户可以根据自身需求通过一段自定义程序脚本来定义一个触发条件。

在一些实施例中，所述触发条件还可以是经过逻辑运算的多个触发条件的组合，例如，触发条件C可以定义为条件A和条件B同时满足，再比如条件C可以定义为条件A和条件B至少满足一个，等等。

在一些实施例中，所述虚拟内容22的属性还可以包括：所述虚拟内容22的大小、颜色、动画行为、播放速度或音量等与展示相关的其他属性信息。例如，指示箭头的颜色，音频的播放速度和音量等。

在一些实施例中，所述虚拟内容22在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位，即建立参考坐标系11；

通过与所述虚拟内容22绑定的锚定物将所述虚拟内容22移动至待摆放位置处，计算所述锚定物与所述基准定位的关系(即锚定物在参考坐标系11中的坐标)并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容22的摆放位姿。

在一些实施例中，所述基准定位可以通过对3D空间中的参考物10进行识别和定位后获取。在一些实施例中，虚拟内容22最终展示的位姿信息定义在至少一个参考坐标系11中，该参考坐标系11可以定义在一个参考物10上，参考物10可以是固定的环境，如一个房间或一个场地；也可以定义在一个物体上，如一个工业设备、家具、家电、电子产品、车辆等；还可以是一个标识，例如特定图案标识物等。

在一些实施例中，参考坐标系11也可以定义为随头戴显示设备30自身同步移动和/或转动，及参考坐标系11的位姿与头戴显示设备30的位姿以相同的方式或趋势变化。在一些实施例中，如果参考坐标系11未定义在头戴显示设备30自身上，头戴显示设备30则可以通过识别、定位和/或追踪预先布置在环境中的至少一个特定图案标识物，如二位码、条形码、图片等，建立一个参考坐标系11并记录其识别特征，如二维码的编码内容。

在另一些实施例中，头戴显示设备30可以通过参考物10自身的视觉特征，如视觉特征点、线条、图形等，对参考物10进行识别和定位。在一些实施例中，用户可对参考物10进行视频或图像的录制，并利用录制的素材进行训练获得人工智能模型，用来对参考物10进行识别和定位。头戴显示设备30在用户确认一个虚拟内容22需要展现的位姿时，计算并记录其相对于该参考坐标系11下的位姿。在一些实施例中，在用户确认一个虚拟内容22的布置操作后，内容布置模块会将其对应的参考坐标系11以及其位姿信息与该虚拟内容22所在展示步骤信息进行关联，便于在展示使用阶段在对应的展示步骤和对应的参考坐标系11下重现用户对该虚拟内容22的布置。

在一些实施例中，用户可以通过内容布置模块提供的用户交互界面选择当前想要布置的虚拟内容22，并通过数据通信连接将该信息发送至头戴显示设备30，以帮助头戴显示设备30选择正确的虚拟内容22进行可视化预览和布置数据的录入。在一些实施例中，用户还可以通过内容布置模块或者头戴显示设备30中的用户界面对虚拟内容22的属性进行额外修改，如对虚拟内容22的展示尺寸、颜色、播放速度、音量大小进行进一步地调节等等。

在一些实施例中，所述锚定物可以是便于移动、定位，具有显示功能的实体，优选为手持移动设备20，例如手机、平板、手持显示屏等等，具有较为规则的实体结构，便于识别定位，且能够提供可操作的用户界面。

在一些实施例中，所述锚定物上带有定位图案21，所述锚定位置通过对所述定位图案21进行识别和定位后获取。

在一些实施例中，可以采用搭载于头戴显示设备30上的图像获取设备对所述参考物10和所述定位图案21进行识别和定位。如采用相机、红外相机、深度相机等，获取至少一张含有定位图案21的图片，并通过定位图案21中的视觉特征，如点、线条、外轮廓等计算该手持移动设备20在3D空间的位姿。在一些实施例中，该定位图案21可以是一张图片、一个二维码、一个条形码、一个特定图形等。

在一些实施例中，该定位图案21可以预先存储在内容布置模块中；在另一些实施例中，内容布置模块可以从其他设备或软件模块下载该定位图案21，如头戴显示设备30内置软件、展示流程设计模块、或者一个服务器程序等。在一些实施例中，头戴显示设备30可以利用定位图案21对手持移动设备20进行至少一次识别和定位后，后续定位通过对手持移动设备20的视觉特征进行识别和定位。

在一些实施例中，可以将所述锚定位置确定为所述虚拟内容22的摆放位姿，即头戴显示设备30直接使用定位获得的3D空间中的位姿作为锚定一个虚拟内容22的位姿。

在一些实施例中，还可以将所述锚定位置进行数学运算后确定所述虚拟内容22的摆放位姿。例如，对锚定位置增加一个位姿偏移量。

在一些实施例中，头戴显示设备30可以选取一部分定位获得的位姿信息作为锚定虚拟内容22的位姿，比如使用该定位结果的位置坐标和其在水平面上的朝向作为虚拟内容22的位置和朝向。

在一些实施例中，头戴显示设备30可以将虚拟内容22叠加显示到真实世界中，并实时根据定位获得的位姿信息更新该虚拟内容22的显示位姿，帮助用户可视化预览内容布置的效果，用户还可以通过内容布置模块提供的用户交互界面确认或取消内容布置的结果。

在一些实施例中，用户还可以通过内容布置模块对虚拟内容22的位姿做额外的调整，比如给其位姿增加额外的偏移量等。

应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。

本发明的另一些实施例中还提供了一种用于混合现实的人机交互装置，包括至少一个处理器，至少一个手持移动设备20和至少一个头戴显示设备30，所述处理器被配置为执行展示流程设计步骤；所述手持移动设备20被配置为与所述头戴显示设备30配合执行内容布置步骤；所述头戴显示设备30被配置为执行展示使用步骤。

在一些实施例中，展示使用模块可以运行在多个头戴显示设备30上，当一台头戴显示设备30建立了参考坐标系11，该头戴显示设备30可以将该参考坐标系11共享至其他头戴显示设备30，其他头戴显示设备30可以通过与该头戴显示设备30之间的相对位置和姿态关系间接计算出该参考坐标系11。

在一些实施例中，所述处理器可以是独立的，例如可以是一个独立的终端；所述处理器也可以集成于所述头戴显示设备30中，例如，将展示流程设计模块和展示使用模块集成在一个头戴显示设备30中；所述处理器还可以集成于所述手持移动设备20中，例如，将展示流程设计模块和内容布置模块集成在同一个手持移动设备20中。

本申请实施例可能带来的有益效果包括但不限于：(1)采用无代码的手段，在无需客户具备相关软件开发经验的情况下，编辑、生成并使用各种虚拟内容；(2)在真实世界中，可以根据客户的个性化需求显示对应的虚拟资源。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

以上内容描述了本申请和/或一些其他的示例。根据上述内容，本申请还可以做出不同的变形。本申请披露的主题能够以不同的形式和例子所实现，并且本申请可以被应用于大量的应用程序中。权利要求中所要求保护的所有应用、修饰以及改变都属于本申请的范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”、或“一个实施例”、或“另一实施例”或“另一个实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的不同***模块都是通过硬件设备所实现的，但是也可能只通过软件的解决方案得以实现。例如：在现有的服务器上安装***。

所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信能够将软件从一个计算机设备或处理器加载到另一个。

此外，除非权利要求中明确说明，本申请中数字、字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不限于本申请明确介绍和描述的实施例。

Claims (37)

1.一种用于混合现实的人机交互方法，其特征在于，包括：

展示流程设计，包括：设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

内容布置，包括：设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3D空间中的摆放位姿；以及

展示使用，包括：在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

2.如权利要求1所述的用于混合现实的人机交互方法，其特征在于，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。

3.如权利要求1所述的用于混合现实的人机交互方法，其特征在于，多个所述展示步骤按照固定顺序依次进行展示。

4.如权利要求1所述的用于混合现实的人机交互方法，其特征在于，多个所述展示步骤根据触发条件进行展示。

5.如权利要求4所述的用于混合现实的人机交互方法，其特征在于，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

6.如权利要求5所述的用于混合现实的人机交互方法，其特征在于，所述用户输入事件包括按压物理按键或者输入指示信号。

7.如权利要求5所述的用于混合现实的人机交互方法，其特征在于，所述触发条件为经过逻辑运算的多个触发条件的组合。

8.如权利要求1所述的用于混合现实的人机交互方法，其特征在于，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

9.如权利要求1所述的用于混合现实的人机交互方法，其特征在于，所述虚拟内容在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位；

通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容的摆放位姿。

10.如权利要求9所述的用于混合现实的人机交互方法，其特征在于，所述基准定位通过对3D空间中的参考物进行识别和定位后获取。

11.如权利要求10所述的用于混合现实的人机交互方法，其特征在于，所述参考物至少包括环境、物体或标识。

12.如权利要求9所述的用于混合现实的人机交互方法，其特征在于，所述锚定物为手持移动设备。

13.如权利要求10所述的用于混合现实的人机交互方法，其特征在于，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

14.如权利要求13所述的用于混合现实的人机交互方法，其特征在于，所述定位图案包括图片、二维码、条形码或特定图形。

15.如权利要求13所述的用于混合现实的人机交互方法，其特征在于，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

16.如权利要求9所述的用于混合现实的人机交互方法，其特征在于，将所述锚定位置确定为所述虚拟内容的摆放位姿。

17.如权利要求9所述的用于混合现实的人机交互方法，其特征在于，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

18.一种用于混合现实的人机交互***，其特征在于，包括：

展示流程设计模块，用于设计至少一个展示步骤，所述展示步骤中包含至少一个需要展示的虚拟内容；设计各展示步骤的触发条件；

内容布置模块，用于设置所述虚拟内容的属性，所述属性至少包括所述虚拟内容在3D空间中的摆放位姿；以及

展示使用模块，用于在每个所述展示步骤中，基于设置好的属性展示对应的虚拟内容。

19.如权利要求18所述的用于混合现实的人机交互***，其特征在于，所述虚拟内容至少包括以下一种或多种的组合：文本、图片、视频、音频、3D模型和动画。

20.如权利要求18所述的用于混合现实的人机交互***，其特征在于，多个所述展示步骤按照固定顺序依次进行展示。

21.如权利要求18所述的用于混合现实的人机交互***，其特征在于，多个所述展示步骤根据触发条件进行展示。

22.如权利要求21所述的用于混合现实的人机交互***，其特征在于，所述触发条件包括时间条件、位置条件、方向条件、用户输入事件、预存程序脚本或自定义程序脚本。

23.如权利要求22所述的用于混合现实的人机交互***，其特征在于，所述用户输入事件包括按压物理按键或者输入指示信号。

24.如权利要求22所述的用于混合现实的人机交互***，其特征在于，所述触发条件为经过逻辑运算的多个触发条件的组合。

25.如权利要求18所述的用于混合现实的人机交互***，其特征在于，所述虚拟内容的属性还包括：所述虚拟内容的大小、颜色、动画行为、播放速度或音量。

26.如权利要求18所述的用于混合现实的人机交互***，其特征在于，所述虚拟内容在3D空间中的摆放位姿的设置方式包括：

基于3D空间获取基准定位；

通过与所述虚拟内容绑定的锚定物将所述虚拟内容移动至待摆放位置处，计算所述锚定物与所述基准定位的关系并记录，摆放好的位置定义为锚定位置；

基于所述锚定位置确定所述虚拟内容的摆放位姿。

27.如权利要求26所述的用于混合现实的人机交互***，其特征在于，所述基准定位通过对3D空间中的参考物进行识别和定位后获取。

28.如权利要求27所述的用于混合现实的人机交互***，其特征在于，所述参考物至少包括环境、物体或标识。

29.如权利要求26所述的用于混合现实的人机交互***，其特征在于，所述锚定物为手持移动设备。

30.如权利要求27所述的用于混合现实的人机交互***，其特征在于，所述锚定物上带有定位图案，所述锚定位置通过对所述定位图案进行识别和定位后获取。

31.如权利要求30所述的用于混合现实的人机交互***，其特征在于，所述定位图案包括图片、二维码、条形码或特定图形。

32.如权利要求30所述的用于混合现实的人机交互***，其特征在于，采用搭载于头戴显示设备上的图像获取设备对所述参考物和所述定位图案进行识别和定位。

33.如权利要求26所述的用于混合现实的人机交互***，其特征在于，将所述锚定位置确定为所述虚拟内容的摆放位姿。

34.如权利要求26所述的用于混合现实的人机交互***，其特征在于，将所述锚定位置进行数学运算后确定所述虚拟内容的摆放位姿。

35.一种用于混合现实的人机交互装置，应用于如权利要求1至17中任一项所述的方法中，其特征在于，所述装置包括至少一个处理器，至少一个手持移动设备和至少一个头戴显示设备，

所述处理器被配置为执行展示流程设计的步骤；

所述手持移动设备被配置为与所述头戴显示设备配合执行内容布置的步骤；

所述头戴显示设备被配置为执行展示使用的步骤。

36.如权利要求35所述的用于混合现实的人机交互装置，其特征在于，所述处理器集成于所述头戴显示设备中。

37.如权利要求35所述的用于混合现实的人机交互装置，其特征在于，所述处理器集成于所述手持移动设备中。