CN116880701A - 基于全息设备的多模态交互方法及*** - Google Patents

基于全息设备的多模态交互方法及*** Download PDF

Info

Publication number
CN116880701A
CN116880701A CN202311148693.4A CN202311148693A CN116880701A CN 116880701 A CN116880701 A CN 116880701A CN 202311148693 A CN202311148693 A CN 202311148693A CN 116880701 A CN116880701 A CN 116880701A
Authority
CN
China
Prior art keywords
data
target
holographic
space
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311148693.4A
Other languages
English (en)
Other versions
CN116880701B (zh
Inventor
张雪兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Euclideon Technology Co ltd
Original Assignee
Shenzhen Euclideon Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Euclideon Technology Co ltd filed Critical Shenzhen Euclideon Technology Co ltd
Priority to CN202311148693.4A priority Critical patent/CN116880701B/zh
Publication of CN116880701A publication Critical patent/CN116880701A/zh
Application granted granted Critical
Publication of CN116880701B publication Critical patent/CN116880701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及全息影像技术领域，公开了一种基于全息设备的多模态交互方法及***，用于提高在基于全息设备进行多模态交互时的显示时效性以及显示准确度。包括：进行红外反射信号采集得到红外反射信号；采集目标视觉动线，采集脑电波数据集合；进行时间序列对齐处理得到目标融合数据；进行多类型特征数据提取得到位置特征数据、关注位置特征数据及情绪特征数据；对三维显示空间进行空间分割得到目标空间区域；对语音控制指令进行交互指令生成，生成目标交互指令；构建全息显示空间坐标，生成全息显示空间坐标集，进行全息设备匹配确定目标全息设备集合；构建三维虚拟现实空间，将三维虚拟现实空间传输至虚拟现实眼镜进行全息影像显示。

Description

基于全息设备的多模态交互方法及***
技术领域
本发明涉及全息影像技术领域，尤其涉及一种基于全息设备的多模态交互方法及***。
背景技术
随着科技的不断发展，人们对于交互体验和沉浸式技术的需求日益增加。基于全息设备的多模态交互技术提供了一种全新的交互方式，可以在虚拟现实空间中实现更加真实和自然的交互体验。
然而，现有的技术在多模态数据的处理过程中，时间序列对齐是关键的一步，用于将不同数据源的时间点对齐。然而，现有的对齐算法在处理复杂多模态数据时可能存在准确性不足的问题，需要更加精确和可靠的对齐方法。现有的特征提取方法和分析模型在多模态数据的情况下可能存在提取效果不理想或特征融合不充分的问题，
发明内容
本发明提供了一种基于全息设备的多模态交互方法及***，用于提高在基于全息设备进行多模态交互时的显示时效性以及显示准确度。
本发明第一方面提供了一种基于全息设备的多模态交互方法，所述基于全息设备的多模态交互方法包括：对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
通过预置的虚拟现实眼镜采集所述目标用户的视觉动线，得到目标视觉动线，并通过所述虚拟现实眼镜对所述目标用户进行脑电波数据采集，得到脑电波数据集合；
对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
采集所述目标用户的语音控制指令，并通过所述情绪特征数据对所述语音控制指令进行交互指令生成，生成目标交互指令；
通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合；
基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
结合第一方面，在本发明第一方面的第一实施方式中，所述对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据，包括：
分别对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间戳标定，确定所述红外反射信号对应的第一初始时间戳、所述目标视觉动线对应的第二初始时间戳以及所述脑电波数据集合对应的第三初始时间戳；
对所述第一初始时间戳、所述第二初始时间戳以及所述第三初始时间戳进行时间轴分析，确定至少一个时间轴数据；
对所述至少一个时间轴数据进行基于线性插值的时间轴对齐处理，确定目标时间轴；
基于所述目标时间轴，对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行数据融合，生成目标融合数据。
结合第一方面，在本发明第一方面的第二实施方式中，所述对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据，包括：
对所述目标融合数据进行数据滤波处理，生成滤波融合数据；
对所述滤波融合数据进行数据分层，确定多层待处理滤波融合数据；
分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据。
结合第一方面的第二实施方式，在本发明第一方面的第三实施方式中，所述分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据，包括：
对每层所述待处理滤波融合数据进行分层标准匹配，确定每层所述待处理滤波融合数据对应的数据类型；
基于每层所述待处理滤波融合数据对应的数据类型进行特征提取算法匹配，确定每层所述待处理滤波融合数据对应的特征提取算法；
通过每层所述待处理滤波融合数据对应的特征提取算法分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据。
结合第一方面，在本发明第一方面的第四实施方式中，所述通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域，包括：
对所述位置特征数据进行三维虚拟点云构建，得到第一候选三维虚拟点云；
对所述关注位置特征数据进行三维虚拟点云构建，得到第二候选三维虚拟点云；
对所述第一候选三维虚拟点云进行虚拟三维空间映射，得到第一虚拟三维空间；
对所述第二候选三维虚拟点云进行虚拟三维空间映射，得到第二虚拟三维空间；
对所述第一虚拟三维空间以及所述第二虚拟三维空间进行空间分割点匹配，确定空间分割点集合；
基于所述空间分割点集合对所述三维显示空间进行空间分割，得到所述目标空间区域。
结合第一方面，在本发明第一方面的第五实施方式中，所述通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合，包括：
对所述目标交互指令进行交互位置映射，确定交互位置数据；
基于预置的空间坐标系对所述交互位置数据进行坐标映射，生成所述全息显示空间坐标集；
对所述目标交互指令进行设备标识分析，确定目标设备标识集；
通过所述目标设备标识集进行全息设备匹配，确定所述目标全息设备集合。
结合第一方面，在本发明第一方面的第六实施方式中，所述基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示，包括：
通过所述目标全息设备集合对所述全息显示空间坐标集进行几何元素提取，确定几何元素集合；
对所述几何元素集合进行虚拟空间生成，得到所述三维虚拟现实空间；
将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
本发明第二方面提供了一种基于全息设备的多模态交互装置，所述基于全息设备的多模态交互装置包括：
第一采集模块，用于对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
第二采集模块，用于通过预置的虚拟现实眼镜采集所述目标用户的视觉动线，得到目标视觉动线，并通过所述虚拟现实眼镜对所述目标用户进行脑电波数据采集，得到脑电波数据集合；
对齐模块，用于对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
提取模块，用于对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
分割模块，用于通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
生成模块，用于采集所述目标用户的语音控制指令，并通过所述情绪特征数据对所述语音控制指令进行交互指令生成，生成目标交互指令；
匹配模块，用于通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合；
显示模块，用于基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
本发明第三方面提供了一种基于全息设备的多模态交互设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于全息设备的多模态交互设备执行上述的基于全息设备的多模态交互方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于全息设备的多模态交互方法。
本发明提供的技术方案中，进行红外反射信号采集得到红外反射信号；采集目标用户的视觉动线得到目标视觉动线，对目标用户进行脑电波数据采集得到脑电波数据集合；进行时间序列对齐处理，得到目标融合数据；对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；对三维显示空间进行空间分割，得到目标空间区域；通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令；构建全息显示空间坐标，生成全息显示空间坐标集，进行全息设备匹配，确定目标全息设备集合；构建三维虚拟现实空间，将三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。在本申请实施例中，通过红外反射信号采集、视觉动线采集和脑电波数据采集等多模态数据的综合应用，实现了更加沉浸式的交互体验。用户通过手柄设备、视觉动线和脑电波等方式与虚拟环境进行实时互动，提供更加自然、真实的交互体验。通过对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据和情绪特征数据。这些特征数据可以用于更深入的用户行为分析、情感识别和个性化交互，提供更加个性化、智能化的服务。通过对三维显示空间进行空间分割，得到目标空间区域。这有助于将虚拟场景划分为不同的区域，便于定位和管理用户的交互行为，提供更准确和针对性的交互体验。通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令，并进行全息设备匹配，确定目标全息设备集合。这有助于根据用户的情感状态和语音指令，智能地选择合适的设备和交互方式，提供个性化、智能化的交互体验。通过构建三维虚拟现实空间，并将其传输至目标用户的虚拟现实眼镜进行全息影像显示，实现了真实感和沉浸感的全息影像展示。用户通过虚拟现实眼镜观看并与全息影像进行互动，提供更加逼真和生动的视觉体验。
附图说明
图1为本发明实施例中基于全息设备的多模态交互方法的一个实施例示意图；
图2为本发明实施例中对目标融合数据进行多类型特征数据提取的流程图；
图3为本发明实施例中分别对每层待处理滤波融合数据进行多类型特征数据提取的流程图；
图4为本发明实施例中通过位置特征数据以及关注位置特征数据对预置的三维显示空间进行空间分割的流程图；
图5为本发明实施例中基于全息设备的多模态交互装置的一个实施例示意图；
图6为本发明实施例中基于全息设备的多模态交互设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于全息设备的多模态交互方法及***，用于提高基于全息设备进行多模态交互时的显示时效性以及显示准确度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于全息设备的多模态交互方法的一个实施例包括：
S101、对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
可以理解的是，本发明的执行主体可以为基于全息设备的多模态交互装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，在手柄设备上安装红外发射器和红外传感器。这些硬件模块将用于发送和接收红外信号。设计一组特定的红外发射信号序列来表示不同的手柄动作或状态。例如，按下按钮A和按钮B可能有不同的红外发射信号序列。当用户使用手柄设备时，红外发射器会发送特定的红外信号序列，这些信号会在手柄表面反射。红外传感器将接收这些反射信号并将它们转换为电信号。对红外传感器采集到的电信号进行处理和解码，以提取所发送红外信号的信息。处理过程可能包括滤波、放大和模数转换等步骤，以获得清晰的信号。得到的红外反射信号可以进一步进行数据分析和记录。通过识别和记录不同红外信号序列对应的手柄动作或状态，可以建立一个映射关系，将红外信号与手柄设备的操作进行关联。服务器能够实时追踪用户在手柄上的动作，并准确地捕捉其交互行为。例如，假设服务器正在设计一款基于全息设备的虚拟游戏。玩家手持一个特殊设计的游戏手柄，里面集成了红外发射器和红外传感器。游戏中的角色通过不同的手柄动作来实现不同的操作，比如按下按钮A是跳跃，按下按钮B是攻击。当玩家按下按钮A时，红外发射器发送预先设定的红外发射信号序列。这些信号在手柄表面反射，然后被手柄内的红外传感器捕获并转换成电信号。通过对电信号进行处理和解码，游戏***识别出这是跳跃动作，并在虚拟现实空间中将角色执行跳跃操作。类似地，如果玩家按下按钮B，红外发射器发送另一组红外发射信号序列，游戏***解析信号，让角色进行攻击。通过这种红外反射信号的采集和解析，玩家可以在虚拟游戏中使用手柄进行多模态交互，使游戏体验更加丰富和沉浸式。这种方法也可以应用于其他领域，如虚拟现实培训、模拟演练等，增强用户与***的交互性。
S102、通过预置的虚拟现实眼镜采集目标用户的视觉动线，得到目标视觉动线，并通过虚拟现实眼镜对目标用户进行脑电波数据采集，得到脑电波数据集合；
具体的，准备一款预置的虚拟现实眼镜。这些眼镜通常具有高分辨率的显示器和内置的传感器，可以跟踪用户的头部动作和视线方向。这些传感器的数据将用于捕捉用户在虚拟现实环境中的视觉动线。通过虚拟现实眼镜的内置传感器，可以实时跟踪用户的头部运动和眼球注视点。当用户戴上虚拟现实眼镜并进入虚拟环境时，***开始记录用户在虚拟场景中注视的点和头部的旋转和移动。这些数据可以表示为一个三维空间中的视觉动线，展示用户在虚拟现实环境中的视觉兴趣点。对目标用户的脑电波数据进行采集，需要在虚拟现实眼镜中集成脑机接口技术。脑机接口通过一组脑电极或其他生物传感器来记录用户的脑电活动。当用户戴上虚拟现实眼镜并进行交互时，脑电传感器开始记录用户的脑电波数据。获得的视觉动线数据和脑电波数据将被传输到计算机进行处理与分析。对于视觉动线数据，可以使用算法和计算方法来提取关键点和注视轨迹，进而得到目标用户的视觉动线。对于脑电波数据，进行信号处理和特征提取，以获取有关用户认知、情绪或意图的信息。得到目标用户的视觉动线和脑电波数据之后，可以将这些数据组合成一个综合的数据集合。这个数据集合可以用于构建用户的个性化模型，反映用户在虚拟现实环境中的注意力、情绪和认知状态。例如，假设服务器正在开发一款用于虚拟现实培训的应用程序，该应用可以帮助用户学习如何组装复杂机械设备。用户戴上预置的虚拟现实眼镜并进行虚拟培训。在这个过程中，虚拟现实眼镜记录用户在虚拟场景中的视觉动线，例如，用户可能会关注设备的主体，然后关注零件的组装位置。同时，虚拟现实眼镜中集成的脑机接口开始采集用户的脑电波数据。当用户思考如何组装零件时，脑电传感器记录用户的脑电活动。这些脑电波数据可以反映用户在学习过程中的认知状态和情绪反应通过分析用户的视觉动线和脑电波数据，应用程序根据用户的注意力焦点和认知状态进行个性化调整。比如，如果***发现用户在某个零件的组装上遇到了困难，根据脑电波数据判断用户可能感到挫败或疲劳，然后向用户提供额外的提示和鼓励，帮助用户顺利完成任务。
S103、对红外反射信号、目标视觉动线以及脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
具体的，收集目标用户的数据，包括红外反射信号、目标视觉动线和脑电波数据集合。通过预置的虚拟现实眼镜和脑机接口技术，可以采集这些数据。对所收集到的红外反射信号、目标视觉动线和脑电波数据集合分别进行时间戳标定。时间戳标定是将数据中的时间信息与实际采集时的时间相对应，确定每个数据集合的初始时间戳。这一步是为了确保数据的时间参考是一致的。进行时间轴分析。在时间轴分析中，需要选择至少一个时间轴数据用于后续的时间轴对齐处理。这个选择可以基于数据集合的采样频率和精度，选取最适合作为目标时间轴的数据集合。例如，脑电波数据的采样频率较高，因此可以选择脑电波数据的时间轴作为目标时间轴。对所选定的目标时间轴数据进行基于线性插值的时间轴对齐处理。时间轴对齐处理是为了保证不同数据集合在时间上保持一致，使得它们能够对应到相同的时间点上。通过线性插值填充数据之间的时间间隔，使得数据在时间上能够平滑对齐。基于目标时间轴，对红外反射信号、目标视觉动线和脑电波数据集合进行数据融合。数据融合可以采用简单的拼接、加权平均或其他融合算法，将不同数据集合的信息合并到目标时间轴上，生成目标融合数据。服务器得到了整合了红外反射信号、目标视觉动线和脑电波数据的目标融合数据，可以用于后续的分析和应用。例如，假设服务器正在开发一个基于全息设备的医疗辅助***，旨在帮助医生进行手术操作。服务器通过虚拟现实眼镜和生物传感器与医生进行交互。医生使用虚拟现实眼镜和手柄设备进行手术操作。虚拟现实眼镜追踪医生的视觉动线，记录医生在手术过程中关注的器官或区域。同时，脑电传感器采集医生的脑电波数据，记录医生的认知状态和情绪变化。通过时间戳标定，确定红外反射信号、目标视觉动线和脑电波数据集合的初始时间戳。进行时间轴分析，选择脑电波数据的时间轴作为目标时间轴，因为它具有最高的采样频率。对红外反射信号和目标视觉动线的时间戳进行线性插值，使它们与目标时间轴对齐。将经过时间轴对齐处理的红外反射信号、目标视觉动线和脑电波数据集合进行数据融合，生成目标融合数据。这些融合数据可以提供给医生，用于辅助手术操作，例如在虚拟现实场景中显示关键器官的位置和状态，同时根据脑电波数据分析医生的认知状态和情绪反应，提供实时的反馈和指导。通过时间序列对齐处理，将红外反射信号、目标视觉动线和脑电波数据集合融合到一个统一的目标时间轴上，实现了多模态数据的综合分析和交互，为医疗辅助***提供了更全面、个性化的功能。
S104、对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
具体的，对目标融合数据进行数据滤波处理，生成滤波融合数据。数据滤波是为了去除数据中的噪声和干扰，使得数据更加平滑和可靠。常用的滤波方法有低通滤波、高通滤波和带通滤波等，选择合适的滤波方法根据数据特点进行。对滤波融合数据进行数据分层，确定多层待处理滤波融合数据。数据分层是为了将滤波融合数据划分成多个层次，根据数据的重要性和时序关系进行分层。这样可以针对不同层次的数据进行不同的特征提取和分析。对每层待处理滤波融合数据分别进行多类型特征数据提取。特征数据提取是从原始数据中提取出具有代表性和可分性的特征，用于后续的分析和应用。不同层次的数据可以提取不同类型的特征，例如位置特征、关注位置特征和情绪特征等。例如，假设服务器的目标融合数据是通过虚拟现实眼镜和脑机接口技术采集的医疗辅助数据。在医疗手术过程中，医生佩戴虚拟现实眼镜，同时携带脑电传感器，虚拟现实眼镜记录医生的视觉动线和手术场景，脑电传感器采集医生的脑电波数据。对目标融合数据进行数据滤波处理，去除可能存在的噪声和干扰，得到滤波融合数据。例如，对脑电波数据进行带通滤波，去除高频和低频噪声，保留特定频率段的信号。将滤波融合数据进行数据分层，确定多层待处理滤波融合数据。例如，将滤波融合数据分为低频层和高频层，根据脑电波数据的频率范围进行划分。对每层待处理滤波融合数据进行多类型特征数据提取。对低频层的数据进行位置特征数据提取，分析医生在手术过程中的手柄操作位置和运动轨迹。对高频层的数据进行关注位置特征数据提取，识别医生在手术场景中的关注点和视觉兴趣区域。同时，对脑电波数据进行情绪特征数据提取，通过分析脑电波数据的频谱特征和波形形态，了解医生在手术过程中的情绪状态和认知水平。通过这样的多类型特征数据提取，服务器从医疗辅助数据中获得医生在手术过程中的位置信息、关注区域和情绪状态等重要特征。这些特征可以帮助医生改善手术技巧、优化手术流程，并为手术过程提供实时反馈和指导。同时，这种特征数据提取方法也可以应用于其他领域，例如用户体验研究、虚拟现实游戏等，为多模态交互提供更加个性化和智能化的体验。
其中，对每层待处理滤波融合数据进行分层标准匹配，确定每层待处理滤波融合数据对应的数据类型。分层标准匹配是为了将不同类型的数据分配到相应的层次，根据数据的特点和用途进行匹配。例如，将滤波融合数据中的低频部分匹配为位置特征数据层，高频部分匹配为关注位置特征数据层，脑电波数据匹配为情绪特征数据层。基于每层待处理滤波融合数据对应的数据类型进行特征提取算法匹配，确定每层待处理滤波融合数据对应的特征提取算法。不同类型的数据可能需要采用不同的特征提取算法，以提取出最具代表性和区分性的特征。例如，对于位置特征数据层，可以使用运动轨迹分析算法提取医生手柄操作的位置和运动信息；对于关注位置特征数据层，可以使用注视点识别算法提取医生在场景中关注的区域；对于情绪特征数据层，可以使用频谱分析和波形形态分析等算法提取脑电波数据中的情绪特征。通过每层待处理滤波融合数据对应的特征提取算法，分别对每层待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、关注位置特征数据以及情绪特征数据。特征数据提取的结果将是针对每个数据类型的具体特征值或特征向量。例如，继续以虚拟现实的医疗辅助***为例，假设服务器有三层待处理滤波融合数据，分别是低频层的手柄操作位置数据、高频层的场景关注点数据和脑电波数据层。通过分层标准匹配，将手柄操作位置数据匹配到位置特征数据层，场景关注点数据匹配到关注位置特征数据层，脑电波数据匹配到情绪特征数据层。基于数据类型进行特征提取算法匹配，针对位置特征数据层，使用运动轨迹分析算法提取医生手柄操作的位置和运动信息；针对关注位置特征数据层，使用注视点识别算法提取医生在场景中关注的区域；针对情绪特征数据层，使用频谱分析和波形形态分析等算法提取脑电波数据中的情绪特征。通过特征提取算法，分别对三层待处理滤波融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据。这些特征数据将用于后续的数据分析和应用，例如在虚拟现实医疗辅助***中，根据医生的位置特征和关注位置特征，优化虚拟场景的呈现方式，同时根据情绪特征提供实时的反馈和调整，以提升医生的手术体验和效率。
S105、通过位置特征数据以及关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
具体的，对位置特征数据进行三维虚拟点云构建，得到第一候选三维虚拟点云。位置特征数据可能包含用户手柄操作的位置和运动信息，通过将这些数据在三维空间中进行点云构建，得到对应的虚拟点云表示。对关注位置特征数据进行三维虚拟点云构建，得到第二候选三维虚拟点云。关注位置特征数据可能包含用户在场景中关注的区域或关键点信息，同样通过在三维空间中构建虚拟点云表示这些数据。对第一候选三维虚拟点云进行虚拟三维空间映射，得到第一虚拟三维空间。本实施例中，将第一候选三维虚拟点云映射到三维显示空间中，创建一个虚拟的三维空间模型。对第二候选三维虚拟点云进行虚拟三维空间映射，得到第二虚拟三维空间。同样，将第二候选三维虚拟点云映射到三维显示空间中，得到另一个虚拟的三维空间模型。对第一虚拟三维空间以及第二虚拟三维空间进行空间分割点匹配，确定空间分割点集合。在这一步骤中，通过比较两个虚拟空间模型中的点云数据，找到相匹配的点集合。这些相匹配的点表示在两个虚拟空间中位置和关注点相似的区域。基于空间分割点集合对三维显示空间进行空间分割，得到所述目标空间区域。根据相匹配的点集合，可以将三维显示空间划分成多个目标空间区域，每个区域包含了具有相似位置和关注特征的点集合。例如，假设服务器正在开发一款虚拟现实游戏，用户通过手柄设备在游戏中进行控制，虚拟现实眼镜会跟踪用户的头部运动和注视点。通过手柄设备记录用户在游戏中的位置和运动信息，并将这些数据进行三维虚拟点云构建，得到第一候选三维虚拟点云。虚拟现实眼镜记录用户在游戏中关注的区域或关键点信息，并进行三维虚拟点云构建，得到第二候选三维虚拟点云。将第一候选三维虚拟点云映射到游戏的三维显示空间中，得到第一虚拟三维空间模型。将第二候选三维虚拟点云映射到游戏的三维显示空间中，得到第二虚拟三维空间模型。通过比较第一虚拟三维空间和第二虚拟三维空间中的点云数据，找到相匹配的点集合，确定空间分割点集合。根据空间分割点集合，将游戏的三维显示空间划分成多个目标空间区域，每个区域包含了具有相似位置和关注特征的点集合。这些目标空间区域可以用于游戏中的交互设计，例如根据用户的注视点调整游戏场景中的物体效果，提供更加个性化和沉浸式的游戏体验。
S106、采集目标用户的语音控制指令，并通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令；
具体的，***通过麦克风等设备实时采集目标用户的语音控制指令。采集到的语音数据是模拟信号，需要经过模数转换将其转换为数字信号，以便进行后续的数字信号处理。对数字化的语音数据进行语音识别。语音识别技术是将语音信号转换成文本或指令的过程。现代的语音识别***通常基于深度学习技术，如循环神经网络（RNN）和转录注意力机制（Transcription Attention Mechanism）。这些技术可以对语音数据进行特征提取和模式识别，将用户的语音指令转换成文本格式。同时，***还需要采集目标用户的情绪特征数据。这通过多种方式实现，例如利用情感识别传感器、面部表情识别技术、脑电波数据采集等。情感分析的目标是确定用户当前的情绪状态，例如快乐、悲伤、愤怒等。对于语音控制场景，情感分析通过分析语音中的音调、语速、语调以及一些语言特征来实现。现代的情感分析技术通常结合了自然语言处理（NLP）技术和机器学习算法，如支持向量机（SVM）和深度神经网络（DNN），来对文本或语音数据进行情感分类。将语音识别得到的文本指令和情感分析得到的情绪特征数据结合起来，形成一个综合的语义表示。例如，用户说出“打开灯”，并且情感分析显示用户情绪积极，***会识别出用户想要打开灯，并且可能感到高兴或满足。根据综合的语义表示，***会生成相应的交互指令。例如，***可能会生成“打开灯，并播放快乐音乐”，以满足用户积极的情绪。如果情感分析显示用户情绪低落，***可能会生成“打开灯，并调暗灯光”，以改善用户的情绪。***根据生成的目标交互指令，执行相应的交互动作。这可能涉及到设备控制、场景切换、音乐播放等操作，以满足用户的需求和情感状态。例如，***会执行打开灯光的指令，同时根据情感分析的结果选择播放合适的音乐，从而为用户提供更加智能化和个性化的交互体验。整个过程的目标是根据用户的语音指令和情绪状态，生成相应的交互指令，以提供更加智能化和情感化的用户体验。
S107、通过目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过目标交互指令进行全息设备匹配，确定目标全息设备集合；
具体的，从目标交互指令中提取交互位置信息。根据交互指令的语义分析，识别出涉及到的交互位置数据，这可能是虚拟现实场景中的某个区域、虚拟物体的位置或者用户的实际位置。将交互位置数据映射到预置的全息显示空间坐标系中。全息显示空间坐标系是一个虚拟的三维坐标***，用于定位虚拟物体、用户或其他交互元素的位置。通过对交互位置数据与全息显示空间坐标系进行对应，得到相应的三维坐标信息，形成全息显示空间坐标集。解析目标交互指令中的设备标识信息。设备标识可以是用于识别特定全息设备的唯一标识符，例如设备序列号、设备名称或其他标识码。通过分析交互指令中的设备标识信息，得到目标设备标识集。将目标设备标识集与预先配置的全息设备信息进行匹配。预先配置的全息设备信息包含了各个全息设备的位置、功能、属性等相关信息。通过将目标设备标识与这些配置信息进行比对，可以确定目标交互指令所涉及的全息设备集合。例如，假设有一个虚拟现实智能助理***，它通过语音指令进行交互，用户可以向***发出不同的指令，例如，“打开应用程序”、“关闭窗口”和“切换场景”。用户发出语音指令“打开应用程序”，***识别出指令并分析用户情绪为正常状态。***从指令中提取交互位置数据为虚拟现实场景中的某个区域。***将交互位置数据映射到全息显示空间坐标系，得到对应的三维坐标。***分析语音指令中的设备标识为“应用程序”。***通过匹配设备标识“应用程序”与预先配置的全息设备信息，确定指令所涉及的全息设备集合，从而执行打开应用程序的操作。
S108、基于全息显示空间坐标集，通过目标全息设备集合构建三维虚拟现实空间，并将三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。
需要说明的是，从目标全息设备集合中提取设备信息，包括设备的位置、形状、尺寸等几何元素数据。这些信息可以描述每个设备在全息显示空间中的位置和特征。根据设备信息将这些几何元素数据与全息显示空间坐标集进行关联。全息显示空间坐标集是一个虚拟的三维坐标***，用于定位虚拟物体、用户和交互元素的位置。通过将设备的几何元素数据与全息显示空间坐标集进行对应，得到三维虚拟现实空间的表示。对于每个设备，根据其几何元素数据在全息显示空间中的位置，进行虚拟空间生成。这意味着将设备放置在合适的位置，并调整其在虚拟现实场景中的大小和形状，使其能够在虚拟世界中与其他虚拟物体进行交互。将生成的三维虚拟现实空间传输至目标用户的虚拟现实眼镜，以便进行全息影像显示。通过无线传输技术将虚拟现实场景的数据传输到眼镜设备，用户戴上眼镜后就可以在眼镜中看到全息影像，与虚拟现实场景进行交互。例如，考虑一个虚拟现实教学场景，学生通过全息眼镜进入虚拟世界学习科学知识。在虚拟教室中，有几个全息设备，包括一个虚拟投影仪、一个虚拟实验台和一个虚拟交互屏幕。***从目标全息设备集合中提取出这些设备的几何元素数据，包括它们的位置、形状和尺寸。***将这些几何元素数据与全息显示空间坐标集进行关联，得到三维虚拟现实空间的表示。***根据每个设备在全息显示空间中的位置，进行虚拟空间生成。虚拟投影仪被放置在教室的一侧墙壁上，虚拟实验台被放置在教室的中央位置，虚拟交互屏幕被放置在教室的另一侧墙壁上。根据设备的几何元素数据，调整它们在虚拟现实场景中的大小和形状，使其能够与学生进行交互，例如学生可以在虚拟实验台上进行实验操作。***将生成的三维虚拟现实空间传输至目标用户的虚拟现实眼镜，让学生戴上眼镜后可以在眼镜中看到全息影像。学生通过眼镜中的交互功能，与虚拟投影仪进行互动，调整投影内容；在虚拟实验台上进行实验操作；并通过虚拟交互屏幕与虚拟教师进行互动交流。
本发明实施例中，进行红外反射信号采集得到红外反射信号；采集目标用户的视觉动线得到目标视觉动线，对目标用户进行脑电波数据采集得到脑电波数据集合；进行时间序列对齐处理，得到目标融合数据；对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；对三维显示空间进行空间分割，得到目标空间区域；通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令；构建全息显示空间坐标，生成全息显示空间坐标集，进行全息设备匹配，确定目标全息设备集合；构建三维虚拟现实空间，将三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。在本申请实施例中，通过红外反射信号采集、视觉动线采集和脑电波数据采集等多模态数据的综合应用，实现了更加沉浸式的交互体验。用户通过手柄设备、视觉动线和脑电波等方式与虚拟环境进行实时互动，提供更加自然、真实的交互体验。通过对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据和情绪特征数据。这些特征数据可以用于更深入的用户行为分析、情感识别和个性化交互，提供更加个性化、智能化的服务。通过对三维显示空间进行空间分割，得到目标空间区域。这有助于将虚拟场景划分为不同的区域，便于定位和管理用户的交互行为，提供更准确和针对性的交互体验。通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令，并进行全息设备匹配，确定目标全息设备集合。这有助于根据用户的情感状态和语音指令，智能地选择合适的设备和交互方式，提供个性化、智能化的交互体验。通过构建三维虚拟现实空间，并将其传输至目标用户的虚拟现实眼镜进行全息影像显示，实现了真实感和沉浸感的全息影像展示。用户通过虚拟现实眼镜观看并与全息影像进行互动，提供更加逼真和生动的视觉体验。
在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：
（1）分别对红外反射信号、目标视觉动线以及脑电波数据集合进行时间戳标定，确定红外反射信号对应的第一初始时间戳、目标视觉动线对应的第二初始时间戳以及脑电波数据集合对应的第三初始时间戳；
（2）对第一初始时间戳、第二初始时间戳以及第三初始时间戳进行时间轴分析，确定至少一个时间轴数据；
（3）对至少一个时间轴数据进行基于线性插值的时间轴对齐处理，确定目标时间轴；
（4）基于目标时间轴，对红外反射信号、目标视觉动线以及脑电波数据集合进行数据融合，生成目标融合数据。
具体的，对红外反射信号、目标视觉动线和脑电波数据集合进行时间戳标定，确定每个数据点的时间戳。时间戳标定通过记录数据的时间信息，例如从数据采集设备获取的时间戳或者***时间来实现。每个数据点都被标记上与其对应的时间戳，这样可以将不同数据集合中的数据点关联到正确的时间点上。进行时间轴分析，得到各个数据集合的时间轴情况，例如起始时间和结束时间。这样可以了解每个数据集合的数据点在时间轴上的分布情况，以及各个数据集合的时间长度。根据时间轴分析的结果，可以选择一个数据集合的时间轴作为目标时间轴，也可以将多个数据集合的时间轴进行合并，得到一个统一的时间轴。统一的目标时间轴将确保不同数据集合的数据点在同一个时间标尺下进行对齐和比较。对目标时间轴上的数据进行线性插值的时间轴对齐处理。这是为了解决数据采集过程中可能存在的不同采样率或时间戳误差的问题。通过线性插值等算法来对数据进行插补和对齐，使得红外反射信号、目标视觉动线和脑电波数据在时间轴上能够按照相同的时间步长排列。基于目标时间轴，对红外反射信号、目标视觉动线和脑电波数据集合进行数据融合，生成目标融合数据。数据融合是将各个数据集合中的数据点按照目标时间轴上的对应位置进行合并。服务器得到了一个完整的目标融合数据，其中包含了红外反射信号、目标视觉动线和脑电波数据的融合信息。例如，假设有一个虚拟现实游戏，玩家戴着虚拟现实头显进行游戏。在游戏中，玩家需要使用头部运动控制游戏角色的视角，同时通过凝视不同的物体来进行交互，同时记录玩家的脑电波数据以分析玩家的情绪状态。对红外反射信号、目标视觉动线和脑电波数据集合进行时间戳标定。例如，每个头部运动、凝视动作和脑电波数据点都被标记上与其对应的时间戳，确保这些数据点与其记录的时间一一对应。进行时间轴分析，得到各个数据集合的时间轴情况。假设头部运动数据的时间轴范围是从游戏开始到结束，凝视动作数据的时间轴范围是从游戏开始到结束，脑电波数据的时间轴范围也是从游戏开始到结束。根据时间轴分析的结果，选择一个数据集合的时间轴作为目标时间轴。本实施例中，服务器选择头部运动数据的时间轴作为目标时间轴，因为头部运动是玩家控制游戏角色视角的主要输入。对头部运动数据进行线性插值的时间轴对齐处理。通过线性插值算法，将头部运动数据的时间轴与凝视动作数据和脑电波数据的时间轴对齐，确保它们在同一个时间标尺下进行对比和分析。基于目标时间轴，对头部运动数据、凝视动作数据和脑电波数据进行数据融合，生成目标融合数据。例如，服务器将头部运动数据和凝视动作数据整合在一起，分析玩家在游戏中的视觉注意力与头部运动的关系，同时结合脑电波数据分析玩家在不同游戏场景下的情绪状态。
在一具体实施例中，如图2所示，执行步骤S104的过程可以具体包括如下步骤：
S201、对目标融合数据进行数据滤波处理，生成滤波融合数据；
S202、对滤波融合数据进行数据分层，确定多层待处理滤波融合数据；
S203、分别对每层待处理滤波融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据。
需要说明的是，进行数据滤波处理。数据滤波是为了去除数据中的噪声和异常值，以提高数据质量和准确性。常用的滤波方法包括低通滤波、中值滤波、高斯滤波等。这些方法可以平滑数据，消除不必要的波动，同时保留重要的特征信息。通过数据滤波处理，服务器得到了滤波融合数据。对滤波融合数据进行数据分层。数据分层是为了将数据划分为不同的层次，以便进一步提取不同层次的特征信息。分层根据特定的标准进行，比如根据时间段、空间区域、或者其他相关属性。通过数据分层，服务器确定了多层待处理滤波融合数据。在数据分层之后，服务器分别对每层待处理滤波融合数据进行多类型特征数据提取。特征数据提取是为了从数据中提取有意义的特征，用于后续的分析和应用。对于每一层数据，服务器采用不同的特征提取算法来得到位置特征数据、关注位置特征数据以及情绪特征数据。例如，在虚拟现实应用中，服务器通过对用户在虚拟场景中的行为数据进行滤波处理，去除由于设备误差或运动抖动导致的噪声。服务器将用户的行为数据分层，根据时间段将数据分为不同的阶段，比如探索阶段、交互阶段和决策阶段。服务器针对每个阶段的数据分别提取特征。对于位置特征数据，服务器提取用户在虚拟场景中的运动轨迹、注视点集合以及交互位置集合。这些特征可以帮助服务器了解用户在虚拟场景中的活动范围、感兴趣的区域以及与虚拟对象的交互情况。关注位置特征数据通过分析用户的注视点集合，计算用户对虚拟场景中不同区域的关注度。服务器了解哪些区域对用户更加吸引，并根据用户的关注点来优化虚拟场景的内容呈现。情绪特征数据的提取通过分析脑电波数据，识别用户在不同阶段的情绪状态。例如，服务器通过情绪识别算法，从脑电波数据中提取出用户的情绪状态，比如高兴、紧张、放松等。这样可以帮助服务器了解用户在虚拟场景中的情绪变化，从而为用户提供更加个性化和情感化的虚拟体验。
在一具体实施例中，如图3所示，执行步骤S203的过程可以具体包括如下步骤：
S301、对每层待处理滤波融合数据进行分层标准匹配，确定每层待处理滤波融合数据对应的数据类型；
S302、基于每层待处理滤波融合数据对应的数据类型进行特征提取算法匹配，确定每层待处理滤波融合数据对应的特征提取算法；
S303、通过每层待处理滤波融合数据对应的特征提取算法分别对每层待处理滤波融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据。
需要说明的是，进行分层标准匹配。根据数据的特点和应用需求，为每层待处理滤波融合数据定义相应的分层标准。分层标准根据时间、空间或其他属性来确定。例如，在虚拟现实场景中，服务器将用户的交互行为按照时间段进行分层，例如探索阶段、任务执行阶段和休息阶段。根据这些标准，服务器将不同时间段的数据归类到不同层次。进行特征提取算法匹配。对于每层待处理滤波融合数据，服务器根据其所属的数据类型选择合适的特征提取算法。不同类型的数据可能需要不同的特征提取方法，以从中提取最有价值的信息。例如，在位置特征数据中，服务器采用轨迹分析算法，提取用户在虚拟场景中的运动轨迹和交互路径。而对于关注位置特征数据，服务器使用注视点聚类算法，识别用户在虚拟场景中的关注点。对于情绪特征数据，服务器采用脑电波情绪识别算法，从脑电波数据中提取用户的情绪状态。通过特征提取算法对每层待处理滤波融合数据进行多类型特征数据提取。这意味着服务器从每层数据中提取多种有意义的特征信息。例如，假设服务器正在开发一种全息通信***，它允许用户通过全息设备进行远程通信，并在三维虚拟空间中实时交流。根据每层数据的数据类型，服务器匹配适当的特征提取算法。例如，在静止阶段，服务器使用频域分析算法，提取用户的生物特征作为位置特征数据；在交互阶段，服务器采用情感分析算法，提取用户情绪状态作为情绪特征数据。通过这些特征提取算法，服务器分别从每层待处理滤波融合数据中提取位置特征数据、关注位置特征数据以及情绪特征数据。这些特征数据将有助于服务器更好地理解用户在全息通信***中的行为和情感状态，从而提供更加沉浸式和真实的交互体验。
在一具体实施例中，如图4所示，执行步骤S105的过程可以具体包括如下步骤：
S401、对位置特征数据进行三维虚拟点云构建，得到第一候选三维虚拟点云；
S402、对关注位置特征数据进行三维虚拟点云构建，得到第二候选三维虚拟点云；
S403、对第一候选三维虚拟点云进行虚拟三维空间映射，得到第一虚拟三维空间；
S404、对第二候选三维虚拟点云进行虚拟三维空间映射，得到第二虚拟三维空间；
S405、对第一虚拟三维空间以及第二虚拟三维空间进行空间分割点匹配，确定空间分割点集合；
S406、基于空间分割点集合对三维显示空间进行空间分割，得到目标空间区域。
具体的，对位置特征数据进行三维虚拟点云构建，得到第一候选三维虚拟点云。将位置特征数据中的每个位置转换为一个三维坐标点，并将所有这些点组合成一个虚拟点云。对关注位置特征数据进行三维虚拟点云构建，得到第二候选三维虚拟点云。同样地，服务器将关注位置特征数据中的每个位置转换为三维坐标点，并将它们组合成另一个虚拟点云。对第一候选三维虚拟点云进行虚拟三维空间映射，得到第一虚拟三维空间。这将第一候选三维虚拟点云中的点映射到一个虚拟的三维空间中，从而得到一个具有三维坐标的虚拟空间。对第二候选三维虚拟点云进行虚拟三维空间映射，得到第二虚拟三维空间。同样地，服务器将第二候选三维虚拟点云中的点映射到另一个虚拟的三维空间中，得到第二个虚拟空间。在此之后，对第一虚拟三维空间和第二虚拟三维空间进行空间分割点匹配，确定空间分割点集合。将第一虚拟空间中的一些点与第二虚拟空间中的相应点进行匹配，以确定它们在实际空间中表示相同位置或区域的可能性。基于空间分割点集合对三维显示空间进行空间分割，得到目标空间区域。服务器将根据匹配的点集合对三维显示空间进行划分，从而得到用户在虚拟现实眼镜中所能看到的目标空间区域，以提供沉浸式的全息影像显示。例如，假设服务器正在开发一个虚拟现实导航***。用户通过全息设备查看导航路线，并在虚拟现实眼镜中实时导航。在这个***中，服务器会根据用户的位置特征数据和关注位置特征数据构建两个三维虚拟点云，分别代表用户的位置和关注的位置。将这两个虚拟点云映射到虚拟三维空间中，得到两个虚拟空间。通过匹配两个虚拟空间中的点，确定用户关注的导航路线和周围环境的对应关系。根据匹配点集合对三维显示空间进行空间分割，确保用户在虚拟现实眼镜中只看到导航路线和相关地图信息，从而提供更好的导航体验。
在一具体实施例中，执行步骤S107的过程可以具体包括如下步骤：
（1）对目标交互指令进行交互位置映射，确定交互位置数据；
（2）基于预置的空间坐标系对交互位置数据进行坐标映射，生成全息显示空间坐标集；
（3）对目标交互指令进行设备标识分析，确定目标设备标识集；
（4）通过目标设备标识集进行全息设备匹配，确定目标全息设备集合。
具体的，目标用户通过交互方式（例如手势、语音指令等）表达了自己的意图。例如，用户可能通过手势指向特定位置，或者使用语音指令描述所需操作。***将对目标交互指令进行处理，并从中提取交互位置数据。这个过程涉及传感器数据的捕捉和解析，以获得用户指定的交互位置坐标。***使用预置的空间坐标系来对交互位置数据进行坐标映射。预置的空间坐标系是全息显示空间的坐标系，用于描述全息投影的布局和位置。通过将交互位置数据映射到这个空间坐标系中，***可以得到全息显示空间的坐标集，其中包含用户交互的具***置信息。同时，***还会对目标交互指令中的设备标识信息进行分析，以确定用户希望在哪些设备上进行交互。设备标识信息可以告诉***用户的设备偏好，例如，用户可能选择在特定的全息设备或虚拟现实眼镜上观看或操作内容。***将根据设备标识集进行全息设备匹配，确定适合用户交互意图的全息设备集合。通过匹配目标设备，***可以确保内容在正确的设备上显示或传输，为用户提供定制化的全息交互体验。例如，假设服务器正在开发一个全息演示***。用户通过手势和语音指令与全息内容进行交互。在这个***中，用户可以用手指指向全息投影空间中的一个特定位置，然后通过语音指令来触发某个动作或展示特定内容。本实施例中，用户使用手势指向交互位置，***通过传感器捕捉到这一指向的位置信息，并将其映射为交互位置数据。***使用预置的空间坐标系将交互位置数据映射为全息显示空间坐标，得到用户指向的具***置。用户通过语音指令表达交互意图，***对指令进行分析，并确定用户的设备标识集。如果用户通过指令选择在特定的全息设备上观看演示内容，***将确定该全息设备为目标设备之一。如果用户选择使用虚拟现实眼镜进行交互，***将将虚拟现实眼镜加入目标全息设备集合。本实施例中，***可以实现对用户交互指令的处理和全息设备的匹配，从而提供定制化的全息演示体验。
在一具体实施例中，执行步骤S108的过程可以具体包括如下步骤：
（1）通过目标全息设备集合对全息显示空间坐标集进行几何元素提取，确定几何元素集合；
（2）对几何元素集合进行虚拟空间生成，得到三维虚拟现实空间；
（3）将三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。
具体的，目标全息设备集合包含了***中所有符合用户要求的全息设备，这些设备可能是全息投影仪、虚拟现实眼镜或其他支持全息影像显示的装置。***根据目标全息设备集合对全息显示空间坐标集进行几何元素提取。全息显示空间坐标集包含了用于构建全息影像的所有空间位置信息。几何元素提取是将空间坐标集中的位置信息转换为具有几何形状的元素，例如点、线、面等。这些几何元素将作为构建三维虚拟现实空间的基础。随后，***利用提取的几何元素集合进行虚拟空间生成。在虚拟空间生成过程中，***会根据几何元素的位置和形状来构建三维虚拟现实空间。这个虚拟现实空间是由几何元素组成的，可以模拟现实世界中的物体、场景和环境。***将生成的三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。虚拟现实眼镜是用户与虚拟现实环境进行交互的设备，它可以将三维虚拟现实空间投影到用户的视觉感知中。通过虚拟现实眼镜的显示，用户可以体验全息影像，并与虚拟现实空间进行互动和沉浸式体验。例如，假设服务器正在开发一个医学培训***，旨在提供虚拟手术的培训体验。目标全息设备集合包括了一台全息投影仪和一副虚拟现实眼镜。***根据全息投影仪和虚拟现实眼镜的位置和属性对全息显示空间坐标集进行几何元素提取，得到表示手术器械、人体解剖结构等的几何元素集合。***根据这些几何元素集合构建三维虚拟现实空间，模拟手术环境和操作场景。***将生成的虚拟手术空间传输至虚拟现实眼镜中，用户戴上眼镜后可以在全息影像中观察和操作虚拟手术，提升医学培训的实践性和体验效果。本实施例中，可以看到如何通过目标全息设备集合，对全息显示空间进行几何元素提取，并将生成的三维虚拟现实空间传输至用户的虚拟现实眼镜中进行全息影像显示。
通过以上步骤，通过红外反射信号采集、视觉动线采集和脑电波数据采集等多模态数据的综合应用，实现了更加沉浸式的交互体验。用户通过手柄设备、视觉动线和脑电波等方式与虚拟环境进行实时互动，提供更加自然、真实的交互体验。通过对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据和情绪特征数据。这些特征数据可以用于更深入的用户行为分析、情感识别和个性化交互，提供更加个性化、智能化的服务。通过对三维显示空间进行空间分割，得到目标空间区域。这有助于将虚拟场景划分为不同的区域，便于定位和管理用户的交互行为，提供更准确和针对性的交互体验。通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令，并进行全息设备匹配，确定目标全息设备集合。这有助于根据用户的情感状态和语音指令，智能地选择合适的设备和交互方式，提供个性化、智能化的交互体验。通过构建三维虚拟现实空间，并将其传输至目标用户的虚拟现实眼镜进行全息影像显示，实现了真实感和沉浸感的全息影像展示。用户通过虚拟现实眼镜观看并与全息影像进行互动，提供更加逼真和生动的视觉体验。
上面对本发明实施例中基于全息设备的多模态交互方法进行了描述，下面对本发明实施例中基于全息设备的多模态交互装置进行描述，请参阅图5，本发明实施例中基于全息设备的多模态交互装置一个实施例包括：
第一采集模块501，用于对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
第二采集模块502，用于通过预置的虚拟现实眼镜采集所述目标用户的视觉动线，得到目标视觉动线，并通过所述虚拟现实眼镜对所述目标用户进行脑电波数据采集，得到脑电波数据集合；
对齐模块503，用于对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
提取模块504，用于对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
分割模块505，用于通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
生成模块506，用于采集所述目标用户的语音控制指令，并通过所述情绪特征数据对所述语音控制指令进行交互指令生成，生成目标交互指令；
匹配模块507，用于通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合；
显示模块508，用于基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
通过上述各个组成部分的协同合作，进行红外反射信号采集得到红外反射信号；采集目标用户的视觉动线得到目标视觉动线，对目标用户进行脑电波数据采集得到脑电波数据集合；进行时间序列对齐处理，得到目标融合数据；对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；对三维显示空间进行空间分割，得到目标空间区域；通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令；构建全息显示空间坐标，生成全息显示空间坐标集，进行全息设备匹配，确定目标全息设备集合；构建三维虚拟现实空间，将三维虚拟现实空间传输至目标用户的虚拟现实眼镜进行全息影像显示。在本申请实施例中，通过红外反射信号采集、视觉动线采集和脑电波数据采集等多模态数据的综合应用，实现了更加沉浸式的交互体验。用户通过手柄设备、视觉动线和脑电波等方式与虚拟环境进行实时互动，提供更加自然、真实的交互体验。通过对目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据和情绪特征数据。这些特征数据可以用于更深入的用户行为分析、情感识别和个性化交互，提供更加个性化、智能化的服务。通过对三维显示空间进行空间分割，得到目标空间区域。这有助于将虚拟场景划分为不同的区域，便于定位和管理用户的交互行为，提供更准确和针对性的交互体验。通过情绪特征数据对语音控制指令进行交互指令生成，生成目标交互指令，并进行全息设备匹配，确定目标全息设备集合。这有助于根据用户的情感状态和语音指令，智能地选择合适的设备和交互方式，提供个性化、智能化的交互体验。通过构建三维虚拟现实空间，并将其传输至目标用户的虚拟现实眼镜进行全息影像显示，实现了真实感和沉浸感的全息影像展示。用户通过虚拟现实眼镜观看并与全息影像进行互动，提供更加逼真和生动的视觉体验。
上面图5从模块化功能实体的角度对本发明实施例中的基于全息设备的多模态交互装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于全息设备的多模态交互设备进行详细描述。
图6是本发明实施例提供的一种基于全息设备的多模态交互设备的结构示意图，该基于全息设备的多模态交互设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于全息设备的多模态交互设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于全息设备的多模态交互设备600上执行存储介质630中的一系列指令操作。
基于全息设备的多模态交互设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于全息设备的多模态交互设备结构并不构成对基于全息设备的多模态交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于全息设备的多模态交互设备，所述基于全息设备的多模态交互设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于全息设备的多模态交互方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于全息设备的多模态交互方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时，可以存储在一个计算机可读取存储介质中。基于的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory， ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于全息设备的多模态交互方法，其特征在于，所述基于全息设备的多模态交互方法包括：
对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
通过预置的虚拟现实眼镜采集所述目标用户的视觉动线，得到目标视觉动线，并通过所述虚拟现实眼镜对所述目标用户进行脑电波数据采集，得到脑电波数据集合；
对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
采集所述目标用户的语音控制指令，并通过所述情绪特征数据对所述语音控制指令进行交互指令生成，生成目标交互指令；
通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合；
基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
2.根据权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据，包括：
分别对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间戳标定，确定所述红外反射信号对应的第一初始时间戳、所述目标视觉动线对应的第二初始时间戳以及所述脑电波数据集合对应的第三初始时间戳；
对所述第一初始时间戳、所述第二初始时间戳以及所述第三初始时间戳进行时间轴分析，确定至少一个时间轴数据；
对所述至少一个时间轴数据进行基于线性插值的时间轴对齐处理，确定目标时间轴；
基于所述目标时间轴，对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行数据融合，生成目标融合数据。
3.根据权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据，包括：
对所述目标融合数据进行数据滤波处理，生成滤波融合数据；
对所述滤波融合数据进行数据分层，确定多层待处理滤波融合数据；
分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据。
4.根据权利要求3所述的基于全息设备的多模态交互方法，其特征在于，所述分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据，包括：
对每层所述待处理滤波融合数据进行分层标准匹配，确定每层所述待处理滤波融合数据对应的数据类型；
基于每层所述待处理滤波融合数据对应的数据类型进行特征提取算法匹配，确定每层所述待处理滤波融合数据对应的特征提取算法；
通过每层所述待处理滤波融合数据对应的特征提取算法分别对每层所述待处理滤波融合数据进行多类型特征数据提取，得到所述位置特征数据、所述关注位置特征数据以及所述情绪特征数据。
5.根据权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域，包括：
对所述位置特征数据进行三维虚拟点云构建，得到第一候选三维虚拟点云；
对所述关注位置特征数据进行三维虚拟点云构建，得到第二候选三维虚拟点云；
对所述第一候选三维虚拟点云进行虚拟三维空间映射，得到第一虚拟三维空间；
对所述第二候选三维虚拟点云进行虚拟三维空间映射，得到第二虚拟三维空间；
对所述第一虚拟三维空间以及所述第二虚拟三维空间进行空间分割点匹配，确定空间分割点集合；
基于所述空间分割点集合对所述三维显示空间进行空间分割，得到所述目标空间区域。
6.根据权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合，包括：
对所述目标交互指令进行交互位置映射，确定交互位置数据；
基于预置的空间坐标系对所述交互位置数据进行坐标映射，生成所述全息显示空间坐标集；
对所述目标交互指令进行设备标识分析，确定目标设备标识集；
通过所述目标设备标识集进行全息设备匹配，确定所述目标全息设备集合。
7.根据权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示，包括：
通过所述目标全息设备集合对所述全息显示空间坐标集进行几何元素提取，确定几何元素集合；
对所述几何元素集合进行虚拟空间生成，得到所述三维虚拟现实空间；
将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
8.一种基于全息设备的多模态交互装置，其特征在于，所述基于全息设备的多模态交互装置包括：
第一采集模块，用于对目标用户的手持手柄设备进行红外反射信号采集，得到红外反射信号；
第二采集模块，用于通过预置的虚拟现实眼镜采集所述目标用户的视觉动线，得到目标视觉动线，并通过所述虚拟现实眼镜对所述目标用户进行脑电波数据采集，得到脑电波数据集合；
对齐模块，用于对所述红外反射信号、所述目标视觉动线以及所述脑电波数据集合进行时间序列对齐处理，得到目标融合数据；
提取模块，用于对所述目标融合数据进行多类型特征数据提取，得到位置特征数据、关注位置特征数据以及情绪特征数据；
分割模块，用于通过所述位置特征数据以及所述关注位置特征数据对预置的三维显示空间进行空间分割，得到对应的目标空间区域；
生成模块，用于采集所述目标用户的语音控制指令，并通过所述情绪特征数据对所述语音控制指令进行交互指令生成，生成目标交互指令；
匹配模块，用于通过所述目标交互指令构建全息显示空间坐标，生成全息显示空间坐标集，并通过所述目标交互指令进行全息设备匹配，确定目标全息设备集合；
显示模块，用于基于所述全息显示空间坐标集，通过所述目标全息设备集合构建三维虚拟现实空间，并将所述三维虚拟现实空间传输至所述目标用户的虚拟现实眼镜进行全息影像显示。
9.一种基于全息设备的多模态交互设备，其特征在于，所述基于全息设备的多模态交互设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于全息设备的多模态交互设备执行如权利要求1-7中任一项所述的基于全息设备的多模态交互方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于全息设备的多模态交互方法。
CN202311148693.4A 2023-09-07 2023-09-07 基于全息设备的多模态交互方法及*** Active CN116880701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311148693.4A CN116880701B (zh) 2023-09-07 2023-09-07 基于全息设备的多模态交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311148693.4A CN116880701B (zh) 2023-09-07 2023-09-07 基于全息设备的多模态交互方法及***

Publications (2)

Publication Number Publication Date
CN116880701A true CN116880701A (zh) 2023-10-13
CN116880701B CN116880701B (zh) 2023-12-22

Family

ID=88272137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311148693.4A Active CN116880701B (zh) 2023-09-07 2023-09-07 基于全息设备的多模态交互方法及***

Country Status (1)

Country Link
CN (1) CN116880701B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115169A (zh) * 2023-10-25 2023-11-24 宁波吉烨汽配模具有限公司 一种汽车配件压铸模具表面形变异常智能识别方法
CN117519551A (zh) * 2023-10-31 2024-02-06 广东壹视界智能科技有限公司 触控显示屏的视觉交互方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200125A (ja) * 1998-12-30 2000-07-18 Fuji Xerox Co Ltd インタフェ―ス
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和***
CN108037829A (zh) * 2017-12-13 2018-05-15 北京光年无限科技有限公司 基于全息设备的多模态交互方法及***
US20180350145A1 (en) * 2017-05-30 2018-12-06 Reston Restoration Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
CN111890389A (zh) * 2020-06-22 2020-11-06 东南大学 基于多模态交互接口的多移动机器人协同控制***
KR20220029835A (ko) * 2020-08-28 2022-03-10 김원철 현실공간 분할 매칭 3d공간정보 구축 시스템
US20230064049A1 (en) * 2021-08-31 2023-03-02 Nvidia Corporation Multi-modal sensor fusion for content identification in applications of human-machine interfaces
CN116400802A (zh) * 2023-03-21 2023-07-07 海信电子科技(武汉)有限公司 虚拟现实设备及多模态情绪识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200125A (ja) * 1998-12-30 2000-07-18 Fuji Xerox Co Ltd インタフェ―ス
US20180350145A1 (en) * 2017-05-30 2018-12-06 Reston Restoration Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和***
CN108037829A (zh) * 2017-12-13 2018-05-15 北京光年无限科技有限公司 基于全息设备的多模态交互方法及***
CN111890389A (zh) * 2020-06-22 2020-11-06 东南大学 基于多模态交互接口的多移动机器人协同控制***
KR20220029835A (ko) * 2020-08-28 2022-03-10 김원철 현실공간 분할 매칭 3d공간정보 구축 시스템
US20230064049A1 (en) * 2021-08-31 2023-03-02 Nvidia Corporation Multi-modal sensor fusion for content identification in applications of human-machine interfaces
CN116400802A (zh) * 2023-03-21 2023-07-07 海信电子科技(武汉)有限公司 虚拟现实设备及多模态情绪识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115169A (zh) * 2023-10-25 2023-11-24 宁波吉烨汽配模具有限公司 一种汽车配件压铸模具表面形变异常智能识别方法
CN117519551A (zh) * 2023-10-31 2024-02-06 广东壹视界智能科技有限公司 触控显示屏的视觉交互方法、装置、设备及存储介质
CN117519551B (zh) * 2023-10-31 2024-05-28 广东壹视界智能科技有限公司 触控显示屏的视觉交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116880701B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN116880701B (zh) 基于全息设备的多模态交互方法及***
CN110531860B (zh) 一种基于人工智能的动画形象驱动方法和装置
US11438724B2 (en) Head pose mixing of audio files
Wheatland et al. State of the art in hand and finger modeling and animation
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
US11508344B2 (en) Information processing device, information processing method and program
EP1408443B1 (en) Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
CN109844854A (zh) 单词流注释
CN116909407B (zh) 基于虚拟现实的触控显示屏全景交互方法及控制***
KR20010081193A (ko) 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치
CN113436602A (zh) 虚拟形象语音交互方法、装置、投影设备和计算机介质
CN113703574A (zh) 一种基于5g的vr医疗学习方法及***
Maes et al. Dance-the-Music: an educational platform for the modeling, recognition and audiovisual monitoring of dance steps using spatiotemporal motion templates
CN106409103B (zh) 一种基于瞬态噪声去噪技术和矫正技术的vr医疗体验***
CN116400802A (zh) 虚拟现实设备及多模态情绪识别方法
Zamborlin Studies on customisation-driven digital music instruments
CN114428879A (zh) 一种基于多场景互动的多模态英语教学***
Pham et al. Learning continuous facial actions from speech for real-time animation
Li et al. Design and application of interactive music equipment based on wireless wearable sensors
CN117012198B (zh) 基于人工智能的语音交互方法及***
Deneke Enabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control systemEnabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control system
von Arnim The Shapeshifter: Co-constructing the body with optical, marker-based motion capture in live dance performance
Kolykhalova Dipartimento di Informatica, Bioingegneria, Robotica ed Ingegneria dei Sistemi
Zafer Research on Current Sectoral Uses of Motion Capture (MoCap) Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant