CN117215415A - 基于mr录播技术的多人协同虚拟交互方法 - Google Patents

Abstract

本发明公开了基于MR录播技术的多人协同虚拟交互方法，具体涉及虚拟现实技术领域，用于解决现有MR录播在多人协同交互中不能合理安排交互用户进行轮流依次主导交互，降低了交互用户的参与积极性的问题，所述方法为根据用户行为模式数据建立交互反馈模型，并计算交互反馈系数，根据可穿戴设备传感器数据和通讯网络状态数据计算交互持续性指数；根据各交互用户的交互反馈系数计算反馈排序值，根据各交互用户的交互持续性指数计算持续排序值；综合处理各交互用户的反馈排序值和持续排序值，通过加权求方法计算各交互用户的主导排序值，并按照主导排序值由大到小分配各交互用户的主持交互次序，本发明合理安排了交互用户的主导顺序，提高交互体验。

Description

基于MR录播技术的多人协同虚拟交互方法

技术领域

本发明涉及虚拟现实技术领域，更具体地说，本发明是基于MR录播技术的多人协同虚拟交互方法。

背景技术

MR是一种整合了现实世界和虚拟世界的技术，允许用户与虚拟对象进行实时交互并共存于同一环境中，MR录播是将用户在混合现实环境中的实时交互、体验或操作过程进行录制、保存和再现，多用于MR应用的用户研究领域。

在MR应用的用户研究领域中，对缺乏对多人协同交互的合理顺序安排机制，现有的MR***由主服务器用户作为MR应用的主导者，在多人协作交互问题中，由固定的主导者安排其他参与者进行交互表达输出，不利于提高参与者的交互积极性，限于应用权限控制，不能合理分配各个参与者的输出次序。

为解决上述缺陷，现提供一种技术方案。

发明内容

本发明的目的是提供基于MR录播技术的多人协同虚拟交互方法，以解决背景技术中的不足。

为了实现上述目的，本发明提供如下技术方案：基于MR录播技术的多人协同虚拟交互方法，所述方法包括以下步骤；

根据用户行为模式数据建立交互反馈模型，并计算交互反馈系数，根据可穿戴设备传感器数据和通讯网络状态数据计算交互持续性指数；

根据各交互用户的交互反馈系数计算反馈排序值，根据各交互用户的交互持续性指数计算持续排序值；

综合处理各交互用户的反馈排序值和持续排序值，通过加权求方法计算各交互用户的主导排序值，并按照主导排序值由大到小分配各交互用户的主持交互次序。

在一个优选地实施方式中，交互反馈模型的建立逻辑及交互反馈系数的计算方法；

通过可穿戴设备内置的眼动仪收集交互用户视线焦点数据，通过陀螺仪收集交互用户的姿态动作特征，通过发言时间计算各交互用户的发言时长比率，交互反馈模型通过交互用户行为模式数据进行建立；

根据交互反馈模型计算交互反馈系数，交互反馈系数表达式为，式中，Fp为焦点进程完善率，St为发言时长比率，As为三轴角加速度步程，/>分别为焦点进程完善率、发言时长比率及三轴角加速度步程之和的比例系数，且/>均大于0。

在一个优选地实施方式中，所述焦点进程完善率、发言时长比率、三轴角加速度步程的计算方法；

对互动分析对象进行特征提取，标记互动分析对象的特异点，焦点进程完善率的计算表达式为，式中Fp为焦点进程完善率，Sc为焦点扫描特异点数量，Ta为互动分析对象总特异点数量，Fp为百分率形式；

发言时长比率为各交互用户在无领导讨论环节的发言时间所占总体发言时间的比率，即发言时长比率表达式为，式中，Pe为个人发言时长，Ov为各交互用户总体发言时长；

取陀螺仪三轴为X轴、Y轴、Z轴，分别计算各轴的角加速度，检测单轴偏转角度为θ，偏转角度θ所用时间为t0，计算单轴角速度为，计算单轴的角加速度式中，/>为时间周期，/>为单轴角速度随时间的变化率，将计算所得单轴角加速度与设定的角加速度阈值进行对比，当角加速度超出角加速度阈值一次，则记录为一个角加速度步程，三轴角速度步程即为X轴、Y轴、Z轴的角加速度测量值分别超出X轴、Y轴、Z轴的角加速度阈值的总次数，即三轴角加速度步程表达式为，式中，Xa为X轴测量角加速度超出X轴角加速度阈值的次数，Ya为Y轴测量角加速度超出Y轴角加速度阈值的次数，Za为Z轴测量角加速度超出Z轴角加速度阈值的次数。

在一个优选地实施方式中，交互持续性指数的计算方法；

交互持续性指数的表达式为，式中，Sr为可穿戴设备定位范围面积，/>为时刻传感器电压，/>为电压监测周期时间，Cd为网络传输时延，Pl为丢包率，/>分别为可穿戴设备定位范围与传感器电压变化率的比值、网络传输时延与丢包率之积的比例系数，且/>均大于0。

在一个优选地实施方式中，反馈排序值和持续排序值的计算方法；

通过交互反馈系数建立反馈排序值p，交互反馈系数越大，则反馈排序值p越大；通过交互持续性指数建立持续排序值q，交互持续性指数越大，则持续排序值q越大。

在一个优选地实施方式中，主导排序值的建立逻辑及主导交互次序的分配方法；

根据反馈排序值p和持续排序值q计算主导排序值的表达式为，式中g为主导排序值，/>分别为反馈排序值、持续排序值的比例系数，且/>均大于0；

各交互用户的主持交互次序按照主导排序值g由大到小进行排列，对参与虚拟交互的n个交互用户进行主持交互次序编号为M，M取值范围为大于等于1的正整数，主导排序值越大，则编号M越小。

在上述技术方案中，本发明提供的技术效果和优点：

本发明通过眼动仪追踪交互用户的焦点位置，通过陀螺仪检测交互用户的动作姿态，通过无领导讨论环节的发言时间计算各交互用户的发言时长比率，构建交互反馈模型，计算交互反馈系数；通过可穿戴设备传感器的定位范围大小和电压变化率，评估各交互用户的传感器稳定性，通过网络传输时延和丢包率评估各交互用户的网络状态优劣，综合传感器稳定性和网络状态计算交互持续性指数，通过交互持续性指数评价客观环境维度上交互用户的虚拟交互持续性，通过对交互反馈系数和交互持续性指数建立反馈排序值和持续排序值，运用加权求和方法通过反馈排序值和持续排序值生成主导排序值，按照主导排序值由大到小顺序分配各交互用户的主持互动次序，

本发明能够合理量化各交互用户的互动积极性，反映各交互用户的参与程度，能够解决交互过程中的交互参与者的表达机会矛盾，缓解各交互参与者的表达冲突，提高各交互参与者的交互体验感受。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：请参阅图1所示，本发明是基于MR录播技术的多人协同虚拟交互方法，所述方法步骤如下：

根据用户行为模式数据建立交互反馈模型，并计算交互反馈系数，根据可穿戴设备传感器数据和通讯网络状态数据计算交互持续性指数；

根据各交互用户的交互反馈系数计算反馈排序值，根据各交互用户的交互持续性指数计算持续排序值；

综合处理各交互用户的反馈排序值和持续排序值，通过加权求方法计算各交互用户的主导排序值，并按照主导排序值由大到小分配各交互用户的主持交互次序。

本实施例中所述用户行为数据、可穿戴设备数据和通讯网络数据在进行数据预处理后参与模型运算，以确保数据的可用性、适用性及质量，对上述各项数据进行数据预处理的方法如下：

数据清洗包括处理缺失值、处理异常值、解决重复值，处理缺失值用于识别和填充或删除数据中的缺失值，如使用均值、中位数、众数等进行填充；处理异常值为检测和处理异常值，可以使用统计学方法或可视化方法进行识别和处理；解决重复值是指识别并删除数据中的重复记录，以避免对分析结果产生不良影响。

数据转换包括特征缩放、特征构建、特征选择、数据降维，特征缩放将特征的值缩放到相似的范围，常用方法包括归一化和标准化；特征构建是基于现有特征创建新特征，以提高模型性能，如多项式特征、交叉特征等；特征选择是指选择最具意义或最相关的特征，以降低数据复杂度、提高模型效率；数据降维是通过保留主要信息减少数据的维度，常用的方法有主成分分析和特征选择。

数据集成包括合并数据集和解决数据冲突，合并数据集将多个数据集合并成一个整体数据集，以便更好地进行分析和建模；解决数据冲突用于处理不一致、矛盾或重复的数据，确保数据集的一致性和准确性。

数据规约包括数据聚集、数据抽样，数据聚集通过聚合数据来减少数据规模，如平均值、总和等；数据抽样是选择一个代表性的样本子集，以降低数据规模但保持数据的代表性。

数据离散化将连续数据转换为离散数据，方便处理，可以基于频率、等宽间隔、等频率等方法进行离散化。

处理时间序列数据是对时间序列数据进行平滑、差分、滞后等处理，以适应模型的要求。

本实施例通过对数据进行统一规格化的预处理，可避免对分析结果产生不良影响，能够降低数据分析的复杂度，提高模型建立的速度及准确性。

实施例2：本实施例通过检测用户的视觉焦点对用户行为数据进行分析，以可穿戴设备的内置的眼动仪为例，运用眼睛视频分析技术，使用近红外光照射眼睛，并用摄像机进行交互记录，通过光线与后端算法分析推测用户的视线焦点位置。

陀螺仪是一种测量物体角速度的传感器，用来检测物体的旋转状态，陀螺仪基于陀螺效应原理，该效应指物体旋转时产生的稳定自旋的趋势，陀螺仪通过测量物体绕特定轴的角速度来确定物体的旋转速度，根据测量得到的角速度，可以推断物体的旋转方向、角度以及运动轨迹等信息，本实施例所述陀螺仪指结合了微机电***技术和电子元件的MEMS陀螺仪，基于微小结构的振动、压电效应或电容变化原理来测量角速度。

通过可穿戴设备内置的眼动仪收集交互用户视线焦点数据，通过陀螺仪收集交互用户的姿态动作特征，通过发言时间计算各交互用户的发言时长比率，综合上述三项数据建立交互反馈模型，计算各交互用户的交互反馈系数。

交互反馈系数的计算表达式为，式中，Fp为焦点进程完善率，St为发言时长比率，As为三轴角加速度步程，/>分别为焦点进程完善率、发言时长比率及三轴角加速度步程之和的比例系数，且/>均大于0。

对互动分析对象进行特征提取，标记互动分析对象的分析特异点，通过眼动仪检测交互用户的视觉焦点位置，计算各交互用户的焦点进程完善率，焦点进程完善率的计算表达式为，式中Fp为焦点进程完善率，Sc为焦点扫描特异点数量，Ta为互动分析对象总特异点数量，Fp为百分率形式。

需要指出的是，互动分析对象并不限定用于MR录播的多人虚拟交互所研究对象的形式，所述互动分析对象可以是文档视图等平面材料，也可以是三维模型的立体材料，所述三维模型包括工业设备、建筑样板或游戏渲染等。

发言时长比率为各交互用户在无领导讨论环节的发言时间所占总体发言时间的比率，即发言时长比率表达式为，式中，Pe为个人发言时长，Ov为各交互用户总体发言时长，个人发言时间越长，占总发言时间比率越高，则用户交互反馈的效果越好，交互参与主动性越高，交互讨论的成果越显著。

三轴角速度步程根据可穿戴设备内置的陀螺仪，对交互用户的动作状态进行检测，取陀螺仪三轴为X轴、Y轴、Z轴，分别计算各轴的角加速度，以X轴为例，检测X轴偏转角度为，偏转角度/>所用时间为t0，计算X轴角速度为/>，计算X轴的角加速度，式中，/>为时间周期，/>为X轴角速度随时间的变化率，将计算所得X轴角加速度与设定的角加速度阈值进行对比，当角加速度超出角加速度阈值一次，则记录为一个角加速度步程，三轴角速度步程即为X轴、Y轴、Z轴的角加速度测量值分别超出X轴、Y轴、Z轴的角加速度阈值的总次数，即三轴角加速度步程表达式为，式中，Xa为X轴测量角加速度超出X轴角加速度阈值的次数，Ya为Y轴测量角加速度超出Y轴角加速度阈值的次数，Za为Z轴测量角加速度超出Z轴角加速度阈值的次数。

需要指出的是，陀螺仪三轴的角加速度阈值由本领域专业技术人员根据陀螺仪具体型号特性及交互用户的实际活动范围进行设定，各个轴向的角加速度阈值可以相同，也可以不同。

传感器的稳定性及各交互用户的网络状态数据决定虚拟互动的可持续性，传感器工作状态越稳定，则传感器数据的可信性和准确性越高，交互用户的网络状态越好，则交互体验越真实可信，交互效果的时效性越好。

针对传感器稳定性数据和交互用户网络状态数据计算各交互用户的交互持续性指数，交互持续性指数的表达式为，式中，Sr为可穿戴设备定位范围面积，/>为时刻传感器电压，/>为电压监测周期时间，Cd为网络传输时延，Pl为丢包率，/>分别为可穿戴设备定位范围与传感器电压变化率的比值、网络传输时延与丢包率之积的比例系数，且/>均大于0。

可穿戴设备定位范围为MR***交互输入设备的感应范围大小，由于交互用户动作姿态的扩展范围对感应区域大小的要求，在同等MR输出状态参数下，可穿戴设备传感器的感应区域越大越好；

传感器电压的稳定性直接关系传感器工作状态的稳定性，电压随时间变化率越低，则传感器工作状态下的所收集参数的准确性和可靠性越高；

网络传输时延为交互用户的本地网络上传数据经过传输至服务器并返回所用的延迟时间，延迟时间越大，则交互用户的感受迟滞性越高，交互体验越差；

丢包率为交互用户所上传数据包数量与总发送数据包数量的比值，丢包率越高，则影响数据传输的完整性，降低通信质量，影响交互用户的交互体验。

本实施例通过眼动仪追踪交互用户的焦点位置，通过陀螺仪检测交互用户的动作姿态，通过无领导讨论环节的发言时间计算各交互用户的发言时长比率，构建交互反馈模型，计算交互反馈系数，能够合理量化各交互用户的互动积极性，反映各交互用户的参与程度；通过可穿戴设备传感器的定位范围大小和电压变化率，评估各交互用户的传感器稳定性，通过网络传输时延和丢包率评估各交互用户的网络状态优劣，综合传感器稳定性和网络状态计算交互持续性指数，通过交互持续性指数评价客观环境维度上交互用户的虚拟交互持续性。

实施例3：通过各交互用户的交互反馈系数建立反馈排序值，通过各交互用户的交互持续性指数建立持续排序值，按照加权求和方法通过反馈排序值和持续排序值生成主导排序值，按主导排序值由大到小顺序对各交互用户进行排列，依主导排列顺序安排各交互用户的主持交互次序。

通过交互反馈系数建立反馈排序值p，交互反馈系数越大，则反馈排序值p越大；通过交互持续性指数建立持续排序值q，交互持续性指数越大，则持续排序值q越大。

根据反馈排序值p和持续排序值q计算主导排序值的表达式为，式中g为主导排序值，/>分别为反馈排序值、持续排序值的比例系数，且/>均大于0。

各交互用户的主持交互次序按照主导排序值g由大到小进行排列，主导排序值越高，则交互用户的交互参与积极性和设备状态稳定越高。

对参与虚拟交互的n个交互用户进行主持交互次序编号为M，M取值范围为大于等于1的正整数，主导排序值越大，则编号M越小。

在本实施例中，通过对交互反馈系数和交互持续性指数建立反馈排序值和持续排序值，运用加权求和方法通过反馈排序值和持续排序值生成主导排序值，按照主导排序值由大到小顺序分配各交互用户的主持互动次序，能够合理解决交互过程中的交互参与者的表达机会矛盾，缓解各交互参与者的表达欲望，提高各交互参与者的交互体验感受。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序货物的形式实现。所述计算机程序货物包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的货物销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件货物的形式体现出来，该计算机软件货物存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.基于MR录播技术的多人协同虚拟交互方法，其特征在于：所述方法包括以下步骤；

根据用户行为模式数据建立交互反馈模型，并计算交互反馈系数，根据可穿戴设备传感器数据和通讯网络状态数据计算交互持续性指数；

根据各交互用户的交互反馈系数计算反馈排序值，根据各交互用户的交互持续性指数计算持续排序值；

综合处理各交互用户的反馈排序值和持续排序值，通过加权求方法计算各交互用户的主导排序值，并按照主导排序值由大到小分配各交互用户的主持交互次序。

2.根据权利要求1所述的基于MR录播技术的多人协同虚拟交互方法，其特征在于：交互反馈模型的建立逻辑及交互反馈系数的计算方法；

通过可穿戴设备内置的眼动仪收集交互用户视线焦点数据，通过陀螺仪收集交互用户的姿态动作特征，通过发言时间计算各交互用户的发言时长比率，交互反馈模型通过交互用户行为模式数据进行建立；

根据交互反馈模型计算交互反馈系数，交互反馈系数表达式为，式中，Fp为焦点进程完善率，St为发言时长比率，As为三轴角加速度步程，/>分别为焦点进程完善率、发言时长比率及三轴角加速度步程之和的比例系数，且/>均大于0。

3.根据权利要求2所述的基于MR录播技术的多人协同虚拟交互方法，其特征在于：所述焦点进程完善率、发言时长比率、三轴角加速度步程的计算方法；

对互动分析对象进行特征提取，标记互动分析对象的特异点，焦点进程完善率的计算表达式为，式中Fp为焦点进程完善率，Sc为焦点扫描特异点数量，Ta为互动分析对象总特异点数量，Fp为百分率形式；

发言时长比率为各交互用户在无领导讨论环节的发言时间所占总体发言时间的比率，即发言时长比率表达式为，式中，Pe为个人发言时长，Ov为各交互用户总体发言时长；

取陀螺仪三轴为X轴、Y轴、Z轴，分别计算各轴的角加速度，检测单轴偏转角度为，偏转角度/>所用时间为t0，计算单轴角速度为/>，计算单轴的角加速度/>，式中，/>为时间周期，/>为单轴角速度随时间的变化率，将计算所得单轴角加速度与设定的角加速度阈值进行对比，当角加速度超出角加速度阈值一次，则记录为一个角加速度步程，三轴角速度步程即为X轴、Y轴、Z轴的角加速度测量值分别超出X轴、Y轴、Z轴的角加速度阈值的总次数，即三轴角加速度步程表达式为/>，式中，Xa为X轴测量角加速度超出X轴角加速度阈值的次数，Ya为Y轴测量角加速度超出Y轴角加速度阈值的次数，Za为Z轴测量角加速度超出Z轴角加速度阈值的次数。

4.根据权利要求1所述的基于MR录播技术的多人协同虚拟交互方法，其特征在于：交互持续性指数的计算方法；

交互持续性指数的表达式为，式中，Sr为可穿戴设备定位范围面积，/>为时刻传感器电压，/>为电压监测周期时间，Cd为网络传输时延，Pl为丢包率，/>分别为可穿戴设备定位范围与传感器电压变化率的比值、网络传输时延与丢包率之积的比例系数，且/>均大于0。

5.根据权利要求1所述的基于MR录播技术的多人协同虚拟交互方法，其特征在于：反馈排序值和持续排序值的计算方法；

通过交互反馈系数建立反馈排序值p，交互反馈系数越大，则反馈排序值p越大；通过交互持续性指数建立持续排序值q，交互持续性指数越大，则持续排序值q越大。

6.根据权利要求1所述的基于MR录播技术的多人协同虚拟交互方法，其特征在于：主导排序值的建立逻辑及主导交互次序的分配方法；

根据反馈排序值p和持续排序值q计算主导排序值的表达式为，式中g为主导排序值，/>分别为反馈排序值、持续排序值的比例系数，且/>均大于0；

各交互用户的主持交互次序按照主导排序值g由大到小进行排列，对参与虚拟交互的n个交互用户进行主持交互次序编号为M，M取值范围为大于等于1的正整数，主导排序值越大，则编号M越小。