CN117742496B - 虚拟场景中的交互体验设备、虚拟体验***和方法 - Google Patents

虚拟场景中的交互体验设备、虚拟体验***和方法 Download PDF

Info

Publication number
CN117742496B
CN117742496B CN202311821371.1A CN202311821371A CN117742496B CN 117742496 B CN117742496 B CN 117742496B CN 202311821371 A CN202311821371 A CN 202311821371A CN 117742496 B CN117742496 B CN 117742496B
Authority
CN
China
Prior art keywords
user
virtual
axial direction
pressure
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311821371.1A
Other languages
English (en)
Other versions
CN117742496A (zh
Inventor
刘奇屹
高洁
李冰
张秉炜
郭林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai Avatar Technology Beijing Co ltd
Original Assignee
Ai Avatar Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Avatar Technology Beijing Co ltd filed Critical Ai Avatar Technology Beijing Co ltd
Priority to CN202311821371.1A priority Critical patent/CN117742496B/zh
Publication of CN117742496A publication Critical patent/CN117742496A/zh
Application granted granted Critical
Publication of CN117742496B publication Critical patent/CN117742496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种虚拟场景中的交互体验设备、虚拟体验***和方法,交互体验设备包括:定位追踪器、压力传感模块和处理器;定位追踪器,用于定位用户在虚拟场景中的当前位置,并向控制设备发送用户在虚拟场景中的当前位置,以使控制设备基于用户在虚拟场景中的当前位置确定用户的交互体验类型,并向处理器发送交互体验类型对应的交互体验信号;处理器,用于若接收到预设类型对应的交互体验信号,则向压力传感模块发送压力采集信号;压力传感模块,用于基于压力采集信号采集用户的压力数据,并向处理器发送压力数据;处理器,还用于基于压力数据确定用户在不同预设方向上的倾斜数据。从而,用户可以有效实现虚拟场景的体验。

Description

虚拟场景中的交互体验设备、虚拟体验***和方法
技术领域
本公开的实施例涉及虚拟现实技术领域,具体地,涉及适用于一种虚拟场景中的交互体验设备、虚拟体验***和方法。
背景技术
随着VR(Virtual Reality,虚拟现实)技术的普及和广泛应用,VR头戴显示器将越来越多的用户带入虚拟场景,辅助用户实现身临其境的交互体验,在虚拟场景中能够移动角色或漫游场景是实现这种体验的重要一环。
相关技术中,为了追求虚拟世界与现实世界基本一致的走路和跑步体验,通常会使用万向跑步机固定用户腰部,从而让身处虚拟空间中的用户体验到和现实世界一样的行走方式,通过万向跑步机监测用户动作以实现虚拟空间中的运动体验。
然而,上述实现方式,需要借助笨重的万向跑步机,占地空间大,成本高昂。
发明内容
本文中描述的实施例提供了一种虚拟场景中的交互体验设备、虚拟体验***和方法,克服了上述问题。
第一方面,根据本公开的内容,提供了一种虚拟场景中的交互体验设备,所述交互体验设备为可穿戴设备或接触式设备;所述交互体验设备包括:定位追踪器、压力传感模块和处理器,所述定位追踪器和所述压力传感模块均与所述处理器通信连接,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述定位追踪器,用于定位用户在所述虚拟场景中的当前位置,并向控制设备发送所述用户在所述虚拟场景中的当前位置,以使所述控制设备基于所述用户在所述虚拟场景中的当前位置确定所述用户的交互体验类型,并向所述处理器发送所述交互体验类型对应的交互体验信号,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
所述处理器,用于若接收到所述预设类型对应的交互体验信号,则向所述压力传感模块发送压力采集信号;
所述压力传感模块,用于基于所述压力采集信号采集所述用户的压力数据,并向所述处理器发送所述压力数据;
所述处理器,还用于基于所述压力数据确定所述用户在不同预设方向上的倾斜数据,并向所述控制设备发送不同预设方向上的所述倾斜数据,以使所述控制设备基于不同预设方向上的所述倾斜数据渲染所述用户通过佩戴的VR头显设备浏览到的虚拟画面。
第二方面,根据本公开的内容,提供了一种虚拟体验***,包括:第一方面所述的交互体验设备、控制设备和VR头显设备;
所述交互体验设备与所述控制设备通信连接,所述控制设备与所述VR头显设备通信连接;
所述交互体验设备,用于定位用户在虚拟场景中的当前位置,并向所述控制设备发送所述用户在所述虚拟场景中的当前位置,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述控制设备,用于基于所述用户在所述虚拟场景中的当前位置,确定所述用户的交互体验类型,并向所述交互体验设备发送所述交互体验类型对应的交互体验信号,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
所述交互体验设备,还用于若接收到所述预设类型对应的交互体验信号,则采集用户的压力数据,并基于所述压力数据确定所述用户在不同预设方向上的倾斜数据,并向所述控制设备发送不同预设方向上的所述倾斜数据;
所述控制设备,还用于基于不同预设方向上的所述倾斜数据渲染所述虚拟场景中显示的虚拟画面,并向所述VR头显设备发送所述虚拟画面;
所述VR头显设备,用于向所述用户展示所述虚拟画面,使得所述用户通过佩戴的所述VR头显设备浏览所述虚拟画面。
第三方面,根据本公开的内容,提供了一种虚拟场景中的交互体验方法,应用于第二方面所述的虚拟体验***,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述方法包括:
定位用户在所述虚拟场景中的当前位置;
基于所述用户在所述虚拟场景中的当前位置,确定所述用户的交互体验类型,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
若接收到所述预设类型对应的交互体验信号,则采集所述用户的多个压力数据;
基于每个所述压力数据,确定所述用户在不同预设方向上的倾斜数据;
基于不同预设方向上的所述倾斜数据,渲染所述用户通过佩戴的VR头显设备浏览到的虚拟画面。
第四方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如以上任意一个实施例中虚拟场景中的交互体验方法的步骤。
本申请实施例提供的虚拟场景中的交互体验设备,交互体验设备为可穿戴设备或接触式设备;交互体验设备包括:定位追踪器、压力传感模块和处理器,定位追踪器和压力传感模块均与处理器通信连接,交互体验设备在虚拟场景中对应有虚拟固定区域;定位追踪器,用于定位用户在虚拟场景中的当前位置,并向控制设备发送用户在虚拟场景中的当前位置,以使控制设备基于用户在虚拟场景中的当前位置确定用户的交互体验类型,并向处理器发送交互体验类型对应的交互体验信号,交互体验类型包括:预设类型和非预设类型,预设类型用于描述用户在虚拟场景中的当前位置在虚拟固定区域中,非预设类型用于描述用户在虚拟场景中的当前位置未在虚拟固定区域中;处理器,用于若接收到预设类型对应的交互体验信号,则向压力传感模块发送压力采集信号;压力传感模块,用于基于压力采集信号采集用户的压力数据,并向处理器发送压力数据;处理器,还用于基于压力数据确定用户在不同预设方向上的倾斜数据,并向控制设备发送不同预设方向上的倾斜数据,以使控制设备基于不同预设方向上的倾斜数据渲染用户通过佩戴的VR头显设备浏览到的虚拟画面。如此,用户可以采用便携的可穿戴设备或接触式设备,实现虚拟场景的体验,体积小且成本低,便于更多用户实现虚拟场景体验,同时,交互体验设备能够实时采集用户的压力数据,便于控制设备基于用户的压力数据实时进行虚拟画面的渲染,且用户在交互体验设备上无需进行跑步等行走动作,便能够在虚拟场景中体验到连续移动。
上述说明仅是本申请实施例技术方案的概述,为了能够更清楚了解本申请实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开的实施例的技术方案,下面将对实施例的附图进行简要说明,应当知道,以下描述的附图仅仅涉及本公开的一些实施例,而非对本公开的限制,其中:
图1是本公开提供的一种虚拟场景中的交互体验设备的结构示意图。
图2A是本公开提供的一种交互体验设备的仰视图。
图2B是本公开提供的另一种交互体验设备的仰视图。
图2C是本公开提供的一种第一轴向和第二轴向的坐标示意图。
图2D是本公开提供的一种用户倾斜的场景示意图。
图2E是本公开提供的另一种交互体验设备的结构示意图。
图2F是本公开提供的一种虚拟交互的通信示意图。
图3A是本公开提供的一种虚拟体验***的结构示意图。
图3B是本公开提供的一种虚拟场景中虚拟墙的场景示意图。
图4是本公开提供的一种虚拟场景中的交互体验方法的流程示意图。
需要注意的是,附图中的元素是示意性的,没有按比例绘制。
具体实施方式
为了使本公开的实施例的目的、技术方案和优点更加清楚,下面将结合附图,对本公开的实施例的技术方案进行清楚、完整的描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域技术人员在无需创造性劳动的前提下所获得的所有其它实施例,也都属于本公开保护的范围。
除非另外定义,否则在此使用的所有术语(包括技术和科学术语)具有与本公开主题所属领域的技术人员所通常理解的相同含义。进一步将理解的是,诸如在通常使用的词典中定义的那些的术语应解释为具有与说明书上下文和相关技术中它们的含义一致的含义,并且将不以理想化或过于正式的形式来解释,除非在此另外明确定义。如在此所使用的,将两个或更多部分“连接”或“耦接”到一起的陈述应指这些部分直接结合到一起或通过一个或多个中间部件结合。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语“实施例”并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:存在A,同时存在A和B,存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。诸如“第一”和“第二”的术语仅用于将一个部件(或部件的一部分)与另一个部件(或部件的另一部分)区分开。
在本申请的描述中,除非另有说明,“多个”的含义是指两个以上(包括两个),同理,“多组”指的是两组以上(包括两组)。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
图1是本公开实施例提供的一种虚拟场景中的交互体验设备的结构示意图,交互体验设备为一种可穿戴设备或接触式设备,可穿戴设备为穿戴于用户某一肢体上的便携式小型设备,接触式设备为与用户某一肢体进行接触以支撑用户站立的便携式小型设备。
若交互体验设备为可穿戴设备时,其可为内置或外置于用户鞋底的一种结构,如图2A所示,便于紧密固定在用户的肢体上,防止体验过程中设备移动影响用户体验。若交互体验设备为接触式设备时,其可为与用户某一肢体(如脚底)接触的一个支撑设备,如图2B所示的如电子秤结构的设备,便于降低用户体验的设备束缚感。
若交互体验设备采用与用户鞋相结合,即外置于用户鞋底,则交互体验设备设置有固定卡扣以紧固设备,同时,交互体验设备底部可设置多个脚垫状结构,每个脚垫状结构中安装有压力传感器,还可在必要位置处安装定位追踪装置,便于获取用户的在虚拟场景中的所处位置。
另外,交互体验设备可为与用户肢体相适配的一种运动设备,如滑板、自行车、滑翔伞等多种形态,通过多种形态模拟用户在虚拟场景中的移动,便于用户体验到不同设备带来的多重体验感。以下以交互体验设备为可穿戴设备进行示例说明。
如图1所示,交互体验设备10包括:定位追踪器110、压力传感模块120和处理器130,定位追踪器110和压力传感模块120均与处理器130通信连接,交互体验设备在虚拟场景中对应有虚拟固定区域,若交互体验设备为可穿戴设备,其在虚拟场景中对应有虚拟载具,虚拟载具在虚拟场景中的位置区域即为交互体验设备在虚拟场景中对应的虚拟固定区域,虚拟载具为交互体验设备在虚拟场景中的一种体现形式。
定位追踪器110,用于定位用户在虚拟场景中的当前位置,并向控制设备发送用户在虚拟场景中的当前位置,以使控制设备基于用户在虚拟场景中的当前位置确定用户的交互体验类型,并向处理器130发送交互体验类型对应的交互体验信号,交互体验类型包括:预设类型和非预设类型,预设类型用于描述用户在虚拟场景中的当前位置在虚拟固定区域中,非预设类型用于描述用户在虚拟场景中的当前位置未在虚拟固定区域中。
其中,控制设备为与交互体验设备之间进行数据传输的电子设备,如个人计算机、电脑、智能手机等。
处理器130,用于若接收到预设类型对应的交互体验信号,则向压力传感模块120发送压力采集信号。
其中,压力传感模块可包括多个压力传感器,每个压力传感器安装于交互体验设备的不同位置处,便于采集相应位置处用户产生的压力数据。
压力传感模块120,用于基于压力采集信号采集用户的压力数据,并向处理器130发送压力数据。
其中,压力数据为用户在体验虚拟场景过程中产生的某一位置处的压力值。
处理器130,还用于基于压力数据确定用户在不同预设方向上的倾斜数据,并向控制设备发送不同预设方向上的倾斜数据,以使控制设备基于不同预设方向上的倾斜数据渲染用户通过佩戴的VR头显设备浏览到的虚拟画面。
其中,用户是站在交互体验设备上无需走动的,通过向不同方向倾斜以产生压力数据,便于确定出对应的倾斜数据,进而,通过采用平衡车的移动形式模拟用户在虚拟场景中的连续移动。
用户对应于虚拟场景中会有一个虚拟对象,由虚拟对象基于用户的倾斜数据来完成用户虚拟场景中的移动,如用户的倾斜数据表示用户向前移动,则控制设备基于用户的倾斜数据在虚拟场景中渲染虚拟对象向前移动,用户通过VR头显设备则能实时体验到连续移动的感受。
VR头显设备可如VR眼镜、VR头戴显示器等。
本申请实施例提供的虚拟场景中的交互体验设备,交互体验设备为可穿戴设备或接触式设备;交互体验设备包括:定位追踪器、压力传感模块和处理器,定位追踪器和压力传感模块均与处理器通信连接,交互体验设备在虚拟场景中对应有虚拟固定区域;定位追踪器,用于定位用户在虚拟场景中的当前位置,并向控制设备发送用户在虚拟场景中的当前位置,以使控制设备基于用户在虚拟场景中的当前位置确定用户的交互体验类型,并向处理器发送交互体验类型对应的交互体验信号,交互体验类型包括:预设类型和非预设类型,预设类型用于描述用户在虚拟场景中的当前位置在虚拟固定区域中,非预设类型用于描述用户在虚拟场景中的当前位置未在虚拟固定区域中;处理器,用于若接收到预设类型对应的交互体验信号,则向压力传感模块发送压力采集信号;压力传感模块,用于基于压力采集信号采集用户的压力数据,并向处理器发送压力数据;处理器,还用于基于压力数据确定用户在不同预设方向上的倾斜数据,并向控制设备发送不同预设方向上的倾斜数据,以使控制设备基于不同预设方向上的倾斜数据渲染用户通过佩戴的VR头显设备浏览到的虚拟画面。如此,用户可以采用便携的可穿戴设备或接触式设备,实现虚拟场景的体验,体积小且成本低,便于更多用户实现虚拟场景体验,同时,交互体验设备能够实时采集用户的压力数据,便于控制设备基于用户的压力数据实时进行虚拟画面的渲染,且用户在交互体验设备上无需进行跑步等行走动作,便能够在虚拟场景中体验到连续移动。
一些实施例中,压力传感模块120包括:多个压力传感器,每个压力传感器对应一个压力数据,不同预设方向包括:第一轴向和第二轴向,第一轴向垂直于第二轴向。
如图2C所示,可以交互体验设备10在虚拟场景中的位置为原点,即两个交互体验设备10的平均位置为原点,以两个交互体验设备10的平均朝向为y轴正方向建立平面直角坐标系。第一轴向即为图2C中所示的x轴所在的方向,如用户的左右轴向,第二轴向即为图2C中所示的y轴所在的方向,如用户的前后轴向。
每个交互体验设备10中设置有2个压力传感器,即压力传感模块可包括:4个压力传感器,分别为PT1、PT2、PT3和PT4。以下以压力传感模块包括4个压力传感器进行示例说明。
处理器130,具体用于:
基于每个压力传感器对应的压力数据和第一预设数值,确定用户在第一轴向上的压力表征系数。
举例而言,用户在第一轴向上的压力表征系数可采用如下公式(1)计算得出。
CoX=P1+P2+P3+P4+C1x (1)
公式(1)中,CoX为用户在第一轴向(即左右轴向)上的压力表征系数,C1x为第一预设数值,可基于交互体验设备的调试情况确定,P1、P2、P3和P4分别为压力传感器PT1、压力传感器PT2、压力传感器PT3和压力传感器PT4对应的压力数据(即压力值)。
基于每个压力传感器对应的压力数据和第二预设数值,确定用户在第二轴向上的压力表征系数。
举例而言,用户在第二轴向上的压力表征系数可采用如下公式(2)计算得出。
CoY=P1+P2+P3+P4+C1y (2)
公式(2)中,CoY为用户在第二轴向(即前后轴向)上的压力表征系数,C1y为第二预设数值,可基于交互体验设备的调试情况确定。
基于每个压力传感器的位置坐标和用户在第一轴向上的压力表征系数,确定用户在第一轴向上的倾斜数据。
举例而言,用户在第一轴向上的倾斜数据可采用如下公式(3)计算得出。
公式(3)中,OutputX为用户在第一轴向(即左右轴向)上的倾斜数据,x1、x2、x3和x4分别为压力传感器PT1、压力传感器PT2、压力传感器PT3和压力传感器PT4在平面直角坐标系的x轴上的坐标值,C2x为一个第一预设数值,可基于交互体验设备的调试情况确定。
基于每个压力传感器的位置坐标和用户在第二轴向上的压力表征系数,确定用户在第二轴向上的倾斜数据。
举例而言,用户在第二轴向上的倾斜数据可采用如下公式(4)计算得出。
公式(4)中,OutputY为用户在第二轴向(即前后轴向)上的倾斜数据,y1、y2、y3和y4分别为压力传感器PT1、压力传感器PT2、压力传感器PT3和压力传感器PT4在平面直角坐标系的y轴上的坐标值,C2y为一个第二预设数值,可基于交互体验设备的调试情况确定。
处理器130可使用软件或硬件实现上述计算,实时或每隔一段时间将计算结果发送至控制设备中。
一些实施例中,第一轴向上的倾斜数据用于描述用户在虚拟场景中对应于第一轴向上的运动数据;第二轴向上的倾斜数据用于描述用户在虚拟场景中对应于第二轴向上的运动数据。
第一轴向上的运动数据为第一轴向上的旋转角加速度、第一轴向上的旋转角加速度变化量、第一轴向上的旋转角速度、第一轴向上的平移加速度变化量、第一轴向上的平移加速度或第一轴向上的平移速度。
第二轴向上的运动数据为第二轴向上的平移加速度、第二轴向上的平移加速度变化量或者第二轴向上的平移速度。
如图2D所示,第一轴向(即左右轴向)上的倾斜数据(即倾斜程度)OutputX可作为用户在虚拟场景中的左右旋转角加速度输入、也可以是左右旋转角加速度变化量输入、左右旋转角速度输入、左右平移加速度变化量输入、左右平移加速度输入、左右平移速度输入等。
第二轴向(即前后轴向)上的倾斜数据(即倾斜程度)OutputY可作为用户在虚拟场景中的前后平移加速度输入、也可以是前后平移加速度变化量输入、前后平移速度输入等。
一些实施例中,不同预设方向还包括:第三轴向,第三轴向分别垂直于第一轴向和第二轴向。第三轴向可表示用户在相对于虚拟地面竖直方向上的运动轴向,如用户的上下轴向,用于在虚拟场景中模拟飞行或跳跃。
处理器130,具体用于:基于每个压力传感器对应的压力数据,确定用户在第三轴向上的运动数据。
举例而言,用户在第三轴向上的倾斜数据可采用如下公式(5)计算得出。
OutputZ=C3×(P1+P2+P3+P4)+C4 (5)
公式(5)中,OutputZ为用户在第三轴向(即上下轴向)上的运动数据,C3和C4为两个第三预设数值,可基于交互体验设备的调试情况确定。
另外,处理器130也可以通过将P1、P2、P3和P4直接发送给控制设备,由控制设备计算OutputX、OutputY、OutputZ或任何其他有用的变量,便于节省交互体验设备的处理资源。
一些实施例中,交互体验设备还包括:力反馈模块,力反馈模块与处理器130通信连接。
处理器130,还用于接收控制设备发送的虚拟场景中的实时震动信号,并向力反馈模块发送实时震动信号;力反馈模块,用于基于实时震动信号生成震动提示。震动提示可如用户脚底产生的震动,使得用户能够真实感知到虚拟场景中的震动。
如图2E所示为用户穿戴的一个交互体验设备,如与用户左脚相结合的设备,另一个与用户右脚想结合的设备的结构与图2E所示的设备结构互为对称结构。交互体验设备10中还可以包括:通信模块和供电模块,其中,通信模块分别与处理器130和控制设备通信连接,可用来接收控制设备发送的信号并将此信号发送给处理器130进行处理,或者,接收处理器130发送的信号并将其发送给控制设备处理。
供电模块中可包括:电池模块140和供电接口150,便于为交互体验设备10提供电能。
通信模块中可包括:天线160和无线信号传输模块170,负责处理器130与控制设备之间的数据通信。
交互体验设备10可控制设备的输出设备或控制设备的输入设备。作为控制设备的输出设备,处理器130负责从通信模块中读取由控制设备发来的虚拟场景中的实时震动信号,发送给力反馈模块,从而使设备产生用户可感知的震动。作为控制设备的输入设备,处理器130负责从压力传感器中读取压力值,在处理器130中进行计算,再通过通信模块发送至控制设备。
如图2F所示,交互体验设备10一般可以同VR头显设备20、定位***30一起连接至计算机***40(即控制设备)。其中,定位***30可安装于交互体验设备10之内,如定位追踪器110,或者,外接于交互体验设备10之外。
综上,本实施例提供的交互体验设备,将监测到的用户的身体倾斜、重心变化、姿势变化、运动状态变化转换为虚拟现实***中的输入,从而在虚拟空间中移动角色或变换视角。通过模仿在现实世界中操纵电动平衡车的方式设计虚拟现实输入设备。将力反馈装置放入脚踏输入设备从而模拟不平坦的路面带给人的感觉。将定位装置(如光学定位、惯性定位、卫星定位、计算机视觉定位等)集成到脚踏输入设备从而辅助用户在虚拟空间中走入和走出设备区域。将鞋或与鞋结合的设备设计应用于虚拟现实交互设备领域。设计虚拟现实输入设备,使用户采用站立不动的姿势代替虚拟世界中的行走、奔跑、飞行等运动。在虚拟空间中以虚拟载具为中心划定用户离开载具时的活动范围,根据多个传感器所反馈的压力数值计算人体倾斜和运动状态的方法。根据压力传感器所反馈的压力数值变化情况进行计算,为用户提供飞行或跳跃体验。
针对虚拟现实用户在虚拟空间中需要大范围移动的需求,现有技术或是放弃连续移动的能力,让用户在虚拟空间中瞬间移动到目标位置,或是使用万向跑步机,用高昂的设备和空间成本实现自然的移动体验。本实施例选取电动平衡车,在虚拟现实场景下模仿其操作方法,低成本地实现了另一种自然地移动体验,设备小巧,方便维护,易用性强,还可以在让用户在佩戴VR头显设备的情况下自由的在新的移动方式和步行移动方式之间切换,具有更好的灵活性,同时还能保证用户安全。
另外,可以选用动作捕捉设备、摄像头、加速度计、陀螺仪等设备监测用户姿态变化,推测重心变化,替代本实施例中交互体验设备来实现虚拟现实使用体验。
其中,动作捕捉设备简称动捕设备,一般包含光学动捕设备、惯性动捕设备、计算机视觉动捕设备等。纯计算机视觉动捕设备仅使用摄像头采集图像,一般利用深度学习方法识别用户动作。
定位追踪器一般被称作Tracker,是定位***中被追踪位置的那些目标。动捕设备一般也是定位设备,因此定位设备也可采用光学、惯性、计算机视觉等实现方式实现定位功能。
图3A为本实施例提供的一种虚拟体验***的结构示意图,虚拟体验***30可包括:交互体验设备310、控制设备320和VR头显设备330。
交互体验设备310与控制设备320通信连接,控制设备320与VR头显设备330通信连接。
交互体验设备310,用于定位用户在虚拟场景中的当前位置,并向控制设备320发送用户在虚拟场景中的当前位置,交互体验设备在虚拟场景中对应有虚拟固定区域。
控制设备320,用于基于用户在虚拟场景中的当前位置,确定用户的交互体验类型,并向交互体验设备310发送交互体验类型对应的交互体验信号,交互体验类型包括:预设类型和非预设类型,预设类型用于描述用户在虚拟场景中的当前位置在虚拟固定区域中,非预设类型用于描述用户在虚拟场景中的当前位置未在虚拟固定区域中。
交互体验设备310,还用于若接收到预设类型对应的交互体验信号,则采集用户的压力数据,并基于压力数据确定用户在不同预设方向上的倾斜数据,并向控制设备320发送不同预设方向上的倾斜数据。
控制设备320,还用于基于不同预设方向上的倾斜数据渲染虚拟场景中显示的虚拟画面,并向VR头显设备330发送虚拟画面。
VR头显设备330,用于向用户展示虚拟画面,使得用户通过佩戴的VR头显设备330浏览虚拟画面。
一些实施例中,控制设备320,还用于若确定出交互体验类型为非预设类型,则基于用户所处的现实环境,在虚拟场景中设置多个虚拟墙。如图3B所示。
其中,交互体验设备310在虚拟空间中对应一个虚拟固定区域,当用户从虚拟固定区域走出时,控制设备320可根据用户所在房间情况,在虚拟空间中绘制出一些虚拟墙,避免用户与现实世界物体发生碰撞。
图4是本公开实施例提供的一种虚拟场景中的交互体验方法的流程示意图,应用于上述虚拟体验***,交互体验设备在虚拟场景中对应有虚拟固定区域。虚拟场景中的交互体验方法包括:
S410、定位用户在虚拟场景中的当前位置。
其中,用户在虚拟场景中的当前位置可基于用户在现实场景中的位置与虚拟场景之间的映射关系来确定。如用户在现实场景中的一个固定位置与虚拟场景中的一个固定位置相对应,可基于用户在现实场景中所处的位置与这一个固定位置之间的距离和方位,结合虚拟场景中的一个固定位置,推算出用户在虚拟场景中的当前位置。
S420、基于用户在虚拟场景中的当前位置,确定用户的交互体验类型,交互体验类型包括:预设类型和非预设类型。
其中,预设类型用于描述用户在虚拟场景中的当前位置在虚拟固定区域中,非预设类型用于描述用户在虚拟场景中的当前位置未在虚拟固定区域中。
虚拟载具在虚拟场景中对应有一个虚拟显示区域,基于用户在虚拟场景中的当前位置,确定用户的交互体验类型,可包括:若用户在虚拟场景中的当前位置处于虚拟固定区域对应的显示区域之内,即表示用户在虚拟场景中的当前位置在虚拟固定区域中,则确定出用户的交互体验类型为预设类型,若用户在虚拟场景中的当前位置处于虚拟固定区域对应的显示区域之外,即表示用户在虚拟场景中的当前位置未在虚拟固定区域中,则确定出用户的交互体验类型为非预设类型。
S430、若接收到预设类型对应的交互体验信号,则采集用户的多个压力数据。
其中,用户穿戴2个交互体验设备,每个交互体验设备中可包括多个压力传感器,每个压力传感器可用于采集一个压力值,用户的多个压力数据,即为全部交互体验设备中包括的多个压力传感器采集得到的压力值。
S440、基于每个压力数据,确定用户在不同预设方向上的倾斜数据。
其中,用户是站在交互体验设备上无需走动的,通过向不同方向倾斜以产生压力数据,便于确定出对应的倾斜数据,进而,通过采用平衡车的移动形式模拟用户在虚拟场景中的连续移动。
一些实施例中,虚拟体验***中设置有多个压力传感器,压力传感器用于采集用户的压力数据,不同预设方向包括:第一轴向和第二轴向,第一轴向垂直于第二轴向。第一轴向即为图2C中所示的x轴所在的方向,如用户的左右轴向,第二轴向即为图2C中所示的y轴所在的方向,如用户的前后轴向。
基于每个压力数据,确定用户在不同预设方向上的倾斜数据,包括:
基于每个压力传感器对应的压力数据和第一预设数值,确定用户在第一轴向上的压力表征系数;基于每个压力传感器对应的压力数据和第二预设数值,确定用户在第二轴向上的压力表征系数;基于每个压力传感器的位置坐标和用户在第一轴向上的压力表征系数,确定用户在第一轴向上的倾斜数据;基于每个压力传感器的位置坐标和用户在第二轴向上的压力表征系数,确定用户在第二轴向上的倾斜数据。
其中,第一预设数值和第二预设数值可基于交互体验设备的调试情况预先确定得出。
第一轴向上的倾斜数据用于描述用户在虚拟场景中对应于第一轴向上的运动数据;第二轴向上的倾斜数据用于描述用户在虚拟场景中对应于第二轴向上的运动数据。
第一轴向上的运动数据为第一轴向上的旋转角加速度、第一轴向上的旋转角加速度变化量、第一轴向上的旋转角速度、第一轴向上的平移加速度变化量、第一轴向上的平移加速度或第一轴向上的平移速度;第二轴向上的运动数据为第二轴向上的平移加速度、第二轴向上的平移加速度变化量或者第二轴向上的平移速度。
参见图2D所示,第一轴向(即左右轴向)上的倾斜数据(即倾斜程度)OutputX可作为用户在虚拟场景中的左右旋转角加速度输入、也可以是左右旋转角加速度变化量输入、左右旋转角速度输入、左右平移加速度变化量输入、左右平移加速度输入、左右平移速度输入等。
第二轴向(即前后轴向)上的倾斜数据(即倾斜程度)OutputY可作为用户在虚拟场景中的前后平移加速度输入、也可以是前后平移加速度变化量输入、前后平移速度输入等。
S450、基于不同预设方向上的倾斜数据,渲染用户通过佩戴的VR头显设备浏览到的虚拟画面。
其中,用户对应于虚拟场景中会有一个虚拟对象,由虚拟对象基于用户的倾斜数据来完成用户虚拟场景中的移动,如用户的倾斜数据表示用户向前移动,则控制设备基于用户的倾斜数据在虚拟场景中渲染虚拟对象向前移动,用户通过VR头显设备则能实时体验到连续移动的感受。
VR头显设备可如VR眼镜、VR头戴显示器等。
一些实施例中,不同预设方向还包括:第三轴向,第三轴向分别垂直于第一轴向和第二轴向。第三轴向可表示用户在相对于虚拟地面竖直方向上的运动轴向,如用户的上下轴向,用于在虚拟场景中模拟飞行或跳跃。
基于每个压力数据,确定用户在不同预设方向上的倾斜数据,包括:基于每个压力传感器对应的压力数据,确定用户在第三轴向上的运动数据。用户在第三轴向上的运动数据能够有效反映出用户在虚拟场景中的跳跃以及飞行操作,便于用户体验多种虚拟场景。
一些实施例中,本实施例方法还包括:获取虚拟场景中的实时震动信号,基于实时震动信号生成震动提示。震动提示可如用户脚底产生的震动,使得用户能够真实感知到虚拟场景中的震动。
本申请的另一实施例还提供一种计算机可读介质,计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码,使得处理器能够执行在上述方法中每个步骤、或各步骤的组合中规定的功能动作;生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体***、设备或者装置,或者前述的任意适当组合,存储器用于存储程序代码或指令,程序代码包括计算机操作指令,处理器用于执行存储器存储的上述方法的程序代码或指令。
存储器和处理器的定义,可以参考前述电子设备实施例的描述,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
在本申请各个实施例中的各功能单元或模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请描述的“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了装置若干的单元权利要求中,这些装置中的若干个单元可以是通过同一个硬件项来具体体现。第一、第二、以及第三等的使用不表示任何顺序,可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种虚拟场景中的交互体验设备,其特征在于,所述交互体验设备为可穿戴设备或接触式设备;所述交互体验设备包括:定位追踪器、压力传感模块和处理器,所述定位追踪器和所述压力传感模块均与所述处理器通信连接,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述定位追踪器,用于定位用户在所述虚拟场景中的当前位置,并向控制设备发送所述用户在所述虚拟场景中的当前位置,以使所述控制设备基于所述用户在所述虚拟场景中的当前位置确定所述用户的交互体验类型,并向所述处理器发送所述交互体验类型对应的交互体验信号,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
所述处理器,用于若接收到所述预设类型对应的交互体验信号,则向所述压力传感模块发送压力采集信号;
所述压力传感模块,用于基于所述压力采集信号采集所述用户的压力数据,并向所述处理器发送所述压力数据;
所述处理器,还用于基于所述压力数据确定所述用户在不同预设方向上的倾斜数据,并向所述控制设备发送不同预设方向上的所述倾斜数据,以使所述控制设备基于不同预设方向上的所述倾斜数据渲染所述用户通过佩戴的VR头显设备浏览到的虚拟画面;
其中,所述压力传感模块包括:多个压力传感器,每个所述压力传感器对应一个压力数据,所述不同预设方向包括:第一轴向和第二轴向,所述第一轴向垂直于所述第二轴向;
所述处理器,具体用于:
基于每个所述压力传感器对应的压力数据和第一预设数值,确定所述用户在所述第一轴向上的压力表征系数;基于每个所述压力传感器对应的压力数据和第二预设数值,确定所述用户在所述第二轴向上的压力表征系数;基于每个所述压力传感器的位置坐标和所述用户在所述第一轴向上的压力表征系数,确定所述用户在所述第一轴向上的倾斜数据;基于每个所述压力传感器的位置坐标和所述用户在所述第二轴向上的压力表征系数,确定所述用户在所述第二轴向上的倾斜数据;
所述第一轴向上的倾斜数据用于描述所述用户在所述虚拟场景中对应于所述第一轴向上的运动数据;所述第二轴向上的倾斜数据用于描述所述用户在所述虚拟场景中对应于所述第二轴向上的运动数据;所述第一轴向上的运动数据为所述第一轴向上的旋转角加速度、所述第一轴向上的旋转角加速度变化量、所述第一轴向上的旋转角速度、所述第一轴向上的平移加速度变化量、所述第一轴向上的平移加速度或所述第一轴向上的平移速度;所述第二轴向上的运动数据为所述第二轴向上的平移加速度、所述第二轴向上的平移加速度变化量或者所述第二轴向上的平移速度。
2.根据权利要求1所述的设备,其特征在于,所述不同预设方向还包括:第三轴向,所述第三轴向分别垂直于所述第一轴向和所述第二轴向;
所述处理器,具体用于:
基于每个所述压力传感器对应的压力数据,确定所述用户在所述第三轴向上的运动数据。
3.根据权利要求1所述的设备,其特征在于,所述交互体验设备还包括:力反馈模块,所述力反馈模块与所述处理器通信连接;
所述处理器,还用于接收所述控制设备发送的所述虚拟场景中的实时震动信号,并向所述力反馈模块发送所述实时震动信号;
所述力反馈模块,用于基于所述实时震动信号生成震动提示。
4.一种虚拟体验***,其特征在于,包括:控制设备、VR头显设备和权利要求1-3中任一项所述的交互体验设备;
所述交互体验设备与所述控制设备通信连接,所述控制设备与所述VR头显设备通信连接;
所述交互体验设备,用于定位用户在虚拟场景中的当前位置,并向所述控制设备发送所述用户在所述虚拟场景中的当前位置,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述控制设备,用于基于所述用户在所述虚拟场景中的当前位置,确定所述用户的交互体验类型,并向所述交互体验设备发送所述交互体验类型对应的交互体验信号,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
所述交互体验设备,还用于若接收到所述预设类型对应的交互体验信号,则采集用户的压力数据,并基于所述压力数据确定所述用户在不同预设方向上的倾斜数据,并向所述控制设备发送不同预设方向上的所述倾斜数据;
所述控制设备,还用于基于不同预设方向上的所述倾斜数据渲染所述虚拟场景中显示的虚拟画面,并向所述VR头显设备发送所述虚拟画面;
所述VR头显设备,用于向所述用户展示所述虚拟画面,使得所述用户通过佩戴的所述VR头显设备浏览所述虚拟画面。
5.根据权利要求4所述的***,其特征在于,所述控制设备,还用于若确定出所述交互体验类型为所述非预设类型,则基于所述用户所处的现实环境,在所述虚拟场景中设置多个虚拟墙。
6.一种虚拟场景中的交互体验方法,其特征在于,应用于权利要求4或5所述的虚拟体验***,所述交互体验设备在所述虚拟场景中对应有虚拟固定区域;
所述方法包括:
定位用户在所述虚拟场景中的当前位置;
基于所述用户在所述虚拟场景中的当前位置,确定所述用户的交互体验类型,所述交互体验类型包括:预设类型和非预设类型,所述预设类型用于描述所述用户在所述虚拟场景中的当前位置在所述虚拟固定区域中,所述非预设类型用于描述所述用户在所述虚拟场景中的当前位置未在所述虚拟固定区域中;
若接收到所述预设类型对应的交互体验信号,则采集所述用户的多个压力数据;
基于每个所述压力数据,确定所述用户在不同预设方向上的倾斜数据;
基于不同预设方向上的所述倾斜数据,渲染所述用户通过佩戴的VR头显设备浏览到的虚拟画面;
其中,所述虚拟体验***中设置有多个压力传感器,所述压力传感器用于采集所述用户的压力数据,不同预设方向包括:第一轴向和第二轴向,所述第一轴向垂直于所述第二轴向;
所述基于每个所述压力数据,确定所述用户在不同预设方向上的倾斜数据,包括:
基于每个所述压力传感器对应的压力数据和第一预设数值,确定所述用户在所述第一轴向上的压力表征系数;基于每个所述压力传感器对应的压力数据和第二预设数值,确定所述用户在所述第二轴向上的压力表征系数;基于每个所述压力传感器的位置坐标和所述用户在所述第一轴向上的压力表征系数,确定所述用户在所述第一轴向上的倾斜数据;基于每个所述压力传感器的位置坐标和所述用户在所述第二轴向上的压力表征系数,确定所述用户在所述第二轴向上的倾斜数据;
所述第一轴向上的倾斜数据用于描述所述用户在所述虚拟场景中对应于所述第一轴向上的运动数据;所述第二轴向上的倾斜数据用于描述所述用户在所述虚拟场景中对应于所述第二轴向上的运动数据;所述第一轴向上的运动数据为所述第一轴向上的旋转角加速度、所述第一轴向上的旋转角加速度变化量、所述第一轴向上的旋转角速度、所述第一轴向上的平移加速度变化量、所述第一轴向上的平移加速度或所述第一轴向上的平移速度;所述第二轴向上的运动数据为所述第二轴向上的平移加速度、所述第二轴向上的平移加速度变化量或者所述第二轴向上的平移速度。
7.根据权利要求6所述的方法,其特征在于,所述不同预设方向还包括:第三轴向,所述第三轴向分别垂直于所述第一轴向和所述第二轴向;
所述方法还包括:
基于每个所述压力传感器对应的压力数据,确定所述用户在所述第三轴向上的运动数据。
CN202311821371.1A 2023-12-27 2023-12-27 虚拟场景中的交互体验设备、虚拟体验***和方法 Active CN117742496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311821371.1A CN117742496B (zh) 2023-12-27 2023-12-27 虚拟场景中的交互体验设备、虚拟体验***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311821371.1A CN117742496B (zh) 2023-12-27 2023-12-27 虚拟场景中的交互体验设备、虚拟体验***和方法

Publications (2)

Publication Number Publication Date
CN117742496A CN117742496A (zh) 2024-03-22
CN117742496B true CN117742496B (zh) 2024-06-14

Family

ID=90260802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311821371.1A Active CN117742496B (zh) 2023-12-27 2023-12-27 虚拟场景中的交互体验设备、虚拟体验***和方法

Country Status (1)

Country Link
CN (1) CN117742496B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298779A (zh) * 2018-08-10 2019-02-01 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练***与方法
CN116205980A (zh) * 2023-02-27 2023-06-02 小象智能(深圳)有限公司 一种移动空间内虚拟现实定位追踪方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032460A (zh) * 2023-08-16 2023-11-10 上海曼恒数字技术股份有限公司 一种虚拟现实体验***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298779A (zh) * 2018-08-10 2019-02-01 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练***与方法
CN116205980A (zh) * 2023-02-27 2023-06-02 小象智能(深圳)有限公司 一种移动空间内虚拟现实定位追踪方法及装置

Also Published As

Publication number Publication date
CN117742496A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US11745097B2 (en) Spatially-correlated human-machine interface
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
US9776083B2 (en) Spatially-correlated multi-display human-machine interface
EP3349107B1 (en) Information processing device and image generation method
EP3593198B1 (en) Visual tracking of peripheral devices
JP2023500025A (ja) 物理オブジェクトの仮想現実への移植
EP3349183A1 (en) Information processing device and image generation method
EP3956717A1 (en) Sensor fusion for electromagnetic tracking
KR101827912B1 (ko) 보행 가능한 가상 현실 장치
KR20160122702A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN108427479B (zh) 可穿戴设备、环境图像数据的处理***、方法及可读介质
WO2021147468A1 (zh) 虚拟环境中的虚拟角色控制方法、装置、设备及介质
CN109634413B (zh) 对虚拟环境进行观察的方法、设备及存储介质
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
EP3627289A1 (en) Tracking system and tracking method using the same
EP3508951B1 (en) Electronic device for controlling image display based on scroll input
WO2017061890A1 (en) Wireless full body motion control sensor
JP2017220224A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
CN117742496B (zh) 虚拟场景中的交互体验设备、虚拟体验***和方法
CN113383294A (zh) 用于解决六自由度姿态测量中的半球模糊的方法和***
JP2018094086A (ja) 情報処理装置および画像生成方法
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US20200097707A1 (en) Camera Module and Extended Reality System Using the Same
CN111831105A (zh) 头戴式显示***、相关方法及相关计算机可读取记录媒体
KR20190113453A (ko) 가상현실 시스템에서 머리 장착형 전자장치 및 라이더 장치를 제어하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant