CN112967404A - 控制虚拟对象移动的方法、装置、电子设备及存储介质 - Google Patents
控制虚拟对象移动的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112967404A CN112967404A CN202110208654.3A CN202110208654A CN112967404A CN 112967404 A CN112967404 A CN 112967404A CN 202110208654 A CN202110208654 A CN 202110208654A CN 112967404 A CN112967404 A CN 112967404A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- information
- equipment
- determining
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007654 immersion Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种控制虚拟对象移动的方法、装置、电子设备及存储介质,其中,该方法包括:在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取AR设备的惯性测量单元IMU数据;基于IMU数据确定AR设备的移动状态信息;根据移动状态信息,控制目标虚拟对象进行移动。本公开在AR设备展示的AR场景中,目标虚拟对象的移动状态可以随着AR设备的状态变化而变化,可以使得所呈现的AR场景画面更直观形象,提高了AR服务质量。
Description
技术领域
本公开涉及计算机应用技术领域,具体而言,涉及一种控制虚拟对象移动的方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术作为一种根据实时计算的摄像机影像的位置及角度,在影像上叠加相应的图像、视频、三维(3-Dimensional,3D)模型以实现虚拟世界与现实世界融合的技术,面向用户提供了一种新的交互体验。
AR技术可以应用于各种应用场景(例如,AR导航场景、AR游戏场景)中。以AR导航为例,AR导航作为一种将AR技术与地图信息相结合所实现的导航方式,可以为用户提供更为形象、直观、安全的导航服务。在开启导航设备的AR导航后,导航设备中可以展示叠加在真实场景中的AR导航路线。如何充分利用AR技术使得AR导航过程更直观形象,是有待进一步研究的问题。
发明内容
本公开实施例至少提供一种控制虚拟对象移动的方案,其基于AR设备的IMU数据来控制AR场景(如AR导航场景)中虚拟对象的移动状态,可以使得所呈现的AR场景画面更直观形象,提高AR服务质量。
主要包括以下几个方面:
第一方面,本公开实施例提供了一种控制虚拟对象移动的方法,所述方法包括:
在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据;
基于所述IMU数据确定所述AR设备的移动状态信息;
根据所述移动状态信息,控制所述目标虚拟对象进行移动。
采用上述控制虚拟对象移动的方法,其在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,可以根据获取的AR设备的惯性测量单元IMU数据确定AR设备的移动状态信息,并可以根据AR设备的移动状态信息,控制目标虚拟对象进行移动,也即,在AR设备展示的AR场景中,目标虚拟对象的移动状态可以随着AR设备的状态变化而变化,可以使得所呈现的AR场景画面更直观形象,提高了AR服务质量。
在一种可能的实施方式中,所述IMU数据包括三轴加速度信息和三轴角速度信息,所述基于所述IMU数据确定所述AR设备的移动状态信息,包括:
基于所述三轴加速度信息,确定所述AR设备的加速度信息,以及基于所述三轴角速度信息,确定所述AR设备的角速度信息;
基于所述加速度信息和所述角速度信息,确定所述AR设备的移动状态信息。
这里,可以基于三轴加速度信息和三轴角速度信息来确定AR设备的移动状态信息,进而可以基于移动状态信息实现有关目标虚拟对象的控制,提升AR服务质量。
在一种可能的实施方式中,所述根据所述移动状态信息,控制所述目标虚拟对象进行移动,包括:
控制所述目标虚拟对象按照所述AR设备的移动状态信息进行同步移动。
这里,目标虚拟对象可以随着AR设备的移动状态信息同步移动,例如,在用户手持AR设备处于跑步的状态下,目标虚拟对象也可以是呈现跑步的姿态,这大大提升了用户的AR体验度。
在一种可能的实施方式中,所述控制所述目标虚拟对象按照所述AR设备的移动状态信息进行同步移动,包括:
基于所述AR设备的移动状态信息,确定所述AR设备当前所属的目标移动状态类型;
基于各移动状态类型与各特效数据之间的对应关系,确定与所述目标移动状态类型对应的目标特效数据;
控制所述目标虚拟对象按照所述目标移动状态信息以及所述目标特效数据进行同步移动。
本公开实施例中,基于不同的移动状态类型可以对应不同的特效数据,这样,所呈现出的AR体验效果更具有趣味性,进一步提升AR体验中的服务质量。
在一种可能的实施方式中,所述移动状态信息包括移动速度和移动方向;所述移动状态类型包括行走、奔跑、转换方向中的至少一种。
在一种可能的实施方式中,所述AR场景为AR导航场景,所述目标虚拟对象为虚拟导航员;所述方法还包括:
基于所述AR设备拍摄的真实场景图像,以及预先构建的三维场景地图,确定所述AR设备在所述三维场景地图中的位置信息;
基于所述AR设备在所述三维场景地图中的位置信息,确定所述虚拟导航员在所述三维场景地图中的位置信息;
根据所述虚拟导航员在所述三维场景地图中的位置信息,在所述AR设备展示包含所述虚拟导航员的AR导航场景;
所述在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据,包括:
在所述AR设备展示包含所述虚拟导航员的AR导航场景的过程中,获取所述AR设备的惯性测量单元IMU数据。
这里,在确定AR场景为AR导航场景的情况下,可以基于AR设备在所述三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息,例如,这里的位置可以是在AR设备之前的预设距离处,这样,通过虚拟导航员可以更形象地对用户进行AR导航,进一步提升了导航服务质量。
在一种可能的实施方式中,所述基于所述AR设备在所述三维场景地图中的位置信息,确定所述虚拟导航员在所述三维场景地图中的位置信息,包括:
根据所述AR设备在所述三维场景地图对应的世界坐标系下的位置信息,以及设置的目的地信息,确定导航路线;
基于所述AR设备在所述三维场景地图中的位置信息,以及所述导航路线,确定所述虚拟导航员在所述三维场景地图中的位置信息;其中,所述虚拟导航员位于所述导航路线上,且与所述AR设备的位置之间相距预设距离。
这里,可以基于三维空间内确定的导航路线,以及AR设备自身的位置信息,来确定位于导航路线上的虚拟导航员的位置信息,从而便于虚拟导航员按照确定的导航路线来进行AR导航。
在一种可能的实施方式中,所述根据所述虚拟导航员在所述三维场景地图中的位置信息,在所述AR设备展示包含所述虚拟导航员的AR导航场景,包括:
根据所述虚拟导航员在所述三维场景地图中的位置信息,以及所述导航路线,在所述AR设备展示包含所述虚拟导航员和所述导航路线的AR导航场景。
这里所展示的AR导航场景,可以可视化呈现虚拟导航员针对导航路线的导航效果,从而可以很好的提升用户与AR设备之间的交互体验。
第二方面,本公开实施例还提供了一种控制虚拟对象移动的装置,所述装置包括:
获取模块,用于在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据;
确定模块,用于基于所述IMU数据确定所述AR设备的移动状态信息;
控制模块,用于根据所述移动状态信息,控制所述目标虚拟对象进行移动。
第三方面,本公开实施例还提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一项所述的控制虚拟对象移动的方法的步骤。
第四方面,本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如第一方面及其各种实施方式任一项所述的控制虚拟对象移动的方法的步骤。
关于上述控制虚拟对象移动的装置、电子设备、及计算机可读存储介质的效果描述参见上述控制虚拟对象移动的方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例一所提供的一种控制虚拟对象移动的方法的流程图;
图2示出了本公开实施例一所提供的一种控制虚拟对象移动的方法的应用示意图;
图3示出了本公开实施例二所提供的一种控制虚拟对象移动的装置的示意图;
图4示出了本公开实施例三所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,现有技术中的增强现实(Augmented Reality,AR)导航作为一种将AR技术与地图信息相结合的基础上实现的一种导航方式,在开启导航设备的AR导航后,导航设备中可以展示叠加在真实场景中的AR导航路线。如何充分利用AR技术使得AR导航过程更直观形象,是有待进一步研究的问题。
基于上述研究,本公开至少提供一种控制虚拟对象移动的方案,其基于AR设备的IMU数据来控制AR场景(如AR导航场景)中虚拟对象的移动状态,可以使得所呈现的AR场景画面更直观形象,提高AR服务质量。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种控制虚拟对象移动的方法进行详细介绍,本公开实施例所提供的控制虚拟对象移动的方法的执行主体一般为具有一定计算能力的电子设备,该电子设备例如包括:用户终端或服务器或其它处理设备,比如可以是与用户终端连接的服务器,该用户终端可以是平板电脑、智能手机、智能穿戴式设备、增强现实AR设备(如AR眼镜、AR头盔等)等具有显示功能和数据处理能力的设备,用户终端可以通过应用程序连接服务器。在一些可能的实现方式中,该控制虚拟对象移动的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为AR设备为例对本公开实施例提供的控制虚拟对象移动的方法加以说明。
实施例一
参见图1所示,为本公开实施例提供的控制虚拟对象移动的方法的流程图,方法包括步骤S101~S103,其中:
S101、在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取AR设备的惯性测量单元IMU数据;
S102、基于IMU数据确定AR设备的移动状态信息;
S103、根据移动状态信息,控制目标虚拟对象进行移动。
这里,为了便于理解本公开实施例提供的控制虚拟对象移动的方法,首先可以对该方法的应用场景进行详细描述。本公开实施例中的控制虚拟对象移动的方法可以应用于各种需要进行AR对象控制的应用场景中。例如,可以应用于虚拟游戏场景中,实现对虚拟游戏场景中的游戏角色的控制,还可以是应用于AR导航场景中,实现对AR导航场景中的虚拟对象(如路标、地标等)的控制,还可以是应用于其他各种应用场景中,在此不做具体的限制。
考虑到AR导航的广泛应用,例如,可以应用于道路导航,还可以应用于展览馆内的导航,还可以应用于其它场景下的导航,接下来多以AR导航应用为例进行示例说明。
本公开实施例提供的控制虚拟对象移动的方法,在对AR设备展示的AR场景中的目标虚拟对象进行控制之前,可以先获取AR设备的惯性测量单元(Inertial measurementunit,IMU)数据,并基于该IMU数据确定AR设备的移动状态信息,这里的移动状态信息可以包括移动速度、移动方向等相关信息。这样,即可以基于上述移动状态信息,控制AR场景中的目标虚拟对象进行移动。
需要说明的是,本公开实施例中有关目标虚拟对象的移动状态可以是与AR设备的移动状态信息所指示的移动状态同步,也可以是在AR设备所指示的移动状态的基础上进行调整后所确定的。例如,目标虚拟对象可以按照AR设备的双倍移动速度实现移动。
考虑到在具体应用过程中,AR设备的移动状态一定程度上是受控于用户的运动状态,状态的同步更为有利于提升用户的AR体验,因而,在本公开实施例中,可以控制目标虚拟对象按照AR设备的移动状态信息进行同步移动。
例如,在AR设备的移动速度为5公里/小时,这时,可以依照这一移动速度确定目标虚拟对象在展示的AR场景中的移动像素数量,从而实现目标虚拟对象的移动控制。
本公开实施例中的IMU数据可以是设置于AR设备上的IMU装置测量得到的。作为一种测量物体三轴姿态角以及三轴加速度的装置,IMU装置可以包含三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标***独立三轴的加速度信息,而陀螺检测载体相对于导航坐标系的角速度信息。也即,可以测量物体在三维空间中的角速度信息和加速度信息,基于上述加速度信息和角速度信息可以解算出物体的姿态。这里,可以按照上述IMU装置的测量方法测量得到AR设备的加速度信息和角速度信息,所对应的AR设备的移动状态信息则可以对应于上述解算出来的姿态。
本公开实施例中,在按照上述测量方式确定AR设备的移动状态信息的情况下,可以控制目标虚拟对象按照这一移动状态信息进行同步移动,与此同时,可以进一步结合移动状态类型对应的特效数据实现同步移动。这主要是考虑到AR技术作为一种将虚拟信息与真实世界巧妙融合的技术,其沉浸体验度将直接影响该技术的广泛应用,利用移动状态类型对应的特效数据将可以提升AR场景的沉浸体验度。
本公开实施例中,可以按照如下步骤控制目标虚拟对象结合移动状态信息及对应的特效数据实现同步移动:
步骤一、基于AR设备的移动状态信息,确定AR设备当前所属的目标移动状态类型;
步骤二、基于各移动状态类型与各特效数据之间的对应关系,确定与目标移动状态类型对应的目标特效数据;
步骤三、控制目标虚拟对象按照目标移动状态信息以及目标特效数据进行同步移动。
其中,上述移动状态类型可以是基于移动状态信息确定的,不同的移动状态信息所对应的移动状态类型也不同,例如,在一段时间内AR设备的移动速度保持5公里/小时,这时可以确定其移动状态类型为行走,在确定AR设备的移动速度达到20公里/小时,可以确定其移动状态类型为奔跑,在确定AR设备的移动方向发生变化,则可以认为AR设备转换了方向,例如,在向前行走的过程中发生拐弯行走,再如,在跑步状态下发生跳跃等。除此之外,本公开实施例中的移动状态类型还可以是其它类型,在此不做具体的限制。
这里,针对不同的移动状态类型,可以设置不同的特效数据,例如,在确定即将处于奔跑的移动状态下,可以控制目标虚拟对象变换为奔跑状态并按照奔跑状态同步AR设备的状态;再如,在确定处于转换方向的移动状态下,可以控制AR场景中的目标虚拟对象转换朝向以同步AR设备的状态。
需要说明的是,本公开实施例中,基于不同的应用场景可以对应不同的目标虚拟对象。例如,针对AR导航场景,其所对应的目标虚拟对象可以是虚拟路标、虚拟导向箭头等虚拟物体,还可以是虚拟导航员等虚拟人物,针对AR游戏场景,其所对应的目标虚拟对象可以是虚拟游戏角色等。
本公开实施例中,针对不同的应用场景,在AR设备中所展示出的包含目标虚拟对象的AR场景也不同。考虑到AR导航场景中所对应的虚拟导航员在室内展览馆等场景下进行可视化导览的广泛应用,接下来可以以虚拟导航员所在AR导航场景的呈现过程进行具体说明,上述呈现AR导航场景的过程可以通过如下步骤实现:
步骤一、基于AR设备拍摄的真实场景图像,以及预先构建的三维场景地图,确定AR设备在三维场景地图中的位置信息;
步骤二、基于AR设备在三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息;
步骤三、根据虚拟导航员在三维场景地图中的位置信息,在AR设备展示包含虚拟导航员的AR导航场景。
这里,为了确定出AR设备在三维场景地图中的位置信息,首先可以在预先构建的三维场景地图中查找与AR设备拍摄的真实场景图像对应的地图数据,这样,基于查找到的地图数据、以及拍摄的真实场景图像所在图像坐标系、AR设备所在相机坐标系和三维场景地图所在世界坐标系之间的转换关系,可以确定出AR设备在三维场景地图中的位置信息,也即,在该位置信息处,AR设备与AR设备拍摄的真实场景图像对应的地图数据可以是相关的。
本公开实施例中,在确定AR设备在三维场景地图中的位置信息的情况下,可以确定虚拟导航员在三维场景地图中的位置信息。这主要是考虑到在构建虚拟导航员的过程中,往往需要参考AR设备所属用户的位置信息,也即,在确定AR设备与虚拟导航员之间预设的相对位置关系、以及AR设备在三维场景地图中的位置信息的情况下,可以确定虚拟导航员的位置信息。
在具体应用中,可以针对上述预设的相对位置关系进行设置,例如,可以将虚拟导航员设置在AR设备前方1米位置处,这样,虚拟导航员即可以进行导航引导;再如,还可以将虚拟导航员设置在AR设备后方1米位置处,也即,虚拟导航员可以进行跟随陪护,随时提供导航辅助工作;除此之外,本公开实施例还可以将AR设备所在位置设置为虚拟导航员的位置,也即,虚拟导航员可以作为用户在三维空间内匹配的虚拟人物,以提升AR沉浸体验度,进一步提升AR服务质量。
本公开实施例中的虚拟导航员可以按照导航路线进行AR导航引导,具体可以通过如下步骤来实现:
步骤一、根据AR设备在三维场景地图对应的世界坐标系下的位置信息,以及设置的目的地信息,确定导航路线;
步骤二、基于AR设备在三维场景地图中的位置信息,以及导航路线,确定虚拟导航员在三维场景地图中的位置信息;其中,虚拟导航员位于导航路线上,且与AR设备的位置之间相距预设距离。
这里,在确定AR设备的位置信息以及预先设置的目的地信息的情况下,可以基于相关导航路径规划方法规划由AR设备所在位置(即用户所在位置)至用户目的地的路径,从而确定导航路线。这样,在预设好虚拟导航员与AR设备之间的预设距离的情况下,可以确定处于导航路线上的虚拟导航员在三维场景地图中的位置信息。
本公开实施例中,在确定处于导航路线上的虚拟导航员在三维场景地图中的位置信息的情况下,可以结合导航路线,在AR设备展示包含虚拟导航员和导航路线的AR导航场景。
如图2所示,为本公开实施例提供的一种包含虚拟导航员和导航路线的AR导航场景的示意图。图2中的标识S指示的是虚拟导航员的位置信息,标识D指示的是目的地,这样,在确定导航路线的情况下,虚拟导航员即可以引导用户前往目的地。
可知的是,采用本公开实施例提供的控制虚拟对象移动的方法所呈现的AR导航场景,不仅可以可视化导航路线,还可以可视化具有引导作用的虚拟导航员,该虚拟导航员的移动状态还可以是与AR设备的移动状态保持同步,从而进一步提升AR导航场景的沉浸体验,提升AR导航服务质量。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与控制虚拟对象移动的方法对应的控制虚拟对象移动的装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述控制虚拟对象移动的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
参照图3所示,为本公开实施例提供的一种控制虚拟对象移动的装置的示意图,装置包括:获取模块301、确定模块302、控制模块303;其中,
获取模块301,用于在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取AR设备的惯性测量单元IMU数据;
确定模块302,用于基于IMU数据确定AR设备的移动状态信息;
控制模块303,用于根据移动状态信息,控制目标虚拟对象进行移动。
采用上述控制虚拟对象移动的装置,其在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,可以根据获取的AR设备的惯性测量单元IMU数据确定AR设备的移动状态信息,并可以根据AR设备的移动状态信息,控制目标虚拟对象进行移动,也即,在AR设备展示的AR场景中,目标虚拟对象的移动状态可以随着AR设备的状态变化而变化,可以使得所呈现的AR场景画面更直观形象,提高了AR服务质量。
在一种可能的实施方式中,IMU数据包括三轴加速度信息和三轴角速度信息,确定模块302,用于按照以下步骤基于IMU数据确定AR设备的移动状态信息:
基于三轴加速度信息,确定AR设备的加速度信息,以及基于三轴角速度信息,确定AR设备的角速度信息;
基于加速度信息和角速度信息,确定AR设备的移动状态信息。
在一种可能的实施方式中,控制模块303,用于按照以下步骤根据移动状态信息,控制目标虚拟对象进行移动:
控制目标虚拟对象按照AR设备的移动状态信息进行同步移动。
在一种可能的实施方式中,控制模块303,用于按照以下步骤控制目标虚拟对象按照AR设备的移动状态信息进行同步移动:
基于AR设备的移动状态信息,确定AR设备当前所属的目标移动状态类型;
基于各移动状态类型与各特效数据之间的对应关系,确定与目标移动状态类型对应的目标特效数据;
控制目标虚拟对象按照目标移动状态信息以及目标特效数据进行同步移动。
在一种可能的实施方式中,移动状态信息包括移动速度和移动方向;移动状态类型包括行走、奔跑、转换方向中的至少一种。
在一种可能的实施方式中,AR场景为AR导航场景,目标虚拟对象为虚拟导航员;获取模块301,还用于:
基于AR设备拍摄的真实场景图像,以及预先构建的三维场景地图,确定AR设备在三维场景地图中的位置信息;
基于AR设备在三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息;
根据虚拟导航员在三维场景地图中的位置信息,在AR设备展示包含虚拟导航员的AR导航场景;
在AR设备展示包含虚拟导航员的AR导航场景的过程中,获取AR设备的惯性测量单元IMU数据。
在一种可能的实施方式中,获取模块301,用于按照以下步骤基于AR设备在三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息:
根据AR设备在三维场景地图对应的世界坐标系下的位置信息,以及设置的目的地信息,确定导航路线;
基于AR设备在三维场景地图中的位置信息,以及导航路线,确定虚拟导航员在三维场景地图中的位置信息;其中,虚拟导航员位于导航路线上,且与AR设备的位置之间相距预设距离。
在一种可能的实施方式中,获取模块301,用于按照以下步骤根据确定的虚拟导航员在三维场景地图中的位置信息,在AR设备展示包含虚拟导航员的AR导航场景:
根据虚拟导航员在三维场景地图中的位置信息,以及导航路线,在AR设备展示包含虚拟导航员和导航路线的AR导航场景。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
实施例三
本公开实施例还提供了一种电子设备,如图4所示,为本公开实施例提供的电子设备结构示意图,包括:处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如,图3中的控制虚拟对象移动的装置中获取模块301、确定模块302、控制模块303对应的执行指令等),当电子设备运行时,处理器401与存储器402之间通过总线403通信,机器可读指令被处理器401执行时执行如下处理:
在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取AR设备的惯性测量单元IMU数据;
基于IMU数据确定AR设备的移动状态信息;
根据移动状态信息,控制目标虚拟对象进行移动。
在一种可能的实施方式中,IMU数据包括三轴加速度信息和三轴角速度信息,上述处理器401执行的指令中,基于IMU数据确定AR设备的移动状态信息,包括:
基于三轴加速度信息,确定AR设备的加速度信息,以及基于三轴角速度信息,确定AR设备的角速度信息;
基于加速度信息和角速度信息,确定AR设备的移动状态信息。
在一种可能的实施方式中,上述处理器401执行的指令中,根据确定的AR设备的移动状态信息,控制目标虚拟对象进行移动,包括:
控制目标虚拟对象按照AR设备的移动状态信息进行同步移动。
在一种可能的实施方式中,上述处理器401执行的指令中,控制目标虚拟对象按照AR设备的移动状态信息进行同步移动,包括:
基于AR设备的移动状态信息,确定AR设备当前所属的目标移动状态类型;
基于各移动状态类型与各特效数据之间的对应关系,确定与目标移动状态类型对应的目标特效数据;
控制目标虚拟对象按照目标移动状态信息以及目标特效数据进行同步移动。
在一种可能的实施方式中,移动状态信息包括移动速度和移动方向;移动状态类型包括行走、奔跑、转换方向中的至少一种。
在一种可能的实施方式中,AR场景为AR导航场景,目标虚拟对象为虚拟导航员;上述处理器401执行的指令还包括:
基于AR设备拍摄的真实场景图像,以及预先构建的三维场景地图,确定AR设备在三维场景地图中的位置信息;
基于AR设备在三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息;
根据虚拟导航员在三维场景地图中的位置信息,在AR设备展示包含虚拟导航员的AR导航场景;
上述处理器401执行的指令中,在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取AR设备的惯性测量单元IMU数据,包括:
在AR设备展示包含虚拟导航员的AR导航场景的过程中,获取AR设备的惯性测量单元IMU数据。
在一种可能的实施方式中,上述处理器401执行的指令中,基于AR设备在三维场景地图中的位置信息,确定虚拟导航员在三维场景地图中的位置信息,包括:
根据AR设备在三维场景地图对应的世界坐标系下的位置信息,以及设置的目的地信息,确定导航路线;
基于AR设备在三维场景地图中的位置信息,以及导航路线,确定虚拟导航员在三维场景地图中的位置信息;其中,虚拟导航员位于导航路线上,且与AR设备的位置之间相距预设距离。
在一种可能的实施方式中,上述处理器401执行的指令中,根据虚拟导航员在三维场景地图中的位置信息,在AR设备展示包含虚拟导航员的AR导航场景,包括:
根据虚拟导航员在三维场景地图中的位置信息,以及导航路线,在AR设备展示包含虚拟导航员和导航路线的AR导航场景。
上述指令的具体执行过程可以参考本公开实施例一中所述的控制虚拟对象移动的方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例一中所述的控制虚拟对象移动的方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例一所提供的控制虚拟对象移动的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例一中所述的控制虚拟对象移动的方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种控制虚拟对象移动的方法,其特征在于,所述方法包括:
在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据;
基于所述IMU数据确定所述AR设备的移动状态信息;
根据所述移动状态信息,控制所述目标虚拟对象进行移动。
2.根据权利要求1所述的方法,其特征在于,所述IMU数据包括三轴加速度信息和三轴角速度信息,所述基于所述IMU数据确定所述AR设备的移动状态信息,包括:
基于所述三轴加速度信息,确定所述AR设备的加速度信息,以及基于所述三轴角速度信息,确定所述AR设备的角速度信息;
基于所述加速度信息和所述角速度信息,确定所述AR设备的移动状态信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述移动状态信息,控制所述目标虚拟对象进行移动,包括:
控制所述目标虚拟对象按照所述AR设备的移动状态信息进行同步移动。
4.根据权利要求3所述的方法,其特征在于,所述控制所述目标虚拟对象按照所述AR设备的移动状态信息进行同步移动,包括:
基于所述AR设备的移动状态信息,确定所述AR设备当前所属的目标移动状态类型;
基于各移动状态类型与各特效数据之间的对应关系,确定与所述目标移动状态类型对应的目标特效数据;
控制所述目标虚拟对象按照所述目标移动状态信息以及所述目标特效数据进行同步移动。
5.根据权利要求4述的方法,其特征在于,所述移动状态信息包括移动速度和移动方向;所述移动状态类型包括行走、奔跑、转换方向中的至少一种。
6.根据权利要求1~5任一所述的方法,其特征在于,所述AR场景为AR导航场景,所述目标虚拟对象为虚拟导航员,所述方法还包括:
基于所述AR设备拍摄的真实场景图像,以及预先构建的三维场景地图,确定所述AR设备在所述三维场景地图中的位置信息;
基于所述AR设备在所述三维场景地图中的位置信息,确定所述虚拟导航员在所述三维场景地图中的位置信息;
根据所述虚拟导航员在所述三维场景地图中的位置信息,在所述AR设备展示包含所述虚拟导航员的AR导航场景;
所述在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据,包括:
在所述AR设备展示包含所述虚拟导航员的AR导航场景的过程中,获取所述AR设备的惯性测量单元IMU数据。
7.根据权利要求6所述的方法,其特征在于,所述基于所述AR设备在所述三维场景地图中的位置信息,确定所述虚拟导航员在所述三维场景地图中的位置信息,包括:
根据所述AR设备在所述三维场景地图对应的世界坐标系下的位置信息,以及设置的目的地信息,确定导航路线;
基于所述AR设备在所述三维场景地图中的位置信息,以及所述导航路线,确定所述虚拟导航员在所述三维场景地图中的位置信息;其中,所述虚拟导航员位于所述导航路线上,且与所述AR设备的位置之间相距预设距离。
8.根据权利要求7所述的方法,其特征在于,所述根据所述虚拟导航员在所述三维场景地图中的位置信息,在所述AR设备展示包含所述虚拟导航员的AR导航场景,包括:
根据所述虚拟导航员在所述三维场景地图中的位置信息,以及所述导航路线,在所述AR设备展示包含所述虚拟导航员和所述导航路线的AR导航场景。
9.一种控制虚拟对象移动的装置,其特征在于,所述装置包括:
在增强现实AR设备展示包含目标虚拟对象的AR场景的过程中,获取所述AR设备的惯性测量单元IMU数据;
基于所述IMU数据确定所述AR设备的移动状态信息;
根据所述移动状态信息,控制所述目标虚拟对象进行移动。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的控制虚拟对象移动的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备运行时,所述电子设备执行如权利要求1至8任一项所述的控制虚拟对象移动的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110208654.3A CN112967404A (zh) | 2021-02-24 | 2021-02-24 | 控制虚拟对象移动的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110208654.3A CN112967404A (zh) | 2021-02-24 | 2021-02-24 | 控制虚拟对象移动的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112967404A true CN112967404A (zh) | 2021-06-15 |
Family
ID=76286012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110208654.3A Pending CN112967404A (zh) | 2021-02-24 | 2021-02-24 | 控制虚拟对象移动的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967404A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362475A (zh) * | 2021-06-29 | 2021-09-07 | 视伴科技(北京)有限公司 | 一种验证已生成的虚拟指路标识的方法及装置 |
CN114661398A (zh) * | 2022-03-22 | 2022-06-24 | 上海商汤智能科技有限公司 | 一种信息展示方法、装置、计算机设备和存储介质 |
CN115640953A (zh) * | 2022-09-13 | 2023-01-24 | 深圳会邦科技有限公司 | 一种会务智能化数字处理方法、***、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016187477A1 (en) * | 2015-05-20 | 2016-11-24 | Daqri, Llc | Virtual personification for augmented reality system |
US20170270711A1 (en) * | 2016-03-16 | 2017-09-21 | Michael John Schoenberg | Virtual object pathing |
CN111078003A (zh) * | 2019-11-27 | 2020-04-28 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111176465A (zh) * | 2019-12-25 | 2020-05-19 | Oppo广东移动通信有限公司 | 使用状态识别方法、装置、存储介质与电子设备 |
CN111325849A (zh) * | 2018-12-14 | 2020-06-23 | 广东虚拟现实科技有限公司 | 虚拟内容显示方法、装置、终端设备及存储介质 |
CN112034988A (zh) * | 2017-08-31 | 2020-12-04 | 苹果公司 | 与增强和虚拟现实环境交互的***、方法和图形用户界面 |
CN112146649A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | Ar场景下的导航方法、装置、计算机设备及存储介质 |
-
2021
- 2021-02-24 CN CN202110208654.3A patent/CN112967404A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016187477A1 (en) * | 2015-05-20 | 2016-11-24 | Daqri, Llc | Virtual personification for augmented reality system |
US20170270711A1 (en) * | 2016-03-16 | 2017-09-21 | Michael John Schoenberg | Virtual object pathing |
CN112034988A (zh) * | 2017-08-31 | 2020-12-04 | 苹果公司 | 与增强和虚拟现实环境交互的***、方法和图形用户界面 |
CN111325849A (zh) * | 2018-12-14 | 2020-06-23 | 广东虚拟现实科技有限公司 | 虚拟内容显示方法、装置、终端设备及存储介质 |
CN111078003A (zh) * | 2019-11-27 | 2020-04-28 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111176465A (zh) * | 2019-12-25 | 2020-05-19 | Oppo广东移动通信有限公司 | 使用状态识别方法、装置、存储介质与电子设备 |
CN112146649A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | Ar场景下的导航方法、装置、计算机设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362475A (zh) * | 2021-06-29 | 2021-09-07 | 视伴科技(北京)有限公司 | 一种验证已生成的虚拟指路标识的方法及装置 |
CN114661398A (zh) * | 2022-03-22 | 2022-06-24 | 上海商汤智能科技有限公司 | 一种信息展示方法、装置、计算机设备和存储介质 |
CN114661398B (zh) * | 2022-03-22 | 2024-05-17 | 上海商汤智能科技有限公司 | 一种信息展示方法、装置、计算机设备和存储介质 |
CN115640953A (zh) * | 2022-09-13 | 2023-01-24 | 深圳会邦科技有限公司 | 一种会务智能化数字处理方法、***、设备及介质 |
CN115640953B (zh) * | 2022-09-13 | 2023-08-08 | 深圳会邦科技有限公司 | 一种会务智能化数字处理方法、***、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112967404A (zh) | 控制虚拟对象移动的方法、装置、电子设备及存储介质 | |
CN107407567B (zh) | 增强现实导航 | |
JP6329343B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
CN112146649B (zh) | Ar场景下的导航方法、装置、计算机设备及存储介质 | |
Vera et al. | Augmented mirror: interactive augmented reality system based on kinect | |
KR20210046591A (ko) | 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 | |
KR20210047278A (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
US20160163063A1 (en) | Mixed-reality visualization and method | |
CN111610998A (zh) | Ar场景内容的生成方法、展示方法、装置及存储介质 | |
CN112148189A (zh) | 一种ar场景下的交互方法、装置、电子设备及存储介质 | |
US20140152764A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information transmission/reception method | |
US20210304509A1 (en) | Systems and methods for virtual and augmented reality | |
JP2012128779A (ja) | 仮想物体表示装置 | |
CN112729327A (zh) | 一种导航方法、装置、计算机设备及存储介质 | |
CN108388347B (zh) | 虚拟现实中的交互控制方法和装置及存储介质、终端 | |
KR20210148074A (ko) | Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체 | |
CN111569414B (zh) | 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质 | |
CN113345108A (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
Ayyanchira et al. | Toward cross-platform immersive visualization for indoor navigation and collaboration with augmented reality | |
CN108830944A (zh) | 光学透视式三维近眼显示***及显示方法 | |
CN111693063A (zh) | 导航互动展示方法、装置、电子设备及存储介质 | |
CN113359983A (zh) | 增强现实数据呈现方法、装置、电子设备及存储介质 | |
CN111815783A (zh) | 虚拟场景的呈现方法及装置、电子设备及存储介质 | |
CN116631307A (zh) | 显示方法、智能穿戴设备、电子设备、装置和存储介质 | |
Zarzycki | Teaching and Designing for Augmented Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |