CN110180185B - 一种时间延迟测量方法、装置、***及存储介质 - Google Patents

一种时间延迟测量方法、装置、***及存储介质 Download PDF

Info

Publication number
CN110180185B
CN110180185B CN201910420085.1A CN201910420085A CN110180185B CN 110180185 B CN110180185 B CN 110180185B CN 201910420085 A CN201910420085 A CN 201910420085A CN 110180185 B CN110180185 B CN 110180185B
Authority
CN
China
Prior art keywords
virtual image
frame
time
target
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910420085.1A
Other languages
English (en)
Other versions
CN110180185A (zh
Inventor
陆柳慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Shanghai Electronics Technology Co Ltd
Original Assignee
Lenovo Shanghai Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Shanghai Electronics Technology Co Ltd filed Critical Lenovo Shanghai Electronics Technology Co Ltd
Priority to CN201910420085.1A priority Critical patent/CN110180185B/zh
Publication of CN110180185A publication Critical patent/CN110180185A/zh
Application granted granted Critical
Publication of CN110180185B publication Critical patent/CN110180185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种时间延迟测量方法,所述方法包括:获取增强现实AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。本申请实施例还公开了一种时间延迟测量装置、***及存储介质。

Description

一种时间延迟测量方法、装置、***及存储介质
技术领域
本申请实施例涉及计算机技术领域,涉及但不限于一种时间延迟测量方法、装置、***及存储介质。
背景技术
增强现实(Augmented Reality,AR)游戏对延迟要求较高,为了能够达到流畅的视觉效果,AR游戏里的移动到显示的延迟(motion-to-photon latency,MTP latency),即从用户运动开始到相应画面显示到屏幕上所花的时间(也可称为时间延迟),低于20ms是基本要求;对于部分比较敏感的用户,时间延迟甚至需要更低。
相关技术中,MTP latency的测量需要编写定制化的、复杂的MTP latency测量的应用程序,该应用程序通用性不强,难以移植,且测量值不包含视觉优化效果,与实际用户体验差别较大。
发明内容
本申请实施例提供了一种时间延迟测量方法、装置、***及存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种时间延迟测量方法,所述方法包括:
获取AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
第二方面,本申请实施例提供一种时间延迟测量装置,所述装置包括:
第一获取模块,用于获取增强现实AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
第一控制模块,用于基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
第一确定模块,用于基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
第三方面,本申请实施例还提供了一种时间延迟测量***,所述***包括:
AR设备,用于控制跟踪位置从参考位置移动到目标位置;其中,所述AR设备的虚拟图像中的所述目标位置处标记有参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
测量设备,用于获取所述AR设备的跟踪位置从所述参考位置移动到所述目标位置时的第一时间;以及基于所述AR设备的跟踪位置的移动,控制所述AR设备输出所述虚拟图像中所述参考位置至所述目标位置的场景内容;获取所述虚拟图像中所述参考对象对应的第二时间;基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
第四方面,本申请实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方案中任一项所述时间延迟测量方法。
本申请实施例中,获取增强现实AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟;如此,在确定AR设备的时间延迟时,实现简单方便,便于移植,且测量结果精确。
附图说明
在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本申请实施例所提供的时间延迟测量方法的实现流程示意图;
图2为本申请实施例所提供的时间延迟测量***的一种组成结构示意图;
图3为本申请实施例所提供的高速相机拍摄到激光点的效果示意图;
图4为本申请实施例所提供的AR设备拍摄到的虚拟图像通过高速相机显示的效果示意图;
图5为本申请实施例所提供的时间延迟测量装置的组成结构示意图;
图6为本申请实施例所提供的时间延迟测量设备的硬件结构示意图;
图7为本申请实施例所提供的时间延迟测量***的又一种组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在详述本申请实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本申请保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
本申请实施例提供的时间延迟测量方法可应用于时间延迟测量装置。当AR设备的跟踪位置从参考位置移动到目标位置(例如:从0度移动到30度),时间延迟测量装置控制AR设备输出的虚拟图像从参考位置移动到目标位置,获取AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;并获取输出的虚拟图像从参考位置移动到目标位置时的第二时间;基于第一时间和第二时间,确定AR设备的时间延迟。其中,虚拟图像的目标位置处设置有参考对象(例如:刻度线),从而将输出虚拟图像中参考对象的时间作为虚拟图像移动到目标位置的第二时间。
在一示例中,实施时间延迟测量装置的电子设备(即时间延迟测量设备)可与AR设备为不同的物理实体,其中,电子设备可实施为移动终端、服务器等功能实体。在又一示例中,时间延迟测量装置可以集成于AR设备中,即与AR设备一体化。
本申请实施例提供一种时间延迟测量方法,该方法应用于实施时间延迟测量装置的电子设备,电子设备中的各功能模块可以由电子设备(如终端设备、服务器)的硬件资源,如处理器等计算资源、传感器等探测资源、通信资源协同实现。
电子设备可以是任何具有信息处理能力的电子设备,在一种实施例中,电子设备可以是智能终端,例如可以是笔记本等具有无线通信能力的移动终端、AR设备。在另一种实施例中,电子设备还可以是不便移动的具有计算功能的终端设备,比如台式计算机、桌面电脑、服务器等。
当然,本申请实施例不局限于提供为方法和硬件,还可有多种实现方式,例如提供为存储介质(存储有用于执行本申请实施例提供的时间延迟测量方法的指令)。
图1为本申请实施例中的时间延迟测量方法的实现流程示意图,如图1所示,该方法包括以下步骤:
步骤101:获取AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
这里,在AR设备的跟踪位置从参考位置向目标位置移动的过程中,获得AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;其中,参考位置可以为起点位置,目标位置可以为终点位置。
比如:参考位置为0度,目标位置为30度;又比如:参考位置为5米,目标位置为10米。
步骤102:基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;
这里,在AR设备的跟踪位置从参考位置向目标位置移动的过程中,时间延迟测量装置获取得到虚拟图像。所述虚拟图像包括所述参考位置至所述目标位置的场景内容。虚拟图像中的所述目标位置处标记有参考对象。这里,参考对象可以为刻度线。
基于AR设备的跟踪位置的移动,时间延迟测量装置控制AR设备输出虚拟图像,AR设备输出的虚拟图像包括参考位置至目标位置的场景内容。这里,当AR设备的跟踪位置从参考位置开始移动时,开始控制AR设备输出虚拟图像中参考位置图像。随着AR设备的跟踪位置移动,控制AR设备继续输出虚拟图像。
AR设备输出的虚拟图像中的目标位置处标记有参考对象,当AR设备的跟踪位置从参考位置移动到目标位置的过程中,时间延迟测量装置检测AR设备输出的虚拟图像所包括的对象。当时间延迟测量装置检测到虚拟图像中包括参考对象时,确定AR设备输出的虚拟图像为目标位置的场景内容,记录虚拟图像中包括参考对象的时间为第二时间。
这里,第一时间、第二时间可包括以下两种表示方式:时间信息和帧数。下面以第二时间举例说明:
第一种方式:为AR设备的跟踪位置从参考位置移动到目标位置时具体的时间点;比如:10分20秒35毫秒。
第二种方式:为参考对象在AR设备的输出虚拟图像中对应的帧的位置:比如:第5帧。
这里,第一时间和第二时间的表示方式相同。
需要说明的是,当满足以下情况时,确定AR设备输出的虚拟图像中包括参考对象:
1)AR设备对包括参考对象的空间环境进行拍摄时,AR设备输出的虚拟图像中包括参考对象。
2)当AR设备平面旋转时,AR设备输出的虚拟图像中包括参考对象。这里,对AR设备输出的虚拟图像中包括参考对象的情况不作限制。
步骤103:基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
这里,当第一时间和第二时间为第一种方式时,计算第一时间和第二时间的时间差,将该时间差确定为AR设备的时间延迟。
当第一时间和第二时间为第二种方式时,计算第一时间对应的帧位置和第二时间对应的帧位置之间间隔的帧数,根据两者之间间隔的帧数确定AR设备的时间延迟。
本申请实施例提供的时间延迟测量方法,获取增强现实AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟;如此,在确定AR设备的时间延迟时,实现简单方便,便于移植,且测量结果精确。
本申请实施例中提供一种时间延迟测量方法,该方法包括以下步骤:
步骤201:获取空间环境的跟踪数据;
这里,时间延迟测量装置可获取图像采集器采集的空间环境的跟踪数据。图像采集器可与时间延迟测量装置之间具有数据连接。时间延迟测量装置控制图像采集器采集空间环境的跟踪数据,并接收图像采集器采集的跟踪数据。
这里,空间环境的目标位置处设置有目标对象。目标对象可以为激光点、参考物体等对象。图像采集器可以为摄像头、高速相机的具有图像采集功能的实体。图像采集器可集成于时间延迟测量装置所在的电子设备,可集成于AR设备上,也可位于时间延迟测量装置所在的电子设备和AR设备之外的设备上。
步骤202:当所述跟踪数据中包括所述目标对象时,确定所述AR设备的跟踪位置移动到所述目标位置;
这里,时间延迟测量装置对接收的跟踪数据进行检测,当跟踪数据中包括目标对象时,确定AR设备的跟踪位置移动到目标位置。
这里,图像采集器与AR设备同步移动;当图像采集器采集的空间环境的跟踪数据中包括目标对象时,表征图像采集器从参考位置移动到目标位置,此时可以确定AR设备的跟踪位置也从参考位置移动到目标位置。
在实际应用中,为了使图像采集器与AR设备同步移动,可以将图像采集器与AR设备固定在同一个固定设备上,在设备移动的同时,图像采集器与AR设备保持同步移动。比如:可以将图像采集器与AR设备都固定在机械臂上,在机械臂移动的同时,图像采集器与AR设备保持同步移动。
步骤203:获取所述AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
步骤204:基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;
其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容。
步骤205:基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
其中,步骤203至步骤205分别参见上述实施例中的步骤101至步骤103。
本申请实施例提供的时间延迟测量方法,能够在获取的空间环境的跟踪数据中包括目标对象时,确定AR设备的跟踪位置移动到目标位置,实现方法简单方便,且确定的结果精确。
本申请实施例中提供一种时间延迟测量方法,该方法包括以下步骤:
步骤301:确定所述目标对象在所述跟踪数据中对应的目标帧;
这里,图像采集器在从参考位置移动到目标位置的过程中,对空间环境进行采集,得到空间环境的跟踪数据;空间环境的目标位置处设置有目标对象,当图像采集器移动到目标位置时,图像采集器采集的空间环境的跟踪数据中包括目标对象,此时,时间延迟测量装置确定目标对象在跟踪数据中对应的目标帧。该目标帧表征跟踪数据中包括目标对象时,目标对象位于跟踪数据的哪个帧。
步骤302:确定所述目标帧在所述跟踪数据中的位置,得到所述第一时间;
其中,所述第一时间为所述目标对象在所述空间环境的跟踪数据中的位置对应的时间。
这里,时间延迟测量装置确定目标帧在图像采集器采集的跟踪数据中的位置,将目标帧在跟踪数据中的位置对应的时间作为第一时间。其中,目标帧在图像采集器采集的跟踪数据中的位置表征目标帧在跟踪数据中位于第几帧,比如:目标帧在跟踪数据中的位置为第5帧,即第一时间为第5帧对应的时间。
步骤303:基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容;
其中,步骤303参见上述实施例中的步骤102。
步骤304:确定所述参考对象在所述虚拟图像中对应的参考帧;
这里,AR设备在的跟踪位置从参考位置移动到目标位置的过程中,得到空间环境的虚拟图像;AR设备的虚拟图像中的目标位置处标记有参考对象,当AR设备的跟踪位置移动到目标位置时,AR设备的虚拟图像中包括参考对象,此时,时间延迟测量装置确定参考对象在虚拟图像中对应的参考帧。该参考帧表征虚拟图像中包括参考对象时,参考对象位于虚拟图像的哪个帧。
步骤305:确定所述参考帧在所述虚拟图像中的位置,得到所述第二时间;
其中,所述第二时间为所述参考对象在所述虚拟图像中的位置对应的时间。
这里,时间延迟测量装置确定参考帧在AR设备的虚拟图像中的位置,将参考帧在虚拟图像中的位置对应的时间作为第二时间。其中,参考帧在AR设备的虚拟图像中的位置表征参考帧在虚拟图像中位于第几帧,比如:参考帧在虚拟图像中的位置为第3帧,即第二时间为第3帧对应的时间。
步骤306:基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
其中,步骤306参见上述实施例中的步骤103。
本申请实施例提供的时间延迟测量方法,能够根据目标帧在采集的跟踪数据中的位置确定第一时间,根据参考帧在虚拟图像中的位置确定所述第二时间,实现方法简单方便,且确定的结果精确。
本申请实施例中提供一种时间延迟测量方法,该方法包括以下步骤:
步骤401:获取所述AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
步骤402:基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容;
其中,步骤401至步骤402分别参见上述实施例中的步骤101至步骤102。
步骤403:将所述虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据,并控制所述AR设备的跟踪位置停留在所述目标位置处;
这里,在得到AR设备的虚拟图像和空间环境的的跟踪数据之后,时间延迟测量装置将虚拟图像和跟踪数据进行叠加,得到合并的图像数据;当AR设备的跟踪位置移动到目标位置时,控制AR设备的跟踪位置留在目标位置处。
在一些实施例中,在将所述虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据之前,所述方法还包括:
当所述虚拟图像中包括抖动帧,对所述抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;所述抖动帧为相邻两帧图像的内容相同的帧图像;将抖动帧中的后一帧图像替换为所述中间帧,以对所述虚拟图像进行修正。
在将虚拟图像和跟踪数据进行叠加前,可以采用异步时间扭曲(AsynchronousTimewarp)处理的方式对所述虚拟图像进行修正。
这里,时间延迟测量装置将虚拟图像和跟踪数据进行叠加,得到合并的图像数据之前,时间延迟测量装置对AR设备的虚拟图像进行检测,当虚拟图像中包括抖动帧时,可以先对抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;这里,抖动帧为相邻两帧图像的内容相同的帧图像;再将抖动帧中的后一帧图像替换为得到的中间帧,得到修正后的虚拟图像。得到修正后的虚拟图像后,再将修正后的虚拟图像和跟踪数据进行叠加,得到合并的图像数据。
步骤404:获取所述合并的图像数据中,所述参考对象和所述目标对象重叠的第二时间;
这里,当AR设备的跟踪位置移动到目标位置时,合并的图像数据中包括参考对象和目标对象,此时,时间延迟测量装置获取合并的图像数据中参考对象和目标对象重叠的第二时间。
在实际应用中,时间延迟测量装置确定参考对象和目标对象在合并的图像数据中重叠时,可以先确定参考对象和目标对象重叠的重叠帧。该重叠帧表征目标对象和参考对象在合并的图像数据中重叠时位于合并的图像数据的哪个帧。然后确定重叠帧在合并的图像数据中的位置,将重叠帧在合并的图像数据中的位置对应的时间作为第二时间。其中,重叠帧在合并的图像数据中的位置表征重叠帧在合并的图像数据中位于第几帧,比如:重叠帧在合并的图像数据中的位置为第2帧,即第二时间为第2帧对应的时间。
这里,在虚拟图像和跟踪数据进行叠加,得到合并的图像数据之后,还可以将合并的图像数据显示在图像采集器上,这样用户可以直观地进行观察。
步骤405:基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
其中,步骤405参见上述实施例中的步骤103。
本申请实施例提供的时间延迟测量方法,能够获取合并的图像数据中参考对象和目标对象重叠的第二时间,且在得到合并的图像数据之前,对虚拟图像进行处理,实现方法简单方便,且合并的图像数据包括视觉优化的效果。
本申请实施例中提供一种时间延迟测量方法,该方法包括以下步骤:
步骤501:获取所述AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
步骤502:基于所述AR设备的跟踪位置的移动,控制所述AR设备输出所述虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;
其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容。
其中,步骤501至步骤502分别参见上述实施例中的步骤101至步骤102。
步骤503:确定所述虚拟图像的帧频率;
这里,时间延迟测量装置确定虚拟图像的帧频率,比如:虚拟图像的帧频率为每秒18帧(fps);其中,所述空间环境的跟踪数据的帧频率与所述虚拟图像的帧频率相同。
步骤504:确定所述目标对象在所述跟踪数据中的位置与所述参考对象在所述虚拟图像中的位置之间间隔的帧数;
其中,所述第一时间为所述目标对象在所述跟踪数据中的位置对应的时间,所述第二时间为所述参考对象在所述虚拟图像中的位置对应的时间。
这里,时间延迟测量装置先根据第一时间确定目标对象在跟踪数据中的位置,根据第二时间确定参考对象在虚拟图像中的位置,再确定目标对象在跟踪数据中的位置与参考对象在虚拟图像中的位置之间间隔的帧数;比如:目标对象在跟踪数据中的位置为第5帧,参考对象在虚拟图像中的位置为第2帧,则目标对象在跟踪数据中的位置与参考对象在虚拟图像中的位置之间间隔的帧数为3帧。
步骤505:根据所述帧频率和所述帧数,确定所述AR设备的时间延迟。
这里,时间延迟测量装置根据虚拟图像的帧频率和步骤504确定的帧数,确定AR设备的时间延迟;比如:虚拟图像的帧频率为18fps,目标对象在跟踪数据中的位置与参考对象在虚拟图像中的位置之间间隔的帧数为3帧,则AR设备的时间延迟为0.17秒。
本申请实施例提供的时间延迟测量方法,能够根据帧频率和帧数,确定AR设备的时间延迟,实现方法简单方便,且确定的结果精确。
本申请实施例中以AR设备、高速相机固定在机械臂上为例,通过具体场景对本申请实施例提供的时间延迟测量方法进行说明。
本申请实施例提供的时间延迟测量***,如图2所示,包括:AR设备21、高速相机22、机械臂23和控制器24,AR设备21和高速相机22通过支架,固定在机械臂23上。这里,控制器24对应时间延迟测量装置。
本申请实施例提供的时间延迟测量***,在Unity场景中,可以轻易获得目标对象的转动角度,转换为刻度值形式的虚拟图像,并显示出来。在刻度值形式的虚拟图像显示之前,经过ATW处理,确保虚拟图像包含视觉优化,刻度值形式的虚拟图像比数字形式的图像显示更快。
本申请实施例提供的时间延迟测量方法包括如下步骤:
1)高速相机拍摄到激光点画面。
通过机械臂转动固定角度,比如,从0°转到30°,确定激光点位置,即30°位置;如图3所示,高速相机拍摄到激光点31时,位置为正前方偏移30°,则将这一帧图像作为MTPlatency测量的起点对应的帧图像即起点帧。
2)AR设备通过相机进行显示。
AR设备跟随机械臂进行转动,AR设备运行unity测试程序,在机械臂转动到固定角度时,如图4所示,unity测试程序通过高速相机在激光点位置附近显示一条刻度线41,将这一帧图像作为MTP latency测量的终点对应的帧图像即终点帧。
3)计算MTP latency测量的终点帧与起点帧的时间差。
以旋转30度为例来说明MTP latency计算方式,如表1所示。
表1在0度及30度时AR设备的状态和动作示例
通过计算公式MTP latency=(n-m)ms计算MTP latency,这里,以1帧为1ms为例,则帧数等于MTP latency的值。
在机械臂转动时,高速相机拍摄现实世界中的激光点,AR设备将目标对象的转动角度转化为刻度值,高速相机同时显示AR设备的刻度值与拍摄的现实世界中的激光点,进而得到虚拟图像与实际值的偏差,从而推算MTP latency的值。
为了保证转动角度的精确,我们采用工业机械臂,可以达到误差0.01°的精确度。高速相机可以以1000fps的频率保存图像,把MTP latency测量误差控制在1ms以内。
本申请实施例的优势为:实现起来简单方便,工作量小;便于移植,适用于所有AR或者虚拟现实(Virtual Reality,VR)设备;测量结果精确,且包含ATW的AR视觉优化效果。
本申请实施例还提供一种时间延迟测量装置,该装置所包括的各模块、各模块所包括的各单元,可以通过时间延迟测量装置的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
如图5所示,时间延迟测量装置50包括:
第一获取模块501,用于获取增强现实AR设备的跟踪位置从参考位置移动到目标位置时的第一时间;
第一控制模块502,用于基于所述AR设备的跟踪位置的移动,控制所述AR设备输出所述虚拟图像中所述参考位置至所述目标位置的场景内容,获取所述虚拟图像中参考对象对应的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
第一确定模块503,用于基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
在一些实施例中,装置50还包括:第二获取模块和第二确定模块;其中,
第二获取模块,用于获取空间环境的跟踪数据;所述空间环境的所述目标位置处设置有目标对象;
第二确定模块,用于当所述跟踪数据中包括所述目标对象时,确定所述AR设备的跟踪位置移动到所述目标位置。
在一些实施例中,第一获取模块501包括:第一确定单元和第二确定单元;其中,
第一确定单元,用于确定所述目标对象在所述跟踪数据中对应的目标帧;在所述空间环境的所述目标位置处设置有目标对象;
第二确定单元,用于确定所述目标帧在所述跟踪数据中的位置,得到所述第一时间。
在一些实施例中,控制模块包括:第三确定单元和第四确定单元;其中,
第三确定单元,用于确定所述参考对象在所述虚拟图像中对应的参考帧;
第四确定单元,用于确定所述参考帧在所述虚拟图像中的位置,得到所述第二时间。
在一些实施例中,装置50还包括:第二控制模块,用于将所述虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据,并控制所述AR设备的跟踪位置停留在所述目标位置处;
相应地,第一控制模块502包括:获取单元;其中,
获取单元,用于获取所述合并的图像数据中,所述参考对象和所述目标对象重叠的第二时间。
在一些实施例中,装置50还包括:处理模块和修正模块;其中,
处理模块,用于当所述虚拟图像中包括抖动帧,对所述抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;所述抖动帧为相邻两帧图像的内容相同的帧图像;
修正模块,用于将抖动帧中的后一帧图像替换为所述中间帧,以对所述虚拟图像进行修正。
在一些实施例中,第一确定模块503包括:第五确定单元、第六确定单元和第七确定单元;其中,
第五确定模块,用于确定所述虚拟图像的帧频率;其中,所述空间环境的跟踪数据的帧频率与所述虚拟图像的帧频率相同;
第六确定模块,用于确定所述目标对象在所述跟踪数据中的位置与所述参考对象在所述虚拟图像中的位置之间间隔的帧数;
第七确定模块,用于根据所述帧频率和所述帧数,确定所述AR设备的时间延迟。
需要说明的是:上述实施例提供的时间延迟测量装置在测量时间延迟时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的时间延迟测量装置与时间延迟测量方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6所示的时间延迟测量设备60包括:至少一个处理器610、存储器640、至少一个网络接口620、用户接口630和AR设备650。时间延迟测量设备60中的各个组件通过总线***650耦合在一起。可理解,总线***650用于实现这些组件之间的连接通信。总线***650除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为总线***650。
用户接口630可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器640可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)。易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本发明实施例描述的存储器640旨在包括任意适合类型的存储器。
本发明实施例中的存储器640能够存储数据以支持时间延迟测量设备60的操作。这些数据的示例包括:用于在时间延迟测量设备60上操作的任何计算机程序,如操作***和应用程序。其中,操作***包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
其中,处理器602用于运行所述计算机程序时,以实现上述实施例中提供的时间延迟测量方法中的步骤。
作为本发明实施例提供的方法采用软硬件结合实施的示例,本发明实施例所提供的方法可以直接体现为由处理器610执行的软件模块组合,例如本本发明实施例提供的时间延迟测量装置,时间延迟测量装置的软件模块可以存储于存储器640,处理器610读取存储器640中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器610以及连接到总线650的其他组件)完成本发明实施例提供的时间延迟测量方法。
作为示例,处理器610可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
这里需要指出的是:以上时间延迟测量设备实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请时间延迟测量设备实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。
本申请实施例还提供一种时间延迟测量***,如图7所示,时间延迟测量***70包括:增强现实AR设备701和测量设备702;其中,
AR设备701,用于控制跟踪位置从参考位置移动到目标位置;其中,所述AR设备的虚拟图像中的所述目标位置处标记有参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
测量设备702,用于获取所述AR设备的跟踪位置从所述参考位置移动到所述目标位置时的第一时间;以及基于所述AR设备的跟踪位置的移动,控制所述AR设备输出所述虚拟图像中所述参考位置至所述目标位置的场景内容;获取所述虚拟图像中所述参考对象对应的第二时间;基于所述第一时间和所述第二时间,确定所述AR设备的时间延迟。
需要说明的是,AR设备和测量设备可以是两个独立的物理实体,AR设备和测量设备各自完成各自的功能;测量设备也可以集成在AR设备里。本申请实施例对此不作限定。
这里需要指出的是:以上时间延迟测量***实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请时间延迟测量***实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,例如包括存储计算机程序的存储器,上述计算机程序可由处理器处理,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器处理时实现上述实施例中提供的时间延迟测量方法中的步骤。
这里需要指出的是:以上计算机介质实施例项的描述,与上述方法描述是类似的,具有同方法实施例相同的有益效果,因此不做赘述。对于本申请存储介质实施例中未披露的技术细节,本领域的技术人员请参照本申请方法实施例的描述而理解,为节约篇幅,这里不再赘述。
上述本申请实施例揭示的方法可以应用于所述处理器中,或者由所述处理器实现。所述处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过所述处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,所述处理器读取存储器中的信息,结合其硬件完成前述方法的步骤。
可以理解,本申请实施例的存储器(存储器)可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是ROM、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,DynamicRandom Access Memory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域内的技术人员应明白,本申请实施例的时间延迟测量方法的其他构成以及作用,对于本领域的技术人员而言都是已知的,为了减少冗余,本申请实施例不做赘述。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同限定。

Claims (6)

1.一种时间延迟测量方法,所述方法包括:
获取空间环境的跟踪数据;所述空间环境的目标位置处设置有目标对象;
获取增强现实AR设备的跟踪位置从参考位置移动到所述目标位置时的第一时间;
基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容;
当所述虚拟图像中包括抖动帧,对所述抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;所述抖动帧为相邻两帧图像的内容相同的帧图像;
将所述抖动帧中的后一帧图像替换为所述中间帧,以对所述虚拟图像进行修正,得到修正后的虚拟图像;
将所述修正后的虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据,并控制所述AR设备的跟踪位置停留在所述目标位置处;
获取所述合并的图像数据中,参考对象和所述目标对象重叠的第二时间;
其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
确定所述虚拟图像的帧频率;其中,所述空间环境的跟踪数据的帧频率与所述虚拟图像的帧频率相同;
确定所述目标对象在所述跟踪数据中的位置与所述参考对象在所述虚拟图像中的位置之间间隔的帧数;
根据所述帧频率和所述帧数,确定所述AR设备的时间延迟;
其中,所述第一时间为所述目标对象在所述跟踪数据中的位置对应的时间,所述第二时间为所述参考对象在所述虚拟图像中的位置对应的时间。
2.根据权利要求1所述的方法,所述获取增强现实AR设备的跟踪位置从参考位置移动到所述目标位置时的第一时间之前,所述方法还包括:
当所述跟踪数据中包括所述目标对象时,确定所述AR设备的跟踪位置移动到所述目标位置。
3.根据权利要求1所述的方法,所述第一时间为所述目标对象在所述空间环境的跟踪数据中的位置对应的时间,所述获取所述AR设备的跟踪位置从参考位置移动到目标位置时的第一时间,包括:
确定所述目标对象在所述跟踪数据中对应的目标帧;在所述空间环境的所述目标位置处设置有目标对象;
确定所述目标帧在所述跟踪数据中的位置,得到所述第一时间。
4.一种时间延迟测量装置,所述装置包括:
第二获取模块,用于获取空间环境的跟踪数据;所述空间环境的目标位置处设置有目标对象;
第一获取模块,用于获取增强现实AR设备的跟踪位置从参考位置移动到所述目标位置时的第一时间;
第一控制模块,用于基于所述AR设备的跟踪位置的移动,控制所述AR设备输出虚拟图像中所述参考位置至所述目标位置的场景内容;
处理模块,用于当所述虚拟图像中包括抖动帧,对所述抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;所述抖动帧为相邻两帧图像的内容相同的帧图像;
修正模块,用于将所述抖动帧中的后一帧图像替换为所述中间帧,以对所述虚拟图像进行修正,得到修正后的虚拟图像;
第二控制模块,用于将所述修正后的虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据,并控制所述AR设备的跟踪位置停留在所述目标位置处;
所述第一控制模块包括:获取单元;所述获取单元,用于获取所述合并的图像数据中,参考对象和所述目标对象重叠的第二时间;其中,所述AR设备的虚拟图像中的所述目标位置处标记有所述参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
第五确定单元,用于确定所述虚拟图像的帧频率;其中,所述空间环境的跟踪数据的帧频率与所述虚拟图像的帧频率相同;
第六确定单元,用于确定所述目标对象在所述跟踪数据中的位置与所述参考对象在所述虚拟图像中的位置之间间隔的帧数;
第七确定单元,用于根据所述帧频率和所述帧数,确定所述AR设备的时间延迟;
其中,所述第一时间为所述目标对象在所述跟踪数据中的位置对应的时间,所述第二时间为所述参考对象在所述虚拟图像中的位置对应的时间。
5.一种时间延迟测量***,所述***包括:
AR设备,用于控制跟踪位置从参考位置移动到目标位置;其中,所述AR设备的虚拟图像中的所述目标位置处标记有参考对象;所述虚拟图像包括所述参考位置至所述目标位置的场景内容;
测量设备,用于获取空间环境的跟踪数据;所述空间环境的所述目标位置处设置有目标对象;获取所述AR设备的跟踪位置从所述参考位置移动到所述目标位置时的第一时间;以及基于所述AR设备的跟踪位置的移动,控制所述AR设备输出所述虚拟图像中所述参考位置至所述目标位置的场景内容;当所述虚拟图像中包括抖动帧,对所述抖动帧中的后一帧图像进行时间扭曲处理,得到中间帧;所述抖动帧为相邻两帧图像的内容相同的帧图像;将所述抖动帧中的后一帧图像替换为所述中间帧,以对所述虚拟图像进行修正,得到修正后的虚拟图像;将所述修正后的虚拟图像和所述空间环境的跟踪数据进行叠加,得到合并的图像数据,并控制所述AR设备的跟踪位置停留在所述目标位置处;获取所述合并的图像数据中,所述参考对象和所述目标对象重叠的第二时间;确定所述虚拟图像的帧频率;其中,所述空间环境的跟踪数据的帧频率与所述虚拟图像的帧频率相同;确定所述目标对象在所述跟踪数据中的位置与所述参考对象在所述虚拟图像中的位置之间间隔的帧数;根据所述帧频率和所述帧数,确定所述AR设备的时间延迟;其中,所述第一时间为所述目标对象在所述跟踪数据中的位置对应的时间,所述第二时间为所述参考对象在所述虚拟图像中的位置对应的时间。
6.一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1至3任一项所述时间延迟测量方法。
CN201910420085.1A 2019-05-20 2019-05-20 一种时间延迟测量方法、装置、***及存储介质 Active CN110180185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420085.1A CN110180185B (zh) 2019-05-20 2019-05-20 一种时间延迟测量方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420085.1A CN110180185B (zh) 2019-05-20 2019-05-20 一种时间延迟测量方法、装置、***及存储介质

Publications (2)

Publication Number Publication Date
CN110180185A CN110180185A (zh) 2019-08-30
CN110180185B true CN110180185B (zh) 2023-08-18

Family

ID=67717033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420085.1A Active CN110180185B (zh) 2019-05-20 2019-05-20 一种时间延迟测量方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN110180185B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312127B (zh) * 2020-10-30 2023-07-21 中移(杭州)信息技术有限公司 成像检测方法、装置、电子设备、***及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2523554B (en) * 2014-02-26 2020-12-09 Sony Interactive Entertainment Inc Head-mountable apparatus and systems
KR102649197B1 (ko) * 2016-07-29 2024-03-20 삼성전자주식회사 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN109147059B (zh) * 2018-09-06 2020-09-25 联想(北京)有限公司 一种延时数值的确定方法及设备

Also Published As

Publication number Publication date
CN110180185A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110599549B (zh) 界面显示方法、装置及存储介质
CN107409206B (zh) 用于多相机无线装置的实时校准
US20180234673A1 (en) Online compensation of thermal distortions in a stereo depth camera
CN108871311B (zh) 位姿确定方法和装置
US11042984B2 (en) Systems and methods for providing image depth information
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
WO2021218683A1 (zh) 图像处理的方法和装置
US20170359518A1 (en) Systems and methods for synchronizing sensor data
CN110180185B (zh) 一种时间延迟测量方法、装置、***及存储介质
CN116051600A (zh) 产品检测轨迹的优化方法和装置
CN113498502A (zh) 使用外部传感器的手势检测
WO2016161851A1 (zh) 移动终端控制方法及移动终端
US10466814B2 (en) Electronic system, indicating device and operating method thereof
CN116348916A (zh) 用于卷帘快门相机的方位跟踪
CN111275769B (zh) 一种单目视觉参数的校正方法及装置
US11245763B2 (en) Data processing method, computer device and storage medium
WO2023160445A1 (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
CN115379118B (zh) 摄像头切换方法、装置、电子设备和可读存储介质
US20190212834A1 (en) Software gyroscope apparatus
CN111077999B (zh) 一种信息处理方法、设备及***
CN112148139B (zh) 一种姿态识别方法和计算机可读存储介质
JP2015032261A (ja) 表示装置および制御方法
Ham et al. Absolute scale estimation of 3d monocular vision on smart devices
JP5662787B2 (ja) 携帯端末および画像処理方法
CN112132909A (zh) 参数获取方法及装置、媒体数据处理方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant