CN113452842A - 航班ar显示方法、***、计算机设备及存储介质 - Google Patents

航班ar显示方法、***、计算机设备及存储介质 Download PDF

Info

Publication number
CN113452842A
CN113452842A CN202111000868.8A CN202111000868A CN113452842A CN 113452842 A CN113452842 A CN 113452842A CN 202111000868 A CN202111000868 A CN 202111000868A CN 113452842 A CN113452842 A CN 113452842A
Authority
CN
China
Prior art keywords
terminal equipment
flight
included angle
projection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111000868.8A
Other languages
English (en)
Other versions
CN113452842B (zh
Inventor
赵梦晗
陈林茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huoli Tianhui Technology Co ltd
Original Assignee
Shenzhen Huoli Tianhui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huoli Tianhui Technology Co ltd filed Critical Shenzhen Huoli Tianhui Technology Co ltd
Priority to CN202111000868.8A priority Critical patent/CN113452842B/zh
Publication of CN113452842A publication Critical patent/CN113452842A/zh
Application granted granted Critical
Publication of CN113452842B publication Critical patent/CN113452842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种航班AR显示方法、***、计算机设备及存储介质，其方法应用在带有摄像头、陀螺仪和定位功能的终端设备上，并包括：通过定位功能获取终端设备的位置信息，并将位置信息发送到后台服务器；从后台服务器获取以位置信息为中心的预设距离半径内的航班信息；通过陀螺仪获取终端设备的朝向和与地平面的夹角；利用预设透视投影模型，根据与地平面的夹角计算终端设备朝向的投影范围；从航班信息中筛选出在投影范围内的目标航班，并将目标航班的标识信息以投影点坐标的方式投影到摄像头的预览界面之上。本发明的技术方案以增强现实的方式显示航班信息，解决了现有航班信息表达不够直观的问题。

Description

航班AR显示方法、***、计算机设备及存储介质
技术领域
本发明涉及信息处理领域，尤其涉及一种航班AR显示方法、***、计算机设备及存储介质。
背景技术
现有的各种地图APP、订票APP等，或多或少都附带有航班查询功能，为人们的出行提供便利。然而，航班的标识信息大多在2D平面地图上进行显示，不够直观，无法直观表达航班相对于用户的位置。
发明内容
本发明实施例提供一种航班AR显示方法、***、计算机设备及存储介质，以增强现实的方式显示航班信息，解决了现有航班信息表达不够直观的问题。
一种航班AR显示方法，所述航班AR显示方法应用在带有摄像头、陀螺仪和定位功能的终端设备上，并包括：
通过所述定位功能获取所述终端设备的位置信息，并将所述位置信息发送到后台服务器；
从所述后台服务器获取以所述位置信息为中心的预设距离半径内的航班信息；
通过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角；
利用预设透视投影模型，根据所述与地平面的夹角计算所述终端设备所述朝向的投影范围；
从所述航班信息中筛选出在所述投影范围内的目标航班，并将所述目标航班的标识信息以投影点坐标的方式投影到所述摄像头的预览界面之上。
一种航班AR显示***，包括终端设备和后台服务器，所述终端设备和后台服务器通过网络连接；
所述终端设备上设有摄像头、陀螺仪和定位功能，其中，所述陀螺仪用于获取终端设备的朝向和与地平面的夹角；所述定位功能用于获取终端设备的位置信息；
所述后台服务器上存储有航班信息，并用于将在以所述位置信息为中心的预设距离半径内的航班信息发送至所述终端设备；
所述终端设备用于：
获取所述终端设备的位置信息，并将所述位置信息发送到后台服务器；
实时通过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角；
利用预设透视投影模型，根据所述与地平面的夹角计算所述终端设备所述朝向的投影范围；
从所述航班信息中筛选出在所述投影范围内的目标航班，并将所述目标航班的标识信息以投影点坐标的方式投影到所述摄像头的预览界面之上。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述航班AR显示方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述航班AR显示方法的步骤。
上述航班AR显示方法、***、计算机设备及存储介质，其中，终端设备上的定位功能用于获取其精确的位置信息，陀螺仪用于实时监控其朝向和与地平面的夹角，摄像头的预览界面用于显示航班AR（增强现实）的信息。
本方案的实现原理为：首先，终端设备利用定位功能获取的位置信息从后台服务器获取该位置预设距离半径（例如100公里）内的所有航班信息；其次，终端设备利用陀螺仪获取其空间状态，即，朝向和与地平面的夹角；并利用透视投影的原理和与地平面的夹角计算出终端设备朝向的投影范围；然后，计算能够投影到终端设备摄像头预览界面内的航班，并通过透视投影的原理计算航班投影到预览界面的具***置。
本方案的有益效果为：当用户打开摄像头的预览界面时，可以看到代表航班的标识信息分布在界面的不同位置，且随着航班的运行而更新移动；同时，当终端设备发生旋转、移动或与地平面夹角的变化，航班的标识信息也会随着变化，从而使得用户能够更直观的查询附近的航班，以及航班相对于用户的方位、高度、速度、距离等信息，方便快捷，不需要手动检索。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中航班AR显示方法的应用场景示意图；
图2是本发明一实施例中航班AR显示方法的主要流程图；
图3是本发明一实施例中航班AR显示方法的完整流程图；
图4是本发明一实施例中摄像头预览界面的效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的航班AR显示方法，应用在带有摄像头、陀螺仪和定位功能的终端设备上，并可应用在如图1所示的应用场景中。其中，终端设备可以为智能手机、平板电脑等，不限于iOS、Android或鸿蒙等操作***；定位功能用于定位终端设备的地理位置；后台服务器为存储有航班信息的计算机设备；终端设备与后台服务器之间通过网络连接。
本航班AR显示方法，如图2所示，包括如下步骤：
S1：通过定位功能获取终端设备的位置信息，并将位置信息发送到后台服务器。
S2：从后台服务器获取以位置信息为中心的预设距离半径内的航班信息。
S3：通过陀螺仪获取终端设备的朝向和与地平面的夹角。
S4：利用预设透视投影模型，根据与地平面的夹角计算终端设备朝向的投影范围。
S5：从航班信息中筛选出在投影范围内的目标航班，并将目标航班的标识信息以投影点坐标的方式投影到摄像头的预览界面之上。
其中，位置信息包括终端设备的经纬度；航班信息包括飞机的经纬度，以及飞机高度、飞机航向、飞行线路和与地理北极的夹角、飞机纬度变化率、飞机经度变化率，等。
具体地，以终端设备为手机为例进行说明，数据处理流程图如图3所示。
手机调用定位功能，获取用户的地理位置经纬度信息，记为 userLocation =(userLat，userLong)；其中，userLat代表手机当前纬度，userLong代表手机当前经度。然后，将userLat和userLong发送到后台服务器。
后台服务器向终端设备返回以该位置信息(userLat，userLong)为中心，一定半径内（例如100Km）的所有航班信息，包括航班经纬度（flightLat, flightLong），其中，flightLat代表航班当前纬度，flightLong代表航班当前经度。
手机实时通过陀螺仪获取手机的姿态，即朝向和与地平面的夹角，记为userDirect，其中，手机当前的朝向和地理北极的角度（0 ～360），0表示手机当前正对地理北极；从陀螺仪获取手机的朝向和与地平面的夹角可以一定周期为间隔，循环进行，例如以每30秒实现持续监听。
预设透视投影模型是指根据图形学中透视投影的原理进行计算飞机是否在手机朝向的投影范围内，以及计算航班投影到手机屏幕的具***置。
首先，通过计算（userLat, userLong）和（flightLat, flightLong）两个坐标点形成的直线，以及该直线和正北方向的夹角记为userToFlightDirect。
其次，假设透视投影的视点和投影面的最大夹角范围是eyeSpan=60 (单位度）,则可以算出来投影范围内最小的角度 minDirect = userDirect -eyeSpan/2.0，最大的角度maxDirect = userDirect + eyeSpan/2.0，即，若预设透视投影模型包括透视投影的视点和投影面的最大夹角范围为N度，则投影范围为N度，且以与地平面的夹角为中心平分。
因此，只有当userToFlightDirect大于等于minDirect，且小于等于maxDirect时，飞机才在手机正对的朝向的视野范围内，即在投影范围内。
再次，对投影范围内的飞机进行筛选，得到要显示到手机摄像头预览界面之上的目标航班。
最后，在显示时，通过投影点坐标的方式，将目标航班的标识信息（如图标）显示在手机摄像头预览界面上，具体包括如下步骤：
计算投影点坐标的横坐标px：px通过userDirect、userToFlightDirect进行简单的数学运算得到。
计算投影点坐标的横坐标py：通过等比换算和预设三维空间坐标转换算法得到。
在摄像头预览界面创建飞机信息图，并将目标航班的标识信息显示在屏幕的(px，py)位置。
具体地，设横坐标为DC，纵坐标为HG，则DC和HG的具体计算方式为：
Figure 321972DEST_PATH_IMAGE001
Figure 52162DEST_PATH_IMAGE002
其中，DE为所述终端设备的屏幕宽度，eyespan为投影面的最大夹角， userToFlightDirect为所述正北方向的夹角，HM为所述终端设备的屏幕高度，NF为飞机的 高度，BF为飞机距离所述终端设备的距离，AB为
Figure 628637DEST_PATH_IMAGE003
。
在一实施例中，提供了一种航班AR显示***，包括终端设备和后台服务器，终端设备和后台服务器通过网络连接；
终端设备上设有摄像头、陀螺仪和定位功能，其中，陀螺仪用于获取终端设备的朝向和与地平面的夹角；定位功能用于获取终端设备的位置信息；
后台服务器上存储有航班信息，并用于将在以位置信息为中心的预设距离半径内的航班信息发送至终端设备；
终端设备用于：
获取终端设备的位置信息，并将位置信息发送到后台服务器；
实时通过陀螺仪获取终端设备的朝向和与地平面的夹角；
利用预设透视投影模型，根据与地平面的夹角计算终端设备朝向的投影范围；
从航班信息中筛选出在投影范围内的目标航班，并将目标航班的标识信息以投影点坐标的方式投影到摄像头的预览界面之上。
在本实施例中，终端设备和后台服务器的数据处理采用如上所述的航班AR显示方法，此处不再赘述。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中航班AR显示方法的步骤，例如图2所示的步骤S1至步骤S5。
在一实施例中，提供一计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中航班AR显示方法。
关于本技术方案的实现效果的示意图如图4所示，其中，1代表拍照键；2代表摄像头预览到的普通建筑物；3代表目标航班的标识信息；由此可见，用户只需要打开摄像头预览界面，即可基于用户当前的地理位置查询附近的航班，直观查看附近航班相对于用户的方位、高度、速度、距离等信息，用户体验感更好。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (5)

1.一种航班AR显示方法，其特征在于，所述航班AR显示方法应用在带有摄像头、陀螺仪和定位功能的终端设备上，并包括：
通过所述定位功能获取所述终端设备的位置信息，并将所述位置信息发送到后台服务器；
从所述后台服务器获取以所述位置信息为中心的预设距离半径内的航班信息；
通过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角；
利用预设透视投影模型，根据所述与地平面的夹角计算所述终端设备所述朝向的投影范围；
从所述航班信息中筛选出在所述投影范围内的目标航班，并将所述目标航班的标识信息以投影点坐标的方式投影到所述摄像头的预览界面之上；
所述预设透视投影模型为：若透视投影的视点和投影面的最大夹角范围为N度，则所述投影范围为N度，且以所述与地平面的夹角为中心平分，其中，N为自然数；
所述位置信息包括所述终端设备的经纬度，所述航班信息包括飞机的经纬度；所述从所述航班信息中筛选出在所述投影范围内的目标航班，包括：
根据所述终端设备的经纬度和所述飞机的经纬度，确定所述终端设备和飞机形成的连线，以及所述连线与正北方向的夹角；
若所述连线与正北方向的夹角在所述投影范围内，则确定与所述飞机的经纬度对应的航班为目标航班；
所述将所述目标航班的标识信息以投影点坐标的方式投影到所述摄像头的预览界面之上，包括：
根据所述与地平面的夹角和所述连线与正北方向的夹角，计算得到所述投影点坐标的横坐标；
通过等比换算和预设三维空间坐标转换算法，计算得到所述投影点坐标的纵坐标；
设所述横坐标为DC，则DC根据如下公式计算得到：
Figure DEST_PATH_IMAGE001
其中，DE为所述终端设备的屏幕宽度，eyespan为投影面的最大夹角，userToFlightDirect为所述正北方向的夹角；
设所述纵坐标为HG，则HG根据如下公式计算得到：
Figure DEST_PATH_IMAGE002
其中，HM为所述终端设备的屏幕高度，NF为飞机的高度，BF为飞机距离所述终端设备的 距离，AB为
Figure DEST_PATH_IMAGE003
。
2.如权利要求1所述的航班AR显示方法，其特征在于，所述通过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角，包括：
以预设时间间隔为周期，过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角。
3.一种航班AR显示***，其特征在于，包括终端设备和后台服务器，所述终端设备和后台服务器通过网络连接；
所述终端设备上设有摄像头、陀螺仪和定位功能，其中，所述陀螺仪用于获取终端设备的朝向和与地平面的夹角；所述定位功能用于获取终端设备的位置信息；
所述后台服务器上存储有航班信息，并用于将在以所述位置信息为中心的预设距离半径内的航班信息发送至所述终端设备；
所述终端设备用于：
获取所述终端设备的位置信息，并将所述位置信息发送到后台服务器；
实时通过所述陀螺仪获取所述终端设备的朝向和与地平面的夹角；
利用预设透视投影模型，根据所述与地平面的夹角计算所述终端设备所述朝向的投影范围；
从所述航班信息中筛选出在所述投影范围内的目标航班，并将所述目标航班的标识信息以投影点坐标的方式投影到所述摄像头的预览界面之上。
4.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述航班AR显示方法的步骤。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述航班AR显示方法的步骤。
CN202111000868.8A 2021-08-30 2021-08-30 航班ar显示方法、***、计算机设备及存储介质 Active CN113452842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000868.8A CN113452842B (zh) 2021-08-30 2021-08-30 航班ar显示方法、***、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000868.8A CN113452842B (zh) 2021-08-30 2021-08-30 航班ar显示方法、***、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113452842A true CN113452842A (zh) 2021-09-28
CN113452842B CN113452842B (zh) 2021-12-10

Family

ID=77818889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000868.8A Active CN113452842B (zh) 2021-08-30 2021-08-30 航班ar显示方法、***、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113452842B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821007A (zh) * 2022-06-28 2022-07-29 中航信移动科技有限公司 一种基于ar的航班显示方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330418A (zh) * 2008-07-21 2008-12-24 中国民航大学 一种机场航班信息实时跟踪装置及其处理方法
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及***
CN108961842A (zh) * 2018-08-17 2018-12-07 飞友科技有限公司 一种基于ads-b的飞行跟踪和地面监控***
CN110249625A (zh) * 2017-02-15 2019-09-17 深圳市大疆创新科技有限公司 图像显示方法、图像显示***、飞行体、程序以及记录介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330418A (zh) * 2008-07-21 2008-12-24 中国民航大学 一种机场航班信息实时跟踪装置及其处理方法
CN110249625A (zh) * 2017-02-15 2019-09-17 深圳市大疆创新科技有限公司 图像显示方法、图像显示***、飞行体、程序以及记录介质
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及***
CN108961842A (zh) * 2018-08-17 2018-12-07 飞友科技有限公司 一种基于ads-b的飞行跟踪和地面监控***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
网页管理者: "Rela time aircraft tracking by FlightRadar24", 《FLIGHTRADAR24》 *
青小蛙: "Flightradar24 – 用摄像头（AR）对着天空扫飞机，实时查看航班信息[iOS/Android]", 《小众软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821007A (zh) * 2022-06-28 2022-07-29 中航信移动科技有限公司 一种基于ar的航班显示方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113452842B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US11650708B2 (en) System and method of indicating the distance or the surface of an image of a geographical object
CN107450088B (zh) 一种基于位置的服务lbs的增强现实定位方法及装置
EP3359918B1 (en) Systems and methods for orienting a user in a map display
US8633970B1 (en) Augmented reality with earth data
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
CN107993282B (zh) 一种动态的可量测实景地图制作方法
CN108154558B (zh) 一种增强现实方法、装置和***
US20200394841A1 (en) Information processing apparatus, information processing method, and storage medium
US11290705B2 (en) Rendering augmented reality with occlusion
US11282225B2 (en) Calibration for vision in navigation systems
JP2014215731A (ja) 分布データ表示装置、方法及びプログラム
CN113452842B (zh) 航班ar显示方法、***、计算机设备及存储介质
CN112422653A (zh) 基于位置服务的场景信息推送方法、***、存储介质及设备
JP5513806B2 (ja) 連携表示装置、連携表示方法、及びプログラム
US20130120373A1 (en) Object distribution range setting device and object distribution range setting method
EP4057127A2 (en) Display method, display apparatus, device, storage medium, and computer program product
CN114655240A (zh) 信息的显示方法、装置、电子设备及存储介质
US10965930B2 (en) Graphical user interface for indicating off-screen points of interest
CN114708407A (zh) 虚拟三维空间信息展示方法、装置及程序产品
US10638269B1 (en) Visualization of spatio-temporal location
CN110942521A (zh) 一种ar信息点显示方法及装置
US11580649B1 (en) Graphical element rooftop reconstruction in digital map
US11823329B2 (en) Efficient graphical element top surface rendering in digital map
US11726740B2 (en) Immersive audio tours
US20220341737A1 (en) Method and device for navigating

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant