CN110926475B - 一种无人机航点生成方法、装置及电子设备 - Google Patents
一种无人机航点生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110926475B CN110926475B CN201911219197.7A CN201911219197A CN110926475B CN 110926475 B CN110926475 B CN 110926475B CN 201911219197 A CN201911219197 A CN 201911219197A CN 110926475 B CN110926475 B CN 110926475B
- Authority
- CN
- China
- Prior art keywords
- map
- road
- point
- shooting
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
本发明实施例提供了一种无人机航点生成方法、装置及电子设备,应用于图像自动化处理技术领域,该方法包括:获取待建立全景地图的目标地区的地图;基于所述地图的图像数据,生成所述地图对应的道路图;识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。应用本方法,可以实现无人机拍摄全景地图时自动生成无人机航点。
Description
技术领域
本发明涉及图像自动化处理技术领域,特别是涉及一种无人机航点生成方法、装置及电子设备。
背景技术
无人机可以实现专业影像航拍的功能,且具有体积小、灵活性、自动化等优点。因此,无人机在全景地图服务技术也有所应用。
现有技术中,应用无人机进行全景地图的拍摄时,需要工程师凭借经验确定无人机拍摄的航点,再将航点的经纬度数据传递给无人机,相应的,无人机按照预定顺序自主完成航点的拍摄任务,即在航点上拍摄照片。最后,将在各个航点上拍摄出来的照片拼接成为全景照片。
可见,现有的人工确定无人机拍摄的航点的方式,航点需要工程师手动确定,耗费人力,效率较低。所以,如何在应用无人机拍摄全景地图时自动生成无人机航点,是亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种无人机航点生成方法、装置及电子设备,以实现无人机拍摄全景地图时自动生成无人机航点。具体技术方案如下:
本发明实施例提供了一种无人机航点生成方法,应用于电子设备,所述方法包括:
获取待建立全景地图的目标地区的地图;
基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
可选地,识别所述道路图中的多个第二拍摄点的方式包括:
将所述道路图中的各个道路按照预定长度进行等分,得到多个第二拍摄点,每一第二拍摄点为一个等分点。
可选地,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点,包括:
从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点,得到多个第三拍摄点。
可选地,所述获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标之前,所述方法还包括:
将距离小于第一阈值的两个第一拍摄点中的一个第一拍摄点剔除;
从各个第二拍摄点中,剔除与任一第一拍摄点的距离小于第二阈值的第二拍摄点;
从属于建筑物的轮廓的短边上的各个第三拍摄点中,剔除与任一第一拍摄点或第二拍摄点的距离小于第三阈值的第三拍摄点。
将分属于不同的建筑物且距离小于第四阈值的两个第三拍摄点中的一个第三拍摄点剔除。
可选地,所述获取待建立全景地图的目标地区的地图,包括:
从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图;其中,所述预定色彩中包括第一颜色和第二颜色,所述第一颜色为标注各个道路的颜色,所述第二颜色为标注各个建筑物的颜色。
可选地,所述基于所述地图的图像数据,生成所述地图对应的道路图,包括:
在所述地图的地图数据中,确定具有所述第一颜色的各个第一区域;
基于所确定的各个第一区域,对所述地图进行二值化处理,得到所述地图对应的道路图;
其中,基于所确定的各个第一区域,对所述地图进行二值化处理包括将所述地图中各个第一区域设置为白色,将各个第一区域以外的区域设置为黑色。
可选地,所述基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,包括:
在所述地图的地图数据中,确定具有所述第二颜色的各个第二区域;
基于所确定的各个第二区域,对所述地图进行二值化处理,并基于二值化处理后的地图中的相邻像素点的梯度值,生成所述地图中各个建筑物的轮廓的轮廓图;
其中,所述基于所确定的各个第二区域,对所述地图进行二值化处理包括将所述地图中各个第二区域设置为白色,将各个第二区域以外的区域设置为黑色。
本发明实施例还提供了一种无人机航点生成装置,应用于电子设备,所述装置包括:
地图获取模块,用于获取待建立全景地图的目标地区的地图;
道路图生成模块,用于基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
拍摄点识别模块,用于识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
轮廓图生成模块,用于基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
位置点确定模块,用于按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
坐标获得模块,用于获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供的任一无人机航点生成方法步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的任一无人机航点生成方法步骤。
本发明实施例有益效果:
本发明实施例提供的一种无人机航点生成方法、装置及电子设备,可以通过获取待建立全景地图的目标地区的地图,基于所述地图的图像数据,生成所述地图对应的道路图,得到所述道路图中的多个第一拍摄点和多个第二拍摄点;基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,得到所述轮廓图中的多个第三拍摄点;获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为所述无人机的航点。本方案中,无需用户手动确定航点,而是电子设备自动地从目标地区的地图中,按照预定的识别规则得到无人机的各个拍摄点,并将从地图中得到的无人机的拍摄点的经纬度坐标,作为无人机的航点。可见,本方案可以达到无人机拍摄全景地图时自动生成无人机航点的效果。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中所提供的一种无人机航点生成方法的流程图;
图2为本发明实施例中所提供的一种无人机航点生成方法的另一流程图;
图3为本发明实施例中所提供的一种无人机航点生成方法的另一流程图;
图4为本发明实施例中所提供的包含无人机航点的地图的示意图;
图5为表示位于道路的第一拍摄点和第二拍摄点之间的位置关系的示意图;
图6为本发明实施例中所提供的具有预定色彩的区域的地图的灰度图的示意图;
图7为本发明实施例所提供的对地图二值化处理后得到的道路图的示意图;
图8为本发明实施例所提供的具有第一拍摄点的道路图的示意图;
图9(a)为在生成轮廓图的过程中对地图二值化处理后得到的地图的示意图;
图9(b)为与图(a)所示的地图相对应的轮廓图的示意图;
图10为对图9(b)所示的轮廓图进行修正后的轮廓图的示意图;
图11为本发明实施例所提供的具有第三拍摄点的轮廓图的示意图;
图12为本发明实施例中所提供的一种无人机航点生成装置的结构示意图;
图13为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了实现无人机拍摄全景地图时自动生成无人机航点,本发明实施例提供了一种无人机航点自动化生成的方法、装置及电子设备。
下面首先对本发明实施例所提供的一种无人机航点生成方法进行介绍。
需要说明的是,本发明实施例中所提及的无人机航点,为无人机拍摄全景地图时所确定的拍摄点。无人机在航点处拍摄照片,再将各个航点处拍摄的照片拼接起来,即可得到全景地图。其中,将各个航点处拍摄的照片拼接起来的实现方式,不属于本发明的发明点,在此不做限定。
另外,本发明实施例所提供的一种无人机航点生成方法应用于电子设备。该电子设备可以为控制无人机的设备。在具体应用中,该电子设备可以为计算机、平板电脑等。
如图1所示,本发明实施例中所提供的一种无人机航点生成方法,可以包括如下步骤:
S101,获取待建立全景地图的目标地区的地图;
S102,基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
S103,识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
S104,基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
S105,按照最小形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
S106,获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
其中,S102-S103,与S104-S105,并没有严格的执行顺序,例如:可以先执行S102-S103,再执行S104-S105;或者,可以先执行S104-S105,再执行S102-S103;或者,S102-S103,与S104-S105可同时执行。
在S101中,获取待建立全景地图的目标地区的地图具体为获取待建立全景地图的目标地区的平面地图。示例性的,可以利用指定的API(Application Program Interface,应用程序接口),从现有的百度地图、高德地图等地图客户端,获取待建立全景地图的目标地区的平面地图。其中,为了获取待建立全景地图的目标地区的平面地图,可以通过在地图客户端中对目标地图的地图区域设定预定颜色的方式,来获得目标地图的平面地图。为了方案描述清楚,后文会结合具体实施例对如何通过为地图设定预定颜色,来获取待建立全景地图的目标地区的地图的方式进行介绍。
其中,该目标地区可以为展馆、景区、校园、居民区等。
在S102中,该地图的图像数据包括目标地区的道路数据,基于该图片数据,生成该地图对应的道路图。其中,基于所述地图的图像数据,生成所述地图对应的道路图的方法有多种。示例性的,在一种实现方式中,用户可以对该目标区域的地图进行道路标定,从而基于道路的标定结果,生成该地图对应的道路图。
在另一种实现方式中,当该平面地图可以具有预定色彩时,可以基于地图中的预定色彩,来生成所述地图对应的道路图。为了方案清楚,后续结合具体实施例,对如何基于该预定颜色,来生成所述地图对应的道路图进行详细介绍。
在S103中,识别所述道路中的多个第一拍摄点和多个第二拍摄点的实现方式有多种。
针对第一拍摄点而言,在一种实现方式中,可以对获得的道路图进行角点检测,示例性的,可以应用Harris(哈里斯)角点检测的方法对获得的道路图进行角点检测,得到多个第一拍摄点。具体的,Harris角点检测的方法为在获得的道路图上移动特征窗口,当窗口区域内产生较大的灰度变化时,则认为在窗口内部遇到了角点;经过角点检测后,再通过角点重心修正,获得多个第一拍摄点。在另一种实现方式中,通过任一现有方式,从道路图中提取道路图中的交点、端点和折点,即对应着道路的交叉口、道路的起点、道路的中点和道路的拐点,将所提取出的点作为第一拍摄点。
针对第二拍摄点而言,在一种实现方式中,可以将所述道路图中的各个道路按照预定长度进行等分,得到多个第二拍摄点,每一第二拍摄点为一个等分点。其中,该预定长度可以为无人机所能拍摄的最大实际距离所对应的地图距离,示例性的,无人机所能拍摄的最大实际距离可以为10m、20m等,如果地图比例尺为1:10000,那么,预定长度可以为1mm、2mm等。在另一种实现方式中,可以按照预定的道路长度范围与位置点数量的对应关系,确定道路图中各个道路的长度对应的位置点数量,作为各个道路的位置点数量,然后,针对道路图中的每一道路,按照该道路的位置点数量,对该道路进行等分处理,并将等分点作为第二拍摄点。
在S104中,该地图的图像数据包括目标地区的建筑物数据,基于该图片数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图。其中,基于所述地图的图像数据,生成所述地图中各个建筑物的轮廓的轮廓图的方法有多种。示例性的,在一种实现方式中,可以利用该地图的图像数据,绘制出图像数据中的中建筑物的轮廓的轮廓图。
在另一种实现方式中,当该平面地图可以具有预定色彩时,可以基于地图中的预定色彩,来生成用于表示所述地图中各个建筑物的轮廓的轮廓图。为了方案清楚,后续结合具体实施例,对如何基于该预定颜色,生成用于表示所述地图中各个建筑物的轮廓的轮廓图进行详细介绍。
在S105中,按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正的方式,具体可以包括:对获得的轮廓图中的各个建筑物的轮廓进行最小面积矩形覆盖,即针对每一建筑物,为其的轮廓覆盖对应的最小矩形,该最小矩形的长的尺寸为该建筑物轮廓的长的最大尺寸,该最小矩形的宽的尺寸为该建筑物轮廓的宽的最大尺寸。这样即实现了用最小的矩形完全覆盖建筑的轮廓。
另外,在一种实现方式中,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点,可以包括:从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点,得到多个第三拍摄点。在另一种实现方式中,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点,可以包括:从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点和端点,得到多个第三拍摄点。
在S106中,获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标的方式,示例性的,可以包括:通过现有的百度地图、高德地图等客户端获取各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标。
为了方便理解,图4示例性地给出了包含无人机航点的地图的示意图。图4中的无人机航点为按照本发明实施例所提供方法所确定出的,图4中的各个圆点即为无人机航点。
本发明实施例提供的一种无人机航点生成方法、装置及电子设备,可以通过获取待建立全景地图的目标地区的地图,基于所述地图的图像数据,生成所述地图对应的道路图,得到所述道路图中的多个第一拍摄点和多个第二拍摄点;基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,得到所述轮廓图中的多个第三拍摄点;获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为所述无人机的航点。本方案中,无需用户手动确定航点,而是电子设备自动地从目标地区的地图中,按照预定的识别规则得到无人机的各个拍摄点,并将从地图中得到的无人机的拍摄点的经纬度坐标,作为无人机的航点。可见,本方案可以达到无人机拍摄全景地图时自动生成无人机航点的效果。
为了减少航点的数量,减轻无人机的工作强度,在步骤S106之前,可以对获取的各个第一拍摄点、第二拍摄点、第三拍摄点进行数量的优化,如图2所示,具体步骤如下:
S201,将距离小于第一阈值的两个第一拍摄点中的一个第一拍摄点剔除;
S202,从各个第二拍摄点中,剔除与任一第一拍摄点的距离小于第二阈值的第二拍摄点;
S203,从属于建筑物的轮廓的短边的各个第三拍摄点中,剔除与任一第一拍摄点或第二拍摄点的距离小于第三阈值的第三拍摄点。
S204,将分属于不同的建筑物且距离小于第四阈值的两个第三拍摄点中的一个第三拍摄点剔除。
其中,上述的S201-S204所述的各个步骤,并没有严格的执行顺序。
在S201中,由于道路长度具有不确定性,有些道路的第一类拍摄点之间距离较近,为了实现道路拍摄点的优化,距离小于第一阈值的两个第一拍摄点中的一个第一拍摄点剔除。该两个第一拍摄点可以位于同一条道路上,或者,该两个第一拍摄点可以位于不同道路但互相连通。
在S202中,由于考虑道路长度具有不确定性,道路长度不可能均为预定长度的倍数。所以,存在一些第二拍摄点,与第一拍摄点的距离较近,造成了重复,为了实现道路拍摄点的优化,剔除与任一第一拍摄点的距离小于第二阈值的第二拍摄点。示例性的,如图5所示,图中A1、A2为第一拍摄点,B1、B2、B3、B4为第二拍摄点,圆圈中的第二拍摄点B4距离第一拍摄点A2较近,则剔除该第二拍摄点B4。
在S203中,由于大多数建筑物的周围都有道路包围,且建筑物的主要面貌由建筑物的正面展示,也就是由建筑物轮廓的长边所展示。基于以上两种情况考虑,所以当存在属于建筑物的轮廓的短边的第三拍摄点,且与第一拍摄点或第二拍摄点的距离小于第三阈值,将该第三拍摄点剔除。
在S204中,由于建筑物可能会成群建立且相互靠近,且本发明实施例中所提及的全景地图的特点为360°可旋转,所以相邻的距离小于第四阈值的两个建筑物,可以应用一个拍摄点拍摄两个建筑物。
其中,第一阈值、第二阈值、第三阈值、第四阈值均可以为预定的长度阈值,其中,该预定的长度阈值可以为无人机所能拍摄的最大实际距离所对应的地图距离,示例性的,无人机所能拍摄的最大实际距离可以为10m、20m等,如果地图比例尺为1:10000,那么,预定的长度阈值可以为1mm、2mm等。
本发明实施例所提供的方法,可以对获取的各个第一拍摄点、第二拍摄点、第三拍摄点进行数量的优化,减轻无人机的拍摄任务,进一步提升了无人机拍摄全景地图时的工作效率。
下面对待建立全景地图的目标地区的地图具有预定色彩的情况进行详细介绍。如图3所示,本发明实施例中所提供的一种无人机航点生成方法,可以包括如下步骤:
S301,从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图;其中,所述预定色彩中包括第一颜色和第二颜色,所述第一颜色为标注各个道路的颜色,所述第二颜色为标注各个建筑物的颜色。
S3021,在所述地图的地图数据中,确定具有所述第一颜色的各个第一区域;
S3022,基于所确定的各个第一区域,对所述地图进行二值化处理,得到所述地图对应的道路图;
其中,基于所确定的各个第一区域,对所述地图进行二值化处理包括将所述地图中各个第一区域设置为白色,将各个第一区域以外的区域设置为黑色。
S303,识别所述道路图中的多个第一拍摄点以及多个第二拍摄点,其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
S3041,在所述地图的地图数据中,确定具有所述第二颜色的各个第二区域;
S3042,基于所确定的各个第二区域,对所述地图进行二值化处理,并基于二值化处理后的地图中的相邻像素点的梯度值,生成所述地图中各个建筑物的轮廓的轮廓图;
其中,所述二值化处理为将所述地图中各个第二区域设置为白色,将各个第二区域以外的区域设置为黑色。
S305,按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
S306,获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为所述无人机的航点。
在步骤S301中,该全局地图为客户端提供的大范围的地图,本方案中,目标地区的地图为该大范围地图中部分区域的图像。该部分区域具有预定色彩。示例性的,利用个性化地图API可以自定义地图中元素的色彩,所以可以通过个性化地图API,对地图色彩自定义,然后电子设备可以从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图。图6示例性的给出了具有预定色彩的区域的地图的灰度图,该灰度图中黑色的区域块代表具有第二颜色的建筑物的区域,而该灰度图中黑色的线条代表具有第一颜色的道路的区域。其中,该第一颜色为标注各个道路的颜色,例如,该第一颜色可以为RGB(red green blue,红绿蓝)值为58,32,204的紫色,或者,RGB值为0,255,0的绿色等等;该第二颜色为标注各个建筑物的颜色,例如,该第二颜色可以为RGB值为255,255,0的黄色,或者,RGB值为255,0,0的红色等等。
在步骤S3021中,示例性的,可以对所述地图数据进行颜色匹配检测,检测所述地图中的RGB值,将RGB值为第一颜色的RGB值的各个区域,确定为各个第一区域。
在步骤S3022中,示例性的,可以对所述地图进行灰度化处理,基于所确定的各个第一区域,再将灰度化后的所述地图进行二值化处理。如图7所示,二值化处理为将所述地图中的道路部分设置为白色,道路以外的部分设置为黑色。
在S303中,识别二值化处理后的道路图中的多个拍摄点,示例性的,可以对S3022中获得的二值化道路图进行Harris角点检测。具体的,Harris角点检测的方法为在获得的道路图上移动特征窗口,当窗口区域内产生较大的灰度变化时,则认为在窗口内部遇到了角点。经过角点检测后,再通过角点重心修正,获得第一拍摄点。如图8所示,图中的圆点即为获得的第一拍摄点。
在S3041中,示例性的,可以对所述地图数据进行颜色匹配检测,检测所述地图中的RGB值,将RGB值为第二颜色的RGB值的各个区域,确定为各个第二区域。
在步骤S3042中,示例性的,可以对所述地图进行灰度化处理,基于所确定的各个第二区域,再将灰度化后的所述地图进行二值化处理,得到二值化处理后的建筑物的示意图,再利用图像中相邻像素的梯度变化,生成建筑物轮廓图。图9(a)示例性的给出了基于所确定的各个第二区域对地图二值化处理后得到的地图的示意图,图9(b)为与图9(a)所示的地图相对应的轮廓图的示意图。
其中,基于二值化处理后的地图中的相邻像素点的梯度值,生成所述地图中各个建筑物的轮廓的轮廓图,具体可以包括:判断二值化处理后的地图中的相邻像素点的梯度值是否属于预定梯度阈值,如果是,将该相邻像素点中的一像素点作为建筑物的轮廓上的像素点。该预定梯度阈值可以基于黑色像素点和白色像素点的梯度变化所确定的值。
在S305中,按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正的方式,具体覆盖方法,示例性的,该最小矩形的长的尺寸为建筑物轮廓的长的最大尺寸,该最小矩形的宽的尺寸为建筑物轮廓的宽的最大尺寸。示例性的,图10为对图9(b)所示的轮廓图进行修正后的轮廓图的示意图。
其中,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,可以包括:从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点,得到多个第三拍摄点。如图11所示,图中虚线框即为对获得的建筑物轮廓图进行修正后的轮廓图,图11中位于虚线框各边中点的圆圈即为第三拍摄点。
步骤S306与步骤S106相同,在此不做赘述。
本发明实施例提供的无人机航点生成方法,可以通过从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图,基于所述地图的图像数据,确定具有所述第一颜色的各个第一区域,生成所述地图对应的道路图,得到所述道路图中的多个第一拍摄点和多个第二拍摄点;基于所述地图的图像数据,确定具有所述第二颜色的各个第二区域,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,得到所述轮廓图中的多个第三拍摄点;获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为所述无人机的航点。本方案可以自动地从目标地区的地图中,按照规则得到无人机的各个拍摄点,将地图中得到的无人机的拍摄点的经纬度坐标,作为无人机航点发送给无人机,无需手动确定航点,可见,本方案达到了无人机拍摄全景地图时自动生成无人机航点的效果。
相应于上述方法实施例,本发明实施例还提供了一种无人机生成装置,应用于电子设备,如图12所示,该无人机生成装置,包括:
地图获取模块1210,用于获取待建立全景地图的目标地区的地图;
道路图生成模块1220,用于基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
拍摄点识别模块1230,用于识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
轮廓图生成模块1240,用于基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
位置点确定模块1250,用于按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
坐标获得模块1260,用于获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
本发明实施例提供的无人机航点生成装置,可以通过获取待建立全景地图的目标地区的地图,基于所述地图的图像数据,生成所述地图对应的道路图,得到所述道路图中的多个第一拍摄点和多个第二拍摄点;基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,得到所述轮廓图中的多个第三拍摄点;获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为所述无人机的航点。本方案可以自动地从目标地区的地图中,按照规则得到无人机的各个拍摄点,将地图中得到的无人机的拍摄点的经纬度坐标,作为无人机航点发送给无人机,无需手动确定航点,可见,本方案达到了无人机拍摄全景地图时自动生成无人机航点的效果。
可选地,在一种实现方式中,所述拍摄点识别模块1230,可以包括:
等分子模块,用于将所述道路图中的各个道路按照预定长度进行等分,得到多个第二拍摄点,每一第二拍摄点为一个等分点。
可选地,在一种实现方式中,所述位置点确定模块1250,可以包括:
中点确定子模块,用于从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点,得到多个第三拍摄点。
可选地,在一种实现方式中,所述坐标获得模块获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标之前,所述装置还包括:
第一剔除子模块,用于将距离小于第一阈值的两个第一拍摄点中的一个第一拍摄点剔除;
第二剔除子模块,用于从各个第二拍摄点中,剔除与任一第一拍摄点的距离小于第二阈值的第二拍摄点;
第三剔除子模块,用于从属于建筑物的轮廓的短边上的各个第三拍摄点中,剔除与任一第一拍摄点或第二拍摄点的距离小于第三阈值的第三拍摄点。
第四剔除子模块,用于将分属于不同的建筑物且距离小于第四阈值的两个第三拍摄点中的一个第三拍摄点剔除。
可选地,在一种实现方式中,所述地图获取模块1210,可以包括:
地图获取子模块,用于从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图;其中,所述预定色彩中包括第一颜色和第二颜色,所述第一颜色为标注各个道路的颜色,所述第二颜色为标注各个建筑物的颜色。
可选地,在所述装置包括地图获取子模块的基础上,所述道路图生成模块1220,可以包括:
第一确定子模块,用于在所述地图的地图数据中,确定具有所述第一颜色的各个第一区域;
第一处理子模块,用于基于所确定的各个第一区域,对所述地图进行二值化处理,得到所述地图对应的道路图;
其中,基于所确定的各个第一区域,对所述地图进行二值化处理包括将所述地图中各个第一区域设置为白色,将各个第一区域以外的区域设置为黑色。
可选地,在所述装置包括地图获取子模块的基础上,所述轮廓图生成模块1240,可以包括:
第二确定子模块,用于在所述地图的地图数据中,确定具有所述第二颜色的各个第二区域;
第二处理子模块,用于基于所确定的各个第二区域,对所述地图进行二值化处理,并基于二值化处理后的地图中的相邻像素点的梯度值,生成所述地图中各个建筑物的轮廓的轮廓图;
其中,所述基于所确定的各个第二区域,对所述地图进行二值化处理包括将所述地图中各个第二区域设置为白色,将各个第二区域以外的区域设置为黑色。
本发明实施例还提供了一种电子设备,如图13所示,包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中,处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信,
存储器1303,用于存放计算机程序;
处理器1301,用于执行存储器1303上所存放的程序时,实现本发明实施例所提供的一种无人机航点生成方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一无人机航点生成方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一无人机航点生成方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种无人机航点生成方法,其特征在于,应用于电子设备,所述方法包括:
获取待建立全景地图的目标地区的地图;
基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
2.根据权利要求1所述的方法,其特征在于,识别所述道路图中的多个第二拍摄点的方式包括:
将所述道路图中的各个道路按照预定长度进行等分,得到多个第二拍摄点,每一第二拍摄点为一个等分点。
3.根据权利要求1所述的方法,其特征在于,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点,包括:
从修正后的轮廓图中,确定各个建筑物的轮廓的各边的中点,得到多个第三拍摄点。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标之前,所述方法还包括:
将距离小于第一阈值的两个第一拍摄点中的一个第一拍摄点剔除;
从各个第二拍摄点中,剔除与任一第一拍摄点的距离小于第二阈值的第二拍摄点;
从属于建筑物的轮廓的短边上的各个第三拍摄点中,剔除与任一第一拍摄点或第二拍摄点的距离小于第三阈值的第三拍摄点;
将分属于不同的建筑物且距离小于第四阈值的两个第三拍摄点中的一个第三拍摄点剔除。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述获取待建立全景地图的目标地区的地图,包括:
从预定的全局地图中,获取具有预定色彩的区域的地图,作为待建立全景地图的目标地区的地图;其中,所述预定色彩中包括第一颜色和第二颜色,所述第一颜色为标注各个道路的颜色,所述第二颜色为标注各个建筑物的颜色。
6.根据权利要求5所述的方法,其特征在于,所述基于所述地图的图像数据,生成所述地图对应的道路图,包括:
在所述地图的地图数据中,确定具有所述第一颜色的各个第一区域;
基于所确定的各个第一区域,对所述地图进行二值化处理,得到所述地图对应的道路图;
其中,基于所确定的各个第一区域,对所述地图进行二值化处理包括将所述地图中各个第一区域设置为白色,将各个第一区域以外的区域设置为黑色。
7.根据权利要求5所述的方法,其特征在于,所述基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图,包括:
在所述地图的地图数据中,确定具有所述第二颜色的各个第二区域;
基于所确定的各个第二区域,对所述地图进行二值化处理,并基于二值化处理后的地图中的相邻像素点的梯度值,生成所述地图中各个建筑物的轮廓的轮廓图;
其中,所述基于所确定的各个第二区域,对所述地图进行二值化处理包括将所述地图中各个第二区域设置为白色,将各个第二区域以外的区域设置为黑色。
8.一种无人机航点生成装置,其特征在于,应用于电子设备,所述装置包括:
地图获取模块,用于获取待建立全景地图的目标地区的地图;
道路图生成模块,用于基于所述地图的图像数据,生成所述地图对应的道路图,所述道路图为用于表示所述地图中的各个道路的图像;
拍摄点识别模块,用于识别所述道路图中的多个第一拍摄点以及多个第二拍摄点;其中,所述第一拍摄点为道路的交叉口、道路的拐点、道路的起点或道路的终点;所述第二拍摄点为所述道路图中道路上的除道路起点和终点以外的位置点;
轮廓图生成模块,用于基于所述地图的图像数据,生成用于表示所述地图中各个建筑物的轮廓的轮廓图;
位置点确定模块,用于按照最小矩形覆盖方式,对所述轮廓图中各个建筑物的轮廓进行修正,从修正后的轮廓图中,确定各个建筑物的轮廓的各边的指定位置点,得到多个第三拍摄点;
坐标获得模块,用于获得各个第一拍摄点、第二拍摄点、第三拍摄点的经纬度坐标,作为无人机的航点。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911219197.7A CN110926475B (zh) | 2019-12-03 | 2019-12-03 | 一种无人机航点生成方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911219197.7A CN110926475B (zh) | 2019-12-03 | 2019-12-03 | 一种无人机航点生成方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110926475A CN110926475A (zh) | 2020-03-27 |
CN110926475B true CN110926475B (zh) | 2021-04-27 |
Family
ID=69847310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911219197.7A Active CN110926475B (zh) | 2019-12-03 | 2019-12-03 | 一种无人机航点生成方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110926475B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111698422B (zh) * | 2020-06-10 | 2022-01-25 | 百度在线网络技术(北京)有限公司 | 一种全景图像的采集方法、装置、电子设备及存储介质 |
CN111914047B (zh) * | 2020-07-16 | 2024-03-12 | 苏州数字地图信息科技股份有限公司 | 基于二维码门牌的地理实体网格生成方法、装置及介质 |
CN113888635B (zh) * | 2021-09-29 | 2023-04-18 | 北京百度网讯科技有限公司 | 视觉定位方法、相关装置 |
CN115410104B (zh) * | 2022-09-16 | 2023-06-16 | 湖南胜云光电科技有限公司 | 一种获取飞行器的图像采集点的数据处理*** |
CN115861039B (zh) * | 2022-11-21 | 2023-07-25 | 北京城市网邻信息技术有限公司 | 信息展示方法、装置、设备及介质 |
CN115620154B (zh) * | 2022-12-19 | 2023-03-07 | 江苏星湖科技有限公司 | 一种全景地图叠加替换方法、*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846472A (zh) * | 2016-12-02 | 2017-06-13 | 浙江宇视科技有限公司 | 一种基于全景地图生成影像地图的方法及装置 |
CN107896317A (zh) * | 2017-12-01 | 2018-04-10 | 上海市环境科学研究院 | 飞行器航拍图像综合处理装置 |
CN108762293A (zh) * | 2018-04-11 | 2018-11-06 | 广州亿航智能技术有限公司 | 基于无人机的区域扫描方法、地面控制站、无人机及*** |
CN109117811A (zh) * | 2018-08-24 | 2019-01-01 | 颜俊君 | 一种基于低空遥感测量技术估算城市植被覆盖率的***及方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8947421B2 (en) * | 2007-10-29 | 2015-02-03 | Interman Corporation | Method and server computer for generating map images for creating virtual spaces representing the real world |
-
2019
- 2019-12-03 CN CN201911219197.7A patent/CN110926475B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846472A (zh) * | 2016-12-02 | 2017-06-13 | 浙江宇视科技有限公司 | 一种基于全景地图生成影像地图的方法及装置 |
CN107896317A (zh) * | 2017-12-01 | 2018-04-10 | 上海市环境科学研究院 | 飞行器航拍图像综合处理装置 |
CN108762293A (zh) * | 2018-04-11 | 2018-11-06 | 广州亿航智能技术有限公司 | 基于无人机的区域扫描方法、地面控制站、无人机及*** |
CN109117811A (zh) * | 2018-08-24 | 2019-01-01 | 颜俊君 | 一种基于低空遥感测量技术估算城市植被覆盖率的***及方法 |
CN109741257A (zh) * | 2018-12-25 | 2019-05-10 | 鸿视线科技(北京)有限公司 | 全景图全自动拍摄、拼接***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110926475A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110926475B (zh) | 一种无人机航点生成方法、装置及电子设备 | |
CN107784654B (zh) | 图像分割方法、装置及全卷积网络*** | |
CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
CN104881860A (zh) | 基于照片进行定位的方法和装置 | |
CN105069453A (zh) | 一种图像校正方法及装置 | |
CN111950543A (zh) | 一种目标检测方法和装置 | |
JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
JP2006350553A (ja) | 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN113804100A (zh) | 确定目标对象的空间坐标的方法、装置、设备和存储介质 | |
CN113658345A (zh) | 一种样本标注方法及装置 | |
Karimi et al. | A new method for automatic and accurate coded target recognition in oblique images to improve augmented reality precision | |
CN112633114A (zh) | 面向建筑物变化事件的无人机巡查智能预警方法和装置 | |
CN115410173B (zh) | 多模态融合的高精地图要素识别方法、装置、设备及介质 | |
CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
CN112597788B (zh) | 目标测定方法、装置、电子设备和计算机可读介质 | |
CN111738906B (zh) | 室内路网生成方法、装置、存储介质及电子设备 | |
CN114821513A (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及*** | |
CN110837789B (zh) | 一种检测物体的方法、装置、电子设备及介质 | |
US20210103726A1 (en) | Building footprint | |
CN112509028A (zh) | 估算窗户面积的方法和装置 | |
CN111383337A (zh) | 用于识别对象的方法和装置 | |
CN111292288A (zh) | 一种目标检测及定位的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |