CN112347218B - 无人船艇的环境地图生成方法及无人船艇感知*** - Google Patents
无人船艇的环境地图生成方法及无人船艇感知*** Download PDFInfo
- Publication number
- CN112347218B CN112347218B CN202011263337.3A CN202011263337A CN112347218B CN 112347218 B CN112347218 B CN 112347218B CN 202011263337 A CN202011263337 A CN 202011263337A CN 112347218 B CN112347218 B CN 112347218B
- Authority
- CN
- China
- Prior art keywords
- data
- unmanned ship
- internet
- ship
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims description 58
- 230000008447 perception Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 15
- 238000013506 data mapping Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000006855 networking Effects 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000007499 fusion processing Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000010485 coping Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/60—Positioning; Navigation
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例适用于无人船艇技术领域,提供了一种无人船艇的环境地图生成方法及无人船艇感知***,所述方法应用于云计算平台,包括:接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;确定所述无人船艇当前所处的航行位置;提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。采用上述方法,可以提高生成的环境地图的精度。
Description
技术领域
本申请属于无人船艇技术领域,特别是涉及一种无人船艇的环境地图生成方法及无人船艇感知***。
背景技术
在自动驾驶技术领域,根据是否需要人为的手动控制以及需要何种程度的手动控制,可以将自动驾驶划分为不同的等级。其中,高智慧等级的自动驾驶不需要人为关注,可以实现完全的无人驾驶。
通过将自动驾驶技术应用于无人船艇中,可以实现无人船艇的自主航行。无人船艇实现高智慧等级的自主航行,必须构建出高精度的环境地图,以便实现实时的精准决策及避障。
目前,无人船艇航行过程中使用的环境地图主要依靠无人船艇的感知***所采集的数据,包括无人船艇中搭载的导航雷达、激光雷达、视觉设备、船舶自动识别***(automatic identification system,AIS)等感知设备采集的数据。通过对这些数据进行分析处理,可以构建出无人船艇航行区域的环境地图。但是,受限于船艇的尺度、搭载能力以及船载感知设备的探测能力,依靠当前的技术手段构建的环境地图,还不足以支撑无人船艇在高速或复杂环境下精准避障所需的环境地图的精准度和实时性,极大限制了无人船艇智慧等级的发展,以及无人船艇面向复杂水域、复杂环境的决策能力。
发明内容
有鉴于此,本申请实施例提供了一种无人船艇的环境地图生成方法及无人船艇感知***,以解决现有技术中依靠当前的技术手段构建的环境地图,无法满足无人船艇在高速或复杂环境下精准避障所需的环境地图的精准度和实时性的问题。
本申请实施例的第一方面提供了一种无人船艇的环境地图生成方法,应用于云计算平台,所述方法包括:
接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;
确定所述无人船艇当前所处的航行位置;
提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;
根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
本申请实施例的第二方面提供了一种无人船艇的环境地图生成装置,应用于云计算平台,所述装置包括:
接收模块,用于接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;
确定模块,用于确定所述无人船艇当前所处的航行位置;
提取模块,用于提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;
生成模块,用于根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
本申请实施例的第三方面提供了一种无人船艇感知***,包括无人船艇、配置于所述无人船艇的多种感知设备,配置于岸基及所述无人船艇航路上的物联网设备,以及与所述无人传统通信连接的云计算平台,所述云计算平台包括:
接收模块,用于接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;
确定模块,用于确定所述无人船艇当前所处的航行位置;
提取模块,用于提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;
生成模块,用于根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
本申请实施例的第四方面提供了一种云计算平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的无人船艇的环境地图生成方法。
本申请实施例的第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的无人船艇的环境地图生成方法。
本申请实施例的第六方面提供了一种计算机程序产品,当所述计算机程序产品在云计算平台上运行时,使得所述云计算平台执行上述第一方面所述的无人船艇的环境地图生成方法。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例,通过将配置于无人船艇的多种感知设备采集的船艇端感知数据传输至云计算平台,由云计算平台进行处理,可以有效降低无人船艇端控制器的计算资源消耗,节约船载能量,从而提高无人船艇的续航能力。其次,本申请实施例通过将由岸基及无人船艇航路上的物联网设备采集的物联网数据上传至云计算平台,可以有效解决目前岸基及航路上的设备信息分散、无统一的存储调用平台或者尚无精准的信息构建的问题,从而能够将水上航行相关的海量信息入网,并汇总至统一的云计算平台,有助于构建全方位的时域空域信息网格。第三,本申请实施例在云计算平台端将船艇端感知数据和物联网数据作进一步融合,可充分利用各种设备探测得到的信息构建全场景的实时的航行路径高精度数字环境地图,从而为无人船艇在更高航速下实施更高智慧等级的自主避障决策提供准确的感知信息体系,进一步提高无人船艇应对复杂水域、复杂环境,处置复杂情况的决策能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种无人船艇的环境地图生成方法的步骤流程示意图;
图2是本申请实施例提供的另一种无人船艇的环境地图生成方法的步骤流程示意图;
图3是本申请实施例提供的一种云计算平台信息融合示意图;
图4是本申请实施例提供的一种对船艇端感知数据进行融合的步骤示意图;
图5是本申请实施例提供的一种环境地图的示意图;
图6是本申请实施例提供的一种无人船艇的环境地图生成装置的示意图;
图7是本申请实施例提供的一种云计算平台的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
下面通过具体实施例来说明本申请的技术方案。
参照图1,示出了本申请实施例提供的一种无人船艇的环境地图生成方法的步骤流程示意图,具体可以包括如下步骤:
S101、接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到。
需要说明的是,本方法可以应用于云计算平台,通过云计算平台的处理,可以生成高精度的环境地图,供无人船艇在航行过程中使用,以实现无人船艇的自主航行。
本申请实施例中的云计算平台可以是由配置于岸基的多台服务器等设备组成的服务器集群,本申请实施例对云计算平台的组成形式不作限定。
在本申请实施例中,可以在无人船艇中配置多种感知设备,如雷达设备、视觉设备、船舶自动识别***AIS设备等等。其中,雷达设备又可以包括导航雷达、激光雷达、毫米波雷达等,本申请实施例对此不作限定。
在无人船艇的航行过程中,通过上述多种感知设备可以采集得到多种类型的数据。例如,导航雷达可以扫测无人船艇周围约2公里范围内的动静态目标,视觉设备可探测200-500米范围内的动静态目标,激光雷达可探测50-100米范围内的目标,AIS设备可以用于提供海上船只的相关信息。
在本申请实施例中,无人船艇传输至云平台的船艇端感知数据可以是由上述多种感知设备采集的原始数据,也可以是对原始数据进行初步处理后的数据,本申请实施例船艇端感知数据的具体类型不作限定。
S102、确定所述无人船艇当前所处的航行位置。
在本申请实施例中,云计算平台生成供无人船艇自主航行所使用的高精度环境地图可以是无人船艇当前所处的航行位置为中心的,随无人船艇的航行过程动态变化的三维地图。
因此,云计算平台在对无人船艇传输的船艇端感知数据进行处理时,可以首先确定无人船艇当前所处的航行位置。该航行位置可以是由无人船艇自动上报给云计算平台的,例如,无人船艇的航行位置信息可以随船艇端感知数据一并传输至云计算平台。或者,该航行位置也可以是由云计算平台从其他的***或设备采集得到的,如云计算平台可以与AIS***连接,基于AIS***获得无人船艇实时的航行位置。
S103、提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到。
在本申请实施例中,无人船艇航行位置的预设范围内的物联网数据可以是指在该预设范围内的多种物联网设备采集的信息。这些物联网设备可以包括配置于岸基上的物联网设备,以及在无人船艇的航路上的物联网设备。上述物联网数据可以包括各种物联网设备的设备信息、信号信息、水文信息、气象信息、建筑物信息、码头信息、岸线信息、航道信息等,本申请实施例对此不作限定。
在本申请实施例中,物联网数据可以是经由岸基及航路上的物联网设备预先采集并存储至云计算平台的数据库中的,也可以是在生成高精度环境地图时,经由这些物联网设备实时采集的,本申请实施例对此亦不作限定。
在本申请实施例的一种可能的实现方式中,物联网数据可以包括静态量信息和动态量信息。其中,静态量信息可以包括桥梁位置、桥墩大小、码头位置、岸线坐标、锚地坐标、航标等等,这些信息由于变化频率极低(例如桥梁寿命50年)均可以视为静态量信息。而航道宽度、曲率、长度、水深等,由于受潮汐、汛期、旱期等影响,每时每刻都在发生变动,因此可以将这些信息视为动态量信息。通过物联网设备采集的静态量信息和动态量信息可以存储至云计算平台的数据库中。
对于保存的静态量信息,可以在一定时间内均保持不变,而对于动态量信息,则需要按照一定的频次进行更新。其中,航标灯、岸基雷达目标信息、岸基光电信息等,属于高频次的动态变量,其更新频率应当更高。
S104、根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
在本申请实施例中,云计算平台在接收到无人船艇传输的船艇端感知数据和物联网数据后,可以对上述两种数据进行数据融合,以生成高精度的环境地图。
在本申请实施例中,云计算平台在对上述两种数据进行融合,生成高精度环境地图时,可以直接对接收到的数据进行融合处理,根据融合处理的结果生成相应的环境地图。或者,云计算平台也可以分别对船艇端感知数据和物联网数据进行处理,根据船艇端感知数据生成局部网格地图,根据物联网数据生成全局网格地图,然后再将局部网格地图和全局网格地图进行融合,得到高精度环境地图。本申请实施例对云计算平台利用船艇端感知数据和物联网数据生成环境地图的具体方式不作限定。
在本申请实施例中,通过将配置于无人船艇的多种感知设备采集的船艇端感知数据传输至云计算平台,由云计算平台进行处理,可以有效降低无人船艇端控制器的计算资源消耗,节约船载能量,从而提高无人船艇的续航能力。其次,本申请实施例通过将由岸基及无人船艇航路上的物联网设备采集的物联网数据上传至云计算平台,可以有效解决目前岸基及航路上的设备信息分散、无统一的存储调用平台或者尚无精准的信息构建的问题,从而能够将水上航行相关的海量信息入网,并汇总至统一的云计算平台,有助于构建全方位的时域空域信息网格。第三,本申请实施例在云计算平台端将船艇端感知数据和物联网数据作进一步融合,可充分利用各种设备探测得到的信息构建全场景的实时的航行路径高精度数字环境地图,从而为无人船艇在更高航速下实施更高智慧等级的自主避障决策提供准确的感知信息体系,进一步提高无人船艇应对复杂水域、复杂环境,处置复杂情况的决策能力。
参照图2,示出了本申请实施例提供的另一种无人船艇的环境地图生成方法的步骤流程示意图,该方法可以应用于云计算平台,具体可以包括如下步骤:
S201、接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到。
在本申请实施例中,船艇端感知数据可以是由配置于无人船艇的多种感知设备采集得到的。船艇端感知数据可以是由多种感知设备采集的原始数据。如导航雷达扫测到的无人船艇周围约2公里范围内的动静态目标,视觉设备探测到的200-500米范围内的动静态目标等等。或者,船艇端感知数据也可以是对多种感知设备采集的上述原始数据进行融合得到的局部网格地图。
若无人船艇传输至云计算平台的船艇端感知数据是船艇端感知设备采集的原始数据,则这些原始数据将由云计算平台进行处理。这样,可以进一步减少无人船艇上搭载的设备数据,降低无人船艇端控制器的计算资源消耗,节约船载能量,提高无人船艇的续航力。
为了便于理解,本申请实施例以无人船艇传输至云计算平台的船艇端感知数据为船艇端感知设备采集的原始数据为例进行后续介绍。云计算平台在接收到这些原始数据后,可以执行S202,采用分层式数据融合方式,对接收到的原始数据进行融合处理。
S202、采用分层式数据融合方式,对所述多种感知设备采集的原始数据进行融合,得到以所述无人船艇为中心的局部网格地图。
如图3所示,是本申请实施例提供的一种云计算平台信息融合示意图。按照图3所示,可以在无人船艇端配置视觉设备,以及导航雷达、激光雷达、毫米波雷达等雷达设备,通过这些设备采集船艇端感知数据并传输至云计算平台。当然,船艇端配置的感知设备还可以包括其他类型的设备,如AIS设备等,本申请实施例对此不作限定。
在本申请实施例中,上述各个感知设备采集得到的原始数据的数据格式、特征长度等各不相同。尤其是对于视觉设备而言,其获得的是视频图像的非结构化数据。在对其进行融合时,需对视频图像进行进一步的处理,将提取出目标特征(方位、距离、大小等),并将其与雷达设备等获得的三维点云结构化数据进行映射,构建出以无人船艇为中心的局部网格地图。
通常,对船艇端感知数据进行融合处理可以包括三种方式,即:
1)直接数据融合。如果各类数据是可加的,例如使用了多个图像传感器或多个声学传感器,就可以使用直接的数据融合。直接数据融合涉及到一些经典的估计方法,比如卡尔曼滤波,反之就只能使用特征融合或决策融合;
2)特征融合。可以取数据中的特征向量,并基于特征向量进行融合;
3)决策融合。对每一个感知设备采集的原始数据进行处理并作出判断,最后对所有决策进行融合。
在本申请实施例中,可以采用分层式数据融合方式,对上述多种感知设备采集的原始数据进行融合,构建出以无人船艇为中心的局部网格地图。
如图4所示,是本申请实施例提供的一种对船艇端感知数据进行融合的步骤示意图,其融合过程可以包括如下步骤S2021-S2024:
S2021、将所述雷达设备采集的原始数据转换至同一坐标系下进行数据叠加,得到第一层融合信息。
在本申请实施例中,针对导航雷达、激光雷达等设备采集的数据格式相似的点云数据,第一层融合处理过程可以采用直接数据融合的方式,将两个或多个设备的数据转换至同一坐标系下,然后采用卡尔曼滤波算法对这些设备的数据进行叠加,得到第一层融合信息。
S2022、从所述视觉设备采集的原始数据中确定多个待融合的目标对象,并提取所述多个待融合的目标对象的特征信息。
S2023、将所述多个待融合的目标对象的特征信息与所述第一层融合信息进行特征融合,得到第二层融合信息。
在本申请实施例中,针对视觉设备获取的图像数据的特殊性,第二层融合处理过程可以采用特征融合的方式。待融合的目标图像经过检测与识别的图像处理算法后,可提取障碍物目标的方位、尺寸、距离等特征,从而形成障碍物信息的特征向量。然后,可以采用基于数据融合的特征向量算法,将其与第一层融合信息作进一步的融合,得到第二层融合信息。
S2024、采用神经网络模型,将所述船舶自动识别***设备采集的原始数据与所述第二层融合信息进行决策融合,得到以所述无人船艇为中心的局部网格地图。
在本申请实施例中,针对AIS***、海图***等提供的动静态目标的信息,则在进行第三层融合处理时,可以采用基于深度神经网络(deep neural networks,DNN)学习机制的决策融合算法,从而最终得到以无人船艇为中心的局部网格地图。
需要说明的是,由于AIS***播报的船只信息存在不确定性或较大的误差,因此,在对该通道信息进行融合处理时,还需有一定的置信度决策,方能这类信息融入到整体中。
S203、确定所述无人船艇当前所处的航行位置。
在本申请实施例中,云计算平台可以通过对接收到的船艇端感知数据进行处理,确定无人船艇当前所处的航行位置。
S204、提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到。
在本申请实施例中,无人船艇航行位置的预设范围内的物联网数据可以是指在该预设范围内的多种物联网设备采集的信息。
如图3所示,多种物联网设备采集的物联网数据可以包括岸基雷达信息、岸基光电信息、航标信息、桥梁信息、水流信息、船只信息、码头信息以及岸线信息等。这些信息可以在被物联网设备传输至云计算平台后,由云计算平台作统一的融合处理。
在本申请实施例中,这些海量的物联网数据来自不同设备、不同平台,其并没有直接的关联形式,不同数据集是低耦合的,数据形式也未必一致。为了将这些物联网数据融合到一起,以构建航路上高精度的网格化数字地图,可以将首先根据其特征向量对这些海量数据进行分类。
在具体实现中,对海量的物联网数据进行分类可以是按照决策树模型,根据目标变量的特征选择,来做最优的属性划分。例如,上传至云计算平台的海量数据,可按照其特征,首先分为岸基数据和水上数据。其中,岸基数据又可进一步分为码头信息、岸线信息、桥梁信息等;水上数据则可进一步分为航标信息、船只信息、水文信息、气象信息等。再进一步地,码头信息又可分为码头位置坐标、码头锚泊位尺寸数据等;桥梁信息可分为桥梁高度、通航桥孔位置、通航桥孔宽度等。
按照决策树模型,海量物联网数据在被上传至云计算平台后,可不断的按照其特征属性进行分类分组,并存储在相应的数据集中,以供数据融合时调用。
海量的物联网数据在被分组处理后可以包括多个数据对象,上述码头信息、岸线信息、桥梁信息、码头位置坐标、码头锚泊位尺寸数据均可以看作是一个数据对象。每个数据对象包含由多个物联网设备分别采集的数据组,这些数据组即是不同的物联网设备采集的数据。
在本申请实施例中,传输至云计算平台的海量物联网数据在被分组并存储后,当需要为无人船艇构建高精度环境地图时,云计算平台可以根据接收到的无人船艇当前所处的航行位置,提取出该航行位置预设范围内的数据并执行S205,根据提取出的物联网数据,生成包含无人船艇当前航路的全局网格地图。
S205、根据所述物联网数据,生成包含所述无人船艇当前航路的全局网格地图。
在本申请实施例中,在根据物联网数据,生成包含无人船艇当前航路的全局网格地图时,可以对每个数据对象包含的多个数据组进行数据融合,分别得到每个数据对象的特征向量值,然后根据每个数据对象及其对应的特征向量值,生成全局网格地图。
在具体实现中,根据提取出的物联网数据,可以基于每个数据对象,对每个物联网设备采集得到的数据组的特性向量进行关联挖掘,以提高该物联网设备中数据组输出的特征值的置信度。对特征向量进行关联挖掘,可以采用基于深度学习DNN的数据关联算法,通过不断学习,不断提升同一物联网设备下不同数据组对同一特征值定义融合之后的准确性。这些通过数据融合之后生成的特征向量值,将作为全局网格地图上相应网格上的数值,来表征完整的三维环境信息。
例如,为了获取水上来往船只的特征向量(船只大小、航向、航速、精准位置等),可以对包括岸端光电数据、AIS数据、岸基雷达探测数据等多个数据集进行融合处理。这些数据集中都包含全部或部分水上船只的特征信息。首先,可以将来自每一种物联网设备的物联网数据的特征值进行提取(岸基雷达可以提供船只的方位、距离、大小、速度信息;光电数据可以提供船只方位、大小信息;AIS可以提供船只位置、大小信息等),并根据特征值生成特征向量。经过数据融合后,可以形成包括水上船只运动特性所有相关信息的特征向量(方位、距离、大小、航向、航速)。通过将融合后的船只特征向量值(方位、距离、大小、航向、航速)等与标准值进行比对,并根据其中的误差和规律,可以基于深度学习DNN算法不断地进行校正,以提升该分类数据集中输出水上运动船只特征向量值的准确性。
再如,船艇航行路径上的桥梁信息,主要数据来源是云计算平台上已存储的关于该桥梁的建筑信息。因此,高精度地图中所需用到的该桥梁信息可无需融合,直接调用云计算平台上已存储的桥梁建筑的特征值即可(例如桥梁通航高度、通航桥孔定位、通航宽度等)。
基于岸基及航道多物联网数据构建的全局网格地图,将是一个在时域中不断变化的网格数字化动态地图。相当于为无人船艇的自主航行提供了一个精准的背景信息,当无人船艇的船艇端感知数据映射到该地图上后,可构建出一个包含无人船艇自身定位和姿态信息的完整的环境地图。
S206、对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图。
上述基于无人艇船传输的船艇端感知数据生成的局部网格地图是以无人船艇中心点为原点坐标系的、近距离的网格化数字地图,其在时域上是不断动态变化的;基于物联网设备采集的物联网数据生成的全局网格地图是整个航路上的全局坐标系下的网格化数字地图。
在分别生成局部网格地图和全局网格地图后,云计算平台可以对上述两种网格地图进行数据映射,得到高精度的环境地图。
在本申请实施例中,可以以无人船艇的中心作为坐标系的参考原点,以无人船艇的艏向位置中心线为该坐标系的定位坐标方向,分别在局部网格地图和全局网格地图中建立坐标系,然后,基于局部网格地图和全局网格地图中的坐标系,对局部网格地图和全局网格地图进行数据映射,得到无人船艇的环境地图。该环境地图是一种新的、融合的、更加详细的、静态与动态兼具、全局与局部兼具的全景数字环境地图。
如图5所示,是本申请实施例提供的一种环境地图的示意图。融合之后得到的环境地图是一种兼具全局静态较大网格数据密度、局部动态较小网格数据密度的高精度三维地图。该环境地图可以为无人船艇的自主航行提供精确的环境信息来源,从而为更高航速下、更高智慧等级的避障决策和航行策略提供精确的感知能力,使无人船艇适应更复杂水域的能力得到极大的提升。
需要说明的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
参照图6,示出了本申请实施例提供的一种无人船艇的环境地图生成装置的示意图,该装置可以应用于云计算平台,具体可以包括接收模块601、确定模块602、提取模块603和生成模块604,其中:
接收模块,用于接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;
确定模块,用于确定所述无人船艇当前所处的航行位置;
提取模块,用于提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;
生成模块,用于根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
在本申请实施例中,所述船艇端感知数据包括由所述多种感知设备采集的原始数据,所述装置还可以包括如下模块:
船艇端感知数据融合模块,用于采用分层式数据融合方式,对所述多种感知设备采集的原始数据进行融合,得到以所述无人船艇为中心的局部网格地图。
在本申请实施例中,所述船艇端感知数据融合模块可以包括如下子模块:
第一融合子模块,用于将所述雷达设备采集的原始数据转换至同一坐标系下进行数据叠加,得到第一层融合信息;
特征信息提取子模块,用于从所述视觉设备采集的原始数据中确定多个待融合的目标对象,并提取所述多个待融合的目标对象的特征信息;
第二融合子模块,用于将所述多个待融合的目标对象的特征信息与所述第一层融合信息进行特征融合,得到第二层融合信息;
第三融合子模块,用于采用神经网络模型,将所述船舶自动识别***设备采集的原始数据与所述第二层融合信息进行决策融合,得到以所述无人船艇为中心的局部网格地图。
在本申请实施例中,所述船艇端感知数据包括对所述多种感知设备采集的原始数据进行融合得到的局部网格地图。
在本申请实施例中,所述生成模块可以包括如下子模块:
全局网格地图生成子模块,用于根据所述物联网数据,生成包含所述无人船艇当前航路的全局网格地图;
环境地图生成子模块,用于对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图。
在本申请实施例中,所述物联网数据包括多个数据对象,每个数据对象包含由多个物联网设备分别采集的数据组,所述全局网格地图生成子模块可以包括如下单元:
物联网数据融合单元,用于对每个数据对象包含的多个数据组进行数据融合,分别得到所述每个数据对象的特征向量值;
全局网格地图生成单元,用于根据所述每个数据对象及其对应的特征向量值,生成所述全局网格地图。
在本申请实施例中,所述环境地图生成子模块可以包括如下单元:
坐标系建立单元,用于以所述无人船艇的中心作为坐标系的参考原点,以所述无人船艇的艏向位置中心线为所述坐标系的定位坐标方向,分别在所述局部网格地图和所述全局网格地图中建立坐标系;
数据映射单元,用于基于所述局部网格地图和所述全局网格地图中的坐标系,对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图。
在本申请实施例中,还提供了一种无人船艇感知***,包括无人船艇、配置于无人船艇的多种感知设备,配置于岸基及无人船艇航路上的物联网设备,以及与无人传统通信连接的云计算平台,云计算平台可以包括上述无人船艇的环境地图生成装置中的各个模块。
本申请实施例提供的在云端将岸基及航道上的物联网数据与无人船艇端的船艇端感知数据相融合的高精度时域空域双重感知***,其实现包括云计算平台,无人船艇端的感知设备,船艇端信息传输设备,岸基及航道上航标、雷达、光电、流速、水深、风速、桥梁、码头、沿岸建筑等相关的综合物联网设备。在采用本***构建高精度环境地图的过程中,包括船艇端感知信息的初步融合,融合之后调用以无人船艇经纬度为中心的约5公里范围内水域的实时综合物联网数据,并映射到基于船艇端感知数据生成的网格地图中,从而形成更高精度、信息更全面、更加精细化的实时的网格地图。该地图在从云计算平台下发至无人船艇端控制器后,可供无人船艇自主避障决策使用。采用本***,可有效解决目前无人船艇自主航行时对单一船载感知设备的依赖,本***也使得部分信息的来源变成公共信息,从而降低了无人船艇所需搭载的感知设备的数量,降低了成本,提高了无人船艇的续航能力。更重要的是,通过在云端基于海量物联网实时数据的融合,构建出的更高精度的网格化环境地图,为无人船艇进入更高智慧等级的自主航行提供了精准的环境信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述得比较简单,相关之处参见方法实施例部分的说明即可。
参照图7,示出了本申请实施例提供的一种云计算平台的示意图。如图7所示,本实施例的云计算平台700包括:处理器710、存储器720以及存储在所述存储器720中并可在所述处理器710上运行的计算机程序721。所述处理器710执行所述计算机程序721时实现上述无人船艇的环境地图生成方法各个实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器710执行所述计算机程序721时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块601至604的功能。
示例性的,所述计算机程序721可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器720中,并由所述处理器710执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段可以用于描述所述计算机程序721在所述云计算平台700中的执行过程。例如,所述计算机程序721可以被分割成接收模块、确定模块、提取模块和生成模块,各模块具体功能如下:
接收模块,用于接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到;
确定模块,用于确定所述无人船艇当前所处的航行位置;
提取模块,用于提取在所述航行位置的预设范围内的物联网数据,所述物联网数据由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到;
生成模块,用于根据所述船艇端感知数据和所述物联网数据,生成所述无人船艇的环境地图。
所述云计算平台700可以是由桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备组成的服务器集群。所述云计算平台700可包括,但不仅限于,处理器710、存储器720。本领域技术人员可以理解,图7仅仅是云计算平台700的一种示例,并不构成对云计算平台700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述云计算平台700还可以包括输入输出设备、网络接入设备、总线等。
所述处理器710可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器720可以是所述云计算平台700的内部存储单元,例如云计算平台700的硬盘或内存。所述存储器720也可以是所述云计算平台700的外部存储设备,例如所述云计算平台700上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等等。进一步地,所述存储器720还可以既包括所述云计算平台700的内部存储单元也包括外部存储设备。所述存储器720用于存储所述计算机程序721以及所述云计算平台700所需的其他程序和数据。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种无人船艇的环境地图生成方法,其特征在于,应用于云计算平台,所述方法包括:
接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到,用于构建以所述无人船艇为中心的局部网格地图;
确定所述无人船艇当前所处的航行位置;
提取在所述航行位置的预设范围内的物联网数据,所述物联网数据包括由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到的静态量信息和动态量信息,所述物联网数据按照决策树模型进行分组后存储于所述云计算平台相应的数据集中,所述物联网数据包括多个数据对象,每个数据对象包含由多个物联网设备分别采集的数据组,每个数据组的特征向量用于通过关联挖掘提高同一物联网设备下不同数据组对同一特征值定义的准确性;
根据所述物联网数据,生成包含所述无人船艇当前航路的全局网格地图;
对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图,所述环境地图是随所述无人船艇的航行过程动态变化的三维地图。
2.根据权利要求1所述的无人船艇的环境地图生成方法,其特征在于,所述船艇端感知数据包括由所述多种感知设备采集的原始数据,所述方法还包括:
采用分层式数据融合方式,对所述多种感知设备采集的原始数据进行融合,得到以所述无人船艇为中心的局部网格地图。
3.根据权利要求2所述的无人船艇的环境地图生成方法,其特征在于,所述多种感知设备包括雷达设备、视觉设备和船舶自动识别***设备,所述采用分层式数据融合方式,对所述多种感知设备采集的原始数据进行融合,得到以所述无人船艇为中心的局部网格地图,包括:
将所述雷达设备采集的原始数据转换至同一坐标系下进行数据叠加,得到第一层融合信息;
从所述视觉设备采集的原始数据中确定多个待融合的目标对象,并提取所述多个待融合的目标对象的特征信息;
将所述多个待融合的目标对象的特征信息与所述第一层融合信息进行特征融合,得到第二层融合信息;
采用神经网络模型,将所述船舶自动识别***设备采集的原始数据与所述第二层融合信息进行决策融合,得到以所述无人船艇为中心的局部网格地图。
4.根据权利要求1所述的无人船艇的环境地图生成方法,其特征在于,所述船艇端感知数据包括对所述多种感知设备采集的原始数据进行融合得到的局部网格地图。
5.根据权利要求1项所述的无人船艇的环境地图生成方法,其特征在于,所述根据所述物联网数据,生成包含所述无人船艇当前航路的全局网格地图,包括:
对每个数据对象包含的多个数据组进行数据融合,分别得到所述每个数据对象的特征向量值;
根据所述每个数据对象及其对应的特征向量值,生成所述全局网格地图。
6.根据权利要求1项所述的无人船艇的环境地图生成方法,其特征在于,所述对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图,包括:
以所述无人船艇的中心作为坐标系的参考原点,以所述无人船艇的艏向位置中心线为所述坐标系的定位坐标方向,分别在所述局部网格地图和所述全局网格地图中建立坐标系;
基于所述局部网格地图和所述全局网格地图中的坐标系,对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图。
7.一种无人船艇感知***,其特征在于,包括无人船艇、配置于所述无人船艇的多种感知设备,配置于岸基及所述无人船艇航路上的物联网设备,以及与所述无人船艇通信连接的云计算平台,所述云计算平台包括:
接收模块,用于接收无人船艇传输的船艇端感知数据,所述船艇端感知数据由配置于无人船艇的多种感知设备采集得到,用于构建以所述无人船艇为中心的局部网格地图;
确定模块,用于确定所述无人船艇当前所处的航行位置;
提取模块,用于提取在所述航行位置的预设范围内的物联网数据,所述物联网数据包括由配置于岸基及所述无人船艇当前航路上的物联网设备采集得到的静态量信息和动态量信息,所述物联网数据按照决策树模型进行分组后存储于所述云计算平台相应的数据集中,所述物联网数据包括多个数据对象,每个数据对象包含由多个物联网设备分别采集的数据组,每个数据组的特征向量用于通过关联挖掘提高同一物联网设备下不同数据组对同一特征值定义的准确性;
生成模块,用于根据所述物联网数据,生成包含所述无人船艇当前航路的全局网格地图,对所述局部网格地图和所述全局网格地图进行数据映射,得到所述无人船艇的环境地图,所述环境地图是随所述无人船艇的航行过程动态变化的三维地图。
8.一种云计算平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的无人船艇的环境地图生成方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的无人船艇的环境地图生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011263337.3A CN112347218B (zh) | 2020-11-12 | 2020-11-12 | 无人船艇的环境地图生成方法及无人船艇感知*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011263337.3A CN112347218B (zh) | 2020-11-12 | 2020-11-12 | 无人船艇的环境地图生成方法及无人船艇感知*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112347218A CN112347218A (zh) | 2021-02-09 |
CN112347218B true CN112347218B (zh) | 2024-06-04 |
Family
ID=74362698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011263337.3A Active CN112347218B (zh) | 2020-11-12 | 2020-11-12 | 无人船艇的环境地图生成方法及无人船艇感知*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347218B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112977165B (zh) * | 2021-03-23 | 2022-09-06 | 西安应用光学研究所 | 用于无人舰艇的电源管理***及方法 |
CN113945219B (zh) * | 2021-09-28 | 2024-06-11 | 武汉万集光电技术有限公司 | 动态地图生成方法、***、可读存储介质及终端设备 |
CN113917930A (zh) * | 2021-11-11 | 2022-01-11 | 中国船舶重工集团公司第七一九研究所 | 一种基于感知数据的无人船航行状态控制方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130093245A (ko) * | 2012-02-14 | 2013-08-22 | (주)지엠티 | 멀티센서와 선박의 운항패턴분석을 통한 밀수의심선박 자동분석시스템 및 그것을 이용한 분석방법 |
CN106909145A (zh) * | 2017-02-22 | 2017-06-30 | 武汉理工大学 | 无人航道测量船障碍物实时感知避障***与方法 |
CN108230247A (zh) * | 2017-12-29 | 2018-06-29 | 达闼科技(北京)有限公司 | 基于云端的三维地图的生成方法、装置、设备及应用程序 |
CN109388150A (zh) * | 2014-09-05 | 2019-02-26 | 深圳市大疆创新科技有限公司 | 多传感器环境地图构建 |
KR20190036405A (ko) * | 2017-09-27 | 2019-04-04 | 한국해양과학기술원 | 무인항공기에 탑재된 3d 라이다를 이용한 선박 입출항 지원 시스템 및 방법 |
CN111507429A (zh) * | 2020-05-29 | 2020-08-07 | 智慧航海(青岛)科技有限公司 | 智能船舶多源感知数据船端融合方法、装置和决策*** |
WO2020168464A1 (en) * | 2019-02-19 | 2020-08-27 | SZ DJI Technology Co., Ltd. | Local sensing based autonomous navigation, and associated systems and methods |
-
2020
- 2020-11-12 CN CN202011263337.3A patent/CN112347218B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130093245A (ko) * | 2012-02-14 | 2013-08-22 | (주)지엠티 | 멀티센서와 선박의 운항패턴분석을 통한 밀수의심선박 자동분석시스템 및 그것을 이용한 분석방법 |
CN109388150A (zh) * | 2014-09-05 | 2019-02-26 | 深圳市大疆创新科技有限公司 | 多传感器环境地图构建 |
CN106909145A (zh) * | 2017-02-22 | 2017-06-30 | 武汉理工大学 | 无人航道测量船障碍物实时感知避障***与方法 |
KR20190036405A (ko) * | 2017-09-27 | 2019-04-04 | 한국해양과학기술원 | 무인항공기에 탑재된 3d 라이다를 이용한 선박 입출항 지원 시스템 및 방법 |
CN108230247A (zh) * | 2017-12-29 | 2018-06-29 | 达闼科技(北京)有限公司 | 基于云端的三维地图的生成方法、装置、设备及应用程序 |
WO2020168464A1 (en) * | 2019-02-19 | 2020-08-27 | SZ DJI Technology Co., Ltd. | Local sensing based autonomous navigation, and associated systems and methods |
CN111507429A (zh) * | 2020-05-29 | 2020-08-07 | 智慧航海(青岛)科技有限公司 | 智能船舶多源感知数据船端融合方法、装置和决策*** |
Non-Patent Citations (4)
Title |
---|
无人驾驶运输船发展现状与关键技术;苏士斌等;船海工程;第56-59页 * |
水面自主船舶技术发展路径;李文华等;船舶工程;第64-73页 * |
船联网中的大数据融合管理体系研究;贾冬青;赵福伟;孙超;;舰船科学技术(08);第155-157页 * |
贾冬青 ; 赵福伟 ; 孙超 ; .船联网中的大数据融合管理体系研究.舰船科学技术.2016,(08),第155-157页. * |
Also Published As
Publication number | Publication date |
---|---|
CN112347218A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112347218B (zh) | 无人船艇的环境地图生成方法及无人船艇感知*** | |
Tu et al. | Modeling historical AIS data for vessel path prediction: A comprehensive treatment | |
Yu et al. | Ship path optimization that accounts for geographical traffic characteristics to increase maritime port safety | |
US10895802B1 (en) | Deep learning and intelligent sensing systems for port operations | |
CN111723632A (zh) | 一种基于孪生网络的船舶跟踪方法及*** | |
He et al. | Mining channel water depth information from IoT-based big automated identification system data for safe waterway navigation | |
Liu et al. | Intelligent tracking of moving ships in constrained maritime environments using AIS | |
KR20240080189A (ko) | 거리 측정 방법 및 이를 이용하는 거리 측정 장치 | |
Wu et al. | An overview of developments and challenges for unmanned surface vehicle autonomous berthing | |
CN113920447A (zh) | 船舶入港检测方法、装置、计算机设备及存储介质 | |
CN111824357B (zh) | 测试方法、装置、电子设备及计算机可读存储介质 | |
Xu et al. | Hydrographic data inspection and disaster monitoring using shipborne radar small range images with electronic navigation chart | |
WO2023215980A1 (en) | System and method for enhanced estimated time of arrival for vessels | |
Ivanovsky et al. | Algorithm design for ship’s steering with specified limitations under various weather conditions | |
CN114565176B (zh) | 一种长期船舶轨迹预测方法 | |
CN116312062A (zh) | 一种船舶航行预警方法、装置、设备及存储介质 | |
CN111028482B (zh) | 远洋航行的提醒方法、装置及*** | |
Burger et al. | Extended linear regression model for vessel trajectory prediction with a-priori AIS information | |
Bhaganagar et al. | A novel machine-learning framework with a moving platform for maritime drift calculations | |
Tsvetkov et al. | An Intelligent GIS–Based Approach to Vessel-Route Planning in the Arctic Seas | |
Kazimierski | Application schema for radar information on ship | |
Knébel | Detecting obstacles from camera image at open sea | |
Vijverberg et al. | Object localization and path prediction using radar and other sources towards autonomous shipping | |
Roy et al. | A deep learning framework for enhancing maritime coastal security | |
Baković | Enhancing maritime data utilization through advanced machine learning techniques in AIS data analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 519080 rooms 311 and 312A, 3 / F, Xiangshan ocean science and technology port, 3888 North Lovers Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province Applicant after: Zhuhai Yunzhou Intelligent Technology Co.,Ltd. Address before: 519080 rooms 311 and 312A, 3 / F, Xiangshan ocean science and technology port, 3888 North Lovers Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province Applicant before: ZHUHAI YUNZHOU INTELLIGENCE TECHNOLOGY Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |