CN117315573B - 供油船的作业行为识别方法及***、电子设备及存储介质 - Google Patents

供油船的作业行为识别方法及***、电子设备及存储介质 Download PDF

Info

Publication number
CN117315573B
CN117315573B CN202311217051.5A CN202311217051A CN117315573B CN 117315573 B CN117315573 B CN 117315573B CN 202311217051 A CN202311217051 A CN 202311217051A CN 117315573 B CN117315573 B CN 117315573B
Authority
CN
China
Prior art keywords
oil supply
ship
data
component
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311217051.5A
Other languages
English (en)
Other versions
CN117315573A (zh
Inventor
梁韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elane Inc
Original Assignee
Elane Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elane Inc filed Critical Elane Inc
Priority to CN202311217051.5A priority Critical patent/CN117315573B/zh
Publication of CN117315573A publication Critical patent/CN117315573A/zh
Application granted granted Critical
Publication of CN117315573B publication Critical patent/CN117315573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及船舶技术领域,提供了一种供油船的作业行为识别方法及***、电子设备及存储介质。其中,供油船的作业行为识别方法包括:在获取到供油船的AIS(Automatic Identification System,船舶自动识别***)数据的情况下,提取AIS数据中的数据类型信息;获取供油船的图像数据,图像数据中包括供油船的供油组件对应的图像特征,供油组件的组件类型与数据类型信息相匹配;根据图像数据识别供油船的作业行为。本发明通过利用供油船的AIS数据和供油船的图像数据相结合的方法来判定供油船的作业行为,从而大大地提高了供油船作业行为的识别准确率。

Description

供油船的作业行为识别方法及***、电子设备及存储介质
技术领域
本发明涉及船舶技术领域,具体而言,涉及一种供油船的作业行为识别方法、一种供油船的作业行为识别***、一种电子设备及一种存储介质。
背景技术
相关技术中,供油船上基本都安装了若干个摄像头,用于监控供油船的日常作业。使用人工智能的方案来解决港口供油船的作业行为监控存在消耗算力大、成本高、准确率不高且波动大等问题。
发明内容
本发明旨在解决或改善上述技术问题的至少之一。
为此,本发明的第一目的在于提供一种供油船的作业行为识别方法。
本发明的第二目的在于提供一种供油船的作业行为识别***。
本发明的第三目的在于提供一种电子设备。
本发明的第四目的在于提供一种存储介质。
为实现本发明的第一目的,本发明的技术方案提供了一种供油船的作业行为识别方法,包括:在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息;获取供油船的图像数据,图像数据中包括供油船的供油组件对应的图像特征,供油组件的组件类型与数据类型信息相匹配;根据图像数据识别供油船的作业行为。
本发明提供的供油船的作业行为识别方法,包括实时获取供油船的AIS(Automatic Identification System,船舶自动识别***)数据,在获取到AIS数据后,对AIS数据利用GIS(Geographic Information System,地理信息***)技术进行大数据分析,提取AIS数据中的数据类型信息,即船舶的搭靠类型信息和靠离泊类型信息,因为沿海港口中的加油船AIS数据都来自于岸基基站,所以此类AIS数据非常实时和准确,没有延迟。那么通过对AIS数据进行大数据分析处理后得到的数据类型信息即搭靠事件和靠离泊事件是很准确的。在提取到数据类型信息后,获取供油船中与数据类型信息相对应的供油组件的图像数据,然后在通过AI(Artificial Intelligence,人工智能)对图像数据进行识别,从而确定出当前供油船的作业行为。本发明通过AIS数据和视频AI智能识别的数据相互补充,大幅地节省AI算力和移动网络流量,大大提高供油船作业行为的识别准确率。帮助供油船的监管部门和经营单位能对其更准确、更实时和更高效的监控,快速掌握供油船的异常状况。
另外,本发明提供的技术方案还可以具有如下附加技术特征:
在一些技术方案中,可选地,获取供油船的图像数据的步骤包括:基于数据类型信息为搭靠类型信息,获取第一组件类型的供油组件的图像数据;基于数据类型信息为靠离泊类型信息,获取第二组件类型的供油组件的图像数据;其中,第一组件类型为设置在供油船上的供油组件的组件类型,第二组件类型为设置在岸边码头上的供油组件的组件类型。
在该技术方案中,供油船的作业行为主要分为装油行为和供油行为两种类型。当供油船在进行供油行为时,供油船需要与其他船舶之间进行搭靠,从而实现对其他船舶进行供油,即当供油船进行供油行为时,从AIS数据提取的数据类型信息应该为搭靠类型信息。当供油船在进行装油行为时,供油船需要与岸边码头进行靠泊,从而使得供油船从岸边码头进行装油,即当供油船进行装油行为时,从AIS数据提取的数据类型信息应该为靠离泊类型信息。因此在获取供油船的图像数据时,当提取到的数据类型信息是搭靠类型信息时,说明供油船此时仅能进行供油行为,因此需要获取设置在供油船上的供油组件的图像数据,即第一组件类型的供油组件的图像数据,从而能够确定当前供油船的供油行为是否开始或结束。当提取到的数据类型信息是靠离泊类型信息时,说明此时供油船仅能进行装油行为,因此需要获取设置在岸边码头上的供油组件的图像数据,即第二组件类型的供油组件的图像数据,从而能够确定当前供油船的装油行为是否开始或结束。其中,由于摄像头具有广角,因此当供油船与岸边码头之间进行搭靠时,通过设置在供油船上的摄像头就可以获取到设置在岸边码头的供油组件的图像数据。采用根据数据类型信息获取供油船的图像数据的方法,可以大大地提高供油船的作业行为的识别准确性。
在一些技术方案中,可选地,获取供油船的图像数据的步骤,还包括:获取供油船的视频数据;获取AIS数据中的时间信息;基于时间信息为开始时间,每隔预设时间在视频数据中抓取图像数据,直至时间信息变为结束时间。
在该技术方案中,AIS数据中包括:供油船、搭靠时长、发生地点(经纬度)、发生时间、结束时间、船舶状态等信息。同时供油船上设置的是摄像头,其所生成的是视频数据。因此获取供油船的图像数据的步骤还包括:获取AIS数据中的时间信息和供油船的视频数据,当AIS 数据中的时间信息为开始时间时,每隔预设时间在视频数据中抓取图像数据。当时间信息变成结束时间时,代表供油船搭靠结束,则停止抓取图像数据。通过在视频数据中抓取图像数据来进行识别,从而降低移动网络流量的消耗和节省算力。同时通过在供油船搭靠开始时每隔预设时间进行抓取图像数据,同时在搭靠结束时停止抓取,从而不需要实时获取摄像头视频数据,不需要实时的进行AI智能识别,按需进行AI智能识别即可。进一步地,通过自定义抓取图像数据频率的阈值,从而增高了灵活性,可根据实时性和准确性的要求,进行灵活调节。
在一些技术方案中,可选地,根据图像数据识别供油船的作业行为的步骤,包括:根据图像数据获取供油组件对应的图像特征;根据图像特征确定供油组件的工作状态;根据供油组件的工作状态和组件类型识别供油船的作业行为。
在该技术方案中,根据图像数据识别供油船的作业行为的步骤,包括:获取图像数据中的供油组件所对应的图像特征,然后将图像特征通过AI智能识别确定出供油组件的工作状态,即确定供油组件是否处于工作状态,然后再将供油组件是否处于工作状态与当前的供油组件相结合,从而确定出当前供油船的作业行为。
在一些技术方案中,可选地,根据供油组件的工作状态和组件类型识别供油船的作业行为的步骤,包括:基于组件类型为第一组件类型,且供油组件处于工作状态,确定供油船进行供油工作;基于组件类型为第一组件类型,且供油组件处于未工作状态,确定供油船停止供油工作。
在该技术方案中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第一组件类型,即所获取的图像数据中的供油组件是设置在供油船上的,并且此时供油组件处于工作状态,则说明供油船正在进行供油工作。当组件类型为第一组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了供油工作。具体地,第一组件类型的供油组件包括第一输油臂和第一输油管,第一输油臂与第一输油管相连接,第一输油臂可以控制第一输油管移动,从而使得供油船通过第一输油管向其他船舶供油。如果同时满足第一输油臂处于张开状态和第一输油管处于连接状态时,则能判定供油船开始供油的行为;如果同时满足第一输油臂处于紧锁状态和第一输油管处于未连接状态,则能判定供油船供油结束。
在一些技术方案中,可选地,根据供油组件的工作状态和组件类型,识别供油船的作业行为的步骤,包括:基于组件类型为第二组件类型,且供油组件处于工作状态,确定供油船进行装油工作;基于组件类型为第二组件类型,且供油组件处于未工作状态,确定供油船停止装油工作。
在该技术方案中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第二组件类型,即所获取的图像数据中的供油组件是设置在岸边码头上的,并且此时供油组件处于工作状态,则说明供油船正在进行装油工作。当组件类型为第二组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了装油工作。具体地,第二组件类型的供油组件包括第二输油臂和第二输油管,第二输油臂与第二输油管相连接,第二输油臂可以控制第二输油管移动,从而使得供油船通过第二输油管从岸边码头进行装油。如果同时满足第二输油臂处于张开状态和第二输油管处于连接状态时,则能判定供油船开始装油的行为;如果同时满足第二输油臂处于紧锁状态和第二输油管处于未连接状态,则能判定供油船装油结束。
在一些技术方案中,可选地,在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息的步骤,包括:获取供油船的船舶基本信息;根据船舶基本信息提取AIS数据;根据AIS数据确定数据类型信息。
在该技术方案中,在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息的步骤,包括:实时获取所有的供油船的船舶基本信息,其中,船舶基本信息可以为MMSI(Maritime Mobile Service Identity,水上移动业务标识码)信息,MMSI是船舶无线电通信***在其无线电信道上发送的,能独特识别各类台站和成组呼叫站台的九位数字码。进而再根据供油船的船舶基本信息获取到AIS数据,然后对AIS数据进行分析,从而生成数据类型信息。通过利用船舶基本信息获取AIS数据,再根据AIS数据得到供油船当前的数据类型信息,从而保证了识别的准确性。
为实现本发明的第二目的,本发明的技术方案提供了一种供油船的作业行为识别***,包括:提取模块,提取模块用于在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息;获取模块,获取模块用于获取供油船的图像数据,图像数据中包括供油船的供油组件对应的图像特征,供油组件的组件类型与数据类型信息相匹配;识别模块,识别模块用于根据图像数据识别供油船的作业行为。
本发明提供了一种供油船的作业行为识别***,其中,供油船的作业行为识别***包括:提取模块、获取模块以及识别模块。其中,在实时获取供油船的AIS数据后,提取模块在获取到AIS数据后,对AIS数据利用GIS技术进行大数据分析,提取AIS数据中的数据类型信息,即船舶的搭靠类型信息和靠离泊类型信息,因为沿海港口中的加油船AIS数据都来自于岸边,所以此类AIS数据非常实时和准确,没有延迟。那么通过对AIS数据进行大数据分析处理后得到的数据类型信息即搭靠事件和靠离泊事件是很准确的。在提取到数据类型信息后,获取模块获取供油船中与数据类型信息相对应的供油组件的图像数据,然后识别模块再通过AI智能对图像数据进行识别,从而确定出当前供油船的作业行为。本发明通过AIS数据和视频AI智能识别的数据相互补充,大幅地节省AI算力和移动网络流量,大大提高供油船作业行为的识别准确率。帮助供油船的监管部门和经营单位能对其更准确、更实时和更高效的监控,快速掌握供油船的异常状况。
为实现本发明的第三目的,本发明的技术方案提供了一种电子设备,包括:存储器和处理器,存储器存储有程序或指令,处理器执行程序或指令;其中,处理器在执行程序或指令时,实现如本发明任一技术方案的供油船的作业行为识别方法的步骤。
本技术方案提供的电子设备实现如本发明任一技术方案的供油船的作业行为识别方法的步骤,因而其具有如本发明任一技术方案的供油船的作业行为识别方法的全部有益效果,在此不再赘述。
为实现本发明的第四目的,本发明的技术方案提供了一种存储介质,存储介质存储有程序或指令,程序或指令被执行时,实现上述任一技术方案的供油船的作业行为识别方法的步骤。
本技术方案提供的存储介质实现如本发明任一技术方案的供油船的作业行为识别方法的步骤,因而其具有如本发明任一技术方案的供油船的作业行为识别方法的全部有益效果,在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的供油船的作业行为识别方法的流程示意图之一;
图2为本发明实施例提供的供油船的作业行为识别方法的流程示意图之二;
图3为本发明实施例提供的供油船的作业行为识别方法的流程示意图之三;
图4为本发明实施例提供的供油船的作业行为识别方法的流程示意图之四;
图5为本发明实施例提供的供油船的作业行为识别方法的流程示意图之五;
图6为本发明实施例提供的供油船的作业行为识别方法的流程示意图之六;
图7为本发明实施例提供的供油船的作业行为识别方法的流程示意图之七;
图8为本发明实施例提供的供油船的作业行为识别方法的流程示意图之八;
图9为本发明实施例提供的供油船的作业行为识别方法的流程示意图之九;
图10为本发明实施例提供的供油船的作业行为识别***的结构框图;
图11为本发明实施例提供的电子设备的结构框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1为本发明实施例提供的供油船的作业行为识别方法的流程示意图之一;该方法可以包括如下步骤:
S102:在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息;
S104:获取供油船的图像数据,图像数据中包括供油船的供油组件对应的图像特征,供油组件的组件类型与数据类型信息相匹配;
S106:根据图像数据识别供油船的作业行为。
本发明提供的供油船的作业行为识别方法,包括实时获取供油船的AIS数据,在获取到AIS数据后,对AIS数据利用GIS技术进行大数据分析,提取AIS数据中的数据类型信息,即船舶的搭靠类型信息和靠离泊类型信息,因为沿海港口中的加油船AIS数据都来自于岸基的基站,所以此类AIS数据非常实时和准确,没有延迟。那么通过对AIS数据进行大数据分析处理后得到的数据类型信息即搭靠事件和靠离泊事件是很准确的。在提取到数据类型信息后,获取供油船中与数据类型信息相对应的供油组件的图像数据,然后在通过AI智能对图像数据进行识别,从而确定出当前供油船的作业行为。本发明通过AIS数据和视频AI智能识别的数据相互补充,大幅地节省AI算力和移动网络流量,大大提高供油船作业行为的识别准确率。帮助供油船的监管部门和经营单位能对其更准确、更实时和更高效的监控,快速掌握供油船的异常状况。
图2为本发明实施例提供的供油船的作业行为识别方法的流程示意图之二;其中,获取供油船的图像数据的步骤包括:
S202:基于数据类型信息为搭靠类型信息,获取第一组件类型的供油组件的图像数据;
S204:基于数据类型信息为靠离泊类型信息,获取第二组件类型的供油组件的图像数据;
其中,第一组件类型为设置在供油船上的供油组件的组件类型,第二组件类型为设置在岸边码头上的供油组件的组件类型。
在该实施例中,供油船的作业行为主要分为装油行为和供油行为两种类型。当供油船在进行供油行为时,供油船需要与其他船舶之间进行搭靠,从而实现对其他船舶进行供油,即当供油船进行供油行为时,从AIS数据提取的数据类型信息应该为搭靠类型信息。当供油船在进行装油行为时,供油船需要停靠在岸边码头旁,即供油船需要与岸边码头进行靠泊,从而使得供油船从岸边码头进行装油,即当供油船进行装油行为时,从AIS数据提取的数据类型信息应该为靠离泊类型信息。因此在获取供油船的图像数据时,当提取到的数据类型信息是搭靠类型信息时,说明供油船此时仅能进行供油行为,因此需要获取设置在供油船上的供油组件的图像数据,即第一组件类型的供油组件的图像数据,从而能够确定当前供油船的供油行为是否开始或结束。当提取到的数据类型信息是靠离泊类型信息时,说明此时供油船仅能进行装油行为,因此需要获取设置在岸边码头上的供油组件的图像数据,即第二组件类型的供油组件的图像数据,从而能够确定当前供油船的装油行为是否开始或结束。其中,由于摄像头具有广角,因此当供油船与岸边码头之间进行搭靠时,通过设置在供油船上的摄像头就可以获取到设置在岸边码头的供油组件的图像数据。采用根据数据类型信息获取供油船的图像数据的方法,可以大大地提高供油船的作业行为的识别准确性。
图3为本发明实施例提供的供油船的作业行为识别方法的流程示意图之三;其中,获取供油船的图像数据的步骤,还包括:
S302:获取供油船的视频数据;
S304:获取AIS数据中的时间信息;
S306:基于时间信息为开始时间,每隔预设时间在视频数据中抓取图像数据,直至时间信息变为结束时间。
在该实施例中,AIS数据中包括:供油船、搭靠时长、发生地点(经纬度)、发生时间、结束时间、船舶状态等信息。同时供油船上设置的是摄像头,其所生成的是视频数据。因此获取供油船的图像数据的步骤还包括:获取AIS数据中的时间信息和供油船的视频数据,当AIS 数据中的时间信息为开始时间时,每隔预设时间在视频数据中抓取图像数据。当时间信息变成结束时间时,代表供油船搭靠结束,则停止抓取图像数据。通过在视频数据中抓取图像数据来进行识别,从而降低移动网络流量的消耗和节省算力。同时通过在供油船搭靠开始时每隔预设时间进行抓取图像数据,同时在搭靠结束时停止抓取,从而不需要实时获取摄像头视频数据,不需要实时的进行AI智能识别,按需进行AI智能识别即可。进一步地,通过自定义抓取图像数据频率的阈值,从而增高了灵活性,可根据实时性和准确性的要求,进行灵活调节。进一步地,预设时间可以为2分钟、4分钟以及6分钟等。
图4为本发明实施例提供的供油船的作业行为识别方法的流程示意图之四;其中,根据图像数据识别供油船的作业行为的步骤,包括:
S402:根据图像数据获取供油组件对应的图像特征;
S404:根据图像特征确定供油组件的工作状态;
S406:根据供油组件的工作状态和组件类型识别供油船的作业行为。
在该实施例中,根据图像数据识别供油船的作业行为的步骤,包括:获取图像数据中的供油组件所对应的图像特征,然后将图像特征通过AI智能识别确定出供油组件的工作状态,即确定供油组件是否处于工作状态,然后再将供油组件是否处于工作状态与当前的供油组件相结合,从而确定出当前供油船的作业行为。
图5为本发明实施例提供的供油船的作业行为识别方法的流程示意图之五;其中,根据供油组件的工作状态和组件类型识别供油船的作业行为的步骤,包括:
S502:基于组件类型为第一组件类型,且供油组件处于工作状态,确定供油船进行供油工作;
S504:基于组件类型为第一组件类型,且供油组件处于未工作状态,确定供油船停止供油工作。
在该实施例中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第一组件类型,即所获取的图像数据中的供油组件是设置在供油船上的,并且此时供油组件处于工作状态,则说明供油船正在进行供油工作。当组件类型为第一组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了供油工作。具体地,第一组件类型的供油组件包括第一输油臂和第一输油管,第一输油臂与第一输油管相连接,第一输油臂可以控制第一输油管移动,从而使得供油船通过第一输油管向其他船舶供油。如果同时满足第一输油臂处于张开状态和第一输油管处于连接状态时,则能判定供油船开始供油的行为;如果同时满足第一输油臂处于紧锁状态和第一输油管处于未连接状态,则能判定供油船供油结束。
图6为本发明实施例提供的供油船的作业行为识别方法的流程示意图之六;其中,根据供油组件的工作状态和组件类型,识别供油船的作业行为的步骤,包括:
S602:基于组件类型为第二组件类型,且供油组件处于工作状态,确定供油船进行装油工作;
S604:基于组件类型为第二组件类型,且供油组件处于未工作状态,确定供油船停止装油工作。
在该实施例中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第二组件类型,即所获取的图像数据中的供油组件是设置在岸边码头上的,并且此时供油组件处于工作状态,则说明供油船正在进行装油工作。当组件类型为第二组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了装油工作。具体地,第二组件类型的供油组件包括第二输油臂和第二输油管,第二输油臂与第二输油管相连接,第二输油臂可以控制第二输油管移动,从而使得供油船通过第二输油管从岸边码头进行装油。如果同时满足第二输油臂处于张开状态和第二输油管处于连接状态时,则能判定供油船开始装油的行为;如果同时满足第二输油臂处于紧锁状态和第二输油管处于未连接状态,则能判定供油船装油结束。
图7为本发明实施例提供的供油船的作业行为识别方法的流程示意图之七;其中,在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息的步骤,包括:
S702:获取供油船的船舶基本信息;
S704:根据船舶基本信息提取AIS数据;
S706:根据AIS数据确定数据类型信息。
在该实施例中,在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息的步骤,包括:实时获取所有的供油船的船舶基本信息,其中,船舶基本信息可以为MMSI信息,MMSI是船舶无线电通信***在其无线电信道上发送的,能独特识别各类台站和成组呼叫站台的九位数字码。进而再根据供油船的船舶基本信息获取到AIS数据,然后对AIS数据进行分析,从而生成数据类型信息。通过利用船舶基本信息获取AIS数据,再根据AIS数据得到供油船当前的数据类型信息,从而保证了识别的准确性。
图8为本发明实施例提供的供油船的作业行为识别方法的流程示意图之八;其中,该方法包括:
S802:获取所有供油船的基本信息;
S804:提取船舶的AIS数据;
S806:持续监控;
S808:判断是否产生了搭靠数据,若是,则执行S810;若否,则执行S806;
S810:船头和船尾摄像头开始视频抓图;
S812:判断是否供油船输油臂张开和输油管已接驳,若是,则执行S814;若否,则执行S810和S816;
S814:判定开始供油行为;
S816:判断是否供油船输油臂紧锁和输油管未接驳,若是,则执行S818;若否,则执行S810和S820;
S818:判定结束供油行为;
S820:监控本条搭靠数据的结束时间;
S822:判断是否搭靠结束;若是,则执行S824;若否,则执行S820;
S824:停止抓取视频图片。
在该实施例中,首先要获取到所有的供油船的基本信息,然后根据供油船的基本信息提取出船舶的AIS数据,并且进行持续监控,当提取到的AIS数据输入至AIS数据分析模块,对AIS数据进行分析,当产生了搭靠数据即搭靠类型信息后,开始对船头和船尾的摄像头所采集的视频数据进行视频抓图,获取到输油臂和输油管的图像数据,并利用AI智能分析模块对其进行分析,确定输油臂和输油臂的当前状态。当输油臂处于张开状态,且输油管处于接驳状态,则说明此时供油船处于开始供油行为;当输油臂处于紧锁状态,且输油管处于未接驳状态时,则说明此时供油船处于结束供油行为。当监控到本条搭靠数据的结束时间时,利用AIS数据分析模块对该搭靠数据进行分析,从而确定供油船是否搭靠结束,若搭靠结束,则说明供油船已经离开,则停止抓取视频图片,即不再对供油船的作业行为进行识别。
图9为本发明实施例提供的供油船的作业行为识别方法的流程示意图之九;其中,该方法包括:
S902:获取所有供油船的基本信息;
S904:提取船舶的AIS数据;
S906:持续监控;
S908:判断是否产生了靠离泊数据,若是,则执行S910;若否,则执行S906;
S910:船头和船尾摄像头开始视频抓图;
S912:判断是否码头输油臂张开和输油管已接驳,若是,则执行S914;若否,则执行S910和S916;
S914:判定开始装油行为;
S916:判断是否码头输油臂紧锁和输油管未接驳,若是,则执行S918;若否,则执行S910和S920;
S918:判定结束装油行为;
S920:监控本条靠离泊数据的结束时间;
S922:判断是否离泊;若是,则执行S924;若否,则执行S920;
S924:停止抓取视频图片。
在该实施例中,首先要获取到所有的供油船的基本信息,然后根据供油船的基本信息提取出船舶的AIS数据,并且进行持续监控,当提取到的AIS数据输入至AIS数据分析模块,对AIS数据进行分析,当产生了靠离泊数据即靠离泊类型信息后,开始对船头和船尾的摄像头采集的视频数据进行视频抓图,获取到岸边码头上的输油臂和输油管的图像数据,并利用AI智能分析模块对其进行分析,确定输油臂和输油臂的当前状态。当输油臂处于张开状态,且输油管处于接驳状态,则说明此时供油船处于开始装油行为;当输油臂处于紧锁状态,且输油管处于未接驳状态时,则说明此时供油船处于结束装油行为。当监控到本条靠离泊数据的结束时间时,利用AIS数据分析模块对该靠离泊数据进行分析,从而确定供油船是否离泊,若已经离泊,则说明供油船已经离开岸边,则停止抓取视频图片,即不再对供油船的作业行为进行识别。
图10为本发明实施例提供的供油船的作业行为识别***的结构框图;其中,供油船的作业行为识别***100包括:
提取模块1002,用于在获取到供油船的AIS数据的情况下,提取AIS数据中的数据类型信息;
获取模块1004,获取模块用于获取供油船的图像数据,图像数据中包括供油船的供油组件对应的图像特征,供油组件的组件类型与数据类型信息相匹配;
识别模块1006,识别模块用于根据图像数据识别供油船的作业行为。
本发明提供了一种供油船的作业行为识别***100,其中,供油船的作业行为识别***100包括:提取模块1002、获取模块1004以及识别模块1006。其中,在实时获取供油船的AIS数据后,提取模块1002在获取到AIS数据后,对AIS数据利用GIS技术进行大数据分析,提取AIS数据中的数据类型信息,即船舶的搭靠类型信息和靠离泊类型信息,因为沿海港口中的加油船AIS数据都来自于岸边,所以此类AIS数据非常实时和准确,没有延迟。那么通过对AIS数据进行大数据分析处理后得到的数据类型信息即搭靠事件和靠离泊事件是很准确的。在提取到数据类型信息后,获取模块1004获取供油船中与数据类型信息相对应的供油组件的图像数据,然后识别模块1006再通过AI智能对图像数据进行识别,从而确定出当前供油船的作业行为。本发明通过AIS数据和视频AI智能识别的数据相互补充,大幅地节省AI算力和移动网络流量,大大提高供油船作业行为的识别准确率。帮助供油船的监管部门和经营单位能对其更准确、更实时和更高效的监控,快速掌握供油船的异常状况。
在一些实施例中,可选地,获取模块1004具体用于基于数据类型信息为搭靠类型信息,获取第一组件类型的供油组件的图像数据;基于数据类型信息为靠离泊类型信息,获取第二组件类型的供油组件的图像数据;其中,第一组件类型为设置在供油船上的供油组件的组件类型,第二组件类型为设置在岸边码头上的供油组件的组件类型。
在该实施例中,供油船的作业行为主要分为装油行为和供油行为两种类型。当供油船在进行供油行为时,供油船需要与其他船舶之间进行搭靠,从而实现对其他船舶进行供油,即当供油船进行供油行为时,从AIS数据提取的数据类型信息应该为搭靠类型信息。当供油船在进行装油行为时,供油船需要与岸边码头进行靠泊,从而使得供油船从岸边码头进行装油,即当供油船进行装油行为时,从AIS数据提取的数据类型信息应该为靠离泊类型信息。因此在获取模块1004获取供油船的图像数据时,当提取到的数据类型信息是搭靠类型信息,说明供油船此时仅能进行供油行为,因此需要获取设置在供油船上的供油组件的图像数据,即第一组件类型的供油组件的图像数据,从而能够确定当前供油船的供油行为是否开始或结束。当提取到的数据类型信息是靠离泊类型信息时,说明此时供油船仅能进行装油行为,因此需要获取设置在岸边码头上的供油组件的图像数据,即第二组件类型的供油组件的图像数据,从而能够确定当前供油船的装油行为是否开始或结束。
在一些实施例中,可选地,获取模块1004还具体用于获取供油船的视频数据;获取AIS数据中的时间信息;基于时间信息为开始时间,每隔预设时间在视频数据中抓取图像数据,直至时间信息变为结束时间。
在该实施例中,AIS数据中包括:供油船、搭靠时长、发生地点(经纬度)、发生时间、结束时间、船舶状态等信息。同时供油船上设置的是摄像头,其所生成的是视频数据。因此获取模块1004还可以获取AIS数据中的时间信息和供油船的视频数据,当AIS 数据中的时间信息为开始时间时,每隔预设时间在视频数据中抓取图像数据。当时间信息变成结束时间时,代表供油船搭靠结束,则停止抓取图像数据。
在一些实施例中,可选地,识别模块1006用于根据图像数据获取供油组件对应的图像特征;根据图像特征确定供油组件的工作状态;根据供油组件的工作状态和组件类型识别供油船的作业行为。
在该实施例中,识别模块1006具体用于获取图像数据中的供油组件所对应的图像特征,然后将图像特征通过AI智能识别确定出供油组件的工作状态,即确定供油组件是否处于工作状态,然后再将供油组件是否处于工作状态与当前的供油组件相结合,从而确定出当前供油船的作业行为。
在一些实施例中,可选地,识别模块1006具体用于基于组件类型为第一组件类型,且供油组件处于工作状态,确定供油船进行供油工作;基于组件类型为第一组件类型,且供油组件处于未工作状态,确定供油船停止供油工作。
在该实施例中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第一组件类型,即所获取的图像数据中的供油组件是设置在供油船上的,并且此时供油组件处于工作状态,则说明供油船正在进行供油工作。当组件类型为第一组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了供油工作。
在一些实施例中,可选地,识别模块1006具体用于基于组件类型为第二组件类型,且供油组件处于工作状态,确定供油船进行装油工作;基于组件类型为第二组件类型,且供油组件处于未工作状态,确定供油船停止装油工作。
在该实施例中,在根据供油组件的工作状态和组件类型识别供油船的作业行为时,当组件类型为第二组件类型,即所获取的图像数据中的供油组件是设置在岸边码头上的,并且此时供油组件处于工作状态,则说明供油船正在进行装油工作。当组件类型为第二组件类型,但是供油组件并没有处于工作状态,则说明供油船已经停止了装油工作。
在一些实施例中,可选地,提取模块1002具体用于获取供油船的船舶基本信息;根据船舶基本信息提取AIS数据;根据AIS数据确定数据类型信息。
在该实施例中,提取模块1002可以实时获取所有的供油船的船舶基本信息,其中,船舶基本信息可以为MMSI信息,MMSI是船舶无线电通信***在其无线电信道上发送的,能独特识别各类台站和成组呼叫站台的九位数字码。进而再根据供油船的船舶基本信息获取到AIS数据,然后对AIS数据进行分析,从而生成数据类型信息。通过利用船舶基本信息获取AIS数据,再根据AIS数据得到供油船当前的数据类型信息,从而保证了识别的准确性。
图11为本发明实施例提供的电子设备的结构框图;其中,电子设备110包括:存储器1102和处理器1104,存储器1102存储有程序或指令,处理器1104执行程序或指令;其中,处理器1104在执行程序或指令时,实现如本发明任一实施例的供油船的作业行为识别方法的步骤。
本技术方案提供的电子设备110实现如本发明任一实施例的供油船的作业行为识别方法的步骤,因而其具有如本发明任一实施例的供油船的作业行为识别方法的全部有益效果,在此不再赘述。
本发明提供了一种存储介质,存储介质存储有程序或指令,程序或指令被执行时,实现上述任一实施例的供油船的作业行为识别方法的步骤。
本技术方案提供的存储介质实现如本发明任一实施例的供油船的作业行为识别方法的步骤,因而其具有如本发明任一实施例的供油船的作业行为识别方法的全部有益效果,在此不再赘述。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种供油船的作业行为识别方法,其特征在于,所述供油船上设置有摄像头,所述供油船的作业行为识别方法包括:
在获取到供油船的AIS数据的情况下,提取所述AIS数据中的数据类型信息;
获取所述供油船的图像数据,所述图像数据中包括所述供油船的供油组件对应的图像特征,所述供油组件的组件类型与所述数据类型信息相匹配;
根据所述图像数据识别所述供油船的作业行为;
所述获取所述供油船的图像数据的步骤包括:
基于所述数据类型信息为搭靠类型信息,获取第一组件类型的所述供油组件的图像数据;
基于所述数据类型信息为靠离泊类型信息,获取第二组件类型的所述供油组件的图像数据;
其中,所述第一组件类型为设置在所述供油船上的所述供油组件的组件类型,所述第二组件类型为设置在岸边码头上的所述供油组件的组件类型;
所述根据所述图像数据识别所述供油船的作业行为的步骤,包括:
根据所述图像数据获取所述供油组件对应的图像特征;
根据所述图像特征确定所述供油组件的工作状态;
根据所述供油组件的工作状态和所述组件类型识别所述供油船的作业行为;
所述根据所述供油组件的工作状态和所述组件类型识别所述供油船的作业行为的步骤,包括:
基于所述组件类型为所述第一组件类型,且所述供油组件处于工作状态,确定所述供油船进行供油工作;
基于所述组件类型为所述第一组件类型,且所述供油组件处于未工作状态,确定所述供油船停止供油工作;
所述根据所述供油组件的工作状态和所述组件类型识别所述供油船的作业行为的步骤,包括:
基于所述组件类型为所述第二组件类型,且所述供油组件处于工作状态,确定所述供油船进行装油工作;
基于所述组件类型为所述第二组件类型,且所述供油组件处于未工作状态,确定所述供油船停止装油工作;
其中,所述供油船的作业行为包括装油行为和供油行为。
2.根据权利要求1所述的供油船的作业行为识别方法,其特征在于,所述获取所述供油船的图像数据的步骤,还包括:
获取所述供油船的视频数据;
获取所述AIS数据中的时间信息;
基于所述时间信息为开始时间,每隔预设时间在所述视频数据中抓取所述图像数据,直至所述时间信息变为结束时间。
3.根据权利要求1或2所述的供油船的作业行为识别方法,其特征在于,所述在获取到供油船的AIS数据的情况下,提取所述AIS数据中的数据类型信息的步骤,包括:
获取所述供油船的船舶基本信息;
根据所述船舶基本信息提取所述AIS数据;
根据所述AIS数据确定所述数据类型信息。
4.一种供油船的作业行为识别***,所述供油船上设置有摄像头,其特征在于,所述供油船的作业行为识别***包括:
提取模块,所述提取模块用于在获取到供油船的AIS数据的情况下,提取所述AIS数据中的数据类型信息;
获取模块,所述获取模块用于获取所述供油船的图像数据,所述图像数据中包括所述供油船的供油组件对应的图像特征,所述供油组件的组件类型与所述数据类型信息相匹配;
识别模块,所述识别模块用于根据所述图像数据识别所述供油船的作业行为;
所述获取模块具体用于,基于所述数据类型信息为搭靠类型信息,获取第一组件类型的所述供油组件的图像数据;
基于所述数据类型信息为靠离泊类型信息,获取第二组件类型的所述供油组件的图像数据;
其中,所述第一组件类型为设置在所述供油船上的所述供油组件的组件类型,所述第二组件类型为设置在岸边码头上的所述供油组件的组件类型;
所述识别模块具体用于,根据所述图像数据获取所述供油组件对应的图像特征;
根据所述图像特征确定所述供油组件的工作状态;
根据所述供油组件的工作状态和所述组件类型识别所述供油船的作业行为;
所述识别模块具体用于,基于所述组件类型为所述第一组件类型,且所述供油组件处于工作状态,确定所述供油船进行供油工作;
基于所述组件类型为所述第一组件类型,且所述供油组件处于未工作状态,确定所述供油船停止供油工作;
所述识别模块具体用于,基于所述组件类型为所述第二组件类型,且所述供油组件处于工作状态,确定所述供油船进行装油工作;
基于所述组件类型为所述第二组件类型,且所述供油组件处于未工作状态,确定所述供油船停止装油工作;
其中,所述供油船的作业行为包括装油行为和供油行为。
5.一种电子设备,其特征在于,包括:
存储器,存储有程序或指令;
处理器,执行所述程序或指令;
其中,所述处理器在执行所述程序或指令时,实现如权利要求1至3中任一项所述的供油船的作业行为识别方法的步骤。
6.一种存储介质,其特征在于,所述存储介质上存储有程序或指令,所述程序或指令被处理器执行时,实现如权利要求1至3中任一项所述的供油船的作业行为识别方法的步骤。
CN202311217051.5A 2023-09-20 2023-09-20 供油船的作业行为识别方法及***、电子设备及存储介质 Active CN117315573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311217051.5A CN117315573B (zh) 2023-09-20 2023-09-20 供油船的作业行为识别方法及***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311217051.5A CN117315573B (zh) 2023-09-20 2023-09-20 供油船的作业行为识别方法及***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117315573A CN117315573A (zh) 2023-12-29
CN117315573B true CN117315573B (zh) 2024-06-04

Family

ID=89259504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311217051.5A Active CN117315573B (zh) 2023-09-20 2023-09-20 供油船的作业行为识别方法及***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117315573B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000151A (ko) * 2017-06-22 2019-01-02 (주)인스페이스 기름유출 탐지 기반 선박추적방법
CN109685086A (zh) * 2017-10-18 2019-04-26 中电科海洋信息技术研究院有限公司 海上船舶作业状态识别方法、装置、设备及存储介质
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN110233995A (zh) * 2019-06-11 2019-09-13 中国水产科学研究院渔业机械仪器研究所 一种基于船载与岸基协同处理的拖网渔船智能监视***及处理方法
CN112084971A (zh) * 2020-09-14 2020-12-15 广州海事科技有限公司 船舶卡口检测方法、***、计算机设备及存储介质
CN112785030A (zh) * 2020-11-26 2021-05-11 中远海运科技股份有限公司 船舶行为识别***、方法和平台
CN113780127A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种船舶定位与监控***及方法
CN113935692A (zh) * 2021-10-22 2022-01-14 中远海运科技股份有限公司 一种船舶在港装卸货智能识别方法及***
CN115943417A (zh) * 2020-05-27 2023-04-07 首尔莱恩有限公司 可装载油船现况显示方法
CN116208745A (zh) * 2023-02-10 2023-06-02 中国舰船研究院(中国船舶集团有限公司第七研究院) 一种码头船舶靠泊监测记录***及方法
CN116310873A (zh) * 2023-03-22 2023-06-23 李国成 基于卫星遥感的船舶目标识别方法、装置、介质及设备
CN116310601A (zh) * 2023-05-19 2023-06-23 广州健新科技有限责任公司 基于ais轨迹图与相机图组的船只行为分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190000151A (ko) * 2017-06-22 2019-01-02 (주)인스페이스 기름유출 탐지 기반 선박추적방법
CN109685086A (zh) * 2017-10-18 2019-04-26 中电科海洋信息技术研究院有限公司 海上船舶作业状态识别方法、装置、设备及存储介质
CN109766811A (zh) * 2018-12-31 2019-05-17 复旦大学 一种星载sar图像中海面船只的端到端检测与识别方法
CN110233995A (zh) * 2019-06-11 2019-09-13 中国水产科学研究院渔业机械仪器研究所 一种基于船载与岸基协同处理的拖网渔船智能监视***及处理方法
CN115943417A (zh) * 2020-05-27 2023-04-07 首尔莱恩有限公司 可装载油船现况显示方法
CN112084971A (zh) * 2020-09-14 2020-12-15 广州海事科技有限公司 船舶卡口检测方法、***、计算机设备及存储介质
CN112785030A (zh) * 2020-11-26 2021-05-11 中远海运科技股份有限公司 船舶行为识别***、方法和平台
CN113780127A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种船舶定位与监控***及方法
CN113935692A (zh) * 2021-10-22 2022-01-14 中远海运科技股份有限公司 一种船舶在港装卸货智能识别方法及***
CN116208745A (zh) * 2023-02-10 2023-06-02 中国舰船研究院(中国船舶集团有限公司第七研究院) 一种码头船舶靠泊监测记录***及方法
CN116310873A (zh) * 2023-03-22 2023-06-23 李国成 基于卫星遥感的船舶目标识别方法、装置、介质及设备
CN116310601A (zh) * 2023-05-19 2023-06-23 广州健新科技有限责任公司 基于ais轨迹图与相机图组的船只行为分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于1DCNN-LSTM的船舶轨迹分类方法;崔彤彤;王桂玲;高晶;;计算机科学;20200821(09);全文 *

Also Published As

Publication number Publication date
CN117315573A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN110291774B (zh) 一种图像处理方法、设备、***及存储介质
US20160280352A1 (en) Method of collecting data in ballast water treatment system and system for analyzing ship ballast water treatment big data using mobile communication network
CN110807460B (zh) 一种基于图像识别的变电站智能巡视***及其应用方法
CN110816781B (zh) 船舶运行状态识别方法及装置
CN117315573B (zh) 供油船的作业行为识别方法及***、电子设备及存储介质
CN111405273A (zh) 摄像头运维方法和***
CN114627388B (zh) 输电线路异物检测设备及其异物检测方法
CN111027437B (zh) 一种切换人脸特征的特征提取算法的方法及***
KR20030066234A (ko) 영상 데이터의 움직임 감지장치 및 방법
CN114881336A (zh) 自动标示虚拟航标方法、***、计算机设备及存储介质
US20040189792A1 (en) Security system using mobile phone
CN112540604A (zh) 机器人充电***、方法及终端设备
CN111368614B (zh) 船舶识别方法及装置
KR100436922B1 (ko) 선박 추적정보 위성 전송 방법
KR102210571B1 (ko) Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법
CN114338974A (zh) 多通道的活动路径确定方法、装置、设备及存储介质
CN105577740B (zh) 一种车辆状态信息的发送方法及装置
KR101916014B1 (ko) Can 통신기능을 탑재한 기상관측용 데이터 수집 시스템
JP4585391B2 (ja) サーバ装置
CN111814734A (zh) 识别刀闸状态的方法
CN110907749A (zh) 故障地下电缆定位方法和装置
CN110930362A (zh) 一种螺钉安全检测方法、装置及***
CN118101904B (zh) 一种海射火箭视频监测方法及监测装置
CN112767348B (zh) 一种检测信息的确定方法和装置
CN112055212B (zh) 多路视频集中分析处理的***以及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant