CN113778091A - 一种风电场升压站设备巡检方法 - Google Patents

一种风电场升压站设备巡检方法 Download PDF

Info

Publication number
CN113778091A
CN113778091A CN202111068762.1A CN202111068762A CN113778091A CN 113778091 A CN113778091 A CN 113778091A CN 202111068762 A CN202111068762 A CN 202111068762A CN 113778091 A CN113778091 A CN 113778091A
Authority
CN
China
Prior art keywords
image
equipment
servo
inspection
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111068762.1A
Other languages
English (en)
Inventor
唐烂芳
谭光道
徐超
孟秀俊
刘勇
孙文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaneng Xifeng Wind Power Generation Co ltd
Original Assignee
Huaneng Xifeng Wind Power Generation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaneng Xifeng Wind Power Generation Co ltd filed Critical Huaneng Xifeng Wind Power Generation Co ltd
Priority to CN202111068762.1A priority Critical patent/CN113778091A/zh
Publication of CN113778091A publication Critical patent/CN113778091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种风电场升压站设备巡检方法,涉及检测技术领域。该方法包括:巡检机器人获取巡检任务信息,并拍摄伺服巡检图像。巡检机器人将伺服巡检图像上传至服务器,服务器根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。服务器采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配。服务器对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。服务器利用模板匹配算法对预设模板图像与读数结果进行匹配,以得到设备的实际读数。该方法实现了替代人工对风电场升压站设备进行巡检的目的,精确识别各类仪表及设备的度数。

Description

一种风电场升压站设备巡检方法
技术领域
本发明涉及检测技术领域,具体而言,涉及一种风电场升压站设备巡检方法。
背景技术
针对新一代智能站点“提质增效”提高巡检维护工作效率、降低成本的选择要求,场景中以“智能装备、智慧运行”为重要发展路径具体目标要求,需要推动“四个一”的生产管理目标体系建设,其中“设备状况一目了然”为场景中关键一环。故采用智能巡检机器人作为智能装备,推动站点设备“100%全覆盖、100%全识别”的无人化智能巡视。
为了确保站内设备安全稳定运行,及时发现隐患,积累状态检修原始数据,往往要求现场运行人员,冒着高温酷暑,狂风暴雨,定期对现场设备进行巡视检查。但是人工巡视劳动强度大、手段单一,巡视质量不佳,是难以及时发现隐患缺陷的,狂风暴雨、炎热高温等恶劣天气时,值班员是无法正常有效的巡视设备。机器人巡检和人工巡检的最大区别是,它可以全天候和在复杂环境下独立自主;如替代人工巡检中繁、难、险、重作业,精确识别设备各类仪表读数及设备的电流、运行温度等,及时发现设备缺陷,提高设备巡视效率,真正实现集电力预案于一体的智能巡检解决方案。
发明内容
本发明的目的在于提供一种风电场升压站设备巡检方法,其能够替代人工对风电场升压站设备进行巡检,并对设备进行分类分析,精确识别各类仪表及设备的度数,从而及时发现设备缺陷,提高对设备的巡视效率。
本发明的实施例是这样实现的:
本申请实施例提供一种风电场升压站设备巡检方法,其包括如下步骤:巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像。巡检机器人将伺服巡检图像上传至服务器,服务器根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。服务器采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整。若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整。服务器对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。服务器利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果。服务器利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。
在本发明的一些实施例中,上述服务器对包含完整待检测设备区域的伺服巡检图像进行特征提取之前,该方法还包括:服务器对包含完整待检测设备区域的伺服巡检图像进行灰度处理。
在本发明的一些实施例中,上述将特征提取结果输入至训练好的深度学习模型中的步骤之前,该方法还包括:建立深度学习初始模型。预先获取设备图像,并使用局部特征区域提取算法将原始图像变换为局部信息。利用像素级分类方法将设备图像分为多个区域图像,并对区域图像中正面图像进行预处理,以旋转出不同角度的训练图像。利用训练图像对深度学习初始模型进行训练,以得到训练好的深度学习模型。
在本发明的一些实施例中,上述巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位的步骤包括以下步骤:实时对巡检机器人进行视频监控。
在本发明的一些实施例中,上述巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:若拍摄设备时的清晰度低于预设值,则调用区域聚焦伺服拍摄设备,以得到伺服巡检图像。若拍摄设备时的亮度低于预设阈值,则调用区域曝光伺服拍摄设备,以得到伺服巡检图像。否则采用自动曝光模式对设备进行拍摄,以得到伺服巡检图像。
在本发明的一些实施例中,上述巡检机器人将伺服巡检图像上传至服务器的步骤包括以下步骤:巡检机器人通过DMS请求获取图片上传地址,DMS下发图片上传地址给巡检机器人。巡检机器人通过图片上传地址将伺服巡检图像上传至服务器。
在本发明的一些实施例中,上述巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:实时获取巡检机器人的位置信息、姿态信息及姿态调整信息。
在本发明的一些实施例中,上述服务器包括:预设模板图像调取模块,用于根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。实时匹配模块,用于采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整。拍摄调整模块,用于若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整。特征提取模块,用于对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。数值区域处理模块,用于利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果。实际读数计算模块,用于利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。
第二方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第三方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
相对于现有技术,本发明的实施例至少具有如下优点或有益效果:
本发明提供一种风电场升压站设备巡检方法,其包括如下步骤:巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像。巡检机器人将伺服巡检图像上传至服务器,服务器根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。服务器采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整。若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整。服务器对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。服务器利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果。服务器利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。巡检机器人与服务器通信交互,服务器配置巡检任务,并下发至巡检机器人。巡检机器人获取巡检任务信息,在巡检机器人行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像,避免了由于云台调用误差或者停车位置影响而导致需要识别的设备部分或者全部偏离出图像拍摄的范围,从而避免了巡检机器人无法进行设备状态识别的情况。服务器采用匹配算法实时匹配伺服巡检图像与预设模板图像,查找两幅图像共同的特征点,计算预设模板图像与伺服巡检图像的位移偏差,从而验证伺服巡检图像中是否包含完整的待检测设备区域。若待检测设备区域不完整,则计算出云台转动控制参数,当云台转动云台转动角度偏移量后,巡检机器人再次拍摄伺服巡检图像,若伺服巡检图像中待检测设备区域不完整,则再次计算出云台转动角度偏移量,云台再次转动云台转动角度偏移量,直至待检测设备区域完整,以此获得包含完整待检测设备区域的伺服巡检图像。针对不同仪表设备图像,采用不同算法对伺服巡检图像进行分类特征提取,以得到特征提取结果。将上述特征提取结果输入至训练好的深度学习模型中,对特征提取结果进行纠偏,以得到数值区域,从而保证数值区域的图像为正面。服务器利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果,则可以准确得到当前伺服巡检图像中仪表设备的读数。也就实现了替代人工对风电场升压站设备进行巡检的目的,并对设备进行分类分析,精确识别各类仪表及设备的度数。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种风电场升压站设备巡检方法的流程图;
图2为本发明实施例提供的一种服务器的结构框图;
图3为本发明实施例提供的一种巡检机器人与服务器的交互流程图;
图4为本发明实施例提供的一种任务管理结构框图;
图5为本发明实施例提供的一种电子设备的示意性结构框图。
图标:100-服务器;110-预设模板图像调取模块;120-实时匹配模块;130-拍摄调整模块;140-特征提取模块;150-数值区域处理模块;160-实际读数计算模块;101-存储器;102-处理器;103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,若出现术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,若出现由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,若出现术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
实施例
请参阅图1,图1所示为本申请实施例提供的一种风电场升压站设备巡检方法的流程图。一种风电场升压站设备巡检方法,其包括如下步骤:
S110:巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像;
具体的,巡检机器人与服务器100通信交互,服务器100配置巡检任务,并下发到巡检管理***。巡检管理***根据目标设备找出对应的目标点生成任务组并拆分为子任务,最后将子任务存储到mysql。巡检管理***根据目标设备当前状态和优先级来处理子任务下发,高优先级可打断低优先级,低优先级不可打断高优先级,同等优先级的子任务允许同时下发至巡检机器人。巡检机器人获取子任务,根据子任务获取巡检任务信息。在巡检机器人行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像,避免了由于云台调用误差或者停车位置影响而导致需要识别的设备部分或者全部偏离出图像拍摄的范围,从而避免了巡检机器人无法进行设备状态识别的情况。
请参照图4,图4所示为本申请实施例提供的一种任务管理结构框图。任务管理按照任务目标点target分解任务,把相关联的子任务放置到一个任务组中。管理***将任务按优先级以有序集合的方式缓存到Redis。任务调度检测设备是否在线,当设备在线从路径规划中规划对应的Waypoints,组装任务组下发到设备。
S120:巡检机器人将伺服巡检图像上传至服务器100,服务器100根据伺服巡检图像,从设备模板库中调取对应的预设模板图像;
具体的,巡检机器人在执行任务过程中将伺服巡检图像上传至服务器100。服务器100中设备模板库保存有针对不同仪表设备的预设模板图像,从而根据伺服巡检图像和任务信息调取对应仪表设备的预设模板图像。
S130:服务器100采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整;
具体的,采用匹配算法实时匹配伺服巡检图像与预设模板图像,查找两幅图像共同的特征点,计算预设模板图像与伺服巡检图像的位移偏差,验证伺服巡检图像中是否包含完整的待检测设备区域。如果设备区域完整,则此伺服巡检图像可直接用于设备状态识别。
S140:若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整;
具体的,根据云台转动控制参数调用云台转动以补偿图像像素偏移量。当云台转动云台转动角度偏移量后,巡检机器人再次拍摄伺服巡检图像,若伺服巡检图像中待检测设备区域不完整,则再次计算出云台转动角度偏移量,云台再次转动云台转动角度偏移量,直至待检测设备区域完整,以此获得包含完整待检测设备区域的伺服巡检图像。
S150:服务器100对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域;
具体的,针对不同仪表设备图像,采用不同算法对伺服巡检图像进行分类特征提取,以得到特征提取结果。将上述特征提取结果输入至训练好的深度学习模型中,对特征提取结果进行纠偏,以得到数值区域,从而保证数值区域的图像为正面。
S160:服务器100利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果;
具体的,上述读数结果为伺服巡检图像中仪表设备的读数,则可以准确得到当前伺服巡检图像中仪表设备的读数。也就实现了替代人工对风电场升压站设备进行巡检的目的,并对设备进行分类分析,精确识别各类仪表及设备的度数。
S170:服务器100利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。
具体的,利用模板匹配算法对预设模板图像与读数结果进行匹配,并计算出预设模板图像与读数结果的偏差,根据预设模板图像对应的采集时间和伺服巡检图像对应的采集时间可以计算出偏差对应的时间差值,进而得到每秒钟对应的偏差,从而根据实际时间与预设模板图像对应的采集时间得到实际时间差值,利用实际时间差值和每秒钟对应的偏差可以得到仪表设备当前的实际读数,也就可以随时得到设备的实际读数。并且当巡检机器人再次巡检获得不同设备的伺服巡检图像时,根据再次获取的伺服巡检图像可以得到设备对应的读数。并且计算再次获取的伺服巡检图像与预设模板图像的时间差值得到设备的当前读数,将当前读数与再次获取的伺服巡检图像中设备对应的读数进行对比,以得到读数差值,进而根据读数差值判断设备是否存在缺陷,从而提高对设备的巡视效率。
示例性的,上述模板匹配算法可以为基于灰度值的匹配算法、基于形状的匹配算法以及基于组件的匹配算法。
当模板匹配算法为基于灰度值的匹配算法时,将预设模板图像和伺服巡检图像的灰度值作为相似度量,通过比较预设模板图像和伺服巡检图像的灰度值相似度信息计算出二者的匹配程度。
当模板匹配算法为基于形状的匹配算法时,首先分别提取预设模板图像和伺服巡检图像的轮廓信息,然后用轮廓信息进行相关性比较。因为对象的轮廓对光照条件的变化等因素不敏感,因此基于形状的匹配算法具有更强的抗干扰性,而且可以进行多模板匹配。基于形状的匹配还可以计算出多模板匹配中目标属于哪个模板信息。
当模板匹配算法为基于组件的匹配算法时,基于组件的匹配算法经过了模板训练,可以对目标设备的各个部件进行匹配,即使各部件间发生了旋转或偏移的情况。基于组件的模板匹配不必采用多个模板就可以完成对多个部件的匹配,匹配结果为各个部件的位置信息、角度信息以及相似度信息等。
上述实现过程中,巡检机器人与服务器100通信交互,服务器100配置巡检任务,并下发至巡检机器人。巡检机器人获取巡检任务信息,在巡检机器人行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像,避免了由于云台调用误差或者停车位置影响而导致需要识别的设备部分或者全部偏离出图像拍摄的范围,从而避免了巡检机器人无法进行设备状态识别的情况。服务器100采用匹配算法实时匹配伺服巡检图像与预设模板图像,查找两幅图像共同的特征点,计算预设模板图像与伺服巡检图像的位移偏差,从而验证伺服巡检图像中是否包含完整的待检测设备区域。若待检测设备区域不完整,则计算出云台转动控制参数,当云台转动云台转动角度偏移量后,巡检机器人再次拍摄伺服巡检图像,若伺服巡检图像中待检测设备区域不完整,则再次计算出云台转动角度偏移量,云台再次转动云台转动角度偏移量,直至待检测设备区域完整,以此获得包含完整待检测设备区域的伺服巡检图像。针对不同仪表设备图像,采用不同算法对伺服巡检图像进行分类特征提取,以得到特征提取结果。将上述特征提取结果输入至训练好的深度学习模型中,对特征提取结果进行纠偏,以得到数值区域,从而保证数值区域的图像为正面。服务器100利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果,则可以准确得到当前伺服巡检图像中仪表设备的读数。也就实现了替代人工对风电场升压站设备进行巡检的目的,并对设备进行分类分析,精确识别各类仪表及设备的度数。
需要说明的是,在本实施例中,上述巡检机器人上设置有可见光摄像头和红外摄像头。可见光摄像头和红外摄像头可以采集图像或视频,并通过WIFI将图像或视频传输到服务器100。上述可见光摄像头可以采集仪表设备的读数。上述红外摄像头可以对多种仪表及设备进行测温,以此判断仪表设备是否存在故障。具体的,当红外摄像头检测到仪表设备温度超过预设温度值时,巡检机器人或者服务器100将报警,以提醒工作人员尽快查看并维修。
在本实施例的一些实施方式中,当得到设备的实际读数后,服务器100可以根据巡检机器人的巡检过程及巡检结果生成巡检报告,进而为仪表设备的状态分析判断提供理论依据,便于工作人员及时发现并处理异常情况,保障设备安全,提高工作效率。
在本实施例的一些实施方式中,上述服务器100对包含完整待检测设备区域的伺服巡检图像进行特征提取之前,该方法还包括:服务器100对包含完整待检测设备区域的伺服巡检图像进行灰度处理。具体的,对伺服巡检图像进行灰度处理后,可以改善伺服巡检图像的显示效果,使得伺服巡检图像的动态范围加大,使伺服巡检图像对比度扩展,从而使得伺服巡检图像更加清晰,特征更加明显。
在本实施例的一些实施方式中,上述将特征提取结果输入至训练好的深度学习模型中的步骤之前,该方法还包括:建立深度学习初始模型。预先获取设备图像,并使用局部特征区域提取算法将原始图像变换为局部信息。利用像素级分类方法将设备图像分为多个区域图像,并对区域图像中正面图像进行预处理,以旋转出不同角度的训练图像。利用训练图像对深度学习初始模型进行训练,以得到训练好的深度学习模型。上述实现过程中,首先巡检机器人进行自主化巡检,智能采集设备图像,并存储至预处理状态。接着使用局部特征区域提取算法将原始图像变换为局部信息,并利用像素级分类方法将整个设备图像分为多个区域,通过对正面图像进行预处理,旋转出不同角度的图像作为训练图像,将对应的正面图像作为深度学习模型的输出结果。最后训练好的深度学习模型可以保证输出结果具有旋转不变性。
在本实施例的一些实施方式中,上述巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位的步骤包括以下步骤:实时对巡检机器人进行视频监控。从而及时获知巡检机器人是否处于正常工作状态。
在本实施例的一些实施方式中,上述巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:若拍摄设备时的清晰度低于预设值,则调用区域聚焦伺服拍摄设备,以得到伺服巡检图像。若拍摄设备时的亮度低于预设阈值,则调用区域曝光伺服拍摄设备,以得到伺服巡检图像。否则采用自动曝光模式对设备进行拍摄,以得到伺服巡检图像。具体的,当使用清晰度对伺服巡检图像中仪表区域进行清晰度评价时,如果清晰度值低于经验值,则调用区域聚焦伺服对仪表设备进行拍摄,使得仪表成像清晰。当使用清晰度对伺服巡检图像中仪表区域进行亮度评价,如果亮度低于预设阈值,则调用区域曝光伺服,根据仪表区域进行亮度调节,使得仪表亮度值合适。从而避免了伺服巡检图像中需要识别的设备成像模糊,也就避免了不能准确识别设备读数或者根本无法识别设备读数的情况。
请参照图3,图3所示为本申请实施例提供的一种巡检机器人与服务器100的交互流程图。巡检机器人将伺服巡检图像上传至服务器100的步骤包括以下步骤:巡检机器人通过DMS请求获取图片上传地址,DMS下发图片上传地址给巡检机器人。巡检机器人通过图片上传地址将伺服巡检图像上传至服务器100。具体的,巡检机器人完成巡检任务后将结果上报至服务器100。巡检机器人通过DMS请求获取文件上传地址,DMS下发图片上传地址。巡检机器人上传图片文件经由文件服务存储到Mysql。数据分析通过解析Json文件获取巡检任务和图片信息,再根据图片信息分析出任务结果,并存入Mysql。
在本实施例中,上述文件服务主要负责文件的上传、存储,并且支持文件下载。
在本实施例的一些实施方式中,上述巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:实时获取巡检机器人的位置信息、姿态信息及姿态调整信息。从而根据巡检机器人的位置信息、姿态信息及姿态调整信息实现对巡检机器人的定位、姿态确定的目的。
在本实施例的一些实施方式中,上述服务器100包括:预设模板图像调取模块110,用于根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。实时匹配模块120,用于采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整。拍摄调整模块130,用于若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整。特征提取模块140,用于对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。数值区域处理模块150,用于利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果。实际读数计算模块160,用于利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。具体的,服务器100接收到伺服巡检图像后,采用匹配算法实时匹配伺服巡检图像与预设模板图像,查找两幅图像共同的特征点,计算预设模板图像与伺服巡检图像的位移偏差,从而验证伺服巡检图像中是否包含完整的待检测设备区域。若待检测设备区域不完整,则计算出云台转动控制参数,当云台转动云台转动角度偏移量后,巡检机器人再次拍摄伺服巡检图像,若伺服巡检图像中待检测设备区域不完整,则再次计算出云台转动角度偏移量,云台再次转动云台转动角度偏移量,直至待检测设备区域完整,以此获得包含完整待检测设备区域的伺服巡检图像。上述服务器100针对不同仪表设备图像,采用不同算法对伺服巡检图像进行分类特征提取,以得到特征提取结果。将上述特征提取结果输入至训练好的深度学习模型中,对特征提取结果进行纠偏,以得到数值区域,从而保证数值区域的图像为正面。并且服务器100利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果,则可以准确得到当前伺服巡检图像中仪表设备的读数。也就实现了替代人工对风电场升压站设备进行巡检的目的,并对设备进行分类分析,精确识别各类仪表及设备的度数。
请参阅图5,图5为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的一种服务器100对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器101(Random Access Memory,RAM),只读存储器101(Read Only Memory,ROM),可编程只读存储器101(ProgrammableRead-Only Memory,PROM),可擦除只读存储器101(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器102,包括中央处理器102(Central Processing Unit,CPU)、网络处理器102(Network Processor,NP)等;还可以是数字信号处理器102(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图5所示的结构仅为示意,电子设备还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器101(ROM,Read-Only Memory)、随机存取存储器101(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请实施例提供的一种风电场升压站设备巡检方法,其包括如下步骤:巡检机器人获取巡检任务信息,巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像。巡检机器人将伺服巡检图像上传至服务器100,服务器100根据伺服巡检图像,从设备模板库中调取对应的预设模板图像。服务器100采用匹配算法对伺服巡检图像与预设模板图像进行实时匹配,并计算预设模板图像与伺服巡检图像的位移偏差,以验证伺服巡检图像中待检测设备区域是否完整。若待检测设备区域不完整,则计算图像像素偏移量,并根据图像像素偏移量计算云台转动角度偏移量,并将云台转动角度偏移量换算为云台转动控制参数,根据云台转动控制参数调用云台转动,直至待检测设备区域完整。服务器100对包含完整待检测设备区域的伺服巡检图像进行特征提取,以得到特征提取结果,并将特征提取结果输入至训练好的深度学习模型中,以得到数值区域。服务器100利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果。服务器100利用模板匹配算法对预设模板图像与读数结果进行匹配,计算预设模板图像与读数结果的偏差,以得到设备的实际读数。巡检机器人与服务器100通信交互,服务器100配置巡检任务,并下发至巡检机器人。巡检机器人获取巡检任务信息,在巡检机器人行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像,避免了由于云台调用误差或者停车位置影响而导致需要识别的设备部分或者全部偏离出图像拍摄的范围,从而避免了巡检机器人无法进行设备状态识别的情况。服务器100采用匹配算法实时匹配伺服巡检图像与预设模板图像,查找两幅图像共同的特征点,计算预设模板图像与伺服巡检图像的位移偏差,从而验证伺服巡检图像中是否包含完整的待检测设备区域。若待检测设备区域不完整,则计算出云台转动控制参数,当云台转动云台转动角度偏移量后,巡检机器人再次拍摄伺服巡检图像,若伺服巡检图像中待检测设备区域不完整,则再次计算出云台转动角度偏移量,云台再次转动云台转动角度偏移量,直至待检测设备区域完整,以此获得包含完整待检测设备区域的伺服巡检图像。针对不同仪表设备图像,采用不同算法对伺服巡检图像进行分类特征提取,以得到特征提取结果。将上述特征提取结果输入至训练好的深度学习模型中,对特征提取结果进行纠偏,以得到数值区域,从而保证数值区域的图像为正面。服务器100利用机器视觉技术对数值区域进行配准与提取后,再通过模式识别技术对数值区域进行识别和读数判别,以得到读数结果,则可以准确得到当前伺服巡检图像中仪表设备的读数。也就实现了替代人工对风电场升压站设备进行巡检的目的,并对设备进行分类分析,精确识别各类仪表及设备的度数。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种风电场升压站设备巡检方法,其特征在于,包括如下步骤:
巡检机器人获取巡检任务信息,所述巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像;
所述巡检机器人将所述伺服巡检图像上传至服务器,所述服务器根据所述伺服巡检图像,从设备模板库中调取对应的预设模板图像;
所述服务器采用匹配算法对所述伺服巡检图像与所述预设模板图像进行实时匹配,并计算所述预设模板图像与所述伺服巡检图像的位移偏差,以验证所述伺服巡检图像中待检测设备区域是否完整;
若所述待检测设备区域不完整,则计算图像像素偏移量,并根据所述图像像素偏移量计算云台转动角度偏移量,并将所述云台转动角度偏移量换算为云台转动控制参数,根据所述云台转动控制参数调用云台转动,直至所述待检测设备区域完整;
所述服务器对包含完整所述待检测设备区域的所述伺服巡检图像进行特征提取,以得到特征提取结果,并将所述特征提取结果输入至训练好的深度学习模型中,以得到数值区域;
所述服务器利用机器视觉技术对所述数值区域进行配准与提取后,再通过模式识别技术对所述数值区域进行识别和读数判别,以得到读数结果;
所述服务器利用模板匹配算法对所述预设模板图像与所述读数结果进行匹配,计算所述预设模板图像与所述读数结果的偏差,以得到设备的实际读数。
2.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,所述服务器对包含完整所述待检测设备区域的所述伺服巡检图像进行特征提取之前,还包括:
所述服务器对包含完整所述待检测设备区域的所述伺服巡检图像进行灰度处理。
3.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,将所述特征提取结果输入至训练好的深度学习模型中的步骤之前,还包括:
建立深度学习初始模型;
预先获取设备图像,并使用局部特征区域提取算法将原始图像变换为局部信息;
利用像素级分类方法将所述设备图像分为多个区域图像,并对所述区域图像中正面图像进行预处理,以旋转出不同角度的训练图像;
利用所述训练图像对所述深度学习初始模型进行训练,以得到训练好的深度学习模型。
4.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,巡检机器人获取巡检任务信息,所述巡检机器人根据任务信息行进至预置停车位的步骤包括以下步骤:
实时对所述巡检机器人进行视频监控。
5.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,所述巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:
若拍摄设备时的清晰度低于预设值,则调用区域聚焦伺服拍摄设备,以得到所述伺服巡检图像;
若拍摄设备时的亮度低于预设阈值,则调用区域曝光伺服拍摄设备,以得到所述伺服巡检图像;
否则采用自动曝光模式对设备进行拍摄,以得到所述伺服巡检图像。
6.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,所述巡检机器人将所述伺服巡检图像上传至服务器的步骤包括以下步骤:
所述巡检机器人通过DMS请求获取图片上传地址,DMS下发图片上传地址给所述巡检机器人;
所述巡检机器人通过所述图片上传地址将所述伺服巡检图像上传至服务器。
7.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,巡检机器人获取巡检任务信息,所述巡检机器人根据任务信息行进至预置停车位后,调用云台预置位进行姿态调整,并拍摄伺服巡检图像的步骤包括以下步骤:
实时获取所述巡检机器人的位置信息、姿态信息及姿态调整信息。
8.根据权利要求1所述的风电场升压站设备巡检方法,其特征在于,所述服务器包括:
预设模板图像调取模块,用于根据所述伺服巡检图像,从设备模板库中调取对应的预设模板图像;
实时匹配模块,用于采用匹配算法对所述伺服巡检图像与所述预设模板图像进行实时匹配,并计算所述预设模板图像与所述伺服巡检图像的位移偏差,以验证所述伺服巡检图像中待检测设备区域是否完整;
拍摄调整模块,用于若所述待检测设备区域不完整,则计算图像像素偏移量,并根据所述图像像素偏移量计算云台转动角度偏移量,并将所述云台转动角度偏移量换算为云台转动控制参数,根据所述云台转动控制参数调用云台转动,直至所述待检测设备区域完整;
特征提取模块,用于对包含完整所述待检测设备区域的所述伺服巡检图像进行特征提取,以得到特征提取结果,并将所述特征提取结果输入至训练好的深度学习模型中,以得到数值区域;
数值区域处理模块,用于利用机器视觉技术对所述数值区域进行配准与提取后,再通过模式识别技术对所述数值区域进行识别和读数判别,以得到读数结果;
实际读数计算模块,用于利用模板匹配算法对所述预设模板图像与所述读数结果进行匹配,计算所述预设模板图像与所述读数结果的偏差,以得到设备的实际读数。
9.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202111068762.1A 2021-09-13 2021-09-13 一种风电场升压站设备巡检方法 Pending CN113778091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111068762.1A CN113778091A (zh) 2021-09-13 2021-09-13 一种风电场升压站设备巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111068762.1A CN113778091A (zh) 2021-09-13 2021-09-13 一种风电场升压站设备巡检方法

Publications (1)

Publication Number Publication Date
CN113778091A true CN113778091A (zh) 2021-12-10

Family

ID=78843066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111068762.1A Pending CN113778091A (zh) 2021-09-13 2021-09-13 一种风电场升压站设备巡检方法

Country Status (1)

Country Link
CN (1) CN113778091A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301897A (zh) * 2022-01-05 2022-04-08 杭州电泰实业有限公司 电网站房自动巡检的方法、***、装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN107042511A (zh) * 2017-03-27 2017-08-15 国机智能科技有限公司 基于视觉反馈的巡视机器人云台调整方法
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110826549A (zh) * 2019-11-04 2020-02-21 山东欧玛嘉宝电气科技有限公司 基于计算机视觉的巡检机器人仪表图像识别方法及***
CN110850881A (zh) * 2019-11-29 2020-02-28 国网智能科技股份有限公司 一种变电站巡检机器人的离线巡检***及方法
CN112348018A (zh) * 2020-11-16 2021-02-09 杭州安森智能信息技术有限公司 基于巡检机器人的数显式仪表读数识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN107042511A (zh) * 2017-03-27 2017-08-15 国机智能科技有限公司 基于视觉反馈的巡视机器人云台调整方法
CN110142785A (zh) * 2019-06-25 2019-08-20 山东沐点智能科技有限公司 一种基于目标检测的巡检机器人视觉伺服方法
CN110826549A (zh) * 2019-11-04 2020-02-21 山东欧玛嘉宝电气科技有限公司 基于计算机视觉的巡检机器人仪表图像识别方法及***
CN110850881A (zh) * 2019-11-29 2020-02-28 国网智能科技股份有限公司 一种变电站巡检机器人的离线巡检***及方法
CN112348018A (zh) * 2020-11-16 2021-02-09 杭州安森智能信息技术有限公司 基于巡检机器人的数显式仪表读数识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301897A (zh) * 2022-01-05 2022-04-08 杭州电泰实业有限公司 电网站房自动巡检的方法、***、装置、存储介质
CN114301897B (zh) * 2022-01-05 2024-03-15 杭州电泰实业有限公司 电网站房自动巡检的方法、***、装置、存储介质

Similar Documents

Publication Publication Date Title
US11003940B2 (en) System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN109300161B (zh) 一种基于双目视觉的定位方法及装置
CN110850723B (zh) 一种基于变电站巡检机器人***的故障诊断及定位方法
CN107229930B (zh) 一种指针式仪表数值智能识别方法
US20210390678A1 (en) Method for monitoring manufacture of assembly units
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN111047568A (zh) 一种漏汽缺陷检测识别方法及***
CN111751002A (zh) 一种基于红外热成像的带电设备故障智能诊断方法
CN108257171A (zh) 基于光视觉的汽车雷达装配孔径检测方法
CN112697798B (zh) 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN109724993A (zh) 图像识别设备的污损程度的检测方法、装置和存储介质
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别***
CN114721430A (zh) 基于无人机的电力线路安全巡检及智能诊断***
CN113778091A (zh) 一种风电场升压站设备巡检方法
Liu et al. An approach for auto bridge inspection based on climbing robot
CN117237925B (zh) 一种基于计算机视觉的智慧道路病害巡检方法及***
CN107767366B (zh) 一种输电线路拟合方法及装置
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
JP6708695B2 (ja) 検査装置
US20170336283A1 (en) Method for checking the position of characteristic points in light distributions
CN113705442A (zh) 一种户外大牌广告画面监控识别***及方法
CN113449689A (zh) 一种基于物联网平台的通信铁塔远程监控方法
CN110991387A (zh) 一种机器人集群图像识别的分布式处理方法及***
Ye et al. Automatic optical apparatus for inspecting bearing assembly defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination