CN115268372A - 移动井盖的控制方法和*** - Google Patents

移动井盖的控制方法和*** Download PDF

Info

Publication number
CN115268372A
CN115268372A CN202110837527.XA CN202110837527A CN115268372A CN 115268372 A CN115268372 A CN 115268372A CN 202110837527 A CN202110837527 A CN 202110837527A CN 115268372 A CN115268372 A CN 115268372A
Authority
CN
China
Prior art keywords
well lid
image
groove
uncapping
grabbing mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110837527.XA
Other languages
English (en)
Other versions
CN115268372B (zh
Inventor
黄腾飞
于慧洋
王雷
郭�旗
李营
何宇
廖赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aviation Oil Group Co ltd
Original Assignee
China Aviation Oil Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aviation Oil Group Co ltd filed Critical China Aviation Oil Group Co ltd
Priority to CN202110837527.XA priority Critical patent/CN115268372B/zh
Publication of CN115268372A publication Critical patent/CN115268372A/zh
Application granted granted Critical
Publication of CN115268372B publication Critical patent/CN115268372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31264Control, autonomous self learn knowledge, rearrange task, reallocate resources
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00Energy generation of nuclear origin
    • Y02E30/30Nuclear fission reactors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种移动井盖的控制方法和***,其中,移动井盖的控制方法包括获取在可移动***运动时视觉***拍摄的地面图像,所述可移动***包括可移动机构以及与所述可移动机构连接的抓取机构;若所述地面图像包含井盖图像,则根据所述井盖图像确定所述井盖的开盖槽的第一位置信息;及根据所述第一位置信息,控制所述抓取机构执行动作指令,所述动作指令用于指示所述抓取机构抓取和移动所述井盖。

Description

移动井盖的控制方法和***
技术领域
本发明涉及加油车设计技术领域,尤其涉及一种移动井盖的控制方法和***。
背景技术
相关技术中飞机的加油车在为飞机加油时,需要通过人工使用简单劳动工具开合加油栓井的井盖(下文简称井盖),以实现加油车的加油管与加油栓井的油井口连接,从而实现对飞机的供油。具体的,人工凭借以往的经验,通过操作工具对准井盖的卡位或者直接吸附在井盖上,打开井盖,然后再抬起井盖,放在旁边,等到加油完以后,再放回井盖,闭合井盖。但是,井盖重量比较重,人工操作比较费力,人工成本较高。
发明内容
本申请提供一种移动井盖的控制方法和***,减少人力成本。
本申请提供一种移动井盖的控制方法,包括:
获取在可移动***运动时视觉***拍摄的地面图像,所述可移动***包括可移动机构以及与所述可移动机构连接的抓取机构;
若所述地面图像包含井盖图像,则根据所述井盖图像确定所述井盖的开盖槽的第一位置信息;及
根据所述第一位置信息,控制所述抓取机构执行动作指令,所述动作指令用于指示所述抓取机构抓取和移动所述井盖。
可选的,所述移动井盖的控制方法包括:
将所述地面图像输入至井盖识别模型中,以输出井盖识别结果,所述井盖识别结果包括所述地面图像包含井盖图像的识别结果或所述地面图像不包含井盖图像的识别结果,所述井盖识别模型是利用第一样本集训练得到的,所述第一样本集包括具有井盖的图像。
可选的,所述根据所述井盖图像确定所述井盖的开盖槽的第一位置信息,包括:
将所述井盖图像输入至开盖槽识别模型中,以输出开盖槽识别结果,所述开盖槽识别结果包括所述井盖图像具有开盖槽的识别结果或所述井盖图像不具有开盖槽的识别结果,所述开盖槽识别模型是利用第二样本集训练得到的,所述第二样本集包括具有开盖槽的井盖的图像;
若所述开盖槽识别结果为所述井盖图像具有开盖槽的识别结果,则根据所述井盖图像,确定所述开盖槽的位置。
可选的,所述根据所述井盖图像,确定所述井盖的开盖槽的位置,包括:
确定所述开盖槽在所述井盖图像中的位置以及所述井盖槽相对于所述视觉***的第一相对位置;
根据所述开盖槽在所述井盖图像中的位置及所述第一相对位置,确定所述开盖槽的位置。
可选的,所述根据所述第一位置信息,控制所述抓取机构执行动作指令,包括:
根据所述第一位置信息,向所述可移动***发送第一控制指令,所述第一控制指令用于控制所述抓取机构向所述开盖槽移动;
若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令,所述动作指令用于控制所述抓取机构抓紧所述开盖槽,并转动所述井盖至所述开盖位置后,提起所述井盖,以移动所述井盖。
可选的,所述若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令,包括:
获取所述抓取机构相对所述开盖槽的第二相对位置;
获取所述视觉***拍摄的开盖槽图像;
根据所述开盖槽图像及所述第二相对位置,确定所述抓取机构是否移动到所述开盖槽的位置;
若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构移动到所述开盖槽的位置,并且若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令;
若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构未移动到所述开盖槽的位置,控制所述抓取机构向所述开盖槽移动。
可选的,所述向所述可移动***发送动作指令,包括:
向所述可移动***发送第一动作指令,所述第一动作指令用于控制所述抓取机构抓紧所述开盖槽;
若接收到所述可移动***在所述抓取机构抓紧所述开盖槽时产生的第一反馈信号,向所述可移动***发送第二动作指令,所述第二动作指令用于控制所述抓取机构旋转预定角度,以使所述井盖转动至所述开盖位置;
若接收到所述可移动***在所述井盖转动至所述开盖位置时产生的第二反馈信号,向所述可移动***发送第三动作指令,所述第三动作指令用于控制所述抓取机构提起所述井盖。
可选的,所述方法还包括:获取所述井盖的预定移动路径;向所述可移动***发送包含有所述预定移动路径的第二控制指令,所述第二控制指令用于控制所述可移动***按照所述预定移动路径移动所述井盖;
和/或,
所述向所述可移动***发送第一动作指令,包括:获取所述抓取机构的位置传感器反馈的第二位置信息;获取所述视觉***相对所述抓取机构的第二相对位置;根据所述第二位置信息及所述第二相对位置,确定所述抓取机构是处于可抓取状态还是处于不可抓取状态;若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构处于可抓取状态,向所述可移动***发送第一动作指令;若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构处于不可抓取状态,向所述可移动***发送第四动作指令,所述第四动作指令用于控制所述抓取机构由所述不可抓取状态变成所述可抓取状态,并向所述可移动***发送第一动作指令。
可选的,所述方法还包括:若所述地面图像包括井盖图像,发送第三控制指令给提示设备,所述第三控制指令用于控制所述提示设备产生检测到所述井盖的提示信号;
和/或,
在获取在可移动***运动时视觉***拍摄的地面图像之前,所述方法还包括:若接收到所述抓取机构的视觉***的开关设备的触发信号,则控制所述视觉***的开启。
本申请的提供一种移动井盖的控制***,包括一个或多个处理器,用于实现如上任一项所述的方法。
本申请的提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现如上任一项所述的方法。
在一些实施例中,本申请的移动井盖的控制方法,通过可移动***运动时视觉***拍摄的地面图像可以确定开盖槽的第一位置信息,从而控制抓取机构抓取和移动井盖,避免人力抓取和移动井盖,从而减少人力成本。
附图说明
图1所示为本申请的一个实施例提供的移动井盖的控制方法的流程图;
图2所示为图1中步骤102的一实施例的流程图;
图3所示为图2中步骤122的一实施例的流程图;
图4所示为图1中步骤130的一实施例的流程图;
图5所示为图4中步骤132的一实施例的流程图;
图6所示为图1中步骤103的一实施例的流程图;
图7所示为本申请的一个实施例提供的移动井盖的控制***的模块框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
本申请实施例提供了一种移动井盖的控制方法和***,通过可移动***运动时视觉***拍摄的地面图像可以确定开盖槽的第一位置信息,从而控制抓取机构抓取和移动井盖,避免人力抓取和移动井盖,从而减少人力成本。
首先介绍一下,本申请实施例提供的一种移动井盖的控制方法,可以应用于加油车的控制中心、移动终端及主控板。
其次结合各附图详细介绍一下本申请实施例的移动井盖的控制方法及***,详细说明如下。
图1所示为本申请的一个实施例提供的移动井盖的控制方法的流程图。该方法可以包括如下步骤101~步骤103。
步骤101,获取在可移动***运动时视觉***拍摄的地面图像,可移动***包括可移动机构以及与可移动机构连接的抓取机构。
其中,上述地面图像可以包括多张地面图像,如此可以提高识别的准确度。可移动***可以是指能够在地面上或者平台上,相对于井盖进行移动的***。此可移动***可通过可移动机构,承载抓取机构,使得抓取机构相对于井盖移动,以实现抓取机构的可伸缩。在一些实施例中,可移动***可以包括机械臂。可移动***与加油车的连接结构形态并不做限定,比如可移动***可以是机械连接于加油车的***。再比如,可移动***可以是电连接于加油车的***。
在一些实施例中,可移动***可以包括能够移动的构件,比如轮子或者驱动轴等,在此不再一一举例。抓取机构可以包括能够相对于井盖伸缩并且能够抓取井盖的构件,比如机械爪。
本申请中的视觉***可以是指能够拍摄到图像的***。在一些实施例中,本步骤101进一步包括:获取在可移动***运动时相机、摄像机或监控器拍摄的地面图像。如此使用相机、摄像机或监控器可以拍摄到地面图像。
其中,地面图像是视觉***的拍摄范围包含地面所在的范围,通过可移动***的移动,视觉***也随之移动进行拍摄图像。在一些实施例中,视觉***可以设在抓取机构上,如此设置,可以及时同步抓取机构的执行动作,方便及时掌握抓取机构的执行动作,以便更好的控制抓取机构移动。
步骤102,若地面图像包含井盖图像,则根据井盖图像确定井盖的开盖槽的第一位置信息。
其中,加油栓井的井盖比较重,本申请自动抓取井盖,避免浪费人力的同时,也可以降低人工操作的难度。并且,加油栓井内有油料,不能用电磁等设备提取,如此,可以提高人工操作的安全性。本申请的井盖图像可以是指一张井盖图像,如此能够快速确认出井盖,识别效率高。本申请的井盖图像可以包括多张井盖图像,更方便识别和确定井盖,井盖识别的准确性较高。
井盖可以盖合于加油栓井上。井盖的井盖槽与抓取机构相配合,且井盖槽能够被抓取机构抓紧,实现打开或闭合井盖。
本申请中确定井盖图像的实施例有多种,在一种实施例中,将地面图像输入至井盖识别模型中,以输出井盖识别结果,井盖识别结果包括地面图像包含井盖图像的识别结果或地面图像不包含井盖图像的识别结果,井盖识别模型是利用第一样本集训练得到的,第一样本集包括具有井盖的图像。如此,第一样本集包括大量的具有井盖的图像,而井盖识别模型是利用第一样本集训练得到的,因此,可以提高井盖识别模型输出的井盖识别结果的准确性。
其中,井盖识别模型可以是预先经过第一样本集训练的卷积神经网络,通过此井盖识别模型可以实现井盖的检测以及抓取关键点的检测。
在一些实施例中,将地面图像输入至井盖识别模型中,以输出井盖识别结果进一步包括对地面图像进行预处理,比如降噪、尺寸缩放等,然后将预处理后的地面图像作为地面图像;将地面图像输入至井盖识别模型,通过井盖识别模型进行井盖的特征提取以及抓取关键点的检测,在井盖识别模型得到井盖关键点后,井盖识别模型可以输出井盖识别结果为地面图像包含井盖图像的识别结果。这样由井盖识别模型进行特征提取及井盖识别,并检测和定位关键点,更有利于确地出井盖,以方便后续抓取机构抓取井盖。
该方法可以还包括:利用预先标定的相机内外参数换算图像中井盖关键点在世界坐标系中的位置,得到井盖的位置。如此可以确定井盖的位置,从而能够引导抓取机构执行动作指令。其中,可以采用openCV对地面图像进行预处理。
在一些实施例中,所述方法还包括通过定位***,确定井盖在井盖地图中的位置。其中,定位***可以包括全球定位***(Global Positioning System,简称GPS)定位、移动通信网络比如5G、WiFi定位中的一种或多种。井盖地图可以是预先根据定位***建立的机场中的井盖地图。如此,井盖位置唯一确定,避免周边的井盖干扰识别,也可以能够在大雨或雾霾天气等视觉可能受影响的天气下,定位***结合视觉***,更有利于井盖的识别。进一步的,传感器、定位***及视觉***的结合,可以进一步提高井盖识别的准确性。详细说明如下。
步骤103,根据第一位置信息,控制抓取机构执行动作指令,动作指令用于指示抓取机构抓取和移动井盖。通过可移动***运动时视觉***拍摄的地面图像可以确定开盖槽的第一位置信息,从而控制抓取机构抓取和移动井盖,避免人力抓取和移动井盖,从而减少人力成本。
本申请中步骤102的实施例有多种。图2所示为图1中步骤102的一实施例的流程图。在如图2所示的实施例中,上述步骤102可以包括如下步骤121~步骤122。步骤121,将井盖图像输入至开盖槽识别模型中,以输出开盖槽识别结果,开盖槽识别结果包括井盖图像具有开盖槽的识别结果或井盖图像不具有开盖槽的识别结果,开盖槽识别模型是利用第二样本集训练得到的,第二样本集包括具有开盖槽的井盖的图像;步骤122,若开盖槽识别结果为井盖图像具有开盖槽的识别结果,则根据井盖图像,确定开盖槽的位置。如此,第二样本集包括大量具有开盖槽的井盖的图像,而开盖槽识别模型是利用第二样本集训练得到的,因此,可以提高井开盖槽识别模型输出的开盖槽识别结果的准确性。
图3所示为图2中步骤122的一实施例的流程图。上述步骤122可以包括步骤211~步骤212。
步骤211,确定开盖槽在井盖图像中的位置以及井盖槽相对于视觉***的第一相对位置。
本步骤211进一步包括:利用机器视觉定位方法,确定开盖槽在井盖图像中的位置以及井盖槽相对于视觉***的第一相对位置。其中,机器视觉定位方法可以是使用机器视觉检测元件的位置和方向的方法。比如,SIFT(Scale-invariant feature transform,尺度不变特征变换),SURF(Speed Up Robust Features,加速鲁棒特征算法)。
在本申请实施例中的井盖图像包括开盖槽,每个井盖图像都具有开盖槽,但是开盖槽可以处于井盖图像中的不同位置。并且,视觉***拍摄物体的图像,通过机器视觉定位方法,可以确定井盖槽相对于视觉***的第一相对位置。
步骤212,根据开盖槽在井盖图像中的位置及第一相对位置,确定开盖槽的位置。其中,所述开盖槽的位置可以是指世界坐标系下的位置,其包括开盖槽在世界坐标系下的位置以及开盖槽与视觉***的距离在世界坐标下的位置。在一些实施例中,可以根据开盖槽在井盖图像中的位置,确定开盖槽在图像坐标系中的位置,以及根据第一相对位置,确定开盖槽在相机坐标系中的位置;将开盖槽在图像坐标系中的位置转换为开盖槽在世界坐标系下的位置;将开盖槽在相机坐标系中的位置转换为开盖槽与视觉***的距离在世界坐标下的位置,这样方便确定开盖槽本身的位置,也方便确定视觉***与开盖槽的位置,更有利于控制抓取机构移动。
图4所示为图1中步骤130的一实施例的流程图。在如图4所示的实施例中,上述步骤130进一步可以包括步骤131~步骤132。
步骤131,根据第一位置信息,向可移动***发送第一控制指令,第一控制指令用于控制抓取机构向开盖槽移动。这样通过当前开盖槽的第一位置信息,确定控制指令。
在实际场景中,第一位置信息可以包括加油栓井的位置以及加油栓井周围的位置中的任一者,前者实际场景是井盖未被移开加油栓井的场景,后者实际场景是井盖已被移位准备归位的场景。
步骤132,若接收到可移动***在抓取机构接触井盖槽时产生的反馈信号,向可移动***发送动作指令,动作指令用于控制抓取机构抓紧开盖槽,并转动井盖至开盖位置后,提起井盖,以移动井盖。如此,可以方便通过第一控制指令,控制可移动***,避免抓取机构阻挡开盖槽,使得开盖槽处于视觉***的盲区,无法及时确定出开盖槽。
其中,可移动***在抓取机构接触井盖槽时产生的反馈信号可以包括在抓取机构接触井盖槽时可以通过接触式传感器产生的接触信号,将此接触信号作为反馈信号。
图5所示为图4中步骤132的一实施例的流程图。如图5所示的实施例中,上述步骤132进一步可以包括步骤311~步骤315。
步骤311,获取抓取机构相对开盖槽的第二相对位置。
步骤312,获取视觉***拍摄的开盖槽图像。
步骤313,根据开盖槽图像及第二相对位置,确定抓取机构是否移动到开盖槽的位置。
本步骤313进一步包括通过开盖槽图像中视觉***相对于抓取机构的相对位置,确定抓取机构是否移动到井盖槽的位置。在一些实施例中,通过开盖槽图像中开盖槽的位置与抓取机构的位置重叠,则确定出抓取机构移动到井盖槽的位置。在另一些实施例中,通过开盖槽图像中开盖槽的位置与抓取机构的位置不重叠,则确定出抓取机构未移动到井盖槽的位置。
步骤314,若根据开盖槽图像及第二相对位置,确定出抓取机构移动到开盖槽的位置,并且若接收到可移动***在抓取机构接触井盖槽时产生的反馈信号,向可移动***发送动作指令。
步骤315,若根据开盖槽图像及第二相对位置,确定出抓取机构未移动到开盖槽的位置,控制抓取机构向开盖槽移动。如此,通过视觉***确定抓取机构是否移动到开盖槽的位置,从而发送动作指令,这样视觉***能够协助可移动***在抓取机构接触井盖槽时产生的反馈信号,避免可移动***错误产生反馈信号导致无法抓取到井盖槽,提高开盖槽位置的准确性,能够更好地控制抓取机构向开盖槽移动。进一步的,能够在大雨或雾霾天气等视觉可能受影响的天气下,位置传感器结合视觉***,更有利于抓取机构移动到开盖槽的位置的确定。
图6所示为图1中步骤103的一实施例的流程图。在如图4所示的实施例中,上述步骤130进一步可以包括步骤133~步骤135。
步骤133,向可移动***发送第一动作指令,第一动作指令用于控制抓取机构抓紧开盖槽。在可移动***接收到第一动作指令时,可移动***在抓取机构抓紧开盖槽时可以通过压力传感器产生压力信号,将压力信号作为第一反馈信号。
在一些实施例中,本步骤133进一步包括:获取抓取机构的位置传感器反馈的第二位置信息;获取视觉***相对抓取机构的第二相对位置;根据第二位置信息及第二相对位置,确定抓取机构是处于可抓取状态还是处于不可抓取状态;若根据开盖槽图像及第二相对位置,确定出抓取机构处于可抓取状态,向可移动***发送第一动作指令;若根据开盖槽图像及第二相对位置,确定出抓取机构处于不可抓取状态,向可移动***发送第四动作指令,第四动作指令用于控制抓取机构由不可抓取状态变成可抓取状态,并向可移动***发送第一动作指令。如此,可以通过对抓取机构进行及时的调整,以便更好的抓取井盖槽。
其中,可抓取状态可以是指抓取机构能够抓取井盖槽,且与井盖槽固定连接的状态。不可抓取状态可以是指抓取机构不能抓取井盖槽,且与开盖槽无法固定连接的状态。
步骤134,若接收到可移动***在抓取机构抓紧开盖槽时产生的第一反馈信号,向可移动***发送第二动作指令,第二动作指令用于控制抓取机构旋转预定角度,以使井盖转动至开盖位置。在可移动***接收到第二动作指令时,可移动***在控制抓取机构旋转预定角度时产生的角度信号,将角度信号作为第二反馈信号。
其中,预定角度可以是预先设定的井盖旋转角度值。在一些实施例中,可移动***包括设置于可移动机构与抓取机构之间的旋转盘,以及与旋转盘连接的旋转盘电机。如此,旋转盘本身具有一个旋转自由度,该电机转动后通过同步带传动进而带动旋转盘转动。其中,第二动作指令可以包括控制旋转盘电机的方向、速度及角度值。当机械手卡住开盖槽后,通过旋转盘电机位置传感器产生第二反馈信号,判断是否达到预设角度,若达到预设角度,向可移动***发送第二动作指令提升井盖。在一些实施例中,在该旋转盘电机输出轴连接绝对式旋转编码器,通过旋转编码器获取电机旋转角度,以得出旋转盘旋转角度。旋转角度的预定角度需根据井盖与加油栓井井口配合的螺纹规格确定。旋转盘是否转动到预定角度是通过旋转编码器产生的第二反馈信号给主控板。
所述方法还包括确定井盖是否提起;若不能提起,则继续向可移动***发送第二动作指令,以使井盖转动至开盖位置,直到可以将井盖提起。
步骤135,若接收到可移动***在井盖转动至开盖位置时产生的第二反馈信号,向可移动***发送第三动作指令,第三动作指令用于控制抓取机构提起井盖。如此,可以分别发送第一动作指令、第二动作指令及第三动作指令,各自控制可移动***进行移动,这样可以精确到各个精细动作,更有效地控制可移动***。
所述移动井盖的控制方法还包括在控制抓取机构提起井盖时,控制抓取机构将井盖移位至预定位置悬空或者放下。其中,预定位置可以是油井口之外的区域范围。只要被抓取机构提起的井盖不会阻碍加油员将油管口与油井口对接的位置均可作为此预定位置,在此并不做限定。
在一些实施例中,移动井盖的控制方法还包括获取井盖的预定移动路径;向可移动***发送包含有预定移动路径的第二控制指令,第二控制指令用于控制可移动***按照预定移动路径移动井盖。如此,按照井盖的预定移动路径,快速移动井盖,也避免临时规划路径造成的计算负担,其中,预设移动路径包括井盖的移动起点、井盖的移动终点及从移动起点至移动终点的路线,此预定移动路径可以是被提起的井盖预先规划的运动路径。预定移动路径包括井盖从加油栓井上移出的路径,以及井盖复位至加油栓井的路径。
在一些实施例中,移动井盖的控制方法还包括若地面图像包括井盖图像,发送第三控制指令给提示设备,第三控制指令用于控制提示设备产生检测到井盖的提示信号。如此可以及时地通过提示信号提醒用户,已经检测到井盖,以减少用户参与移动可移动***的人工操作。在一些实施例中,提示设备可以但不限于包括报警灯和/或报警音响。比如发送第三控制指令给提示设备进一步包括发送第三控制指令给报警灯和/或报警音响,第三控制指令用于控制提示设备产生检测到井盖的灯光提示信号和/或声音提示信号。
在一些实施例中,在步骤101之前,移动井盖的控制方法还包括若接收到抓取机构的视觉***的开关设备的触发信号,则控制视觉***的开启。如此,用户可以通过开关设备控制视觉***的开启,方便用户和设备进行交互,同时提高视觉***拍摄的图像的有效性,减少数据的处理量。在一些实例中,在加油员可以将油管移动到加油栓井附近,触发视觉***的开关,此时摄像头开始拍摄。在另一些实例中,加油员从加油车上取下油管的时候,触发视觉***的开关,此时摄像头开始拍摄。
图7所示为本申请的一个实施例提供的移动井盖的控制***400的模块框图。移动井盖的控制***400包括一个或多个处理器401,用于实现如上所述的移动井盖的控制方法。
在一些实施例中,移动井盖的控制***400可以包括计算机可读存储介质409,计算机可读存储介质409可以存储有可被处理器401调用的程序,可以包括非易失性存储介质。在一些实施例中,移动井盖的控制***400可以包括内存408和接口407。在一些实施例中,移动井盖的控制***400还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质409,其上存储有程序,该程序被处理器401执行时,用于实现如上描述的移动井盖的控制方法。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质409(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质409包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质409的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种移动井盖的控制方法,其特征在于,所述移动井盖的控制方法包括:
获取在可移动***运动时视觉***拍摄的地面图像,所述可移动***包括可移动机构以及与所述可移动机构连接的抓取机构;
若所述地面图像包含井盖图像,则根据所述井盖图像确定所述井盖的开盖槽的第一位置信息;及
根据所述第一位置信息,控制所述抓取机构执行动作指令,所述动作指令用于指示所述抓取机构抓取和移动所述井盖。
2.如权利要求1所述的移动井盖的控制方法,其特征在于,所述移动井盖的控制方法包括:
将所述地面图像输入至井盖识别模型中,以输出井盖识别结果,所述井盖识别结果包括所述地面图像包含井盖图像的识别结果或所述地面图像不包含井盖图像的识别结果,所述井盖识别模型是利用第一样本集训练得到的,所述第一样本集包括具有井盖的图像。
3.如权利要求1所述的移动井盖的控制方法,其特征在于,所述根据所述井盖图像确定所述井盖的开盖槽的第一位置信息,包括:
将所述井盖图像输入至开盖槽识别模型中,以输出开盖槽识别结果,所述开盖槽识别结果包括所述井盖图像具有开盖槽的识别结果或所述井盖图像不具有开盖槽的识别结果,所述开盖槽识别模型是利用第二样本集训练得到的,所述第二样本集包括具有开盖槽的井盖的图像;
若所述开盖槽识别结果为所述井盖图像具有开盖槽的识别结果,则根据所述井盖图像,确定所述开盖槽的位置。
4.如权利要求3所述的移动井盖的控制方法,其特征在于,所述根据所述井盖图像,确定所述井盖的开盖槽的位置,包括:
确定所述开盖槽在所述井盖图像中的位置以及所述井盖槽相对于所述视觉***的第一相对位置;
根据所述开盖槽在所述井盖图像中的位置及所述第一相对位置,确定所述开盖槽的位置。
5.如权利要求1所述的移动井盖的控制方法,其特征在于,所述根据所述第一位置信息,控制所述抓取机构执行动作指令,包括:
根据所述第一位置信息,向所述可移动***发送第一控制指令,所述第一控制指令用于控制所述抓取机构向所述开盖槽移动;
若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令,所述动作指令用于控制所述抓取机构抓紧所述开盖槽,并转动所述井盖至所述开盖位置后,提起所述井盖,以移动所述井盖。
6.如权利要求5所述的移动井盖的控制方法,其特征在于,所述若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令,包括:
获取所述抓取机构相对所述开盖槽的第二相对位置;
获取所述视觉***拍摄的开盖槽图像;
根据所述开盖槽图像及所述第二相对位置,确定所述抓取机构是否移动到所述开盖槽的位置;
若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构移动到所述开盖槽的位置,并且若接收到所述可移动***在所述抓取机构接触所述井盖槽时产生的反馈信号,向所述可移动***发送动作指令;
若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构未移动到所述开盖槽的位置,控制所述抓取机构向所述开盖槽移动。
7.如权利要求5所述的移动井盖的控制方法,其特征在于,所述向所述可移动***发送动作指令,包括:
向所述可移动***发送第一动作指令,所述第一动作指令用于控制所述抓取机构抓紧所述开盖槽;
若接收到所述可移动***在所述抓取机构抓紧所述开盖槽时产生的第一反馈信号,向所述可移动***发送第二动作指令,所述第二动作指令用于控制所述抓取机构旋转预定角度,以使所述井盖转动至所述开盖位置;
若接收到所述可移动***在所述井盖转动至所述开盖位置时产生的第二反馈信号,向所述可移动***发送第三动作指令,所述第三动作指令用于控制所述抓取机构提起所述井盖。
8.如权利要求7所述的移动井盖的控制方法,其特征在于,所述方法还包括:获取所述井盖的预定移动路径;向所述可移动***发送包含有所述预定移动路径的第二控制指令,所述第二控制指令用于控制所述可移动***按照所述预定移动路径移动所述井盖;
和/或,
所述向所述可移动***发送第一动作指令,包括:获取所述抓取机构的位置传感器反馈的第二位置信息;获取所述视觉***相对所述抓取机构的第二相对位置;根据所述第二位置信息及所述第二相对位置,确定所述抓取机构是处于可抓取状态还是处于不可抓取状态;若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构处于可抓取状态,向所述可移动***发送第一动作指令;若根据所述开盖槽图像及所述第二相对位置,确定出所述抓取机构处于不可抓取状态,向所述可移动***发送第四动作指令,所述第四动作指令用于控制所述抓取机构由所述不可抓取状态变成所述可抓取状态,并向所述可移动***发送第一动作指令。
9.如权利要求1至8任一项所述的移动井盖的控制方法,其特征在于,所述方法还包括:若所述地面图像包括井盖图像,发送第三控制指令给提示设备,所述第三控制指令用于控制所述提示设备产生检测到所述井盖的提示信号;
和/或,
在获取在可移动***运动时视觉***拍摄的地面图像之前,所述方法还包括:若接收到所述抓取机构的视觉***的开关设备的触发信号,则控制所述视觉***的开启。
10.一种移动井盖的控制***,其特征在于,包括一个或多个处理器,用于实现如权利要求1-9中任一项所述的移动井盖的控制方法。
CN202110837527.XA 2021-07-23 2021-07-23 移动井盖的控制方法和*** Active CN115268372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837527.XA CN115268372B (zh) 2021-07-23 2021-07-23 移动井盖的控制方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837527.XA CN115268372B (zh) 2021-07-23 2021-07-23 移动井盖的控制方法和***

Publications (2)

Publication Number Publication Date
CN115268372A true CN115268372A (zh) 2022-11-01
CN115268372B CN115268372B (zh) 2023-05-30

Family

ID=83758586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837527.XA Active CN115268372B (zh) 2021-07-23 2021-07-23 移动井盖的控制方法和***

Country Status (1)

Country Link
CN (1) CN115268372B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105839569A (zh) * 2016-04-01 2016-08-10 山东国兴智能科技有限公司 智能机器人清理、安装和回收小区或市政道路井盖的方法
US20170123092A1 (en) * 2015-10-30 2017-05-04 Indiana University Research And Technology Corporation Systems and methods for detection of well properties
EP3428751A1 (en) * 2017-07-12 2019-01-16 Koninklijke Philips N.V. Measuring position of motion stage
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111339905A (zh) * 2020-02-22 2020-06-26 郑州铁路职业技术学院 基于深度学习及多视角的cim井盖状态视觉检测***
CN112184678A (zh) * 2020-09-30 2021-01-05 国网北京市电力公司 图像识别方法、装置、计算机可读存储介质及处理器
CN112785867A (zh) * 2020-12-30 2021-05-11 上海智能交通有限公司 一种道路健康巡检的智能车载***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123092A1 (en) * 2015-10-30 2017-05-04 Indiana University Research And Technology Corporation Systems and methods for detection of well properties
CN105839569A (zh) * 2016-04-01 2016-08-10 山东国兴智能科技有限公司 智能机器人清理、安装和回收小区或市政道路井盖的方法
EP3428751A1 (en) * 2017-07-12 2019-01-16 Koninklijke Philips N.V. Measuring position of motion stage
CN111107675A (zh) * 2020-01-21 2020-05-05 山东科华电力技术有限公司 基于泛在电力物联网的电缆通道边缘物联终端及方法
CN111339905A (zh) * 2020-02-22 2020-06-26 郑州铁路职业技术学院 基于深度学习及多视角的cim井盖状态视觉检测***
CN112184678A (zh) * 2020-09-30 2021-01-05 国网北京市电力公司 图像识别方法、装置、计算机可读存储介质及处理器
CN112785867A (zh) * 2020-12-30 2021-05-11 上海智能交通有限公司 一种道路健康巡检的智能车载***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116852348A (zh) * 2023-06-01 2023-10-10 中国航空油料集团有限公司 井盖定位方法、装置和***
CN116852348B (zh) * 2023-06-01 2023-12-15 中国航空油料集团有限公司 井盖定位方法、装置和***

Also Published As

Publication number Publication date
CN115268372B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
EP3683721B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
EP3405910B1 (en) Deep machine learning methods and apparatus for robotic grasping
US10207411B2 (en) Systems and methods for servicing a vehicle
US20230382701A1 (en) Autonomous material transport vehicles, and systems and methods of operating thereof
WO2007110391A2 (fr) Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en œuvre de ce dispositif
JP2004188562A (ja) ワーク取出し装置
CN115268372A (zh) 移动井盖的控制方法和***
CN116214524B (zh) 用于油样回收的无人机抓载方法、装置及存储介质
US11899460B2 (en) Automated alignment and dumping of refuse cans
CN114277725A (zh) 一种机场跑道目标异物处置设备
CN111784627A (zh) 一种车辆的集装箱对位方法
EP4044126A1 (en) Feature detection for automated air-to-air refueling (a3r)
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Susanto et al. Development of underwater object detection method base on color feature
KR20230106106A (ko) 공중 급유를 위한 포즈 추정 개선
EP4024346A1 (en) Fuel receptacle and boom tip position and pose estimation for aerial refueling
Kim et al. YOLO-based robotic grasping
CN114932554B (zh) 抓取机器人的自主移动方法、装置、存储介质及设备
CN113674348B (zh) 物体抓取方法、装置和***
Huang et al. Visual servoing of micro aerial vehicle landing on ground platform
WO2023207651A1 (zh) 一种机器人拨盖方法及机器人
Choophutthakan et al. Cascaded Deep Search: Achieving High Object Localization Precision for Roughly Positioned Autonomous Mobile Manipulator
Suphachart et al. Vision based autonomous orientational control for aerial manipulation via on-board FPGA
CN115258184A (zh) 托举加油管的控制方法和***
CN117863166A (zh) 工件的放置定位***和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant