CN116243716A - 一种融合机器视觉的集装箱智能举升控制方法及*** - Google Patents

一种融合机器视觉的集装箱智能举升控制方法及*** Download PDF

Info

Publication number
CN116243716A
CN116243716A CN202310504913.6A CN202310504913A CN116243716A CN 116243716 A CN116243716 A CN 116243716A CN 202310504913 A CN202310504913 A CN 202310504913A CN 116243716 A CN116243716 A CN 116243716A
Authority
CN
China
Prior art keywords
target
container
obstacle
information
lifting appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310504913.6A
Other languages
English (en)
Other versions
CN116243716B (zh
Inventor
张琨
罗小华
光振雄
董云松
雷崇
殷勤
邱绍峰
周明翔
李加祺
刘辉
张俊岭
彭方进
李成洋
游鹏辉
陈潇
陈荣顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Siyuan Survey and Design Group Co Ltd
Original Assignee
China Railway Siyuan Survey and Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Siyuan Survey and Design Group Co Ltd filed Critical China Railway Siyuan Survey and Design Group Co Ltd
Priority to CN202310504913.6A priority Critical patent/CN116243716B/zh
Publication of CN116243716A publication Critical patent/CN116243716A/zh
Application granted granted Critical
Publication of CN116243716B publication Critical patent/CN116243716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明提供一种融合机器视觉的集装箱智能举升控制方法及***，属于图像识别技术领域，包括：获取待识别集装箱的目标编码图像，根据目标编码图像确定目标集装箱；采集目标集装箱的图像信息，对图像信息进行特征运算获取目标抓取点信息；获取目标集装箱的当前位置到目标位置之间的障碍物信息，结合目标抓取点信息、机械吊具信息和障碍物信息，建立自动避障模型；目标集装箱基于自动避障模型移动至目标位置。本发明通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。

Description

一种融合机器视觉的集装箱智能举升控制方法及***
技术领域
本发明涉及图像识别技术领域，尤其涉及一种融合机器视觉的集装箱智能举升控制方法及***。
背景技术
随着经济的快速发展，货运运输增长势头越来越快，跨境的货运运输大多都是通过集装箱进行运输。
通常在港口、铁路和公路等重要物流站场中由起重机完成集装箱的装卸作业，目前主要是通过操作人员根据个人经验完成机械吊具与集装箱、集装箱与卡车的对位作业，存在工作强度高、装卸效率低以及自动化水平不足的问题，容易发生安全事故。
因此，需要提出新的集装箱控制运输方法，能克服现有的依赖人工操作带来的局限性。
发明内容
本发明提供一种融合机器视觉的集装箱智能举升控制方法及***，用以解决现有技术中集装箱操作大多依赖于人工操作，导致操作效率低下，且容易发生安全事故的缺陷。
第一方面，本发明提供一种融合机器视觉的集装箱智能举升控制方法，包括：
获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
所述目标集装箱基于所述自动避障模型移动至所述目标位置。
第二方面，本发明还提供一种融合机器视觉的集装箱智能举升控制***，包括：
识别模块，用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
抓取模块，用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
避障模块，用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
运动模块，用于所述目标集装箱基于所述自动避障模型移动至所述目标位置。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融合机器视觉的集装箱智能举升控制方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融合机器视觉的集装箱智能举升控制方法。
本发明提供的融合机器视觉的集装箱智能举升控制方法及***，通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的融合机器视觉的集装箱智能举升控制方法的流程示意图；
图2是本发明提供的融合机器视觉的集装箱智能举升控制***的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的融合机器视觉的集装箱智能举升控制方法的流程示意图，如图1所示，包括：
步骤100：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
步骤200：采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
步骤300：获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
步骤400：所述目标集装箱基于所述自动避障模型移动至所述目标位置。
具体地，本发明实施例从机械吊具的执行角度出发，由机械吊具通过机器视觉，识别目标集装箱的目标编码图片，根据目标编码图片中的编码文字定位到对应的目标集装箱，然后实时采集目标集装箱的图片，进行特征运算，将目标集装箱分割出来，并计算目标集装箱吊孔的目标抓取点信息，使机械吊具根据该目标抓取点信息能准确定位到目标集装箱并完成抓取工作；然后根据目标集装箱和目标位置的位置信息以及移动路径上各障碍物信息，构建自动避障模型，使目标集装箱能避开障碍物移动到目标位置。
本发明通过前端识别运动中的集装箱视频图像信息，由后端进行信息处理，对集装箱的抓取位置进行智能识别，并结合集装箱和障碍物的动态位置、移动路径等信息，生成自动避障模型，实现集装箱的智能避障移动规划等效果。
基于上述实施例，所述获取待识别集装箱的目标编码图像，包括：
采用RGB值特征提取方法或灰度值特征提取方法，从待识别图像中提取所述目标编码图像。
其中，所述根据所述目标编码图像确定目标集装箱，包括：
扫描所述目标编码图像，基于预设像素阈值对所述目标编码图像进行文本检测，分割得到文本信息；
对所述文本信息进行矫正，识别原始编码文本；
对所述原始编码文本进行清洗，得到编码文本；
根据所述编码文本确定所述目标集装箱。
具体地，本发明实施例采用RGB值特征提取方法或灰度值特征提取方法，识别目标集装箱的目标编码图片，将目标编码从图片中进行分离。主要采用阈值分割的方法，先确定一个阈值，然后把每个像素点的灰度值和阈值相比较，根据比较的结果把该像素划分为前景或背景。通过设定不同的特征阈值，把图像象素点分为若干类，根据直接来自原始图像的灰度或彩色特征，或者由原始灰度或彩色值变换得到的特征进行图像分割。
进一步地，对目标编码图片进行文本检测，通过扫描目标编码图片，设置阈值判断目标编码图片中的每个像素，将检测出的文本从目标编码图片中分割出来，将分割出来的文本进行矫正操作，识别矫正操作后的文本中的文字，对文字进行清洗操作，生成清洗后的文字，即编码文本，根据该编码文本与对应的目标集装箱进行对应。
基于上述实施例，所述采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息，包括：
分别获取所述目标集装箱的横轴方向像素坐标点和纵轴方向像素坐标点；
对所述横轴方向像素坐标点和所述纵轴方向像素坐标点在吊孔连通区域内的非负整数范围上进行积分，得到所述吊孔连通区域的横轴方向点集和纵轴方向点集；
由所述横轴方向点集除以吊孔连通区域面积得到趋于重心横坐标，由所述纵轴方向点集除以吊孔连通区域面积得到趋于重心纵坐标；
分别对所述趋于重心横坐标和所述趋于重心纵坐标进行取整，得到目标集装箱吊孔中心点坐标；
以所述吊孔中心点坐标确定所述目标抓取点信息。
具体地，本发明实施例实时采集目标集装箱的图像信息，对图像信息中的目标集装箱吊孔及目标集装箱边线的特征信息进行特征运算，分割目标集装箱，计算目标集装箱吊孔中心点空间坐标并反馈给机械吊具，以使机械吊具抓取目标集装箱。
计算目标集装箱吊孔中心点空间坐标（
Figure SMS_1
，/>
Figure SMS_2
）具体包括：
Figure SMS_3
其中，
Figure SMS_4
表示吊孔连通区域面积，/>
Figure SMS_5
表示吊孔连通区域x方向点集，/>
Figure SMS_6
表示吊孔连通区域y方向点集，角标j、k表示可取所有非负整数值，j、k表示可取所有非负整数值，
Figure SMS_7
、/>
Figure SMS_8
表示趋于重心的坐标。
基于上述实施例，所述获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型，包括：
获取机械吊具当前位置横坐标、机械吊具当前位置纵坐标、机械吊具当前速度方向与目标位置连线夹角、机械吊具当前位置速度、机械吊具当前位置到目标位置距离、目标位置横坐标、目标位置纵坐标、机械吊具移动路径、任一障碍物移动路径和任一障碍物速度；
由所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的余弦值的乘积与所述机械吊具当前位置横坐标之和，所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的正弦值的乘积与所述机械吊具当前位置纵坐标之和，所述目标位置横坐标以及所述目标位置纵坐标进行求和之后，与机械吊具当前位置到目标位置距离相乘，获得第一子模型；
由包含所述机械吊具当前位置速度、所述机械吊具移动路径和所述任一障碍物移动路径的机械吊具与障碍物之间代价函数，与任一障碍物代价函数权重进行相乘，获得第二子模型；
由包含所述机械吊具当前位置速度和所述任一障碍物速度的机械吊具与任一障碍物之间代价函数，与任一障碍物的下一障碍物代价函数权重相乘之后在所有障碍物范围内求和，获得第三子模型；
将所述第一子模型、所述第二子模型和所述第三子模型相加，得到求解避障速度的所述自动避障模型。
具体地，本发明实施例通过获取机械吊具的当前位置、目标位置以及之间的障碍物信息，还包括机械吊具的吊具位置信息、吊具速度，障碍物信息包好障碍物位置信息、障碍物速度和障碍物移动路径等。
构建的自动避障模型包括：
Figure SMS_9
其中，
Figure SMS_21
为机械吊具在当前位置的速度，/>
Figure SMS_22
为机械吊具在当前位置的横坐标，/>
Figure SMS_23
为机械吊具当前速度方向和目标位置的连线的夹角，/>
Figure SMS_25
为机械吊具在当前位置的纵坐标，/>
Figure SMS_27
为目标位置的横坐标，/>
Figure SMS_28
为目标位置的纵坐标，/>
Figure SMS_29
为第/>
Figure SMS_10
个障碍物代价函数权重，/>
Figure SMS_12
为机械吊具和第/>
Figure SMS_14
个障碍物之间的代价函数，/>
Figure SMS_17
为机械吊具和障碍物之间的代价函数，/>
Figure SMS_18
为机械吊具的移动路径，/>
Figure SMS_20
为第/>
Figure SMS_24
个障碍物的移动路径，/>
Figure SMS_26
为第/>
Figure SMS_11
个障碍物的速度，/>
Figure SMS_13
为任一障碍物，/>
Figure SMS_15
为障碍物总数，/>
Figure SMS_16
为机械吊具当前位置到目标位置的距离，/>
Figure SMS_19
为避障速度。
基于上述实施例，所述目标集装箱基于所述自动避障模型移动至所述目标位置，包括：
基于机械吊具初始位置和机械吊具目标位置，生成搜索树和初始路径；
若确定所述目标集装箱与任一障碍物不会发生碰撞，则更新机械吊具当前位置，使所述目标集装箱沿所述初始路径继续运动；
若确定所述目标集装箱与任一障碍物会发生碰撞，则机械吊具停止运动，获取任一障碍物分离位置，通过分离函数将所述搜索树从所述任一障碍物分离位置划分为第一子搜索树和第二子搜索树，使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置。
其中，所述使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置，包括：
确定所述第一子搜索树的搜索起点为所述目标集装箱的当前位置，搜索终点为所述任一障碍物分离位置；
确定所述第二子搜索树的搜索起点为所述任一障碍物分离位置，搜索终点为所述机械吊具目标位置；
所述第一子搜索树和所述第二子搜索树通过对所述任一障碍物分离位置附近的预设相关节点进行保留和舍弃，连接首次生成的第一搜索子路径和第二搜索子路径，若确定所述第一子路径和所述第二子路径连接成功，则所述目标集装箱沿所述第一子路径和所述第二子路径确定的第一新路径继续运动，否则将所述第一新路径重新划分为新的第一子搜索树和第二子搜索树，重新进行搜索连接，直至所述第一新路径连接成功。
具体地，本发明实施例通过机械吊具抓取目标集装箱移动至目标位置，进行了如下设置：
首先根据机械吊具的初始位置
Figure SMS_30
和目标位置/>
Figure SMS_31
生成搜索树/>
Figure SMS_32
和初始路径/>
Figure SMS_33
，机械吊具沿着/>
Figure SMS_34
运动，即/>
Figure SMS_35
，机械吊具每运动一定距离，更新目标集装箱和机械吊具的位置和运动信息，当集装箱交错搬运时，检查目标集装箱是否与其他机械吊具或集装箱发生碰撞，分为两种情况进行考虑：
1）若不会发生碰撞，则更新目标集装箱的当前位置信息
Figure SMS_36
，继续沿着/>
Figure SMS_37
运动；
2）若将发生碰撞，则机械吊具停止运动，通过分离函数将搜索树
Figure SMS_39
从障碍物分离位置/>
Figure SMS_40
处分为两棵子树/>
Figure SMS_41
和/>
Figure SMS_42
，即/>
Figure SMS_43
，/>
Figure SMS_44
以目标集装箱当前位置为起点，障碍物分离位置为终点；/>
Figure SMS_45
以障碍物位置为起点，目标位置/>
Figure SMS_38
为终点。
进一步地，
Figure SMS_47
和/>
Figure SMS_49
会保留和舍弃碍物分离位置/>
Figure SMS_51
附近相关节点，并首先会连接第一次生成的/>
Figure SMS_53
和/>
Figure SMS_55
，若/>
Figure SMS_56
连接成功，则机械吊具抓取目标集装箱沿着新路径/>
Figure SMS_57
继续运动；若新路径/>
Figure SMS_46
发生会发生碰撞，则重新分为
Figure SMS_48
和/>
Figure SMS_50
，并进行搜索连接，直到连接成功以路径/>
Figure SMS_52
继续运动，即/>
Figure SMS_54
，移动到目标位置。
下面对本发明提供的融合机器视觉的集装箱智能举升控制***进行描述，下文描述的融合机器视觉的集装箱智能举升控制***与上文描述的融合机器视觉的集装箱智能举升控制方法可相互对应参照。
图2是本发明实施例提供的融合机器视觉的集装箱智能举升控制***的结构示意图，如图2所示，包括：识别模块21、抓取模块22、避障模块23和运动模块24，其中：
识别模块21用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；抓取模块22用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；避障模块23用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；运动模块24用于所述目标集装箱基于所述自动避障模型移动至所述目标位置。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行融合机器视觉的集装箱智能举升控制方法，该方法包括：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；所述目标集装箱基于所述自动避障模型移动至所述目标位置。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的融合机器视觉的集装箱智能举升控制方法，该方法包括：获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；所述目标集装箱基于所述自动避障模型移动至所述目标位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种融合机器视觉的集装箱智能举升控制方法，其特征在于，包括：
获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
所述目标集装箱基于所述自动避障模型移动至所述目标位置。
2.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述获取待识别集装箱的目标编码图像，包括：
采用RGB值特征提取方法或灰度值特征提取方法，从待识别图像中提取所述目标编码图像。
3.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述根据所述目标编码图像确定目标集装箱，包括：
扫描所述目标编码图像，基于预设像素阈值对所述目标编码图像进行文本检测，分割得到文本信息；
对所述文本信息进行矫正，识别原始编码文本；
对所述原始编码文本进行清洗，得到编码文本；
根据所述编码文本确定所述目标集装箱。
4.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息，包括：
分别获取所述目标集装箱的横轴方向像素坐标点和纵轴方向像素坐标点；
对所述横轴方向像素坐标点和所述纵轴方向像素坐标点在吊孔连通区域内的非负整数范围上进行积分，得到所述吊孔连通区域的横轴方向点集和纵轴方向点集；
由所述横轴方向点集除以吊孔连通区域面积得到趋于重心横坐标，由所述纵轴方向点集除以吊孔连通区域面积得到趋于重心纵坐标；
分别对所述趋于重心横坐标和所述趋于重心纵坐标进行取整，得到目标集装箱吊孔中心点坐标；
以所述吊孔中心点坐标确定所述目标抓取点信息。
5.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型，包括：
获取机械吊具当前位置横坐标、机械吊具当前位置纵坐标、机械吊具当前速度方向与目标位置连线夹角、机械吊具当前位置速度、机械吊具当前位置到目标位置距离、目标位置横坐标、目标位置纵坐标、机械吊具移动路径、任一障碍物移动路径和任一障碍物速度；
由所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的余弦值的乘积与所述机械吊具当前位置横坐标之和，所述机械吊具当前位置速度与所述机械吊具当前速度方向与目标位置连线夹角的正弦值的乘积与所述机械吊具当前位置纵坐标之和，所述目标位置横坐标以及所述目标位置纵坐标进行求和之后，与机械吊具当前位置到目标位置距离相乘，获得第一子模型；
由包含所述机械吊具当前位置速度、所述机械吊具移动路径和所述任一障碍物移动路径的机械吊具与障碍物之间代价函数，与任一障碍物代价函数权重进行相乘，获得第二子模型；
由包含所述机械吊具当前位置速度和所述任一障碍物速度的机械吊具与任一障碍物之间代价函数，与任一障碍物的下一障碍物代价函数权重相乘之后在所有障碍物范围内求和，获得第三子模型；
将所述第一子模型、所述第二子模型和所述第三子模型相加，得到求解避障速度的所述自动避障模型。
6.根据权利要求1所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述目标集装箱基于所述自动避障模型移动至所述目标位置，包括：
基于机械吊具初始位置和机械吊具目标位置，生成搜索树和初始路径；
若确定所述目标集装箱与任一障碍物不会发生碰撞，则更新机械吊具当前位置，使所述目标集装箱沿所述初始路径继续运动；
若确定所述目标集装箱与任一障碍物会发生碰撞，则机械吊具停止运动，获取任一障碍物分离位置，通过分离函数将所述搜索树从所述任一障碍物分离位置划分为第一子搜索树和第二子搜索树，使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置。
7.根据权利要求6所述的融合机器视觉的集装箱智能举升控制方法，其特征在于，所述使所述目标集装箱根据所述第一子搜索树和所述第二子搜索树生成新路径移动至所述机械吊具目标位置，包括：
确定所述第一子搜索树的搜索起点为所述目标集装箱的当前位置，搜索终点为所述任一障碍物分离位置；
确定所述第二子搜索树的搜索起点为所述任一障碍物分离位置，搜索终点为所述机械吊具目标位置；
所述第一子搜索树和所述第二子搜索树通过对所述任一障碍物分离位置附近的预设相关节点进行保留和舍弃，连接首次生成的第一搜索子路径和第二搜索子路径，若确定所述第一子路径和所述第二子路径连接成功，则所述目标集装箱沿所述第一子路径和所述第二子路径确定的第一新路径继续运动，否则将所述第一新路径重新划分为新的第一子搜索树和第二子搜索树，重新进行搜索连接，直至所述第一新路径连接成功。
8.一种融合机器视觉的集装箱智能举升控制***，其特征在于，包括：
识别模块，用于获取待识别集装箱的目标编码图像，根据所述目标编码图像确定目标集装箱；
抓取模块，用于采集所述目标集装箱的图像信息，对所述图像信息进行特征运算获取目标抓取点信息；
避障模块，用于获取所述目标集装箱的当前位置到目标位置之间的障碍物信息，结合所述目标抓取点信息、机械吊具信息和所述障碍物信息，建立自动避障模型；
运动模块，用于所述目标集装箱基于所述自动避障模型移动至所述目标位置。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述融合机器视觉的集装箱智能举升控制方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述融合机器视觉的集装箱智能举升控制方法。
CN202310504913.6A 2023-05-08 2023-05-08 一种融合机器视觉的集装箱智能举升控制方法及*** Active CN116243716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310504913.6A CN116243716B (zh) 2023-05-08 2023-05-08 一种融合机器视觉的集装箱智能举升控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310504913.6A CN116243716B (zh) 2023-05-08 2023-05-08 一种融合机器视觉的集装箱智能举升控制方法及***

Publications (2)

Publication Number Publication Date
CN116243716A true CN116243716A (zh) 2023-06-09
CN116243716B CN116243716B (zh) 2023-07-18

Family

ID=86631648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310504913.6A Active CN116243716B (zh) 2023-05-08 2023-05-08 一种融合机器视觉的集装箱智能举升控制方法及***

Country Status (1)

Country Link
CN (1) CN116243716B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118083809A (zh) * 2024-04-22 2024-05-28 烟台港集装箱码头有限公司 集装箱正面吊装控制方法、***、终端及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110035051A1 (en) * 2009-08-10 2011-02-10 Samsung Electronics Co., Ltd Path planning apparatus and method for robot
CN102184398A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种基于边缘检测的集装箱号码定位方法
CN110370274A (zh) * 2019-07-03 2019-10-25 浙江大学 一种基于快速行进树的机械臂动态避障控制方法
CN111061277A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种无人车全局路径规划方法和装置
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
US20200387163A1 (en) * 2019-06-07 2020-12-10 Tata Consultancy Services Limited Method and a system for hierarchical network based diverse trajectory proposal
CN112801095A (zh) * 2021-02-05 2021-05-14 广东工业大学 一种基于注意力机制的图神经网络集装箱文本识别方法
CN113173502A (zh) * 2021-01-15 2021-07-27 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防撞方法、***
CN113496212A (zh) * 2021-06-25 2021-10-12 腾讯云计算（北京）有限责任公司 箱式结构的文本识别方法、装置及电子设备
CN115108466A (zh) * 2021-12-21 2022-09-27 成都航空职业技术学院 一种集装箱吊具智能定位的方法
CN115453872A (zh) * 2022-09-13 2022-12-09 四川大学 一种基于分布式随机模型预测的多智能体编队及避障方法
CN115937862A (zh) * 2022-11-30 2023-04-07 中山大学 一种端到端的集装箱号码识别方法及***
WO2023056789A1 (zh) * 2021-10-09 2023-04-13 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、***、设备和存储介质
CN116048126A (zh) * 2023-03-07 2023-05-02 西安电子科技大学 一种基于abc快速收敛的无人机实时路径规划方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110035051A1 (en) * 2009-08-10 2011-02-10 Samsung Electronics Co., Ltd Path planning apparatus and method for robot
CN102184398A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种基于边缘检测的集装箱号码定位方法
US20200387163A1 (en) * 2019-06-07 2020-12-10 Tata Consultancy Services Limited Method and a system for hierarchical network based diverse trajectory proposal
CN110370274A (zh) * 2019-07-03 2019-10-25 浙江大学 一种基于快速行进树的机械臂动态避障控制方法
US20220196414A1 (en) * 2019-12-31 2022-06-23 Goertek Inc. Global path planning method and device for an unmanned vehicle
CN111061277A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种无人车全局路径规划方法和装置
CN111170153A (zh) * 2020-02-24 2020-05-19 上海驭矩信息科技有限公司 一种基于运动规划的集装箱装卸方法
CN113173502A (zh) * 2021-01-15 2021-07-27 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防撞方法、***
CN112801095A (zh) * 2021-02-05 2021-05-14 广东工业大学 一种基于注意力机制的图神经网络集装箱文本识别方法
CN113496212A (zh) * 2021-06-25 2021-10-12 腾讯云计算（北京）有限责任公司 箱式结构的文本识别方法、装置及电子设备
WO2023056789A1 (zh) * 2021-10-09 2023-04-13 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、***、设备和存储介质
CN115108466A (zh) * 2021-12-21 2022-09-27 成都航空职业技术学院 一种集装箱吊具智能定位的方法
CN115453872A (zh) * 2022-09-13 2022-12-09 四川大学 一种基于分布式随机模型预测的多智能体编队及避障方法
CN115937862A (zh) * 2022-11-30 2023-04-07 中山大学 一种端到端的集装箱号码识别方法及***
CN116048126A (zh) * 2023-03-07 2023-05-02 西安电子科技大学 一种基于abc快速收敛的无人机实时路径规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李小瑾;陈志梅;: "桥式起重机吊装路径规划方法研究", 太原科技大学学报, no. 06, pages 445 - 449 *
毛晨悦，吴鹏勇: "基于人工势场法的无人机路径规划避障算法", 电子科技, vol. 32, no. 7, pages 65 - 70 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118083809A (zh) * 2024-04-22 2024-05-28 烟台港集装箱码头有限公司 集装箱正面吊装控制方法、***、终端及存储介质

Also Published As

Publication number Publication date
CN116243716B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110674705B (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN105460009B (zh) 汽车控制方法及装置
CN108986148B (zh) 实现多智能小车协同搜索识别并跟踪特定目标群体的方法
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
AU2021288667B2 (en) Control method and apparatus for warehouse robot, and robot and warehouse system
EP2813973A1 (en) Method and system for processing video image
CN113420746B (zh) 机器人视觉分拣方法、装置、电子设备和存储介质
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN112883820A (zh) 基于激光雷达点云的道路目标3d检测方法及***
CN114029951B (zh) 基于深度相机的机器人自主识别智能抓取方法
CN110216661A (zh) 跌落区域识别的方法及装置
US11772271B2 (en) Method and computing system for object recognition or object registration based on image classification
US20230381971A1 (en) Method and computing system for object registration based on image classification
US20240221350A1 (en) Method and computing system for generating a safety volume list for object detection
CN113610833A (zh) 物料抓取方法、装置、电子设备和存储介质
CN113345015A (zh) 一种包裹位置检测方法、装置、设备及可读存储介质
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
CN114627160A (zh) 一种水下环境探测的方法
CN114972443A (zh) 一种目标跟踪方法、装置及无人驾驶车辆
CN114937177A (zh) 自动打标、检测模型训练及目标识别方法、和电子设备
CN116243716B (zh) 一种融合机器视觉的集装箱智能举升控制方法及***
CN110084825A (zh) 一种基于图像边缘信息导航的方法及***
CN107030690A (zh) 一种基于视觉的机械臂避障方法
CN116588573B (zh) 一种仓储智能起重***的散料抓取控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant