CN116524010B - 一种散料仓储的无人天车定位方法、***及存储介质 - Google Patents

一种散料仓储的无人天车定位方法、***及存储介质 Download PDF

Info

Publication number
CN116524010B
CN116524010B CN202310456002.0A CN202310456002A CN116524010B CN 116524010 B CN116524010 B CN 116524010B CN 202310456002 A CN202310456002 A CN 202310456002A CN 116524010 B CN116524010 B CN 116524010B
Authority
CN
China
Prior art keywords
grabbing
bulk material
storage area
points
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310456002.0A
Other languages
English (en)
Other versions
CN116524010A (zh
Inventor
李永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunzhong Future Technology Co ltd
Original Assignee
Beijing Yunzhong Future Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunzhong Future Technology Co ltd filed Critical Beijing Yunzhong Future Technology Co ltd
Priority to CN202310456002.0A priority Critical patent/CN116524010B/zh
Publication of CN116524010A publication Critical patent/CN116524010A/zh
Application granted granted Critical
Publication of CN116524010B publication Critical patent/CN116524010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种散料仓储的无人天车定位方法、***及存储介质,包括:获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;根据分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,通过双目***进行抓取点空间定位,根据抓取点的空间坐标进行无人天车的精确定位。本发明通过对散料仓储区域中的抓取位置进行优选,同时对无人天车的抓取点进行精确定位,提高了生产效率,并确保了生产工作的安全稳定性。

Description

一种散料仓储的无人天车定位方法、***及存储介质
技术领域
本发明涉及无人天车技术领域,更具体的,涉及一种散料仓储的无人天车定位方法、***及存储介质。
背景技术
随着现代科学技术的快速发展和企业生产物流需求的日益增长,提高天车的运行效率,细化天车操作的精准度,已经成为时下迫在眉睫的议题。目前涉及散料的吊运及库区管理业务多采用人工作业的方式,需要大量的人员参与,不仅人工成本较高,而且操作水平参差不齐,安全风险高,生产效率低下。近些年来受到安全、质量、成本等多方面影响,实现库区物流智能化管理变得越来越重要,特别是在一些高危高强度作业区,对无人天车精准作业定位的智能化需求亟待解决。
为了使散料仓储的无人天车的定位更加便捷、精细,需要开发一款***与之配合进行实现,该***基于天车无人化***进行作业位置自动识别,从而弥补***在定位技术的不足,保证各类仓库天车无人化***顺利实施。作业位置自动识别***的投入使用,解决料堆定位,缩短了人为操作造成的停机时间、往返路程、搜寻时间,减少了倒库次数,大大降低了人工成本。在该***的实现过程中,如何对散料仓储的抓取点进行优选,同时如何对抓取点进行精确定位都是亟不可待需要解决的问题。
发明内容
为了解决上述技术问题,本发明提出了一种散料仓储的无人天车定位方法、***及存储介质。
本发明第一方面提供了一种散料仓储的无人天车定位方法,包括:
获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位。
本方案中,获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征,具体为:
通过散料仓储区域的预设视觉传感器获取散料仓储区域的图像信息,将所述图像信息进行预处理获取散料仓储区域中散料存放区域的颜色特征及纹理特征;
构建散料识别模型,利用相关数据库对散料识别模型进行初始化训练,将所述颜色特征及纹理特征输入散料识别模型进行识别,获取散料仓储区域中的目标散料的存放区域;
获取目标散料存放区域的图像信息及三维扫描数据,将所述图像信息及三维扫描数据进行联合解算,生成目标散料存放区域的三维点云数据;
根据所述三维点云数据获取目标散料存放区域中散料可见部分的分布特征。
本方案中,根据所述分布特征获取目标散料存放区域中散料分布轮廓,具体为:
根据目标散料存放区域的图像信息进行图像分割获取候选抓取区域的图像,将候选抓取区域的图像进行去噪处理,并通过阈值分割方法对图像进行二值化处理;
利用Canny算子获取不同角度的二值化图像中的边缘轮廓信息,将不同角度的边缘轮廓信息进行配准拼接;
并通过目标散料存放区域的三维点云数据提取候选抓取区域的三维点云数据对拼接后的边缘轮廓信息进行优化,生成候选抓取区域中散料分布轮廓。
本方案中,根据散料分布轮廓判断目标散料的候选抓取区域,具体为:
根据目标散料存放区域的位置信息对散料仓储区域的抓取进行初步粗定位,获取目标散料存放区域的散料分布轮廓;
获取组成散料分布轮廓的若干轮廓线段,获取若干轮廓线段的端点作为轮廓点,对所述轮廓点进行优选,通过优选后的轮廓点对散料分布轮廓进行划分,生成轮廓分段结果;
根据轮廓分段结果中各轮廓线段的斜率及与相邻轮廓线段的起伏度获取目标散料存放区域中散料分布轮廓的几何特征;
根据所述几何特征对目标散料存放区域进行分区,获取散料分布轮廓中斜率大于预设斜率阈值的轮廓线段,判断该轮廓线段与相邻轮廓线段的起伏度是否为正值且大于预设阈值;
若判断起伏度为正值且大于预设阈值时,则将该轮廓线段与相邻轮廓线段所在区域作为目标散料的候选抓取区域;
其中,根据目标散料存放区域中散料分布轮廓预设标准线,当相邻轮廓线段位于标准线上方时起伏度为正值,位于标准线下方时起伏度为负值。
本方案中,根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,具体为:
通过候选抓取区域中的散料分布轮廓获取候选抓取区域中的料位深度,根据所述料位深度信息确定平均料位深度;
获取候选抓取区域的散料分布轮廓中斜率变化大于预设斜率变化阈值点作为特征点,获取特征点与平均料位深度的高度差,选取所述高度差大于预设高度差阈值的特征点作为标记特征点;
基于神经网络建立抓取点评价模型,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,输入标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角,输出特征点的评价结果;
将输入数据进行归一化处理,通过抓取点评价模型获取特征点在各评价指标的得分情况,根据各评价指标的得分情况结合预设权重获取特征点的抓取评价得分;
根据评价结果得分对特征点进行排序,选取抓取评价得分最高的特征点作为抓取点。
本方案中,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位,具体为:
对无人天车的双目***进行标定,同时进行畸变校正,获取左右视觉传感器的内外参数矩阵;
获取双目***中抓取点的左目图像与右目图像,根据所述左目图像与右目图像获取抓取点的图像坐标信息;
根据所述内外参数矩阵及双目***的视差均值通过左边变换将所述图像坐标信息转化为世界坐标信息,根据抓取点的世界坐标信息进行无人天车的精确定位。
本发明第二方面还提供了一种散料仓储的无人天车定位***,该***包括:存储器、处理器,所述存储器中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被所述处理器执行时实现如下步骤:
获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位。
本发明第三方面还提供一种计算机可读存储介质,所述计算机可读存储介质中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被处理器执行时,实现如上述任一项所述的一种散料仓储的无人天车定位方法的步骤。
本发明公开了一种散料仓储的无人天车定位方法、***及存储介质,包括:获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;根据分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,通过双目***进行抓取点空间定位,根据抓取点的空间坐标进行无人天车的精确定位。本发明通过对散料仓储区域中的抓取位置进行优选,同时对无人天车的抓取点进行精确定位,提高了生产效率,并确保了生产工作的安全稳定性;另外,无人天车作业位置的自动识别,弥补系定位技术的不足,保证散料仓储中天车无人化***顺利实施。作业位置自动识别***的投入使用,解决料堆定位,缩短了人为操作造成的停机时间、往返路程、搜寻时间,减少了倒库次数,大大降低了人工成本。
附图说明
图1示出了本发明一种散料仓储的无人天车定位方法的流程图;
图2示出了本发明根据散料分布轮廓判断目标散料的候选抓取区域的方法流程图;
图3示出了本发明选取抓取评价得分最高的特征点作为抓取点的方法流程图;
图4示出了本发明一种散料仓储的无人天车定位***的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种散料仓储的无人天车定位方法的流程图。
如图1所示,本发明第一方面提供了一种散料仓储的无人天车定位方法,包括:
S102,获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
S104,根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
S106,根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
S108,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位。
需要说明的是,获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征,具体为:通过散料仓储区域的预设视觉传感器获取散料仓储区域的图像信息,将所述图像信息进行滤波去噪等预处理,获取及纹理特征;计算散料仓储区域的图像信息中每个像素在LUV色彩空间中的色度坐标通过图像信息的色度坐标建立色度库,获取散料仓储区域中散料存放区域的颜色特征,另外通过预处理后的图像信息进行形状特征及纹理特征的提取,基于支持向量机或神经网络等深度学习方法构建散料识别模型,利用相关数据库对散料识别模型进行初始化训练,将所述颜色特征及纹理特征输入散料识别模型进行识别,识别出目标散料,根据散料仓储区域中的料区分布获取目标散料的存放区域;通过视觉传感器及三维激光扫描获取目标散料存放区域的图像信息及三维扫描数据,将所述图像信息及三维扫描数据进行联合解算,生成目标散料存放区域的三维点云数据;根据所述三维点云数据获取目标散料存放区域中散料可见部分的分布特征。
需要说明的是,根据所述分布特征获取目标散料存放区域中散料分布轮廓,具体为:根据目标散料存放区域的图像信息进行图像分割获取候选抓取区域的图像,将候选抓取区域的图像进行去噪处理,并通过阈值分割方法对图像进行二值化处理;利用Canny算子获取不同角度的二值化图像中的边缘轮廓信息,将不同角度的边缘轮廓信息进行配准拼接;并通过目标散料存放区域的三维点云数据提取候选抓取区域的三维点云数据对拼接后的边缘轮廓信息进行优化,生成候选抓取区域中散料分布轮廓。
图2示出了本发明根据散料分布轮廓判断目标散料的候选抓取区域的方法流程图。
根据本发明实施例,根据散料分布轮廓判断目标散料的候选抓取区域,具体为:
S202,根据目标散料存放区域的位置信息对散料仓储区域的抓取进行初步粗定位,获取目标散料存放区域的散料分布轮廓;
S204,获取组成散料分布轮廓的若干轮廓线段,获取若干轮廓线段的端点作为轮廓点,对所述轮廓点进行优选,通过优选后的轮廓点对散料分布轮廓进行划分,生成轮廓分段结果;
S206,根据轮廓分段结果中各轮廓线段的斜率及与相邻轮廓线段的起伏度获取目标散料存放区域中散料分布轮廓的几何特征;
S208,根据所述几何特征对目标散料存放区域进行分区,获取散料分布轮廓中斜率大于预设斜率阈值的轮廓线段,判断该轮廓线段与相邻轮廓线段的起伏度是否为正值且大于预设阈值;
S210,若判断起伏度为正值且大于预设阈值时,则将该轮廓线段与相邻轮廓线段所在区域作为目标散料的候选抓取区域。
需要说明的是,根据轮廓点的贡献度进行优选,选取贡献度最小的轮廓点,并删除其两端的轮廓线段,连接不相邻的两个端点组成新的轮廓曲线,其中轮廓点的贡献度g计算公式为:
其中,k(xi)表示轮廓线段xi的长度信息,k(xi+1)表示轮廓线段xi+1的长度信息,θ(xi,xi+1)表示轮廓线段xi与轮廓线段xi+1的夹角信息,gi表示轮廓点i的贡献度;
判断轮廓点两端的轮廓线段的起伏度是否为正值且大于预设阈值,将轮廓点i两端的轮廓线段定义为x1,i及xi,2,连接两个不相邻的端点1,2获取线段x1,2,在轮廓点i两端的轮廓曲线上选取包括轮廓点在内的选取预设数据的点到线段x1,2的距离的标准差作为起伏度,根据目标散料存放区域中散料分布轮廓预设标准线,当相邻轮廓线段位于标准线上方时起伏度为正值,位于标准线下方时起伏度为负值,为了方便后续计算通常将目标散料区域或候选抓取区域的平均料位深度作为预设标准线。
图3示出了本发明选取抓取评价得分最高的特征点作为抓取点的方法流程图。
根据本发明实施例,根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,具体为:
S302,通过候选抓取区域中的散料分布轮廓获取候选抓取区域中的料位深度,根据所述料位深度信息确定平均料位深度;
S304,获取候选抓取区域的散料分布轮廓中斜率变化大于预设斜率变化阈值点作为特征点,获取特征点与平均料位深度的高度差,选取所述高度差大于预设高度差阈值的特征点作为标记特征点;
S306,基于神经网络建立抓取点评价模型,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,输入标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角,输出特征点的评价结果;
S308,将输入数据进行归一化处理,通过抓取点评价模型获取特征点在各评价指标的得分情况,根据各评价指标的得分情况结合预设权重获取特征点的抓取评价得分;
S310,根据评价结果得分对特征点进行排序,选取抓取评价得分最高的特征点作为抓取点。
需要说明的是,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,将标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角作为输入,当特征点与平均料位深度及邻居特征点的高度差越大且为正向时说明特征点所在的散料堆的高度越高,抓取时相对安全便捷,相反当特征点与邻居特征点的负向高度差大并与邻居特征点距离较近则说明特征点位低于周围多个邻居特征点,抓取时容易导致周围邻居特征点塌陷,危险性较高,并且周围邻居特征点阻碍特征点的抓取,抓取便捷性较低,另外预设抓斗的标准抓取满载率,根据抓大的最大张开角度及特征点前后轮廓线段的斜率夹角、标记特征点与邻居特征点之间的距离判断特征点一次性抓取满载情况。神经网络包括输入层、隐含层和输出层,预设输入层、隐含层和输出层的神经元数目、传递函数、学习函数和目标误差值等参数,选取专家决策主观评价的特征点评价数据对神经网络进行初始化训练构建抓取点评价模型。
需要说明的是,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位,具体为:对无人天车的双目***进行标定,同时进行畸变校正,获取左右视觉传感器的内外参数矩阵;获取双目***中抓取点的左目图像与右目图像,根据所述左目图像与右目图像获取抓取点的图像坐标信息;根据所述内外参数矩阵及双目***的视差均值通过左边变换将所述图像坐标信息转化为世界坐标信息,根据抓取点的世界坐标信息进行无人天车的精确定位。
根据本发明实施例,无人天车取料后根据目标取料量对放料区域进行摆放规划,具体为:
获取目标散料种类信息及目标取货量,根据目标散料种类信息及目标取货量判断放料区域的设施情况是否适合目标散料的存储;
若适合目标散料的存储,根据放料区域的取料设备分布、通道情况及障碍物信息获取放料区域的区域分布特征,根据所述分布特征规划目标散料的初步放料位置;
获取目标散料的单次取料量,到达放料区域后根据初步放料位置进行放置,判断目标散料放置后的分布特征,根据所述分布特征对区域分布特征进行更新,确定下一次放料位置;
若在目标散料放置过程中出现散料阻碍设备运行及通道通行情况,则以阻碍区域为中心划定预设范围内区域为暂缓放置区域,暂停所述暂缓放置区域的散料放置,并生成预警信息,通过预设方式发送至现场工作人员。
图4示出了本发明一种散料仓储的无人天车定位***的框图。
本发明第二方面还提供了一种散料仓储的无人天车定位***5,该***包括:存储器41、处理器42,所述存储器中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被所述处理器执行时实现如下步骤:
获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位。
需要说明的是,获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征,具体为:通过散料仓储区域的预设视觉传感器获取散料仓储区域的图像信息,将所述图像信息进行滤波去噪等预处理,获取及纹理特征;计算散料仓储区域的图像信息中每个像素在LUV色彩空间中的色度坐标通过图像信息的色度坐标建立色度库,获取散料仓储区域中散料存放区域的颜色特征,另外通过预处理后的图像信息进行形状特征及纹理特征的提取,基于支持向量机或神经网络等深度学习方法构建散料识别模型,利用相关数据库对散料识别模型进行初始化训练,将所述颜色特征及纹理特征输入散料识别模型进行识别,识别出目标散料,根据散料仓储区域中的料区分布获取目标散料的存放区域;通过视觉传感器及三维激光扫描获取目标散料存放区域的图像信息及三维扫描数据,将所述图像信息及三维扫描数据进行联合解算,生成目标散料存放区域的三维点云数据;根据所述三维点云数据获取目标散料存放区域中散料可见部分的分布特征。
需要说明的是,根据所述分布特征获取目标散料存放区域中散料分布轮廓,具体为:根据目标散料存放区域的图像信息进行图像分割获取候选抓取区域的图像,将候选抓取区域的图像进行去噪处理,并通过阈值分割方法对图像进行二值化处理;利用Canny算子获取不同角度的二值化图像中的边缘轮廓信息,将不同角度的边缘轮廓信息进行配准拼接;并通过目标散料存放区域的三维点云数据提取候选抓取区域的三维点云数据对拼接后的边缘轮廓信息进行优化,生成候选抓取区域中散料分布轮廓。
根据本发明实施例,根据散料分布轮廓判断目标散料的候选抓取区域,具体为:
根据目标散料存放区域的位置信息对散料仓储区域的抓取进行初步粗定位,获取目标散料存放区域的散料分布轮廓;
获取组成散料分布轮廓的若干轮廓线段,获取若干轮廓线段的端点作为轮廓点,对所述轮廓点进行优选,通过优选后的轮廓点对散料分布轮廓进行划分,生成轮廓分段结果;
根据轮廓分段结果中各轮廓线段的斜率及与相邻轮廓线段的起伏度获取目标散料存放区域中散料分布轮廓的几何特征;
根据所述几何特征对目标散料存放区域进行分区,获取散料分布轮廓中斜率大于预设斜率阈值的轮廓线段,判断该轮廓线段与相邻轮廓线段的起伏度是否为正值且大于预设阈值;
若判断起伏度为正值且大于预设阈值时,则将该轮廓线段与相邻轮廓线段所在区域作为目标散料的候选抓取区域。
需要说明的是,根据轮廓点的贡献度进行优选,选取贡献度最小的轮廓点,并删除其两端的轮廓线段,连接不相邻的两个端点组成新的轮廓曲线,其中轮廓点的贡献度g计算公式为:
其中,k(xi)表示轮廓线段xi的长度信息,k(xi+1)表示轮廓线段xi+1的长度信息,θ(xi,xi+1)表示轮廓线段xi与轮廓线段xi+1的夹角信息,gi表示轮廓点i的贡献度;
判断轮廓点两端的轮廓线段的起伏度是否为正值且大于预设阈值,将轮廓点i两端的轮廓线段定义为x1,i及xi,2,连接两个不相邻的端点1,2获取线段x1,2,在轮廓点i两端的轮廓曲线上选取包括轮廓点在内的选取预设数据的点到线段x1,2的距离的标准差作为起伏度,根据目标散料存放区域中散料分布轮廓预设标准线,当相邻轮廓线段位于标准线上方时起伏度为正值,位于标准线下方时起伏度为负值,为了方便后续计算通常将目标散料区域或候选抓取区域的平均料位深度作为预设标准线。
根据本发明实施例,根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,具体为:
通过候选抓取区域中的散料分布轮廓获取候选抓取区域中的料位深度,根据所述料位深度信息确定平均料位深度;
获取候选抓取区域的散料分布轮廓中斜率变化大于预设斜率变化阈值点作为特征点,获取特征点与平均料位深度的高度差,选取所述高度差大于预设高度差阈值的特征点作为标记特征点;
基于神经网络建立抓取点评价模型,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,输入标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角,输出特征点的评价结果;
将输入数据进行归一化处理,通过抓取点评价模型获取特征点在各评价指标的得分情况,根据各评价指标的得分情况结合预设权重获取特征点的抓取评价得分;
根据评价结果得分对特征点进行排序,选取抓取评价得分最高的特征点作为抓取点。
需要说明的是,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,将标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角作为输入,当特征点与平均料位深度及邻居特征点的高度差越大且为正向时说明特征点所在的散料堆的高度越高,抓取时相对安全便捷,相反当特征点与邻居特征点的负向高度差大并与邻居特征点距离较近则说明特征点位低于周围多个邻居特征点,抓取时容易导致周围邻居特征点塌陷,危险性较高,并且周围邻居特征点阻碍特征点的抓取,抓取便捷性较低,另外预设抓斗的标准抓取满载率,根据抓大的最大张开角度及特征点前后轮廓线段的斜率夹角、标记特征点与邻居特征点之间的距离判断特征点一次性抓取满载情况。神经网络包括输入层、隐含层和输出层,预设输入层、隐含层和输出层的神经元数目、传递函数、学习函数和目标误差值等参数,选取专家决策主观评价的特征点评价数据对神经网络进行初始化训练构建抓取点评价模型。
需要说明的是,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位,具体为:对无人天车的双目***进行标定,同时进行畸变校正,获取左右视觉传感器的内外参数矩阵;获取双目***中抓取点的左目图像与右目图像,根据所述左目图像与右目图像获取抓取点的图像坐标信息;根据所述内外参数矩阵及双目***的视差均值通过左边变换将所述图像坐标信息转化为世界坐标信息,根据抓取点的世界坐标信息进行无人天车的精确定位。
本发明第三方面还提供一种计算机可读存储介质,所述计算机可读存储介质中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被处理器执行时,实现如上述任一项所述的一种散料仓储的无人天车定位方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种散料仓储的无人天车定位方法,其特征在于,包括以下步骤:
获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位;
根据散料分布轮廓判断目标散料的候选抓取区域,具体为:
根据目标散料存放区域的位置信息对散料仓储区域的抓取进行初步粗定位,获取目标散料存放区域的散料分布轮廓;
获取组成散料分布轮廓的若干轮廓线段,获取若干轮廓线段的端点作为轮廓点,对所述轮廓点进行优选,通过优选后的轮廓点对散料分布轮廓进行划分,生成轮廓分段结果;
根据轮廓分段结果中各轮廓线段的斜率及与相邻轮廓线段的起伏度获取目标散料存放区域中散料分布轮廓的几何特征;
根据所述几何特征对目标散料存放区域进行分区,获取散料分布轮廓中斜率大于预设斜率阈值的轮廓线段,判断该轮廓线段与相邻轮廓线段的起伏度是否为正值且大于预设阈值;
若判断起伏度为正值且大于预设阈值时,则将该轮廓线段与相邻轮廓线段所在区域作为目标散料的候选抓取区域;
其中,根据目标散料存放区域中散料分布轮廓预设标准线,当相邻轮廓线段位于标准线上方时起伏度为正值,位于标准线下方时起伏度为负值;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,具体为:
通过候选抓取区域中的散料分布轮廓获取候选抓取区域中的料位深度,根据所述料位深度信息确定平均料位深度;
获取候选抓取区域的散料分布轮廓中斜率变化大于预设斜率变化阈值点作为特征点,获取特征点与平均料位深度的高度差,选取所述高度差大于预设高度差阈值的特征点作为标记特征点;
基于神经网络建立抓取点评价模型,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,输入标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角,输出特征点的评价结果;
将输入数据进行归一化处理,通过抓取点评价模型获取特征点在各评价指标的得分情况,根据各评价指标的得分情况结合预设权重获取特征点的抓取评价得分;
根据评价结果得分对特征点进行排序,选取抓取评价得分最高的特征点作为抓取点。
2.根据权利要求1所述的一种散料仓储的无人天车定位方法,其特征在于,获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征,具体为:
通过散料仓储区域的预设视觉传感器获取散料仓储区域的图像信息,将所述图像信息进行预处理获取散料仓储区域中散料存放区域的颜色特征及纹理特征;
构建散料识别模型,利用相关数据库对散料识别模型进行初始化训练,将所述颜色特征及纹理特征输入散料识别模型进行识别,获取散料仓储区域中的目标散料的存放区域;
获取目标散料存放区域的图像信息及三维扫描数据,将所述图像信息及三维扫描数据进行联合解算,生成目标散料存放区域的三维点云数据;
根据所述三维点云数据获取目标散料存放区域中散料可见部分的分布特征。
3.根据权利要求1所述的一种散料仓储的无人天车定位方法,其特征在于,根据所述分布特征获取目标散料存放区域中散料分布轮廓,具体为:
根据目标散料存放区域的图像信息进行图像分割获取候选抓取区域的图像,将候选抓取区域的图像进行去噪处理,并通过阈值分割方法对图像进行二值化处理;
利用Canny算子获取不同角度的二值化图像中的边缘轮廓信息,将不同角度的边缘轮廓信息进行配准拼接;
并通过目标散料存放区域的三维点云数据提取候选抓取区域的三维点云数据对拼接后的边缘轮廓信息进行优化,生成候选抓取区域中散料分布轮廓。
4.根据权利要求1所述的一种散料仓储的无人天车定位方法,其特征在于,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位,具体为:
对无人天车的双目***进行标定,同时进行畸变校正,获取左右视觉传感器的内外参数矩阵;
获取双目***中抓取点的左目图像与右目图像,根据所述左目图像与右目图像获取抓取点的图像坐标信息;
根据所述内外参数矩阵及双目***的视差均值通过坐标变换将所述图像坐标信息转化为世界坐标信息,根据抓取点的世界坐标信息进行无人天车的精确定位。
5.一种散料仓储的无人天车定位***,其特征在于,该***包括:存储器、处理器,所述存储器中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被所述处理器执行时实现如下步骤:
获取散料仓储区域的图像信息,根据散料仓储区域图像信息进行散料识别确定目标散料位置,并获取目标散料存放区域的分布特征;
根据所述分布特征获取目标散料存放区域中散料分布轮廓,根据散料分布轮廓判断目标散料的候选抓取区域;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点;
根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位;
根据散料分布轮廓判断目标散料的候选抓取区域,具体为:
根据目标散料存放区域的位置信息对散料仓储区域的抓取进行初步粗定位,获取目标散料存放区域的散料分布轮廓;
获取组成散料分布轮廓的若干轮廓线段,获取若干轮廓线段的端点作为轮廓点,对所述轮廓点进行优选,通过优选后的轮廓点对散料分布轮廓进行划分,生成轮廓分段结果;
根据轮廓分段结果中各轮廓线段的斜率及与相邻轮廓线段的起伏度获取目标散料存放区域中散料分布轮廓的几何特征;
根据所述几何特征对目标散料存放区域进行分区,获取散料分布轮廓中斜率大于预设斜率阈值的轮廓线段,判断该轮廓线段与相邻轮廓线段的起伏度是否为正值且大于预设阈值;
若判断起伏度为正值且大于预设阈值时,则将该轮廓线段与相邻轮廓线段所在区域作为目标散料的候选抓取区域;
其中,根据目标散料存放区域中散料分布轮廓预设标准线,当相邻轮廓线段位于标准线上方时起伏度为正值,位于标准线下方时起伏度为负值;
根据候选抓取区域的散料分布轮廓提取特征点,通过深度学习对所述特征点进行抓取评价,选取抓取评价得分最高的特征点作为抓取点,具体为:
通过候选抓取区域中的散料分布轮廓获取候选抓取区域中的料位深度,根据所述料位深度信息确定平均料位深度;
获取候选抓取区域的散料分布轮廓中斜率变化大于预设斜率变化阈值点作为特征点,获取特征点与平均料位深度的高度差,选取所述高度差大于预设高度差阈值的特征点作为标记特征点;
基于神经网络建立抓取点评价模型,将抓取安全性、抓取便捷性及抓取满载率作为评价指标,输入标记特征点与平均料位深度的高度差、标记特征点与邻居特征点之间的距离和高度差及特征点前后轮廓线段的斜率夹角,输出特征点的评价结果;
将输入数据进行归一化处理,通过抓取点评价模型获取特征点在各评价指标的得分情况,根据各评价指标的得分情况结合预设权重获取特征点的抓取评价得分;
根据评价结果得分对特征点进行排序,选取抓取评价得分最高的特征点作为抓取点。
6.根据权利要求5所述的一种散料仓储的无人天车定位***,其特征在于,根据无人天车的双目***获取抓取点的空间定位,根据抓取点的空间坐标进行无人天车的精确定位,具体为:
对无人天车的双目***进行标定,同时进行畸变校正,获取左右视觉传感器的内外参数矩阵;
获取双目***中抓取点的左目图像与右目图像,根据所述左目图像与右目图像获取抓取点的图像坐标信息;
根据所述内外参数矩阵及双目***的视差均值通过坐标变换将所述图像坐标信息转化为世界坐标信息,根据抓取点的世界坐标信息进行无人天车的精确定位。
7.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中包括一种散料仓储的无人天车定位方法程序,所述一种散料仓储的无人天车定位方法程序被处理器执行时,实现如权利要求1至4中任一项所述的一种散料仓储的无人天车定位方法的步骤。
CN202310456002.0A 2023-04-25 2023-04-25 一种散料仓储的无人天车定位方法、***及存储介质 Active CN116524010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310456002.0A CN116524010B (zh) 2023-04-25 2023-04-25 一种散料仓储的无人天车定位方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310456002.0A CN116524010B (zh) 2023-04-25 2023-04-25 一种散料仓储的无人天车定位方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN116524010A CN116524010A (zh) 2023-08-01
CN116524010B true CN116524010B (zh) 2024-02-02

Family

ID=87393492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310456002.0A Active CN116524010B (zh) 2023-04-25 2023-04-25 一种散料仓储的无人天车定位方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN116524010B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN111844019A (zh) * 2020-06-10 2020-10-30 安徽鸿程光电有限公司 一种机器抓取位置确定方法、设备、电子设备和存储介质
CN113291847A (zh) * 2021-03-31 2021-08-24 湖南千盟工业智能***股份有限公司 一种基于三维成像的散料智能堆取料方法
CN113610833A (zh) * 2021-08-20 2021-11-05 三一建筑机器人(西安)研究院有限公司 物料抓取方法、装置、电子设备和存储介质
CN114494463A (zh) * 2022-02-11 2022-05-13 黎明职业大学 一种双目立体视觉技术机器人分拣方法及装置
CN114834918A (zh) * 2022-03-16 2022-08-02 武汉理工大学 一种抓斗卸船机防碰撞自动抓卸料方法及***
CN114888790A (zh) * 2022-04-18 2022-08-12 金陵科技学院 基于散料三维特征分布的空间坐标寻位方法
CN115620004A (zh) * 2022-09-30 2023-01-17 北京思灵机器人科技有限责任公司 无序线材抓取方法、装置及电子设备
CN115760932A (zh) * 2022-09-06 2023-03-07 中联重科股份有限公司 物料识别方法、装置及计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN109508707A (zh) * 2019-01-08 2019-03-22 中国科学院自动化研究所 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN111844019A (zh) * 2020-06-10 2020-10-30 安徽鸿程光电有限公司 一种机器抓取位置确定方法、设备、电子设备和存储介质
CN113291847A (zh) * 2021-03-31 2021-08-24 湖南千盟工业智能***股份有限公司 一种基于三维成像的散料智能堆取料方法
CN113610833A (zh) * 2021-08-20 2021-11-05 三一建筑机器人(西安)研究院有限公司 物料抓取方法、装置、电子设备和存储介质
CN114494463A (zh) * 2022-02-11 2022-05-13 黎明职业大学 一种双目立体视觉技术机器人分拣方法及装置
CN114834918A (zh) * 2022-03-16 2022-08-02 武汉理工大学 一种抓斗卸船机防碰撞自动抓卸料方法及***
CN114888790A (zh) * 2022-04-18 2022-08-12 金陵科技学院 基于散料三维特征分布的空间坐标寻位方法
CN115760932A (zh) * 2022-09-06 2023-03-07 中联重科股份有限公司 物料识别方法、装置及计算机存储介质
CN115620004A (zh) * 2022-09-30 2023-01-17 北京思灵机器人科技有限责任公司 无序线材抓取方法、装置及电子设备

Also Published As

Publication number Publication date
CN116524010A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2019228063A1 (zh) 商品检测终端、方法、***以及计算机设备、可读介质
CN110245663B (zh) 一种用于钢卷信息识别的方法
CN110443093B (zh) 一种面向智能化的红外数字全景***及其仓库管理方法
CN108226894A (zh) 一种点云数据处理方法及装置
CN105701519A (zh) 基于超像素的图像的实际货架图景象分析
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及***
EP4086846A1 (en) Automatic detection of a calibration standard in unstructured lidar point clouds
CN113240682B (zh) 用于履带式起重机的防倾覆施工驾驶地图生成方法及***
CN111680681B (zh) 排除非正常识别目标的图像后处理方法及***及计数方法
CN101114337A (zh) 一种地面建筑物识别定位方法
CN111223180A (zh) 一种料场的三维建模方法、装置、存储介质及电子终端
CN115661064A (zh) 一种基于图像和点云结合的货箱识别方法
CN110567383A (zh) 基于结构森林和亚像素的受电弓磨耗预警***及检测方法
CN116255912A (zh) 包裹的静态体积测量方法及***
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
CN112561989B (zh) 一种建造场景下吊装对象的识别方法
CN113128346B (zh) 起重机施工现场的目标识别方法、***、装置及存储介质
CN116524010B (zh) 一种散料仓储的无人天车定位方法、***及存储介质
KR102457425B1 (ko) 드론을 이용한 건설자재 수량측정방법
CN113870326A (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
CN116843742B (zh) 一种针对装载黑色煤车辆的点云配准后堆料体积的计算方法及***
CN114202548A (zh) 一种叉车托盘的定位方法、装置、存储介质及电子设备
CN117036971A (zh) 自适应局部空谱一致下的机载LiDAR数据建筑物提取方法
CN116243716A (zh) 一种融合机器视觉的集装箱智能举升控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant