CN114724111A - 一种基于deepstream的智能叉车识别避障方法 - Google Patents

一种基于deepstream的智能叉车识别避障方法 Download PDF

Info

Publication number
CN114724111A
CN114724111A CN202210388525.1A CN202210388525A CN114724111A CN 114724111 A CN114724111 A CN 114724111A CN 202210388525 A CN202210388525 A CN 202210388525A CN 114724111 A CN114724111 A CN 114724111A
Authority
CN
China
Prior art keywords
goods
scene
obstacle avoidance
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210388525.1A
Other languages
English (en)
Inventor
袁杨宇
刘宽
王鹏
樊宸铭
李悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Qinhe Smart Guard Technology Co ltd
Original Assignee
Chongqing Qinhe Smart Guard Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Qinhe Smart Guard Technology Co ltd filed Critical Chongqing Qinhe Smart Guard Technology Co ltd
Priority to CN202210388525.1A priority Critical patent/CN114724111A/zh
Publication of CN114724111A publication Critical patent/CN114724111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明公开了一种基于deepstream的智能叉车识别避障方法，属于仓储分拣技术领域，本发明方法，利用机器视觉技术实现避障，考虑采用双目视觉技术，对叉车前进道路上的场景进行稠密点云三维建模，并得到场景在三维空间的深度信息。根据场景深度信息，可以得到场景中的障碍物等物体与需要避障的车辆之间的距离。从而实现避障。

Description

一种基于deepstream的智能叉车识别避障方法
技术领域
本发明属于仓储分拣技术领域，具体涉及一种基于deepstream的智能叉车识别避障方法。
背景技术
目前对于自动化仓储行业智能叉车的应用已经非常广泛了，但是对于智能叉车避障这块来说采取最多的是通过激光来识别障碍物实现避障。因为激光是单点式的，所以在识别的时候识别的范围就很窄，不能准确的识别出智能叉车前方或者后方所有的障碍物。并且通过激光识别障碍物，是通过激光反射给接收器，但是障碍物多种多样有的表面凹凸不平，所以这给识别障碍物提供了很大的不确定性，加大了识别的错误率。
发明内容
有鉴于此，本发明的目的在于提供一种基于deepstream的智能叉车识别避障方法，使得智能叉车不再受传统激光避障的局限性，能够更加全面的识别叉车前方或后方所有的障碍物体并避开，减少识别的错误率。
为达到上述目的，本发明提供如下技术方案：
本发明一种基于deepstream的智能叉车识别避障方法，包括以下步骤：
S1，使用混合高斯模型背景建模，结合纹理检测或深度学习检测托盘和货物；
S2，把叉车、货架和托盘均设置为背景，对检测出的前景货物，根据其形状计算其形心，并进一步计算出其质心；
S3，把叉车和货架视为背景，对检测出的前景托盘，根据托盘和物体质心的相对位置，托盘和货架上标志物的相对位置，判断其是否正放；
S4，对摄像机进行校正、去畸变，用目标识别神经网络检测缺陷位置，用寻找特定的标记点，并根据标记点的位置，利用投射变换的方式将货架投影到同一个竖直面上，获取感兴趣的区域，将其灰度化，线性插值缩放至统一尺寸，并综合计算当前货架图片与标准货架图片之间的SSIM中结构比较部分与NCC匹配的相似度；
S5，利用机器视觉技术实现避障，对叉车前进道路上的场景进行稠密点云三维建模，并得到场景在三维空间的深度信息，根据场景深度信息，可以得到场景中的障碍物等物体与需要避障的车辆之间的距离，从而实现避障。
进一步，选用两个摄像机，利用双目视觉技术对货物和托盘进行三维建模；首先对图像进行单目校正，包括内参、外参和畸变的校正，然后进行双目校正，使得左右两相机之间的光轴平行；对场景图像进行特征点匹配，从而得到稀疏点云图；通过稀疏点云图，得到场景视差图，从而得到稠密点云图，通过稠密点云图，得到场景的深度信息，根据深度信息可以对货物和托盘位置进行定位。
进一步，目标定位算法如下：
在得到大量特征点的坐标之后，可以确定目标的位置和形状，根据相似三角形公式，可以简单推得目标的深度可以通过如下公式计算
Figure BDA0003595812150000021
其中，b是基线长度，f是摄像机光心到成像平面的距离，b，f均为固定值，dw为视差得到物体的深度后，根据相机的成像原理，可以按下式，实现对目标定位
Figure BDA0003595812150000022
其中，S为比例因子，F为相机内参矩阵，[R T]为摄像机外参矩阵，R、T分别为摄像机坐标系相对于世界坐标系的旋转和平移分量，(u,v)为物体的像素坐标，(xw,yw,zw)为物体的世界坐标。
进一步，SSIM为两张图像之间的结构相似性，在实际工程中，选取的计算公式如下
Figure BDA0003595812150000023
其中，μx和μy分别是第一幅图和第二幅图的平均值，σx和σy分别为第一幅图和第二幅图的标准差，c1和c2为常数，避免分母为0，
SSIM衡量的是两张图像之间的亮度，对比度和结构比较，其中，亮度和对比度部分对货架的变形影响不大，而结构部分对直接衡量了货物的变形程度，选用结构比较的部分进行计算，计算公式如下
Figure BDA0003595812150000024
其中，σx和σy分别为第一幅图和第二幅图的标准差，c为常数，避免分母为0，NCC匹配能有效降低光照对图像比较结果的影响，适用于工业检测领域，一般用于图像上目标的搜索，对于两张大小相同的图像，可以直接使用如下的公式进行相似度的计算
Figure BDA0003595812150000025
其中，μf和μr分别是两幅图像的像素均值，f和r分别为待比较的两幅图像，m和n分别为图像的长度和宽度。
本发明的有益效果在于：
本发明一种基于deepstream的智能叉车识别避障方法，解决了传统采用激光带来的单点式检测不可能识别到前方所有物体的技术问题，使智能叉车不再受传统激光避障的局限性，更加全面的识别叉车前方或后方所有的障碍物体并避开。
本发明的其他优点、目标和特征将在随后的说明书中进行阐述，并且在某种程度上对本领域技术人员而言是显而易见的，或者本领域技术人员可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
具体实施方式
本发明一种基于deepstream的智能叉车识别避障方法，包括以下步骤：
首先进行货物正放检测，
S1，使用混合高斯模型背景建模，结合纹理检测或深度学习检测托盘和货物；
S2，把叉车、货架和托盘均设置为背景，对检测出的前景货物，根据其形状计算其形心，并进一步计算出其质心；
S3，把叉车和货架视为背景，对检测出的前景托盘，根据托盘和物体质心的相对位置，托盘和货架上标志物的相对位置，判断其是否正放；
然后采用货架检测，
S4，对摄像机进行校正、去畸变，用目标识别神经网络检测缺陷位置，用寻找特定的标记点，并根据标记点的位置，利用投射变换的方式将货架投影到同一个竖直面上，获取感兴趣的区域，将其灰度化，线性插值缩放至统一尺寸，并综合计算当前货架图片与标准货架图片之间的SSIM中结构比较部分与NCC匹配的相似度；
叉车移动避障，
S5，利用机器视觉技术实现避障，对叉车前进道路上的场景进行稠密点云三维建模，并得到场景在三维空间的深度信息，根据场景深度信息，可以得到场景中的障碍物等物体与需要避障的车辆之间的距离，从而实现避障。
本实施例中，选用两个摄像机，利用双目视觉技术对货物和托盘进行三维建模；首先对图像进行单目校正，包括内参、外参和畸变的校正，然后进行双目校正，使得左右两相机之间的光轴平行；对场景图像进行特征点匹配，从而得到稀疏点云图；通过稀疏点云图，得到场景视差图，从而得到稠密点云图，通过稠密点云图，得到场景的深度信息，根据深度信息可以对货物和托盘位置进行定位。
本实施例中，目标定位算法如下：
在得到大量特征点的坐标之后，可以确定目标的位置和形状，根据相似三角形公式，可以简单推得目标的深度可以通过如下公式计算
Figure BDA0003595812150000041
其中，b是基线长度，f是摄像机光心到成像平面的距离，b，f均为固定值，dw为视差得到物体的深度后，根据相机的成像原理，可以按下式，实现对目标定位
Figure BDA0003595812150000042
其中，S为比例因子，F为相机内参矩阵，[R T]为摄像机外参矩阵，R、T分别为摄像机坐标系相对于世界坐标系的旋转和平移分量，(u,v)为物体的像素坐标，(xw,yw,zw)为物体的世界坐标。
本实施例中，SSIM为两张图像之间的结构相似性，在实际工程中，选取的计算公式如下
Figure BDA0003595812150000043
其中，μx和μy分别是第一幅图和第二幅图的平均值，σx和σy分别为第一幅图和第二幅图的标准差，c1和c2为常数，避免分母为0，
SSIM衡量的是两张图像之间的亮度，对比度和结构比较，其中，亮度和对比度部分对货架的变形影响不大，而结构部分对直接衡量了货物的变形程度，选用结构比较的部分进行计算，计算公式如下
Figure BDA0003595812150000044
其中，σx和σy分别为第一幅图和第二幅图的标准差，c为常数，避免分母为0，NCC匹配能有效降低光照对图像比较结果的影响，适用于工业检测领域，一般用于图像上目标的搜索，对于两张大小相同的图像，可以直接使用如下的公式进行相似度的计算
Figure BDA0003595812150000045
其中，μf和μr分别是两幅图像的像素均值，f和r分别为待比较的两幅图像，m和n分别为图像的长度和宽度。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于deepstream的智能叉车识别避障方法，其特征在于，包括以下步骤：
S1，使用混合高斯模型背景建模，结合纹理检测或深度学习检测托盘和货物；
S2，把叉车、货架和托盘均设置为背景，对检测出的前景货物，根据其形状计算其形心，并进一步计算出其质心；
S3，把叉车和货架视为背景，对检测出的前景托盘，根据托盘和物体质心的相对位置，托盘和货架上标志物的相对位置，判断其是否正放；
S4，对摄像机进行校正、去畸变，用目标识别神经网络检测缺陷位置，用寻找特定的标记点，并根据标记点的位置，利用投射变换的方式将货架投影到同一个竖直面上，获取感兴趣的区域，将其灰度化，线性插值缩放至统一尺寸，并综合计算当前货架图片与标准货架图片之间的SSIM中结构比较部分与NCC匹配的相似度；
S5，利用机器视觉技术实现避障，对叉车前进道路上的场景进行稠密点云三维建模，并得到场景在三维空间的深度信息，根据场景深度信息，可以得到场景中的障碍物等物体与需要避障的车辆之间的距离，从而实现避障。
2.根据权利要求1所述的基于deepstream的智能叉车识别避障方法，其特征在于，选用两个摄像机，利用双目视觉技术对货物和托盘进行三维建模；首先对图像进行单目校正，包括内参、外参和畸变的校正，然后进行双目校正，使得左右两相机之间的光轴平行；对场景图像进行特征点匹配，从而得到稀疏点云图；通过稀疏点云图，得到场景视差图，从而得到稠密点云图，通过稠密点云图，得到场景的深度信息，根据深度信息可以对货物和托盘位置进行定位。
3.根据权利要求2所述的基于deepstream的智能叉车识别避障方法，其特征在于，目标定位算法如下：
在得到大量特征点的坐标之后，可以确定目标的位置和形状，根据相似三角形公式，可以简单推得目标的深度可以通过如下公式计算
Figure FDA0003595812140000011
其中，b是基线长度，f是摄像机光心到成像平面的距离，b，f均为固定值，dw为视差得到物体的深度后，根据相机的成像原理，可以按下式，实现对目标定位
Figure FDA0003595812140000012
其中，S为比例因子，F为相机内参矩阵，[R T]为摄像机外参矩阵，R、T分别为摄像机坐标系相对于世界坐标系的旋转和平移分量，(u,v)为物体的像素坐标，(xw,yw,zw)为物体的世界坐标。
4.根据权利要求3所述的基于deepstream的智能叉车识别避障方法，其特征在于，SSIM为两张图像之间的结构相似性，在实际工程中，选取的计算公式如下
Figure FDA0003595812140000021
其中，μx和μy分别是第一幅图和第二幅图的平均值，σx和σy分别为第一幅图和第二幅图的标准差，c1和c2为常数，避免分母为0，
SSIM衡量的是两张图像之间的亮度，对比度和结构比较，其中，亮度和对比度部分对货架的变形影响不大，而结构部分对直接衡量了货物的变形程度，选用结构比较的部分进行计算，计算公式如下
Figure FDA0003595812140000022
其中，σx和σy分别为第一幅图和第二幅图的标准差，c为常数，避免分母为0，NCC匹配能有效降低光照对图像比较结果的影响，适用于工业检测领域，一般用于图像上目标的搜索，对于两张大小相同的图像，可以直接使用如下的公式进行相似度的计算
Figure FDA0003595812140000023
其中，μf和μr分别是两幅图像的像素均值，f和r分别为待比较的两幅图像，m和n分别为图像的长度和宽度。
CN202210388525.1A 2022-04-14 2022-04-14 一种基于deepstream的智能叉车识别避障方法 Pending CN114724111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210388525.1A CN114724111A (zh) 2022-04-14 2022-04-14 一种基于deepstream的智能叉车识别避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210388525.1A CN114724111A (zh) 2022-04-14 2022-04-14 一种基于deepstream的智能叉车识别避障方法

Publications (1)

Publication Number Publication Date
CN114724111A true CN114724111A (zh) 2022-07-08

Family

ID=82243355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210388525.1A Pending CN114724111A (zh) 2022-04-14 2022-04-14 一种基于deepstream的智能叉车识别避障方法

Country Status (1)

Country Link
CN (1) CN114724111A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115225A (zh) * 2023-09-01 2023-11-24 安徽羽亿信息科技有限公司 一种自然资源智慧综合信息化管理平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115225A (zh) * 2023-09-01 2023-11-24 安徽羽亿信息科技有限公司 一种自然资源智慧综合信息化管理平台
CN117115225B (zh) * 2023-09-01 2024-04-30 安徽羽亿信息科技有限公司 一种自然资源智慧综合信息化管理平台

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN109993793B (zh) 视觉定位方法及装置
CN110942449A (zh) 一种基于激光与视觉融合的车辆检测方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量***和方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN109447908A (zh) 一种基于立体视觉的钢卷识别定位方法
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN112819883B (zh) 一种规则对象检测及定位方法
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN113744315A (zh) 一种基于双目视觉的半直接视觉里程计
CN114724111A (zh) 一种基于deepstream的智能叉车识别避障方法
CN111724432B (zh) 物体三维检测方法和装置
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及***
Kita et al. Localization of pallets on shelves in a warehouse using a wide-angle camera
CN111862210A (zh) 一种基于环视相机的目标物检测定位方法及装置
CN115932877A (zh) 一种激光雷达和单目摄像头融合的目标跟踪方法及***
Kita et al. Detection and localization of pallets on shelves using a wide-angle camera
Hsu et al. Online recalibration of a camera and lidar system
CN115546428A (zh) 基于点云聚类方式构建无残影点云地图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination