CN111638530B - 一种叉车定位的方法、叉车及计算机可读存储介质 - Google Patents

一种叉车定位的方法、叉车及计算机可读存储介质 Download PDF

Info

Publication number
CN111638530B
CN111638530B CN202010463459.0A CN202010463459A CN111638530B CN 111638530 B CN111638530 B CN 111638530B CN 202010463459 A CN202010463459 A CN 202010463459A CN 111638530 B CN111638530 B CN 111638530B
Authority
CN
China
Prior art keywords
forklift
data
laser radar
odometer
state estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010463459.0A
Other languages
English (en)
Other versions
CN111638530A (zh
Inventor
张冠华
陈凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Lanpangzi Mobile Technology Co ltd
Original Assignee
Guangzhou Lanpangzi Mobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lanpangzi Mobile Technology Co ltd filed Critical Guangzhou Lanpangzi Mobile Technology Co ltd
Priority to CN202010463459.0A priority Critical patent/CN111638530B/zh
Publication of CN111638530A publication Critical patent/CN111638530A/zh
Application granted granted Critical
Publication of CN111638530B publication Critical patent/CN111638530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种叉车定位的方法、叉车及计算机可读存储介质，所述方法包括：分别获取左激光雷达和右激光雷达数据；分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；通过轮盘编码器里程计得到轮盘编码器里程计的状态估计；将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步；将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。通过本发明实施例，可以实现对叉车的位姿以及状态的估计更为准确，提高导航精度，实现避障功能，同时，可以增加二维激光雷达的选型范围，有利于降低成本。

Description

一种叉车定位的方法、叉车及计算机可读存储介质
技术领域
本发明涉及物体搬运领域，特别涉及一种叉车定位的方法、叉车及计算机可读存储介质。
背景技术
目前，叉车(例如搬运车)常用于车间、厂房内搬运货物。现在车间的叉车大部分还是人工操作的，为了降低人工搬运导致的高成本，并减少因为人员疲劳等造成的事故，自动叉车得到越来越多的应用。为了实现叉车的自动运行，同时为了实现叉车自动运行时，在车间、厂房内保证安全不与人相撞，需要对其进行改造。常见搬运车改造，一般是将测量型激光雷达放置在离地2m左右的高度处，因为在此高度上物理环境几乎为车间、厂房的支撑柱，很少有其他障碍物，方便布置反光板，并可以不受托盘货物高度的影响使激光雷达实现360°无遮挡扫描，以助于叉车建图和导航。但是这种改造对于低位置的范围无法进行避障；测量型激光雷达的成本较高；在货叉堆满货物时，不利于搬运车行进安全。
发明内容
有鉴于此，本发明实施例提供的一种叉车定位的方法、叉车及计算机可读存储介质，可以实现对叉车的位姿以及状态的估计更为准确，提高导航精度，实现避障功能，同时，可以增加二维激光雷达的选型范围，有利于降低成本。
本发明解决上述技术问题所采用的技术方案如下：
根据本发明实施例的一个方面，提供的一种叉车定位的方法，应用于叉车，所述叉车包括：分别设置在操作台前端两侧的预定高度处的左激光雷达和右激光雷达，所述方法包括：
分别获取左激光雷达和右激光雷达数据；
分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；
通过轮盘编码器里程计得到轮盘编码器里程计的状态估计；
将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步；
将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。
在一个可能的设计中，所述分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；包括：
分别通过ICP算法对左右激光雷达数据处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
在一个可能的设计中，所述前通过轮盘编码器里程计得到轮盘编码器里程计的状态估计，包括：
采用航迹推演算法对叉车的位姿进行估计，得到轮盘编码器里程计的状态估计。
在一个可能的设计中，所述叉车进一步包括设置在操作台的前端中间位置的前置跟随摄像头；所述方法包括：通过前置跟随摄像头获取视觉惯性里程计的输出数据，包括：
通过前置跟随摄像头提供视觉惯性导航功能，视觉惯性里程计采用基于特征点的方法来对前置跟随摄像头运动进行估算，并获取视觉惯性里程计的输出数据。
在一个可能的设计中，所述将得到的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据进行时间同步；包括：
将视觉惯性里程计数据与轮盘编码器里程计数据分别微分，得到微分后的(Δx,Δy,Δθ,Δt,Cov)；
将激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据中得到微分后的(Δx,Δy,Δθ,Δt)采用以下公式进行计算，得到经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据(v，ω，Cov)：
ω＝Δθ/Δt
其中，ΔS为Δt时间内的位移差，v为速度，ω为角速度。
在一个可能的设计中，所述将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计；包括：
将经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据全部输入卡尔曼滤波器中进行融合，得到最优状态估计。
根据本发明的另一个方面，提供的一种叉车，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的所述的一种叉车定位的方法的步骤。
在一个可能的设计中，所述叉车还包括深度传感器，所述深度传感器设置在所述操作台的前端，在左右方向上所述深度传感器位于两侧的所述激光雷达之间，用于采集所述叉车周围的静态物体或物理环境中的移动物体以进行视觉避障。
在一个可能的设计中，所述叉车还包括后置深度摄像头，所述后置深度摄像头，设置在所述操作台的后端中间位置，用于叉车的插取目标并精确定位插取目标的位置。
在一个可能的设计中，所述叉车设置有货叉；所述叉车还包括若干所述测距传感器，设置在所述叉车的货叉的叉尖处，用于在所述叉车在运动过程中检测到近距离障碍物时触发急停功能。
在一个可能的设计中，所述叉车还包括安全触边，所述安全触边设置在所述操作台前方两侧且位于所述激光雷达下方，用于在叉车前进方向上检测地面的障碍物，当安全触边与障碍物碰撞后会触发叉车的急停功能。
在一个可能的设计中，所述叉车还包括至少一个接近开关或行程开关，用于触发判断货叉精准对位***托盘插槽是否已插到位，当接近开关/行程开关触发说明货叉已经插到位。
根据本发明的另一个方面，提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有一种叉车定位的方法的程序，所述一种叉车定位的方法的程序被处理器执行时实现本发明实施例提供的所述的一种叉车定位的方法的步骤。
与相关技术相比，本发明实施例提供的一种叉车定位的方法、叉车及计算机可读存储介质，所述叉车定位的方法，应用于叉车，所述叉车包括：分别设置在操作台前端两侧的预定高度处的左激光雷达和右激光雷达，所述方法包括：分别获取左激光雷达和右激光雷达数据；分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；通过轮盘编码器里程计得到轮盘编码器里程计的状态估计；将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步；将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。通过本发明实施例，通过将若干激光雷达以对角布置方式分别设置在所述操作台前方两侧的预定离地高度处，在不同视角下提供的扫描信息更为丰富，可充分利用激光雷达的扫描范围(270°)在较低位置尽可能的扫描和利用到了叉车前面及两侧的复杂多样的物理环境的激光雷达数据信息，并对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；将激光雷达数据与轮盘编码器里程计数据进行时间同步，并对经过时间同步的数据进行卡尔曼滤波，得到最优状态估计，从而使得对叉车的位姿以及状态的估计更为准确。同时，深度传感器使得叉车能在三维空间中感知前方视野范围内的静态物体障碍物或物理环境中的移动物体障碍物，从而进行动态路径规划和避障，从而提高导航精度，可以实现避障功能，尤其是针对人或移动物体的避障。后置深度摄像头则可同时利用RBG信息和深度信息，对叉车要插取的目标进行识别和位姿估计，从而对能对位置不确定的货物进行精确的插取动作。同时多个传感器提高了冗余与健壮性，无论是在光线条件较弱还是在一侧激光观测信息较弱或是轮盘编码器出现错误的情况下，叉车仍然可以对自身继续输出相对最优的状态估计。同时，可以增加二维激光雷达的选型范围，有利于降低成本。
附图说明
图1为本发明实施例提供的一种叉车的结构示意图；
图2为本发明实施例提供的一种叉车的结构俯视示意图；
图3为本发明实施例提供的一种叉车在空载情况下二维单线激光雷达的扫描范围示意图；
图4为本发明实施例提供的一种叉车在托盘满载情况下二维单线激光雷达的扫描范围示意图。
图5为本发明实施例提供的一种叉车定位的方法的流程示意图；
图6为本发明实施例提供的将经过时间同步的数据进行卡尔曼滤波的示意图；
图7为本发明实施例提供的一种叉车的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在一个实施例中，如图1所示，本发明实施例提供一种叉车，所述叉车包括：车体10、若干个激光雷达20、深度传感器30、后置深度摄像头 40；其中：
所述车体10的前端设置有操作台11，所述车体10的后端设置有用于承载插取目标的货叉12。
若干所述激光雷达20，分别设置在所述操作台11前端两侧，且所述激光雷达与地面具有一个预定高度，用于在预设扫描范围内扫描所述叉车的前面及两侧的环境。
所述深度传感器30，设置在所述操作台11的前端，在左右方向上所述深度传感器30位于两侧的所述激光雷达20之间，用于采集所述叉车周围的静态物体或物理环境中的移动物体以进行视觉避障。其中所述深度传感器30可以为深度摄像头，TOF相机以及面阵雷达等用于获取叉车环境中的深度信息。
所述后置深度摄像头40，设置在所述操作台11的后端中间位置，用于叉车的插取目标并精确定位插取目标的位置。
在本实施例中，将激光雷达分别设置在所述操作台的左右两侧边上且所述激光雷达与地面预定高度为200或者220mm，即是激光雷达分别设置在所述操作台前方两侧的预定200或者220毫米离地高度处，在不同视角下提供的扫描信息更为丰富，可充分利用激光雷达的扫描范围(270°)在较低位置尽可能的扫描和利用到了叉车前面及两侧的复杂多样的物理环境(因为离地 200mm高度的物理环境复杂多样)的信息，使得对位姿以及状态的估计更为准确。在本实施例，所述激光雷达采用的是测量型的激光雷达，能够获得物体的原始点云的测量数据，解决了背景技术在低位置的平面需要避障而采取的避障型激光，避障型激光精度更低且在货叉堆满货物时，难以对环境进行精确建模，不利于在拥挤或狭窄空间内的行车和取放货操作的问题。
同时，深度传感器使得叉车能在三维空间中感知前方视野范围内的静态物体障碍物或物理环境中的移动物体障碍物，从而进行动态路径规划和避障，从而提高导航精度，可以实现避障功能，尤其是针对人或移动物体的避障。后置深度摄像头则可同时利用RBG信息和深度信息，对叉车要插取的目标进行识别和位姿估计，从而对能对位置不确定的货物进行精确的插取动作。同时多个传感器提高了冗余与健壮性，无论是在光线条件较弱还是在一侧激光观测信息较弱或是轮盘编码器出现错误的情况下，叉车仍然可以对自身继续输出相对最优的状态估计。同时，可以增加二维激光雷达的选型范围，有利于降低成本。
优选地，所述叉车为自动液压搬运车或者地牛搬运车。
优选地，所述预定离地高度为200毫米到300毫米(mm)。
优选地，所述预设扫描范围为0度到270度。
优选地，所述激光雷达20为二维单线激光雷达。
如图3和图4所示，A为自动液压搬运车在空载情况下二维单线激光雷达20的扫描范围示意。B为自动液压搬运车在托盘满载情况下二维单线激光雷达20的扫描范围示意。
在一个实施例中，所述深度传感器30为RGB-D摄像头，可以提供深度及RGB信息(RGB-D图像＝普通RGB三通道彩色图像+Depth Map(深度图))。在高度方向上所述深度传感器30位于所述激光雷达20的上方。
如图1和图2所示。Cv为可提供深度及RGB信息的深度传感器30的竖直视野角度范围示意。Ch为可提供深度及RGB信息的深度传感器30的水平视野角度范围示意。
优选地，所述深度传感器30还用于识别叉车的插取目标，并对插取目标进行初步定位。例如，插取目标为托盘，则所述深度传感器30用于识别托盘并对托盘位置进行初步定位。
在本实施例中，所述叉车在到达预定位置附近后，所述深度传感器30对插取目标(例如托盘)进行初步定位，确认托盘的坐标位置。此时，所述叉车掉头，采用后置深度摄像头40对托盘进行精准定位，具体地，采用后置深度摄像头40对托盘的插槽进行精准对位。
在一个实施例中，所述后置深度摄像头40为RGB-D摄像头，可以提供深度及RGB信息。
如图1和图2所示。Dv为可提供深度及RGB信息的后置深度摄像头40 的竖直视野角度范围示意。Dh为可提供深度及RGB信息的后置深度摄像头 40的水平视野角度范围示意。
在本实施例中，所述叉车在到达预定位置附近后，所述深度传感器30已经初步确认插取目标(例如托盘)的坐标位置。此时，所述叉车掉头，所述后置深度摄像头40识别托盘并对托盘进行精准定位，具体地，采用后置深度摄像头40对托盘的插槽进行精准对位，以使所述车体的货叉12可以精准地对准并***托盘的插槽。
在一个实施例中，如图1和图2所示，所述叉车还包括：前置跟随摄像头50，设置在所述操作台的前端中间位置且位于所述深度传感器的上方，提供视觉惯性导航功能，可与轮盘编码器里程计、激光雷达的导航定位做相互校验，以保证导航精度。具体包括：前置跟随摄像头50输出的视觉惯性里程计数据与轮盘编码器里程计数据、激光雷达数据进行时间同步，然后对经过时间同步的视觉惯性里程计数据、轮盘编码器里程计数据和激光雷达数据进行卡尔曼滤波，得到最优状态估计。
优选地，所述前置跟随摄像头50为前置鱼眼广角跟随摄像头50。
如图1和图2所示，Ev为前置鱼眼广角跟随摄像头50的竖直视野角度范围示意。Eh为前置鱼眼广角跟随摄像头50的水平视野角度范围示意。
在本实施例中，通过设置前置鱼眼广角跟随摄像头提供视觉惯性导航功能，可与轮盘编码器里程计、激光雷达的导航定位做相互校验，以保证导航精度。
在一个实施例中，如图1和图2所示，所述叉车还包括：若干所述测距传感器60，设置在所述叉车的货叉12的叉尖处，用于在所述叉车在运动过程中如若检测到近距离障碍物时触发急停功能，以保证所述叉车的运行安全。其中，所述运动包括旋转、后插或后移过程。
优选地，所述测距传感器60为单向测距传感器。
优选地，所述测距传感器60包括以下之一：光电开关、ToF、超声波传感器。
如图1和图2所示，F为测距传感器60的探测路径示意。
在本实施例中，通过所述叉车的货叉12的叉尖处设置测距传感器60，可以在所述叉车在运动过程中如若检测到近距离障碍物时触发急停功能，以保证所述叉车的运行安全。
在一个实施例中，如图1和图2所示，所述叉车还包括：安全触边13，所述安全触边13设置在所述操作台11前方两侧且位于所述激光雷达下方。由于深度传感器30极近距离处很可能会有视觉盲区，所述安全触边13用于在叉车前进方向上检测地面的障碍物，当安全触边与障碍物碰撞后会触发叉车的急停功能。
在本实施例中，通过在操作台的前端前方两侧位置设置安全触边，可以在深度传感器极近距离处存在视觉盲区时，在叉车前进方向上与障碍物碰撞后会触发急停功能。
在一个实施例中，如图1和图2所示，所述叉车还包括：至少一个接近开关或行程开关14，用于触发判断货叉精准对位***托盘插槽是否已插到位，当接近开关/行程开关14触发说明货叉已经插到位。
本发明实施例提供的一种叉车，例如自动液压搬运车，在执行托盘搬运任务时，操作如下：
自动液压搬运车接收到服务器下发的运送某一托盘从指定地点(x1,y1) 到指定地点(x2,y2)的指令。
自动液压搬运车到达指定点(x1,y1)附近，通过深度传感器初步识别托盘并确定托盘的初步位置。
自动液压搬运车掉头，依托后置深度摄像头精准定位托盘位置，向前移动使货叉与托盘插槽精准对位，直到接近开关/行程开关触发说明货叉已经插到位。
自动液压搬运车将托盘提升到一定高度，并将托盘运送到指定位置(x2, y2)附近。
自动液压搬运车掉头，并向后移动。由于托盘在满载货物的情况下，货物会遮挡后置深度摄像头，所以要依托单点测距传感器5为叉车在后移过程中提供直线方向上的障碍物检测，以提供安全保障。
自动液压搬运车向后移动到指定位置(x2,y2)时，将托盘放到地面后，向前移动使货叉脱离托盘插槽，完成整个托盘搬运任务。
在自动液压搬运车行进过程中，会有三种传感器(激光雷达、前置广角鱼眼跟随摄像头、轮盘编码器)里程计数的时间同步、经过卡尔曼滤波形成自动液压搬运车位姿的最优估计，确保导航精度；同时行进过程中，采用激光雷达进行路径上的障碍物识别，采用深度传感器进行三维障碍物、可移动障碍物识别，安全触边补充检测离地很低处的障碍物。此外，在自动液压搬运车接收到服务器指令时，服务器中原来就存储了仓库的全局地图，此时，服务器会发送一个比较粗糙的路径给自动液压搬运车，自动液压搬运车根据此路径行走，在行进路上遇到障碍物需要避障，叉车上的各种传感器(激光雷达、前置广角鱼眼跟随摄像头、轮盘编码器)可以时时地定位自己的现在位置，通过各个传感器的数据重新规划一条精确无障碍物的路径去避开障碍物后移动到目标地。
在一个实施例中，如图5所示，本发明提供一种叉车定位的方法，应用于叉车，所述叉车包括：分别设置在操作台前端两侧的预定高度处的左激光雷达和右激光雷达；所述方法包括：
S1、分别获取左激光雷达和右激光雷达数据。
S2、分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
S3、通过轮盘编码器里程计得到轮盘编码器里程计的状态估计。
S4、将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步。
S5、将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。
在本实施例中，通过将若干激光雷达分别设置在所述操作台前方两侧的预定高度(例如200mm或者220mm)处，在不同视角下提供的扫描信息更为丰富，可充分利用激光雷达的扫描范围(270°)在较低位置尽可能的扫描和利用到了叉车前面及两侧的复杂多样的物理环境(因为离地200mm高度的物理环境复杂多样)的激光雷达数据信息，并对左右激光雷达数据通过Scan Match 处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；将激光雷达数据与轮盘编码器里程计数据进行时间同步，并对经过时间同步的数据进行卡尔曼滤波，得到最优状态估计，从而使得对叉车的位姿以及状态的估计更为准确。同时，深度传感器使得叉车能在三维空间中感知前方视野范围内的静态物体障碍物或物理环境中的移动物体障碍物，从而进行动态路径规划和避障，从而提高导航精度，可以实现避障功能，尤其是针对人或移动物体的避障。后置深度摄像头则可同时利用RBG信息和深度信息，对叉车要插取的目标进行识别和位姿估计，从而对能对位置不确定的货物进行精确的插取动作。同时多个传感器提高了冗余与健壮性，无论是在光线条件较弱还是在一侧激光观测信息较弱或是轮盘编码器出现错误的情况下，叉车仍然可以对自身继续输出相对最优的状态估计。同时，可以增加二维激光雷达的选型范围，有利于降低成本。
在一个实施例中，所述步骤S2中，所述分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；包括：
Scan to Scan Match，即为两帧激光雷达数据之间的匹配。当前帧的激光雷达数据为A，和它匹配的另一帧激光数据为B。如果以A为起始帧，B为目标帧，那么A经过一个相对平移和旋转变换到B，在确定这个相对平移量和旋转角度，可以采用ICP算法(IterativeClosest Point，迭代最近点算法)， ICP算法充分利用了激光雷达每个数据点来进行匹配，匹配效果较好。
左右雷达数据处理过程如下：
设ST为激光雷达在时间T扫描得到的点云数据，ST-1为激光雷达在时间T-1扫描得到的，通过ICP算法处理激光雷达数据：
其中，(Δx,Δy,Δθ)为各自状态估计的误差估计(激光两帧之前间匹配得到状态差)，Cov为方差；Δx为X轴方向的位移差，Δy为Y轴方向的位移差，Δθ为转动角度的差。
通过以上ICP算法，可以得到左右激光雷达数据的各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
在一个实施例中，所述步骤S3中，所述通过轮盘编码器里程计得到轮盘编码器里程计的状态估计，包括：
轮盘编码器里程计是叉车的重要组成部分，采用航迹推演算法对叉车的位姿进行估计，并对叉车的当前线速度以及角速度进行估算。无论是叉车的定位导航还是普通的运动控制，都需要轮式里程计。
在一个实施例中，所述叉车进一步包括设置在操作台的前端中间位置的前置跟随摄像头；所述方法还包括：通过前置跟随摄像头获取视觉惯性里程计的输出数据，包括：
通过前置跟随摄像头提供视觉惯性导航功能，视觉惯性里程计采用基于特征点的方法来对前置跟随摄像头运动进行估算，并获取视觉惯性里程计的输出数据。其中，视觉惯性里程计，是指依靠视觉传感器从几个相邻图像中估计相机运动的里程计。相邻图像间的相似性，为估计相机运动提供了依据。
在一个实施例中，所述步骤S4中，所述将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步；包括：
将视觉惯性里程计(VIO)数据与轮盘编码器里程计(wheel-encoder) 数据分别进行下微分，得到微分后的(Δx,Δy,Δθ,Δt,Cov)：
其中，OT表示t时刻的里程计数据。
将激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据中(Δx,Δy,Δθ,Δt)的采用以下公式进行计算，得到(ν，ω，Cov)：
ω＝Δθ/Δt
其中，ΔS为Δt时间内的位移差，v为速度，ω为角速度。
根据以上的公式，最终得到经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据(v，ω，Cov)即：(v，ω，Cov)left-lidar、 (v，ω，Cov)right-lidar、(v，ω，Cov)VIO、(v，ω，Cov)wheel-encode。
在一个实施例中，如图6所示，所述步骤S5中，所述将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计；包括：
将经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据全部输入卡尔曼滤波器中进行融合，得到最优状态估计：
(x,y,θ,Cov)
其中，
xt＝xt-1+vΔtcosθt-1
yt＝yt-1+vΔtsinθt-1
θt＝θt-1+ωΔt
其中，x为X轴方向的位移，y为Y轴方向的位移，θ为转动角度，Cov 为方差，xt为t时刻X轴方向的位移，yt为t时刻Y轴方向的位移，xt-1为t-1 时刻X轴方向的位移，yt-1为t-1时刻Y轴方向的位移，θt-1为t时刻的转动角度，v为速度，ω为角速度。
需要说明的是，上述方法实施例与叉车实施例属于同一构思，其具体实现过程详见叉车实施例，且叉车实施例中的技术特征在方法实施例中均对应适用，这里不再赘述。
此外，本发明实施例还提供一种叉车，如图7所示，包括：存储器、处理器及存储在所述存储器中并可在所述处理器上运行的一个或者多个计算机程序，所述一个或者多个计算机程序被所述处理器执行时以实现本发明实施例提供的一种叉车定位的方法的以下步骤：
S1、分别获取左激光雷达和右激光雷达数据。
S2、分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
S3、通过轮盘编码器里程计得到轮盘编码器里程计的状态估计。
S4、将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步。
S5、将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。
上述本发明实施例揭示的方法可以应用于所述处理器901中，或者由所述处理器901实现。所述处理器901可能是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器901中的硬件的集成逻辑电路或软件形式的指令完成。所述处理器901可以是通用处理器、DSP、或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器901可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器902，所述处理器901读取存储器 902中的信息，结合其硬件完成前述方法的步骤。
可以理解，本发明实施例的存储器902可以是易失性存储器或者非易失性存储器，也可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read-Only Memory)、可编程只读存储器(PROM， Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM， Erasable Read-Only Memory)、电可擦除只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM， Ferromagnetic Random Access Memory)、闪存(Flash Memory)或其他存储器技术、光盘只读存储器(CD-ROM，Compact Disk Read-Only Memory)、数字多功能盘(DVD，Digital Video Disk)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置；易失性存储器可以是随机存取存储器(RAM， Random Access Memory)，通过示例性但不是限制性说明，许多形式的RAM 可用，例如静态随机存取存储器(SRAM，Static Random AccessMemory)、静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是，上述设备实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在设备实施例中均对应适用，这里不再赘述。
另外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有一种物品分拣程序，所述一种物品分拣程序被处理器执行时以实现本发明实施例提供的一种叉车定位的方法的以下步骤：
S1、分别获取左激光雷达和右激光雷达数据。
S2、分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
S3、通过轮盘编码器里程计得到轮盘编码器里程计的状态估计。
S4、将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步。
S5、将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计。
需要说明的是，上述计算机可读存储介质上的一种叉车定位的方法程序实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (12)

1.一种叉车定位的方法，应用于叉车，其特征在于，所述叉车包括：分别设置在操作台前端两侧的预定高度处的左激光雷达和右激光雷达，所述方法包括：
分别获取左激光雷达和右激光雷达数据；
分别对左右激光雷达数据通过Scan Match处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；
通过轮盘编码器里程计得到轮盘编码器里程计的状态估计；
将得到的激光雷达数据与轮盘编码器里程计数据进行时间同步；
将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计；
所述叉车进一步包括设置在操作台的前端中间位置的前置跟随摄像头；所述方法包括：通过前置跟随摄像头获取视觉惯性里程计的输出数据，包括：
通过前置跟随摄像头提供视觉惯性导航功能，视觉惯性里程计采用基于特征点的方法来对前置跟随摄像头运动进行估算，并获取视觉惯性里程计的输出数据；
所述叉车包括：车体、若干个激光雷达、深度传感器、后置深度摄像头；其中：
所述车体的前端设置有操作台，所述车体的后端设置有用于承载插取目标的货叉；
若干所述激光雷达，分别设置在所述操作台前端两侧，且所述激光雷达与地面具有一个预定高度，用于在预设扫描范围内扫描所述叉车的前面及两侧的环境；
所述深度传感器，设置在所述操作台的前端，在左右方向上所述深度传感器位于两侧的所述激光雷达之间，用于采集所述叉车周围的静态物体或物理环境中的移动物体以进行视觉避障；
所述后置深度摄像头，设置在所述操作台的后端中间位置，用于叉车的插取目标并精确定位插取目标的位置；
其中，所述叉车在到达预定位置后，所述深度传感器初步确认插取目标的坐标位置，所述叉车掉头使得后置深度摄像头对托盘的插槽进行精准对位，以使所述车体的货叉对准并***托盘的插槽。
2.如权利要求1所述的方法，其特征在于，所述分别对左右激光雷达数据通过ScanMatch处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差；包括：
分别通过ICP算法对左右激光雷达数据处理得到各自帧与帧之间的状态估计，同时得到各自状态估计的误差估计与方差。
3.如权利要求1所述的方法，其特征在于，所述通过轮盘编码器里程计得到轮盘编码器里程计的状态估计，包括：
采用航迹推演算法对叉车的位姿进行估计，得到轮盘编码器里程计的状态估计。
4.如权利要求1所述的方法，其特征在于，所述将得到的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据进行时间同步；包括：
将视觉惯性里程计数据与轮盘编码器里程计数据分别微分，得到微分后的(Δx,Δy,Δθ,Δt,Cov)；
将激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据中得到微分后的(Δx,Δy,Δθ,Δt)采用以下公式进行计算，得到经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据(ν，ω，Cov)：
其中，Δs为Δt时间内的位移差，v为速度，ω为角速度。
5.如权利要求4所述的方法，其特征在于，所述将经过时间同步的数据进行卡尔曼滤波，得到最优状态估计；包括：
将经过时间同步的激光雷达数据、视觉惯性里程计数据与轮盘编码器里程计数据全部输入卡尔曼滤波器中进行融合，得到最优状态估计。
6.一种叉车，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的一种叉车定位的方法的步骤。
7.如权利要求6所述的叉车，其特征在于，所述叉车还包括深度传感器，所述深度传感器设置在所述操作台的前端，在左右方向上所述深度传感器位于两侧的所述激光雷达之间，用于采集所述叉车周围的静态物体或物理环境中的移动物体以进行视觉避障。
8.如权利要求6所述的叉车，其特征在于，所述叉车还包括后置深度摄像头，所述后置深度摄像头，设置在所述操作台的后端中间位置，用于叉车的插取目标并精确定位插取目标的位置。
9.如权利要求6所述的叉车，其特征在于，所述叉车设置有货叉；所述叉车还包括若干测距传感器，设置在所述叉车的货叉的叉尖处，用于在所述叉车在运动过程中检测到近距离障碍物时触发急停功能。
10.如权利要求6所述的叉车，其特征在于，所述叉车还包括安全触边，所述安全触边设置在所述操作台前方两侧且位于所述激光雷达下方，用于在叉车前进方向上检测地面的障碍物，当安全触边与障碍物碰撞后会触发叉车的急停功能。
11.如权利要求6所述的叉车，其特征在于，所述叉车还包括至少一个接近开关或行程开关，用于触发判断货叉精准对位***托盘插槽是否已插到位，当接近开关/行程开关触发说明货叉已经插到位。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一种叉车定位的方法的程序，所述一种叉车定位的方法的程序被处理器执行时实现如权利要求1至5中任一项所述的一种叉车定位的方法的步骤。
CN202010463459.0A 2020-05-27 2020-05-27 一种叉车定位的方法、叉车及计算机可读存储介质 Active CN111638530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010463459.0A CN111638530B (zh) 2020-05-27 2020-05-27 一种叉车定位的方法、叉车及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010463459.0A CN111638530B (zh) 2020-05-27 2020-05-27 一种叉车定位的方法、叉车及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111638530A CN111638530A (zh) 2020-09-08
CN111638530B true CN111638530B (zh) 2023-09-19

Family

ID=72329466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010463459.0A Active CN111638530B (zh) 2020-05-27 2020-05-27 一种叉车定位的方法、叉车及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111638530B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269378B (zh) * 2020-09-23 2022-11-11 锐捷网络股份有限公司 一种激光定位方法及装置
CN112614183A (zh) * 2020-12-25 2021-04-06 深圳市镭神智能***有限公司 托盘位姿检测方法、装置、设备和存储介质
CN115701810A (zh) * 2020-12-25 2023-02-14 深圳怪虫机器人有限公司 一种光伏清洁机器人辅助定位的方法
CN115436964B (zh) * 2022-11-09 2023-03-24 深圳市壹站智汇科技有限公司 物体识别和路径规划方法、搬运车、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104848851A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN106525053A (zh) * 2016-12-28 2017-03-22 清研华宇智能机器人（天津）有限责任公司 一种基于多传感器融合的移动机器人室内定位方法
CN107272008A (zh) * 2017-06-14 2017-10-20 上海大学 一种带惯性补偿的agv激光导航***
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及***
CN110530368A (zh) * 2019-08-22 2019-12-03 浙江大华技术股份有限公司 一种机器人定位方法及设备
CN110868269A (zh) * 2020-01-19 2020-03-06 上海高仙自动化科技发展有限公司 一种实现传感器之间同步的确定方法、装置、电子设备及存储介质
CN110954100A (zh) * 2019-12-30 2020-04-03 广东省智能制造研究所 一种基于激光与惯导融合的足式机器人本体状态估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104848851A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 基于多传感器数据融合构图的变电站巡检机器人及其方法
CN106525053A (zh) * 2016-12-28 2017-03-22 清研华宇智能机器人（天津）有限责任公司 一种基于多传感器融合的移动机器人室内定位方法
CN107272008A (zh) * 2017-06-14 2017-10-20 上海大学 一种带惯性补偿的agv激光导航***
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及***
CN110530368A (zh) * 2019-08-22 2019-12-03 浙江大华技术股份有限公司 一种机器人定位方法及设备
CN110954100A (zh) * 2019-12-30 2020-04-03 广东省智能制造研究所 一种基于激光与惯导融合的足式机器人本体状态估计方法
CN110868269A (zh) * 2020-01-19 2020-03-06 上海高仙自动化科技发展有限公司 一种实现传感器之间同步的确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111638530A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111638530B (zh) 一种叉车定位的方法、叉车及计算机可读存储介质
CN109160452B (zh) 基于激光定位和立体视觉的无人转运叉车及导航方法
CN110837814B (zh) 车辆导航方法、装置及计算机可读存储介质
KR102022773B1 (ko) 자율주행차량의 정밀위치감지 장치, 감지방법, 그 정밀위치감지장치를 통한 정차지원 시스템 및 정차지원방법
US20200074192A1 (en) Vehicle-Mounted Image Processing Device
US9417071B2 (en) Method and system for sensing the position of a vehicle
WO2019187816A1 (ja) 移動体および移動体システム
US20090309970A1 (en) Vehicle Operation System And Vehicle Operation Method
CN109947089B (zh) 自动引导车姿态控制方法和装置、自动引导车
CN107229903B (zh) 机器人避障的方法、装置及存储装置
US11768503B2 (en) Position estimation device, control device, industrial vehicle, logistics support system, position estimation method, and program
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
Baglivo et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method
JP7469494B2 (ja) 自動誘導車の制御方法及びその方法を実行するように構成される制御システム
WO2019026761A1 (ja) 移動体およびコンピュータプログラム
US20220366596A1 (en) Positioning system for measuring position of moving body using image capturing apparatus
EP3620885A1 (en) Autonomous mobile apparatus
JP2008052669A (ja) 自律移動装置
US20210101747A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
CN212669124U (zh) 一种叉车
CN111717843A (zh) 一种物流搬运机器人
CN110968089A (zh) 自动引导车及其控制***和控制方法
JP7482453B2 (ja) 測位装置及び移動体
CN115244585A (zh) 用于控制货场上的车辆的方法、行驶控制单元和车辆
JP2021160931A (ja) 荷役システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 511458 Room 601, building 5, CRCC global center, No.1 Jingang Avenue, Nansha District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou lanpangzi Mobile Technology Co.,Ltd.

Address before: 511458 room 01, building B, No.16, Meide 2nd Road, Nansha District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU LANPANGZI ROBOT Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant