CN108012325B - 一种基于uwb和双目视觉的导航定位方法 - Google Patents

一种基于uwb和双目视觉的导航定位方法 Download PDF

Info

Publication number
CN108012325B
CN108012325B CN201711052250.XA CN201711052250A CN108012325B CN 108012325 B CN108012325 B CN 108012325B CN 201711052250 A CN201711052250 A CN 201711052250A CN 108012325 B CN108012325 B CN 108012325B
Authority
CN
China
Prior art keywords
point
image
coordinate system
forklift
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711052250.XA
Other languages
English (en)
Other versions
CN108012325A (zh
Inventor
王丹
陆满君
龚明
胡昆霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shentian Industrial Co ltd
Original Assignee
Shanghai Shentian Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shentian Industrial Co ltd filed Critical Shanghai Shentian Industrial Co ltd
Priority to CN201711052250.XA priority Critical patent/CN108012325B/zh
Publication of CN108012325A publication Critical patent/CN108012325A/zh
Application granted granted Critical
Publication of CN108012325B publication Critical patent/CN108012325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于UWB和双目视觉的导航定位方法，该方法为：步骤1、建立基于UWB基站的拓扑结构；步骤2、根据叉车来布设一个定位标签，确定叉车的位置信息；步骤3、确定定位标签的位置；步骤4、上位机得到叉车的定位信息，控制器控制叉车的驱动装置，使叉车运动；步骤5、启动双目视觉模块，采用基于三角测量的方法，利用两个摄像机对货架进行成像，从视差中恢复距离信息；步骤6、测出货架托盘相对叉车的距离信息和姿态信息，通过控制叉车的驱动装置进行距离移动和转向，使叉车正对货架托盘；步骤7、对货架上的货品实施搬运或卸载操作。本发明可以进一步调整智能叉车的位置和姿态，便于叉车完成后续的搬运或卸载任务。

Description

一种基于UWB和双目视觉的导航定位方法
技术领域
本发明涉及导航定位技术领域，特别涉及一种基于UWB和双目视觉组合的导航定位方法。
背景技术
现代化大型仓储物流中心逐步实现了由“机器代替人”的情况，大量移动机器人穿梭其中，逐渐成为生产或者物流运输中非常重要的一个环节。叉车或其他移动机器人实现其功能必须实现以下几个步骤：(1)环境地图的建立；(2)自身定位(3)路径的规划。
现有的定位导航技术包括激光、磁力线、二维码、wifi、蓝牙、惯性导航等，以上几种定位技术都各有优缺点，可以具体结合实际情况来进行合理设计和选择。
目前，在人机混合工作的仓储物流中心，使用具有自主定位导航功能的智能实施搬运时，会出现由于无法了解到物摆放姿态而造成的定位精度较差的问题，在人力参与卸载货物的时这种情况尤其突出，无法实现快速高精度定位导航，制约了智能叉车移对货物的后续操作。
发明内容
本发明的目的是提供一种基于UWB和双目视觉的导航定位方法，其适用于人机混合工作的区域，通过基于UWB的拓扑网络对叉车进行定位，利用双目视觉对货物的位置和姿态进行测量，以便调整叉车相对于货物的距离和朝向角，便于后续的搬运或者卸载操作。
为达到上述目的，本发明提供了一种基于UWB和双目视觉的导航定位方法，该方法的步骤为：
步骤1、建立基于UWB基站的拓扑结构；
步骤2、根据叉车布设一个定位标签，通过利用UWB基站的布置及定位标签的标定，确定叉车的位置信息；
步骤3、根据建立的UWB基站的拓扑结构进行定位，来确定所述定位标签的位置信息；
步骤4、上位机通过无线网络得到叉车的定位信息，基于路径规划，通过无线通信网络将控制信息发送至叉车的控制器；所述控制器控制叉车的驱动装置，使叉车按照规划的路线从起始点运动到目的地；
步骤5、启动双目视觉模块，采用基于三角测量的方法，利用两个摄像机对货架进行成像，从视差中恢复距离信息；
步骤6、根据双目视觉模块测出货架托盘相对叉车的距离信息和姿态信息，通过控制叉车的驱动装置进行距离移动和转向，使叉车正对货架托盘；
步骤7、控制所述叉车的起重***，对货架上的货品实施搬运或卸载操作。
优选地，所述拓扑结构包含上位机、三个UWB基站、定位标签和同步器；三个UWB基站不在同一条直线上，所述定位标签设置在叉车的纵向中心线的中心，UWB基站和同步器设置在定位标签的周围。
优选地，每隔50-100米布置一个UWB基站，使通过UWB基站及定位标签来确定叉车的位置。
优选地，在任意时刻，UWB基站可接收所述定位标签发出的脉冲信号。
优选地，所述步骤3的方法具体为：
所述同步器通过UWB通信方式发送同步消息给三个UWB基站，所述UWB基站接收到所述同步信号后进行修正各自的***时间；
所述定位标签通过UWB通信方式向三个UWB基站发送信息，所述UWB基站分别存储所述定位标签发送信息到达该UWB基站的时间；
完成时间存储后，通过UWB基站各自将UWB基站接收到同步信号后修正的***时间以及同步器发送的同步信息发送给上位机服务器进行计算，确定所述定位标签的位置信息。
优选地，所述步骤5包含：
步骤5.1、图像滤波：采用中值滤波的方法分别对左右摄像头图像进行滤波，消除噪声干扰，得到平滑的左、右摄像头图像；所述步骤4.1具体方法为：先确定一个奇数像素的二维窗口W，尺寸为k*l，窗口内各像素按灰度大小排队后，用其中间位置的灰度值代替原灰度值，得到：
f(x,y)＝median{h(x-k,y-l),(k,l)∈W} (1)
式中，h(x,y)为原灰度值，f(x,y)为增强图像的灰度值，W为选定窗口大小；
步骤5.2、边沿检测：通过canny边缘检测的方法对两幅图像分别进行边沿检测，得到边沿特征信息；
步骤5.3、特征信息提取：对进行边沿检测后的图像进行角点、直线、圆或椭圆特征提取，并从中识别选定的特征点信息；
步骤5.4、立体匹配：根据识别出特征点在左、右摄像头中的二维信息，完成左右两幅不同图像上的特征点对应匹配，并去除坏的匹配点；
步骤5.5、目标位置和姿态的测量：根据立体匹配结果，构建测试对象坐标系，并计算出其相对于世界坐标的位置和姿态。
优选地，所述步骤5.2包含：
步骤5.2.1、先用高斯滤波函数G(x,y)对图像f(x,y)进行平滑滤波，高斯滤波函数G(x,y)与图像f(x,y)卷积得到平滑的图像g(x,y)，可得：
Figure BDA0001450079730000031
Figure BDA0001450079730000032
式中，G(x,y)为二维高斯分布函数，σ为正态分布的标准偏差；
步骤5.2.2、计算平滑图像g(x,y)中每个像素点(x,y)的梯度强度和方向，计算平滑图像g(x,y)中每个像素点(x,y)的梯度强度和方向，可得：
Figure BDA0001450079730000033
图像g(x,y)中每个像素点(x,y)的梯度强度
Figure BDA0001450079730000034
和梯度方向θ(x,y)分别为：
Figure BDA0001450079730000041
Figure BDA0001450079730000042
式中，Ex、Ey分别为G(x,y)的一阶方向导数与图像f(x,y)的卷积；
步骤5.2.3、计算边缘点：中心边缘点为G(x,y)与f(x,y)的卷积在边缘梯度方向上的区域中的最大值点；通过在每一个梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点。
优选地，所述步骤5.3包含：
步骤5.3.1、角点提取：采用基于Harris算子的点特征提取方法，角点响应函数为：
R＝det M-k(traceM)2 (5)
式中，
Figure BDA0001450079730000043
detM＝λ1×λ2，traceM＝λ1+λ2，k为权值系数，取值0.04～0.06；gx为x方向的梯度，gy为y方向的梯度，
Figure BDA0001450079730000044
为高斯滤波模板；设具有特征值λ1和λ2，判断条件为：
b1、λ1>>λ2或λ2>>λ1，对应点为边缘点，对应的R为负；
b2、λ1和λ2都很小，对应点为图像上的普通点，对应的|R|值小；
b3、λ1和λ2都很大，对应点为角点，对应的R值大；
步骤5.3.2、直线提取：采用Hough变换的方法对区域边界形状进行描述；设一幅图像的内容为一条线段，其上一点A的坐标为xi和yi，对应的参数空间值为ρ和θ分别为该点的极距和极角；极距和极角之间的映射关系为：
ρ＝xi cosθ+yi sinθ (6)
在参数空间中，极距ρ的最大值为
Figure BDA0001450079730000045
其中，xmax和ymax为图像的最大坐标值；极角θ的变化范围为0°～180°。
优选地，所述步骤5.4采用欧式距离方法作为相似性度量的标准，给定参考图像和待匹配图像上的特征点pi和qj，欧式距离值Dij定义为：
Figure BDA0001450079730000051
其中，Li(k)和Lj(k)分别为特征点pi和qj的特征描述向量；根据欧式距离的特征，当Dij值越小，表示特征点pi和qj越相似，越可能是匹配点对；设定一个阈值T，如果Dij值小于T时，特征点pi和qj被认为是匹配的；
所述步骤5.4的步骤包含：
5.4a、取标准图像中的特征点P1，在待匹配图像中找出与其欧氏距离最近的前两个特征点Pr1和Pr2，若特征点Pr1和Pr2中最近的距离Dmin除以次近的距离Ucmin小于匹配阈值，则表示标准图像中的这个特征点P1与待匹配图像中欧氏距离最近的特征点Pr1匹配；
5.4b、以待匹配图像中Pr1为特征点，重复步骤4.4a的过程，求取标准图像中Pr1的候选匹配点P1’；如果Pl和P1’是相同点，则Pl和Pr1匹配成功，否则弃之；
5.4c、循环进行，直到匹配完成。
优选地，所述步骤5.5包含：
步骤5.5.1、位置测量；设置两摄像机的投影中心的连线距离为基线距为b，摄像机坐标的原点在摄像机镜头的光心处，左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2，空间中任意一点P在左图像和右图像中相应的坐标分别为P1(x1,y1)和P2(x2,y2)，点P在左摄像机坐标系中的坐标为(x,y,z)，由以下公式计算距离：
Figure BDA0001450079730000061
式中，Δz表示测量得出的被测点与立体视觉***之间距离的精度，z指被测点与立体视觉***的绝对距离，f指摄像机的焦距，b表示双目立体视觉***的基线距，Δd表示被测点视差精度；
步骤5.5.2、姿态测量；根据摄像机中心投影成像的过程，建立的坐标系有：
1-1、物体坐标系OO-xOyOzO，设目标上第i个特征点在此坐标系上的坐标为qi＝[xoi,yoi,zoi]T；
2-2、测量坐标系OS-xSySzS，将第一个摄像机的摄像机坐标系作为测量坐标系，设目标上第i个特征点在此坐标系上的坐标为pi＝[xSi,ySi,zSi]T；
3-3、两个摄像机所采集图像的像素坐标系o-uLvL和o-uRvR，以成像平面左上角为原点，uL，vL轴分别平行于像平面坐标系的x轴和y轴；目标第i个特征点在两图像上的投影在其像素坐标系下的坐标分别为[uL,vL]T和[uR,vR]T；
以第一个摄像机坐标系作为测量坐标系，则两摄像机的投影矩阵为：
M1＝K[1 0] (9)
M2＝K[RC TC] (10)
其中，K为摄像机的内参数矩阵，RC和TC为第二个摄像机相对于第一个摄像机的旋转矩阵和平移向量；对于投影矩阵M1，令M11、M12、M13为对应于M1的行向量，设第一个摄像机所采集图像上的第i个特征点的齐次坐标为[uLi vLi 1]T，Pi为该特征点的测量坐标系下的齐次坐标，得到：
Figure BDA0001450079730000071
对于投影矩阵M2、
Figure BDA0001450079730000072
与该特征点在第二个摄像机所采集图像上投影的齐次坐标系有关系[uRi vRi 1]T：
Figure BDA0001450079730000073
联立公式(11)和公式(12)可得：
Figure BDA0001450079730000074
从公式(13)中可通过最小二乘原理求解出
Figure BDA0001450079730000075
设两摄像机所采集图像上得到的n个配对的特征点图像投影，特征点在测量坐标系下的三维坐标P＝{pi}(i＝1,…,n)经解算得到，在物体坐标系下的三维坐标Q＝{qi}(i＝1,…,n)已知，得到坐标系关系为：
P＝sRQ+T (14)
其中，s为比例系数；T为位移向量，是一个三维向量，即T＝[Tx,Ty,Tz]T；R为旋转矩阵，是一个3×3的单位正交矩阵；
若是理想的测量数据，由所有点的信息直接求解公式(14)，得到s、R、T；由于会存在误差，则误差为：
ei＝pi-sRqi-T (15)
根据最小二乘理论，当所有测量误差的平方和
Figure BDA0001450079730000076
最小时，能得到最合适的解；
假设该n个特征点的质心在测量坐标系和物体坐标系中的坐标分别为：
Figure BDA0001450079730000081
得到分别以质心为原点的坐标系下的新坐标：
Figure BDA0001450079730000082
误差平方和可写为：
Figure BDA0001450079730000083
或者为：
Figure BDA0001450079730000084
其中，
Figure BDA0001450079730000085
通过计算出比例系数和旋转向量，根据特征点质心在测量坐标系和物体坐标系中的坐标可计算出位移向量；
采用欧拉角法来表示相对姿态，采用z→y→x的旋转顺序，对应的旋转矩阵为：
Figure BDA0001450079730000086
R为旋转矩阵，是三个角度(α,β,θ)的三角函数组合；绕X轴旋转角α为俯仰角，绕Y轴旋转角β为偏航角，绕Z轴旋转角θ为滚动角；通过位姿求解可得到旋转矩阵
Figure BDA0001450079730000091
(rij(i,j＝1,…,3)为矩阵第i行第j列的元素)，则根据公式(20)得到欧拉角为：
Figure BDA0001450079730000092
β＝arcsin(r13) (22)
Figure BDA0001450079730000093
与现有技术相比，本发明的有益效果为：本发明可适用于大型仓储物流中心，利用UWB技术与立视觉结合来实现移动机器人的定位信息的获取。本发明的双目视觉可以用于精细位置信息的获取，两者结合可以实现大型场所快速、高精度定位的功能；利用双目视觉对货物的位置和姿态进行测量，以便调整叉车相对于货物的距离和朝向角，便于后续的搬运或者卸载操作。
附图说明
图1本发明实施例提供的基于UWB的***的结构原理图；
图2本发明实施例提供的叉车定位导航方法流程图；
图3本发明的双目视觉算法的流程图；
图4本发明二维图像与目标三维信息的对应关系图。
具体实施方式
本发明提供了一种基于UWB和双目视觉的导航定位方法，为了使本发明更加明显易懂，以下结合附图和具体实施方式对本发明做进一步说明。
本发明的基于UWB(Ultra Wideband，其是一种无载波通信技术，利用纳秒至微微秒级的非正弦波窄脉冲传输数据)和双目视觉的导航定位方法尤其适用于大型仓储物流中心，主要利用UWB技术与立视觉结合来实现移动机器人的定位信息的获取。
如图1所示为本发明的实施例提供的基于UWB的***的结构原理图。该***包含一个上位机、三个UWB基站(分别为UWB基站1、UWB基站2和UWB基站3，三个UWB基站不在一条直线上)、一个定位标签和一个同步器。其中，定位标签设置在叉车的纵向中心线的中心。三个UWB基站和同步器设置在定位标签的周围，进行信号的传输。
任意时刻，UWB基站均能接收到定位标签发出的脉冲信号。
其中，每隔50-100米布置一个定位的UWB基站，即利用UWB基站的合理布置，以及参考标签的标定，可以确定叉车所在的具***置信息。
如图2所示为本发明实施例提供的导航定位方法流程图。该方法包括：
步骤1、根据大型仓储中心的实际布局进行区域划分，合理设计UWB基站的布局，建立基于UWB的拓扑设计；每隔50-100米布置一个定位的UWB基站，即利用UWB基站的合理布置，以及参考标签的标定，确定叉车所在的具***置信息。
步骤2、在叉车的纵向中心线布设一个定位标签：以叉车的纵向中心线为中心，布设一个定位标签。即可以利用定位标签反馈的位置信息来确定叉车的定位信息。
步骤3、根据UWB网络进行定位，具体为：
同步器通过UWB通信方式发送同步消息给三个UWB基站，UWB基站基站接收到同步信号后修正各自的***时间。定位标签通过UWB通信方式以一定的频率向三个UWB基站发送信息，UWB基站分别存储定位标签发送的信息到达该UWB基站的时间。
在完成时间存储后，将UWB基站接收到同步信号后修正的***时间以及同步器发送的同步信息各自地通过UWB基站发送给上位机服务器进行计算，最终确定定位标签的位置信息。
步骤4、上位机通过无线网络得到叉车的定位信息，通过路径规划，通过无线通信网络将控制信息发送至叉车的控制器，控制器控制叉车的驱动装置，使得叉车按照规划的路线从起始点运动到目的地。
步骤5、启动双目视觉模块，采用基于三角测量的方法，利用两个摄像机对货架进行成像，从视差中恢复距离信息。如图3所示，具体方法为：
步骤5.1、图像滤波：当采集与标定结束后，开始进行图像滤波，分别对左右摄像头图像进行滤波，消除噪声干扰，得到平滑的左、右摄像头图像。这里采用中值滤波的方法。其基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值。具体方法为首先确定一个奇数像素的二维窗口W，尺寸为k*l，窗口内各像素按灰度大小排队后，用其中间位置的灰度值代替原灰度值，即
f(x,y)＝median{h(x-k,y-l),(k,l)∈W} (1)
式中h(x,y)为原灰度值，f(x,y)为增强图像的灰度值，W为选定窗口大小。
步骤5.2，边沿检测：对两幅图像分别进行边沿检测，得到边沿特征信息。这里采用canny边缘检测的方法。
步骤5.2.1、首先用高斯滤波函数G(x,y)对图像f(x,y)进行平滑滤波，二者卷积可得到一个平滑的图像g(x,y)：
Figure BDA0001450079730000111
Figure BDA0001450079730000112
式中，G(x,y)为二维高斯分布函数，σ为正态分布的标准偏差。
步骤5.2.2、计算平滑图像g(x,y)中每个像素点(x,y)的梯度强度和方向：计算平滑图像g(x,y)中每个像素点(x,y)的梯度强度和方向：
Figure BDA0001450079730000113
则图像g(x,y)中每个像素点(x,y)的梯度强度
Figure BDA0001450079730000115
和梯度方向θ(x,y)分别为：
Figure BDA0001450079730000114
式中，Ex、Ey分别为G(x,y)的一阶方向导数与图像f(x,y)的卷积。
步骤5.2.3、计算边缘点。中心边缘点为G(x,y)与f(x,y)的卷积在边缘梯度方向上的区域中的最大值点；则可以在每一个梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点。
当一个像素满足以下三个条件时，则被认为是图像的边缘点：
(a1)该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度；
(a2)与该点梯度方向上相邻两点的方向差小于45°；
(a3)以该点为中心的3×3领域中的边缘强度极大值小于某个阈值。
此外，如果条件a1和条件a2同时被满足，那么在梯度方向上的两相邻像素就从候选边缘点中剔除，条件a3相当于用区域梯度最大值组成的阈值图像与边缘点进行匹配，这一过程消除了许多虚假的边缘点。
步骤5.3、特征信息提取：对进行边沿检测后的图像进行角点、直线、圆或椭圆特征提取，并从中识别选定的特征点信息。
步骤5.3.1、角点提取：采用基于Harris算子的点特征提取方法，角点响应函数为：
R＝det M-k(traceM)2 (5)
式中，
Figure BDA0001450079730000121
detM＝λ1×λ2，traceM＝λ1+λ2，k为权值系数，取值0.04～0.06；gx为x方向的梯度，gy为y方向的梯度，
Figure BDA0001450079730000122
为高斯滤波模板。设具有特征值λ1和λ2，则判断条件如下：
(b1)、λ1>>λ2或λ2>>λ1，对应点为边缘点，对应的R为负；
(b2)、λ1和λ2都很小，对应点为图像上的普通点(即图像上的平坦区域)，对应的|R|值小；
(b3)、λ1和λ2都很大，对应点为角点，对应的R值大。
步骤5.3.2直线提取：采用Hough变换的方法对区域边界形状进行描述的方法；设某幅图像的内容为一条线段；其上某点A的坐标为xi和yi，对应的参数空间值为ρ和θ分别为该点的极距和极角。它们之间的映射关系下式：
ρ＝xi cosθ+yi sinθ (6)
在参数空间中，极距ρ的最大值为
Figure BDA0001450079730000123
其中，xmax和ymax为图像(数据空间)的最大坐标值。极角θ的变化范围为0°～180°。
步骤5.4、立体匹配：根据识别出特征点在左、右摄像头中的二维信息，完成左右两幅不同图像上的特征点对应匹配，并去除坏的匹配点。
欧式距离是很常用的一种相似性度量方法，给定参考图像和待匹配图像上的特征点pi和qj，采用欧式距离方法作为相似性度量的标准，欧式距离值Dij定义如下：
Figure BDA0001450079730000131
其中，Li(k)和Lj(k)分别为特征点pi和qj的特征描述向量。根据欧式距离的特征，当Dij值越小，表示两个点越相似，越可能是匹配点对，设定一个阈值T，如果Dij值小于T时，这两个点被认为是匹配的。具体步骤为：
a)取标准图像中的特征点P1，在待匹配图像中找出与其欧氏距离最近的前两个特征点Pr1和Pr2，如果这两个特征点中最近的距离Dmin除以次近的距离Ucmin小于匹配阈值，则表示标准图像中的这个特征点P1与待匹配图像中欧氏距离最近的特征点Pr1匹配。
b)以待匹配图像中Pr1为特征点，重复步骤a)的过程，求取标准图像中Pr1的候选匹配点P1’。
c)如果Pl和P1’是相同点，则Pl和Pr1匹配成功，否则弃之。
d)重复这个流程，直到匹配完成。
步骤5.5、目标位置和姿态的测量：根据立体匹配结果，进一步构建测试对象坐标系，并计算出其相对于世界坐标的位置和姿态。具体步骤如下：
步骤5.5.1、位置测量；如图4所示，假设两摄像机的投影中心的连线距离即基线距为b，摄像机坐标的原点在摄像机镜头的光心处，左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2，空间中某点P在左图像和右图像中相应的坐标分别为P1(x1,y1)和P2(x2,y2)，点P在左摄像机坐标系中的坐标为(x,y,z)，可以由以下公式计算距离：
Figure BDA0001450079730000132
式中，Δz表示测量得出的被测点与立体视觉***之间距离的精度，z指被测点与立体视觉***的绝对距离，f指摄像机的焦距，b表示双目立体视觉***的基线距，Δd表示被测点视差精度。
步骤5.5.2、姿态测量：根据摄像机中心投影成像的过程，建立了以下几个坐标系：
1-1)物体坐标系OO-xOyOzO，设目标上第i个特征点在此坐标系上的坐标为qi＝[xoi,yoi,zoi]T；
2-2)测量坐标系OS-xSySzS，由于双目视觉只需考虑摄像机采集图像时所处的不同位置之间的关系，故将第一个摄像机的摄像机坐标系作为测量坐标系。设目标上第i个特征点在此坐标系上的坐标为pi＝[xSi,ySi,zSi]T。
3-3)两个摄像机所采集图像的像素坐标系o-uLvL和o-uRvR，以成像平面左上角为原点，uL，vL轴分别平行于像平面坐标系的x轴和y轴。目标第i个特征点在两图像上的投影在其像素坐标系下的坐标分别为[uL,vL]T和[uR,vR]T，坐标系之间的关系如图4所示。
由于是以第一个摄像机坐标系作为测量坐标系，两摄像机的投影矩阵为
M1＝K[1 0] (9)
M2＝K[RC TC] (10)
其中，K为摄像机的内参数矩阵，RC和TC为第二个摄像机相对于第一个摄像机的旋转矩阵和平移向量。对于投影矩阵M1，令M11、M12、M13为对应于M1的行向量，设第一个摄像机所采集图像上的第i个特征点的齐次坐标为[uLi vLi 1]T，Pi为该特征点的测量坐标系下的齐次坐标，有如下关系：
Figure BDA0001450079730000141
同理，对于投影矩阵M2，
Figure BDA0001450079730000142
与该特征点在第二个摄像机所采集图像上投影的齐次坐标系有类似关系[uRi vRi 1]T：
Figure BDA0001450079730000151
联立公式(11)和公式(12)可得：
Figure BDA0001450079730000152
从公式(13)中可以通过最小二乘原理求解出
Figure BDA0001450079730000153
设两摄像机所采集图像上可得到的n个配对的特征点图像投影，特征点在测量坐标系下的三维坐标P＝{pi}(i＝1,…,n)经解算得到，在物体坐标系下的三维坐标Q＝{qi}(i＝1,…,n)已知。这两个坐标系关系可表示为：
P＝sRQ+T (14)
其中，s为比例系数；T为位移向量，是一个三维向量，即T＝[Tx,Ty,Tz]T；R为旋转矩阵，是一个3×3的单位正交矩阵。
如果是理想的测量数据，则能由所有点的信息直接求解上述公式(14)，得到s、R、T。
但是总会存在误差，可得：
ei＝pi-sRqi-T (15)
根据最小二乘理论，当所有测量误差的平方和
Figure BDA0001450079730000154
最小时，便能得到最合适的解。
假设这n个特征点的质心在测量坐标系和物体坐标系中的坐标分别为：
Figure BDA0001450079730000155
则可以得到分别以质心为原点的坐标系下的新坐标：
Figure BDA0001450079730000157
则误差平方和可写为：
Figure BDA0001450079730000161
或者
Figure BDA0001450079730000162
其中，
Figure BDA0001450079730000163
通过计算出比例系数和旋转向量，根据特征点质心在测量坐标系和物体坐标系中的坐标即可计算出位移向量。
采用欧拉角法来表示相对姿态，采用z→y→x的旋转顺序，对应的旋转矩阵为：
Figure BDA0001450079730000164
R为旋转矩阵，是三个角度(α,β,θ)的三角函数组合。绕X轴旋转角α为俯仰角，绕Y轴旋转角β为偏航角，绕Z轴旋转角θ为滚动角。通过位姿求解可得到旋转矩阵
Figure BDA0001450079730000165
(rij(i,j＝1,…,3)为矩阵第i行第j列的元素)，则可根据公式(20)得到欧拉角为：
Figure BDA0001450079730000166
β＝arcsin(r13) (22)
Figure BDA0001450079730000167
步骤6、根据双目视觉测出货架托盘相对叉车的距离信息和姿态信息，控制其控制叉车的驱动装置进行距离移动和转向，使得叉车正对货架托盘。
步骤7、控制叉车的起重***，对货架上的货品实施搬运或卸载操作。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于UWB和双目视觉的导航定位方法，其特征在于，该方法的步骤为：
步骤1、建立基于UWB基站的拓扑结构；
步骤2、根据叉车布设一个定位标签，通过利用UWB基站的布置及定位标签的标定，确定叉车的位置信息；
步骤3、根据建立的UWB基站的拓扑结构进行定位，来确定所述定位标签的位置信息；
步骤4、上位机通过无线网络得到叉车的定位信息，基于路径规划，通过无线通信网络将控制信息发送至叉车的控制器；所述控制器控制叉车的驱动装置，使叉车按照规划的路线从起始点运动到目的地；
步骤5、启动双目视觉模块，采用基于三角测量的方法，利用两个摄像机对货架进行成像，从视差中恢复距离信息；所述步骤5包含：
步骤5.1、图像滤波：采用中值滤波的方法分别对左右摄像头图像进行滤波，消除噪声干扰，得到平滑的左、右摄像头图像；
步骤5.2、边沿检测：通过canny边缘检测的方法对两幅图像分别进行边沿检测，得到边沿特征信息；
步骤5.3、特征信息提取：对进行边沿检测后的图像进行角点、直线、圆或椭圆特征提取，并从中识别选定的特征点信息；
步骤5.4、立体匹配：根据识别出特征点在左、右摄像头中的二维信息，完成左右两幅不同图像上的特征点对应匹配，并去除坏的匹配点；
步骤5.5、目标位置和姿态的测量：根据立体匹配结果，构建测试对象坐标系，并计算出其相对于世界坐标的位置和姿态；
步骤6、根据双目视觉模块测出货架托盘相对叉车的距离信息和姿态信息，通过控制叉车的驱动装置进行距离移动和转向，使叉车正对货架托盘；
步骤7、控制所述叉车的起重***，对货架上的货品实施搬运或卸载操作；
所述拓扑结构包含上位机、三个UWB基站、定位标签和同步器；
三个UWB基站不在同一条直线上，所述定位标签设置在叉车的纵向中心线的中心，UWB基站和同步器设置在定位标签的周围；
所述步骤3的方法具体为：
所述同步器通过UWB通信方式发送同步信息给三个UWB基站，所述UWB基站接收到所述同步信息后进行修正各自的***时间；
所述定位标签通过UWB通信方式向三个UWB基站发送信息，所述UWB基站分别存储所述定位标签发送信息到达该UWB基站的时间；
完成时间存储后，通过UWB基站将各自接收到同步信息后修正的***时间以及标签到达UWB 基站的时间信息发送给上位机服务器进行计算，确定所述定位标签的位置信息。
2.如权利要求1所述的导航定位方法，其特征在于，
每隔50-100米布置一个UWB基站，使通过UWB基站及定位标签来确定叉车的位置。
3.如权利要求1或2所述的导航定位方法，其特征在于，
在任意时刻，UWB基站可接收所述定位标签发出的脉冲信号。
4.如权利要求1所述的导航定位方法，其特征在于，
所述步骤5.1具体方法为：先确定一个奇数像素的二维窗口W，尺寸为k*l，窗口内各像素按灰度大小排队后，用其中间位置的灰度值代替原灰度值，得到：
f(x,y)＝median{h(x-k,y-l),(k,l)∈W} (1)
式中，h(x,y)为原灰度值，f(x,y)为增强图像的灰度值，W为选定窗口大小。
5.如权利要求1所述的导航定位方法，其特征在于，
所述步骤5.2包含：
步骤5.2.1、先用高斯滤波函数G(x,y)对图像f(x,y)进行平滑滤波，高斯滤波函数G(x,y)与图像f(x,y)卷积得到平滑的图像g(x,y)，可得：
Figure FDA0002780217610000031
Figure FDA0002780217610000032
式中，G(x,y)为二维高斯分布函数，σ为正态分布的标准偏差；
步骤5.2.2、计算平滑图像g(x,y)中每个像素点(x,y)的梯度强度和方向，可得：
Figure FDA0002780217610000033
图像g(x,y)中每个像素点(x,y)的梯度强度
Figure FDA0002780217610000034
和梯度方向θ(x,y)分别为：
Figure FDA0002780217610000035
Figure FDA0002780217610000036
式中，Ex、Ey分别为G(x,y)的一阶方向导数与图像f(x,y)的卷积；
步骤5.2.3、计算边缘点：中心边缘点为G(x,y)与f(x,y)的卷积在边缘梯度方向上的区域中的最大值点；通过在每一个梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点。
6.如权利要求5所述的导航定位方法，其特征在于，
所述步骤5.3包含：
步骤5.3.1、角点提取：采用基于Harris算子的点特征提取方法，角点响应函数为：
R＝detM-k(traceM)2 (5)
式中，
Figure FDA0002780217610000037
detM＝λ1×λ2，traceM＝λ1+λ2，k为权值系数，取值0.04～0.06；gx为x方向的梯度，gy为y方向的梯度，
Figure FDA0002780217610000041
为高斯滤波模板；设具有特征值λ1和λ2，判断条件为：
b1、λ1>>λ2或λ2>>λ1，对应点为边缘点，对应的R为负；
b2、λ1和λ2都很小，对应点为图像上的普通点，对应的|R|值小；
b3、λ1和λ2都很大，对应点为角点，对应的R值大；
步骤5.3.2、直线提取：采用Hough变换的方法对区域边界形状进行描述；设一幅图像的内容为一条线段，其上一点A的坐标为xi和yi，对应的参数空间值为ρ和θ分别为该点的极距和极角；极距和极角之间的映射关系为：
ρ＝xicosθ+yisinθ (6)
在参数空间中，极距ρ的最大值为
Figure FDA0002780217610000042
其中，xmax和ymax为图像的最大坐标值；极角θ的变化范围为0°～180°。
7.如权利要求6所述的导航定位方法，其特征在于，
所述步骤5.4采用欧式距离方法作为相似性度量的标准，给定参考图像和待匹配图像上的特征点pi和qj，欧式距离值Dij定义为：
Figure FDA0002780217610000043
其中，Li(k)和Lj(k)分别为特征点pi和qj的特征描述向量；根据欧式距离的特征，当Dij值越小，表示特征点pi和qj越相似，越可能是匹配点对；
设定一个阈值T，如果Dij值小于T时，特征点pi和qj被认为是匹配的；所述步骤5.4的步骤包含：
5.4a、取标准图像中的特征点P1，在待匹配图像中找出与其欧氏距离最近的前两个特征点Pr1和Pr2，若特征点Pr1和Pr2中最近的距离Dmin除以次近的距离Ucmin小于匹配阈值，则表示标准图像中的这个特征点P1与待匹配图像中欧氏距离最近的特征点Pr1匹配；
5.4b、以待匹配图像中Pr1为特征点，重复步骤4.4a的过程，求取标准图像中Pr1的候选匹配点P1’；如果Pl和P1’是相同点，则Pl和Pr1匹配成功，否则弃之；
5.4c、循环进行，直到匹配完成。
8.如权利要求7所述的导航定位方法，其特征在于，
所述步骤5.5包含：
步骤5.5.1、位置测量；设置两摄像机的投影中心的连线距离为基线距为b，摄像机坐标的原点在摄像机镜头的光心处，左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2，空间中任意一点P在左图像和右图像中相应的坐标分别为P1(x1,y1)和P2(x2,y2)，点P在左摄像机坐标系中的坐标为(x,y,z)，由以下公式计算距离：
Figure FDA0002780217610000051
式中，Δz表示测量得出的被测点与立体视觉***之间距离的精度，z指被测点与立体视觉***的绝对距离，f指摄像机的焦距，b表示双目立体视觉***的基线距，Δd表示被测点视差精度；
步骤5.5.2、姿态测量；根据摄像机中心投影成像的过程，建立的坐标系有：
1-1、物体坐标系OO-xOyOzO，设目标上第i个特征点在此坐标系上的坐标为qi＝[xoi,yoi,zoi]T；
2-2、测量坐标系OS-xSySzS，将第一个摄像机的摄像机坐标系作为测量坐标系，设目标上第i个特征点在此坐标系上的坐标为pi＝[xSi,ySi,zSi]T；
3-3、两个摄像机所采集图像的像素坐标系o-uLvL和o-uRvR，以成像平面左上角为原点，uL，vL轴分别平行于像平面坐标系的x轴和y轴；目标上第i个特征点在两图像上的投影在其像素坐标系下的坐标分别为[uL,vL]T和[uR,vR]T；
以第一个摄像机坐标系作为测量坐标系，则两摄像机的投影矩阵为：
M1＝K[1 0] (9)
M2＝K[RC TC] (10)
其中，K为摄像机的内参数矩阵，RC和TC为第二个摄像机相对于第一个摄像机的旋转矩阵和平移向量；对于投影矩阵M1，令M11、M12、M13为对应于M1的行向量，设第一个摄像机所采集图像上的第i个特征点的齐次坐标为[uLi vLi 1]T，Pi为该特征点的测量坐标系下的齐次坐标，得到：
Figure FDA0002780217610000061
对于投影矩阵M2、
Figure FDA0002780217610000062
与该特征点在第二个摄像机所采集图像上投影的齐次坐标系有关系[uRi vRi 1]T：
Figure FDA0002780217610000063
联立公式(11)和公式(12)可得：
Figure FDA0002780217610000064
从公式(13)中可通过最小二乘原理求解出
Figure FDA0002780217610000071
设两摄像机所采集图像上得到的n个配对的特征点图像投影，特征点在测量坐标系下的三维坐标P＝{pi}(i＝1,…,n)经解算得到，在物体坐标系下的三维坐标Q＝{qi}(i＝1,…,n)已知，得到坐标系关系为：
P＝sRQ+T (14)
其中，s为比例系数；T为位移向量，是一个三维向量，即T＝[Tx,Ty,Tz]T；R为旋转矩阵，是一个3×3的单位正交矩阵；
若是理想的测量数据，由所有点的信息直接求解公式(14)，得到s、R、T；由于会存在误差，则误差为：
ei＝pi-sRqi-T (15)
根据最小二乘理论，当所有测量误差的平方和
Figure FDA0002780217610000072
最小时，能得到最合适的解；
假设该n个特征点的质心在测量坐标系和物体坐标系中的坐标分别为：
Figure FDA0002780217610000073
得到分别以质心为原点的坐标系下的新坐标：
Figure FDA0002780217610000074
误差平方和可写为：
Figure FDA0002780217610000075
或者为：
Figure FDA0002780217610000081
其中，
Figure FDA0002780217610000082
通过计算出比例系数和旋转向量，根据特征点质心在测量坐标系和物体坐标系中的坐标可计算出位移向量；
采用欧拉角法来表示相对姿态，采用z→y→x的旋转顺序，对应的旋转矩阵为：
Figure FDA0002780217610000083
R为旋转矩阵，是三个角度(α,β,θ)的三角函数组合；绕X轴旋转角α为俯仰角，绕Y轴旋转角β为偏航角，绕Z轴旋转角θ为滚动角；通过位姿求解可得到旋转矩阵
Figure FDA0002780217610000084
为矩阵第i行第j列的元素)，则根据公式(20)得到欧拉角为：
Figure FDA0002780217610000085
β＝arcsin(r13) (22)
Figure FDA0002780217610000086
CN201711052250.XA 2017-10-30 2017-10-30 一种基于uwb和双目视觉的导航定位方法 Active CN108012325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711052250.XA CN108012325B (zh) 2017-10-30 2017-10-30 一种基于uwb和双目视觉的导航定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711052250.XA CN108012325B (zh) 2017-10-30 2017-10-30 一种基于uwb和双目视觉的导航定位方法

Publications (2)

Publication Number Publication Date
CN108012325A CN108012325A (zh) 2018-05-08
CN108012325B true CN108012325B (zh) 2021-01-19

Family

ID=62051985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711052250.XA Active CN108012325B (zh) 2017-10-30 2017-10-30 一种基于uwb和双目视觉的导航定位方法

Country Status (1)

Country Link
CN (1) CN108012325B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108896956A (zh) * 2018-06-07 2018-11-27 邢敬宏 一种基于超宽带的自动引导车定位***和方法
CN109141442B (zh) * 2018-09-07 2022-05-17 高子庆 基于uwb定位与图像特征匹配的导航方法和移动终端
CN109584296A (zh) * 2018-09-28 2019-04-05 上海神添实业有限公司 一种基于单目视觉的叉车识别测距方法
CN109323696B (zh) * 2018-11-07 2022-07-08 航天信息股份有限公司 一种无人叉车室内定位导航***及导航方法
CN109521398A (zh) * 2018-12-05 2019-03-26 普达迪泰（天津）智能装备科技有限公司 一种基于多目视觉的定位***及定位方法
CN109795830A (zh) * 2019-03-04 2019-05-24 北京旷视科技有限公司 自动定位物流托盘的方法及装置
CN110032211A (zh) * 2019-04-24 2019-07-19 西南交通大学 多旋翼无人机自动避障方法
CN110650427B (zh) * 2019-04-29 2021-08-06 国网浙江省电力有限公司物资分公司 一种基于摄像机图像与uwb融合的室内定位方法和***
CN110362093B (zh) * 2019-08-06 2024-05-07 苏州红树林智能科技有限公司 基于视觉和三点定位的智能轮椅及其控制***的跟随方法
CN112395918B (zh) * 2019-08-16 2024-03-01 汉朔科技股份有限公司 货架物品识别方法、装置及***
JP7366651B2 (ja) * 2019-09-03 2023-10-23 東芝テック株式会社 棚撮像装置及び情報処理装置
CN110849367B (zh) * 2019-10-08 2021-12-10 杭州电子科技大学 基于融合uwb的视觉slam的室内定位与导航的方法
CN113126026B (zh) * 2019-12-31 2024-04-19 中移(成都)信息通信科技有限公司 定位***、方法及存储介质
JP7369626B2 (ja) * 2020-01-10 2023-10-26 三菱重工業株式会社 ビークルの制御システム、ビークルの制御方法及びプログラム
CN111610791B (zh) * 2020-07-08 2022-01-07 北京京东乾石科技有限公司 垃圾收集方法、装置、***、介质及电子设备
CN111966113A (zh) * 2020-08-19 2020-11-20 中国科学院合肥物质科学研究院 一种基于超带宽无线通信的智能工具车***
CN112284373A (zh) * 2020-10-16 2021-01-29 北京特种机械研究所 一种基于uwb无线定位和视觉定位的agv导航方法及***
CN112286187A (zh) * 2020-10-16 2021-01-29 北京特种机械研究所 一种基于uwb无线定位和视觉定位的agv导航控制***及方法
CN112437228B (zh) * 2020-10-27 2021-11-23 北京中铁建建筑科技有限公司 一种基于uwb跟随技术的塔吊吊钩可视化方法
CN112444777B (zh) * 2020-11-09 2024-03-12 北京中航瑞博航空电子技术有限公司 大范围、高精度位姿确定方法及其***
CN112613586A (zh) * 2020-12-15 2021-04-06 深圳市国芯物联科技有限公司 一种叉车数据采集***和方法
CN114838701B (zh) * 2021-01-30 2023-08-22 华为技术有限公司 一种获取姿态信息的方法及电子设备
CN114323002B (zh) * 2021-12-27 2023-12-08 浙江大学 一种基于双目视觉、imu和uwb融合的agv定位导航方法
CN115113624B (zh) * 2022-07-08 2023-03-10 东莞康视达自动化科技有限公司 一种基于视觉引导的叉车运行控制方法
CN115542362A (zh) * 2022-12-01 2022-12-30 成都信息工程大学 电力作业现场的高精度空间定位方法、***、设备及介质
CN115953472B (zh) * 2023-03-13 2023-05-23 鱼台顺驰工贸有限公司 一种低平板半挂车的载货区智能定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真***
US8068807B2 (en) * 2000-12-22 2011-11-29 Terahop Networks, Inc. System for supplying container security
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN204462850U (zh) * 2015-03-16 2015-07-08 武汉汉迪机器人科技有限公司 一种全向自动叉车
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法
CN106127444A (zh) * 2016-08-24 2016-11-16 郑州北斗七星通讯科技有限公司 一种基于uwb定位技术的物料厂铲车作业监控管理***
CN206524983U (zh) * 2017-02-23 2017-09-26 北京智物达科技有限公司 一种基于uwb的仓库叉车实时高精度定位***
US9830755B2 (en) * 2016-02-17 2017-11-28 Jvis-Usa, Llc System including a hand-held communication device having low and high power settings for remotely controlling the position of a door of a land vehicle and key fob for use in the system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068807B2 (en) * 2000-12-22 2011-11-29 Terahop Networks, Inc. System for supplying container security
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真***
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN104777835A (zh) * 2015-03-11 2015-07-15 武汉汉迪机器人科技有限公司 一种全向自动叉车及3d立体视觉导航定位方法
CN204462850U (zh) * 2015-03-16 2015-07-08 武汉汉迪机器人科技有限公司 一种全向自动叉车
US9830755B2 (en) * 2016-02-17 2017-11-28 Jvis-Usa, Llc System including a hand-held communication device having low and high power settings for remotely controlling the position of a door of a land vehicle and key fob for use in the system
CN106127444A (zh) * 2016-08-24 2016-11-16 郑州北斗七星通讯科技有限公司 一种基于uwb定位技术的物料厂铲车作业监控管理***
CN206524983U (zh) * 2017-02-23 2017-09-26 北京智物达科技有限公司 一种基于uwb的仓库叉车实时高精度定位***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双目视觉三维重建;孙水发;《3D打印逆向建模技术及应用》;20160531;第102-103页 *

Also Published As

Publication number Publication date
CN108012325A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108012325B (zh) 一种基于uwb和双目视觉的导航定位方法
CN108571971B (zh) 一种agv视觉定位***及方法
CN112907676B (zh) 传感器的标定方法、装置、***、车辆、设备及存储介质
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN102034238B (zh) 基于光学成像测头和视觉图结构的多摄像机***标定方法
Zhou A new minimal solution for the extrinsic calibration of a 2D LIDAR and a camera using three plane-line correspondences
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2019537077A (ja) 指標を使用した同時位置決め地図作成ナビゲーション方法、装置及びシステム
CN106529587B (zh) 基于目标点识别的视觉航向识别方法
CN109405835B (zh) 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN108051007A (zh) 基于超声波组网和立体视觉的agv导航定位方法
WO2015061387A1 (en) Enhanced stereo imaging-based metrology
EP3510562A1 (en) Method and system for calibrating multiple cameras
CN111932565B (zh) 一种多靶标识别跟踪解算方法
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
CN114474056B (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和***
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
CN104036542A (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN110415304B (zh) 一种视觉标定方法及***
CN113028990B (zh) 一种基于加权最小二乘的激光跟踪姿态测量***及方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN109472778B (zh) 一种基于无人机的高耸结构外观检测方法
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant