CN111612823A - 一种基于视觉的机器人自主跟踪方法 - Google Patents

一种基于视觉的机器人自主跟踪方法 Download PDF

Info

Publication number
CN111612823A
CN111612823A CN202010436066.0A CN202010436066A CN111612823A CN 111612823 A CN111612823 A CN 111612823A CN 202010436066 A CN202010436066 A CN 202010436066A CN 111612823 A CN111612823 A CN 111612823A
Authority
CN
China
Prior art keywords
grid
robot
target
coordinate
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010436066.0A
Other languages
English (en)
Inventor
范江波
郑昆
徐云水
赵泽彪
邱平
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaotong Power Supply Bureau of Yunnan Power Grid Co Ltd
Original Assignee
Zhaotong Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaotong Power Supply Bureau of Yunnan Power Grid Co Ltd filed Critical Zhaotong Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority to CN202010436066.0A priority Critical patent/CN111612823A/zh
Publication of CN111612823A publication Critical patent/CN111612823A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的机器人自主跟踪方法，属于自动化机器人技术领域。本发明使用基于GOTURN跟踪模型与基于SegNet的场景分割模型确定目标位置与感知周围环境规划路径避免障碍物，***通过平行投影建立像素坐标与二位平面坐标的映射关系，视觉定位融合环境数学模型构建极坐标下的局部栅格地图，最后通过A*算法规划机器人与目标之间的最优轨迹；在室内和走廊环境下均能实现较强的跟踪能力和较长的跟踪距离。

Description

一种基于视觉的机器人自主跟踪方法
技术领域
本发明涉及一种基于视觉的机器人自主跟踪方法，属于自动化机器人技术领域。
背景技术
近几年的研究中，Sidenbladh等人使用肤色分割从RGB图像中检测目标人物并跟踪人物头部，其检测结果易受周围光照、目标运动等因素的影响从而影响***性能。Adiwahono等人提出了一种灵活腿部特征检测方法，但是对人体姿态变化敏感。Gockley等人使用标准粒子滤波算法对激光扫描仪数据进行分割并跟踪潜在目标，作者设计了方向跟踪和路径跟踪两种跟踪方案，但是***缺乏可识别的视觉信息其有效范围小于3.5m。Wang等人利用基于双目摄像机的三维重建获得机器人与人之间的相对位置，为了获得足够的重建精度将人和机器人之间的距离设置为1～2.5m之间。上述传统方法更多的是对目标的精确跟踪和跟踪目标轨迹但是没有采用路径规划，这意味着机器人只能跟踪附近的目标。
发明内容
本发明提供了一种基于视觉的机器人自主跟踪方法。
本发明的技术方案是：一种基于视觉的机器人自主跟踪方法，首先，先手动选取跟踪目标，将CNN的输入设置为目标和周围的背景区域；再根据训练数据集将环境分割为不同的类别；建立一个极坐标下局部地图，把机器人作为极坐标系的中心，建立像素坐标点与平面坐标点及栅格坐标之间的转换关系，并计算栅格的像素作为统计栅格障碍；设置机器人起始的栅格坐标，机器人目标位置通过目标跟踪算法获得，最终使用A*算法来完成最优路径搜索。
所述方法的具体步骤如下：
Step1、人工选取目的地目标，将CNN的输入设置为目标区域和目标周围的背景区域，如果在t-1帧中的追踪对象是以边界框(Cx,Cy)的中心，宽度和高度分别是w、h的Bounding Box，则在下一时刻t，集中于中心(Cx,Cy)，宽度和高度分别为k1w、k1h的图像区域被提取为在所述前一帧中的搜索区域；其中，Cx、Cy为点坐标，t为时刻，k1w、k1h分别为背景区域的宽和高，k1是一个系数；
Step2、搜索到目的地目标后，需要根据训练数据集将场景分割为不同的类别：根据训练数据集将场景分割为不同的类别，如人、地、树或其他类别，由此将场景进行分割；
Step3、得到场景分割的模型，方便通过视觉定位算法建立目的地目标的图像坐标与平面实际坐标之间的映射关系：设相机坐标系{C}为参考坐标系，空间中存在一个平面π，平面上存在一个三维点pi＝[xi,yi,zi,1]T，i＝1,2,...n，n为三维点总数；根据小孔成像模型得出pi的归一化投影坐标以及pi的齐次图像坐标；
Step4、建立一个以机器人为极坐标中心的局部地图：
以(r,t)的形式来表示极坐标；根据以下公式得到每一个栅格的极径和极角：
Figure BDA0002502296740000021
Figure BDA0002502296740000022
Rc＝Cres·r1,r1∈(1,Rdim)
Figure BDA0002502296740000023
Figure BDA0002502296740000024
Figure BDA0002502296740000025
Cconst＝Rdim·Cres
其中，x、y表示参考坐标系中pi坐标点的横纵坐标，Rc代表线性区域栅格到坐标原点的半径长度，也叫栅格半径；相应的Rn就是非线性区栅格的半径长度，r1、r2代表栅格的半径编号；Cres表示线性区单个栅格的长度，hcam表示相机光心到地面的距离，hRmin表示在1.8m时相机视野顶端与地面的距离，Rdim表示线性区栅格的个数，hRdim表示非线性区栅格的个数，Tdim表示在角度维度上将机器人一圈划分份数，即每个栅格占据2度大小的空间；
将求得的极径rp代入公式中求得半径方向中的栅格坐标，即极径，tp即为在角度方向的坐标，即极角；栅格中标签为障碍物的像素点占栅格中所有像素点的比例λ>阈值时，栅格是障碍物，否则它是平坦的；
Step5、使用A*算法来完成最优路径搜索：进行路径搜索时设置起始点位于极坐标的原点，将极角90度设置为机器人的初始朝向，目标位置可以通过自主跟踪算法获得，最终使用A*算法来完成最优路径搜索。
所述步骤Step2中采用SegNet进行场景分割。
本发明的有益效果是：视觉机器人跟踪技术是智能移动机器人的关键技术之一,在相关领域有着广泛的应用前景。这类机器人在博物馆导航、行人跟踪、医院辅助等领域具有广泛的应用价值：本发明使用基于GOTURN跟踪模型与基于SegNet的场景分割模型确定目标位置与感知周围环境规划路径避免障碍物，***通过平行投影建立像素坐标与二位平面坐标的映射关系，视觉定位融合环境数学模型构建极坐标下的局部栅格地图，最后通过A*算法规划机器人与目标之间的最优轨迹；在室内和走廊环境下均能实现较强的跟踪能力和较长的跟踪距离。
附图说明
图1为CNN目标跟踪模型示意图；
图2为场景分割网络结构图；
图3为透视投影图；
图4为划分纵向栅格示意图；
图5为构建栅格地图；
图6为目标遮挡测试图；
图7为机器人室内跟随实验。
具体实施方式
实施例1：如图1-7所示，一种基于视觉的机器人自主跟踪方法，首先，先手动选取跟踪目标，将CNN的输入设置为目标和周围的背景区域；再根据训练数据集将环境分割为不同的类别；建立一个极坐标下局部地图，把机器人作为极坐标系的中心，建立像素坐标点与平面坐标点及栅格坐标之间的转换关系，并计算栅格的像素作为统计栅格障碍；设置机器人起始的栅格坐标，机器人目标位置通过目标跟踪算法获得，最终使用A*算法来完成最优路径搜索。本申请，选择类似GOTURN跟踪模型，如图1所示，CNN模型分别用于提取当前帧和前一帧图像的基本特征，然后将图像特征融合输入到一个3层的全连接层，全连接层通过比较之前帧的目标特征与当前图像特征计算出目标的相对运动趋势，最后一层输出跟踪目标的BoundingBox的坐标。
进一步，可以设置所述方法的具体步骤如下：
Step1、人工选取目的地目标，将CNN的输入设置为目标区域和目标周围的背景区域，如果在t-1帧中的追踪对象是以边界框(Cx,Cy)的中心，宽度和高度分别是w、h的Bounding Box，则在下一时刻t，集中于中心(Cx,Cy)，宽度和高度分别为k1w、k1h的图像区域被提取为在所述前一帧中的搜索区域；其中，Cx、Cy为点坐标，t为时刻，k1w、k1h分别为背景区域的宽和高，k1是一个系数；
Step2、搜索到目的地目标后，需要根据训练数据集将场景分割为不同的类别：根据训练数据集将场景分割为不同的类别，如人、地、树或其他类别，由此将场景进行分割；为了提升模型性能以及鲁棒性，在测试环境中额外捕获了2200张图像，这些图像是从一个持续约1小时的视频序列中提取的。使用LabelMe对这些图像进行注释，并获取它们的标签。地板被标记为1，障碍物被标记为0。数据集中随机抽取2000张图像作为训练集，剩余200张图像作为测试集。模型初始学***台上对模型进行训练。
Step3、得到场景分割的模型，方便通过视觉定位算法建立目的地目标的图像坐标与平面实际坐标之间的映射关系：设相机坐标系{C}为参考坐标系，空间中存在一个平面π，平面上存在一个三维点pi＝[xi,yi,zi,1]T，i＝1,2,...n，n为三维点总数；根据小孔成像模型得出pi的归一化投影坐标以及pi的齐次图像坐标；具体的：
通过相机内部的参数可以将空间中的点的归一化投影坐标以及pi的齐次图像坐标相互转换。
坐标系{A}的视界平面数学表达式可以表示为Z＝0，用射影几何的形式表示为πA＝[nAT dA]T＝[0 0 1 0]T，nA表示平面πA在坐标系{A}中的法向量，dA表示坐标系{A}的坐标原点到平面πA的距离。如果以相机坐标系{C}为参考坐标系，则视界平面Z＝0可以表示为πc＝[ncT dc]T，其中：
Figure BDA0002502296740000041
Figure BDA0002502296740000042
在图3中，定义过相机光心
Figure BDA0002502296740000043
和归一化投影坐标m空间直线L，将
Figure BDA0002502296740000044
和m写成齐次坐标形式有：
Figure BDA0002502296740000051
B＝[mT 1]T
直线L的Plucker矩阵为L＝ABT-BAT，通过计算直线L与平面πc的交点坐标即求得归一化射影坐标m在平面πc中的投影坐标P：
Figure BDA0002502296740000052
将相机坐标系下的坐标转换到地面坐标系{A}，则需要作齐次坐标变换：
Figure BDA0002502296740000053
在求得P点的坐标之后，可以计算出PA；通过该步骤建立图像坐标与平面实际坐标之间映射关系；
Step4、方格图是在路径规划领域应用最为广泛的形式，但是方格图不太适用于机器人导航，因为其角度与距离通常是离散的，所以选择建立一个以机器人为极坐标中心的局部地图。
如图4，从相机1.8米内的区域被划分为9格，其中的每一个具有0.2米的长度。对于超过1.8米格子，其长度会呈非线性形式增加，因此可在栅格图中分别划分线性和非线性区间。每一个栅格的半径通过以下方程组决定：
Rc＝Cres·r1,r1∈(1,Rdim)
Figure BDA0002502296740000054
Figure BDA0002502296740000055
Figure BDA0002502296740000056
Cconst＝Rdim·Cres
其中，Rc代表线性区域栅格到坐标原点的半径长度，也叫栅格半径；相应的Rn就是非线性区栅格的半径长度，r1、r2代表栅格的半径编号；Cres＝0.2m表示线性区单个栅格的长度，hcam＝0.72m表示相机光心到地面的距离，hRmin表示在1.8m时相机视野顶端与地面的距离，Rdim＝9表示线性区栅格的个数，hRdim表示非线性区栅格的个数，Tdim＝180表示在角度维度上将机器人一圈划分180份，即每个栅格占据2度大小的空间；Cconst表示线性区长度，△h表示相机光心到地面的距离的10分之1。
以(r,t)的形式来表示极坐标；根据以下公式得到每一个栅格的极径和极角：
Figure BDA0002502296740000061
Figure BDA0002502296740000062
其中，x、y表示参考坐标系中pi坐标点的横纵坐标。将求得的极径rp代入公式(2)中求得半径方向中的栅格坐标，即极径，tp即为在角度方向的坐标，即极角；至此，建立了像素坐标点->平面坐标点->栅格坐标的转换关系，保存栅格坐标与像素坐标之间的映射关系；栅格中标签为障碍物的像素点占栅格中所有像素点的比例λ>0.1时，栅格是障碍物，否则它是平坦的；这样当机器人接收到一帧图像之后，通过场景分割和坐标映射就可以完成局部地图的构建。
Step5、使用A*算法来完成最优路径搜索：如图5，构建的极坐标栅格地图尺寸为16×90。进行路径搜索时设置起始点位于极坐标的原点，将极角90度设置为机器人的初始朝向，机器人起始的栅格坐标为(0,45)，目标位置可以通过自主跟踪算法获得，最终使用A*算法来完成最优路径搜索。
所述步骤Step2中采用SegNet进行场景分割。
为了测试机器人对目标遮挡处理的鲁棒性，在机器人正常前行的过程中，我们让行人在跟踪目标之前来回走动，以此来模拟实际情况下目标被遮挡的场景。图6所示为目标被短暂遮挡时，***不容易受到遮挡物体的干扰，当遮挡消失之后，机器人依然能够稳定的跟踪目标行人。由于目标正好位于机器人的正前方，因此其规划的路径是一条直指目标的直线轨迹。当目标丢失或者被长时间遮挡之后，机器人就进入急停状态，以此保护机器人。
机器人目标跟随任务是朝目标的方位移动直到与目标保持一定的安全距离。实验室面积大约为8m×10m，室内有行人、桌椅、垃圾桶以及沙发等设施，因此室内环境相对复杂。实验结果如图7所示，图中分别展示了路径生成、场景分割以及栅格地图。考虑到机器人自身的体积，我们需要对规划出的路径手动微调。我们有2种方法来处理这个问题，其一是人为的扩大障碍物的边界，使得分割图中包含机器人尺寸，这样在保持机器人自身模型不变的情况下可以有效避免与障碍物碰撞。其二是在规划的路径上手动添加偏置项，偏移的栅格数由栅格的尺寸和栅格的距离决定。我们采取更容易实施的第二种策略，图中规划的路径为添加过偏置的路径。实验结果也证实机器人可以稳定移动到目标位置，同时能够有效避开障碍物，室内实验效果初步达到***要求。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种基于视觉的机器人自主跟踪方法，其特征在于：首先，手动选取跟踪目标，将CNN的输入设置为目标和周围的背景区域；再根据训练数据集将环境分割为不同的类别；建立一个极坐标下局部地图，把机器人作为极坐标系的中心，建立像素坐标点与平面坐标点及栅格坐标之间的转换关系，并计算栅格的像素作为统计栅格障碍；设置机器人起始的栅格坐标，机器人目标位置通过目标跟踪算法获得，最终使用A*算法来完成最优路径搜索。
2.根据权利要求1所述的基于视觉的机器人自主跟踪方法，其特征在于：所述方法的具体步骤如下：
Step1、人工选取目的地目标，将CNN的输入设置为目标区域和目标周围的背景区域，如果在t-1帧中的追踪对象是以边界框(Cx,Cy)的中心，宽度和高度分别是w、h的BoundingBox，那么在下一时刻t，在第t-1帧提取一个以(cx,cy)为中心，宽和高分别为k1w、k1h的图像区域作为搜索区域；其中，Cx、Cy为点坐标，t为时刻，k1w、k1h分别为背景区域的宽和高，k1是一个系数；
Step2、搜索到目的地目标后，需要根据训练数据集将场景分割为不同的类别：根据训练数据集将场景分割为不同的类别，如人、地、树或其他类别，由此将场景进行分割；
Step3、得到场景分割的模型，方便通过视觉定位算法建立目的地目标的图像坐标与平面实际坐标之间的映射关系：设相机坐标系{C}为参考坐标系，空间中存在一个平面π，平面上存在一个三维点pi＝[xi,yi,zi,1]T，i＝1,2,...n，n为三维点总数；根据小孔成像模型得出pi的归一化投影坐标以及pi的齐次图像坐标；
Step4、建立一个以机器人为极坐标中心的局部地图：
以(r,t)的形式来表示极坐标；根据以下公式得到每一个栅格的极径和极角：
Figure FDA0002502296730000011
Figure FDA0002502296730000012
Rc＝Cres·r1,r1∈(1,Rdim)
Figure FDA0002502296730000021
Figure FDA0002502296730000022
Figure FDA0002502296730000023
Cconst＝Rdim·Cres
其中，x、y表示参考坐标系中pi坐标点的横纵坐标，Rc代表线性区域栅格到坐标原点的半径长度，也叫栅格半径；相应的Rn就是非线性区栅格的半径长度，r1、r2代表栅格的半径编号；Cres表示线性区单个栅格的长度，hcam表示相机光心到地面的距离，hRmin表示在1.8m时相机视野顶端与地面的距离，Rdim表示线性区栅格的个数，hRdim表示非线性区栅格的个数，Tdim表示在角度维度上将机器人一圈划分份数，即每个栅格占据2度大小的空间；
将求得的极径rp代入公式中求得半径方向中的栅格坐标，即极径，tp即为在角度方向的坐标，即极角；栅格中标签为障碍物的像素点占栅格中所有像素点的比例λ>阈值时，栅格是障碍物，否则它是平坦的；
Step5、使用A*算法来完成最优路径搜索：进行路径搜索时设置起始点位于极坐标的原点，将极角90度设置为机器人的初始朝向，目标位置可以通过目标跟踪算法获得，最终使用A*算法来完成最优路径搜索。
3.根据权利要求2所述的基于视觉的机器人自主跟踪方法，其特征在于：所述步骤Step2中采用SegNet进行场景分割。
CN202010436066.0A 2020-05-21 2020-05-21 一种基于视觉的机器人自主跟踪方法 Pending CN111612823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010436066.0A CN111612823A (zh) 2020-05-21 2020-05-21 一种基于视觉的机器人自主跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010436066.0A CN111612823A (zh) 2020-05-21 2020-05-21 一种基于视觉的机器人自主跟踪方法

Publications (1)

Publication Number Publication Date
CN111612823A true CN111612823A (zh) 2020-09-01

Family

ID=72199836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010436066.0A Pending CN111612823A (zh) 2020-05-21 2020-05-21 一种基于视觉的机器人自主跟踪方法

Country Status (1)

Country Link
CN (1) CN111612823A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364693A (zh) * 2020-10-12 2021-02-12 星火科技技术(深圳)有限责任公司 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112530267A (zh) * 2020-12-17 2021-03-19 河北工业大学 一种基于计算机视觉的机械臂智能示教方法及应用
CN113096104A (zh) * 2021-04-15 2021-07-09 北京达佳互联信息技术有限公司 目标分割模型的训练方法及装置和目标分割方法及装置
CN113361519A (zh) * 2021-05-21 2021-09-07 北京百度网讯科技有限公司 目标处理方法、目标处理模型的训练方法及其装置
CN113421275A (zh) * 2021-05-13 2021-09-21 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN114353818A (zh) * 2021-12-31 2022-04-15 上海洛轲智能科技有限公司 目标对象跟随方法、装置、设备、介质和计算机程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860729A (zh) * 2010-04-16 2010-10-13 天津理工大学 一种用于全方位视觉的目标跟踪方法
US20100316287A1 (en) * 2009-06-11 2010-12-16 Duong Tuan A Method and system for object recognition search
CN102848388A (zh) * 2012-04-05 2013-01-02 上海大学 基于多传感器的服务机器人定位和抓取方法
CN108460790A (zh) * 2018-03-29 2018-08-28 西南科技大学 一种基于一致性预测器模型的视觉跟踪方法
CN108765450A (zh) * 2018-05-21 2018-11-06 南京邮电大学 基于深度学习的智能机器人视觉跟踪方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN111062328A (zh) * 2019-12-18 2020-04-24 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316287A1 (en) * 2009-06-11 2010-12-16 Duong Tuan A Method and system for object recognition search
CN101860729A (zh) * 2010-04-16 2010-10-13 天津理工大学 一种用于全方位视觉的目标跟踪方法
CN102848388A (zh) * 2012-04-05 2013-01-02 上海大学 基于多传感器的服务机器人定位和抓取方法
CN108460790A (zh) * 2018-03-29 2018-08-28 西南科技大学 一种基于一致性预测器模型的视觉跟踪方法
CN108765450A (zh) * 2018-05-21 2018-11-06 南京邮电大学 基于深度学习的智能机器人视觉跟踪方法
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN111062328A (zh) * 2019-12-18 2020-04-24 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364693A (zh) * 2020-10-12 2021-02-12 星火科技技术(深圳)有限责任公司 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112364693B (zh) * 2020-10-12 2024-04-16 星火科技技术(深圳)有限责任公司 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN112530267A (zh) * 2020-12-17 2021-03-19 河北工业大学 一种基于计算机视觉的机械臂智能示教方法及应用
CN113096104A (zh) * 2021-04-15 2021-07-09 北京达佳互联信息技术有限公司 目标分割模型的训练方法及装置和目标分割方法及装置
CN113421275A (zh) * 2021-05-13 2021-09-21 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113361519A (zh) * 2021-05-21 2021-09-07 北京百度网讯科技有限公司 目标处理方法、目标处理模型的训练方法及其装置
CN113361519B (zh) * 2021-05-21 2023-07-28 北京百度网讯科技有限公司 目标处理方法、目标处理模型的训练方法及其装置
CN114353818A (zh) * 2021-12-31 2022-04-15 上海洛轲智能科技有限公司 目标对象跟随方法、装置、设备、介质和计算机程序产品
CN114353818B (zh) * 2021-12-31 2024-05-14 上海洛轲智能科技有限公司 目标对象跟随方法、装置、设备、介质和计算机程序产品

Similar Documents

Publication Publication Date Title
CN111612823A (zh) 一种基于视觉的机器人自主跟踪方法
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、***及设备
Xu et al. SLAM of Robot based on the Fusion of Vision and LIDAR
Pirker et al. CD SLAM-continuous localization and mapping in a dynamic world
Zhang et al. Robust appearance based visual route following for navigation in large-scale outdoor environments
Chatterjee et al. Mobile robot navigation
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
CN112950696B (zh) 导航地图的生成方法及生成装置、电子设备
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN106650701A (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
CN112258553B (zh) 一种基于多源图像融合的全天时目标跟踪方法
CN115205339A (zh) 基于改进yolox的移动机器人目标跟随方法
CN112541938A (zh) 一种行人速度测量方法、***、介质及计算设备
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN111489392A (zh) 多人环境下单个目标人体运动姿态捕捉方法及***
CN117570960A (zh) 一种用于导盲机器人的室内定位导航***及方法
Pauls et al. Automatic mapping of tailored landmark representations for automated driving and map learning
EP4053801A1 (en) Landmark learning and localization without labels
Uzawa et al. Dataset Generation for Deep Visual Navigation in Unstructured Environments
Ortigosa et al. Fuzzy free path detection from disparity maps by using least-squares fitting to a plane
Choi et al. Autonomous homing based on laser-camera fusion system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication