CN111325770A - 基于rgbd相机的目标跟随方法、***、装置 - Google Patents

基于rgbd相机的目标跟随方法、***、装置 Download PDF

Info

Publication number
CN111325770A
CN111325770A CN202010090067.4A CN202010090067A CN111325770A CN 111325770 A CN111325770 A CN 111325770A CN 202010090067 A CN202010090067 A CN 202010090067A CN 111325770 A CN111325770 A CN 111325770A
Authority
CN
China
Prior art keywords
target
region
interest
distance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010090067.4A
Other languages
English (en)
Other versions
CN111325770B (zh
Inventor
陈艳红
崔晓光
张吉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010090067.4A priority Critical patent/CN111325770B/zh
Publication of CN111325770A publication Critical patent/CN111325770A/zh
Application granted granted Critical
Publication of CN111325770B publication Critical patent/CN111325770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器人领域，具体涉及一种基于RGBD相机的目标跟随方法、***、装置，旨在解决现有目标跟随方法跟随实时性、准确性较差的问题。本***方法包括：获取深度图像；提取深度图像的感兴趣区域；筛选包含人体的感兴趣区域；计算筛选后各感兴趣区域与上一帧待跟随目标的距离，若大于设定的目标移动半径，则移除；计算移除后各感兴趣区域的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域；基于目标区域的中心点坐标，计算移动设备的移动速度，控制其向目标移动。本发明提高了目标跟随的实时性和准确性。

Description

基于RGBD相机的目标跟随方法、***、装置
技术领域
本发明属于机器人领域，具体涉及一种基于RGBD相机的目标跟随方法、***、装置。
背景技术
采用智能化技术的机器人产品为人们的生活和生产作业都带来了有益的促进效果，在高铁站候车厅、机场候车厅等乘客携带大件行李出行的场合，可以承载行李、自动行走的智能移动装置可以减轻乘客出行的劳累和不便，智能跟随机器人可以提供这种服务。
智能跟随机器人需要解决的核心问题属于目标跟踪问题领域，与传统的监控类目标跟踪不同，除了需要实时在图像上跟踪目标区域外，跟随机器人还需要知道目标的物理位置以指导机器人移动。已有的基于视觉的跟踪方法首先在图像上检测出目标位置，然后再通过其他手段解算目标的物理位置。由于目标是动态移动的，目标在图像上的区域也是不断变化的，通常的解决手段是在上一帧图像中目标附近选择一定数量不同大小、不同位置的候选矩形框，将这些候选矩形框与目标模型比对以确定新的目标位置。候选矩形框的选择具有试探性和盲目性，候选矩形框数量过多会降低算法实时性，数量过少则可能框选不到目标，范围过大会导致带入太多环境信息造成模型漂移，范围过小则涵盖目标区域太少导致模型柔性差。
本发明的目的是提供一种基于RGBD相机的目标跟随方法、***、装置，以解决目前机器人跟随应用中的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有基于视觉手段的目标跟随(跟踪)方法在目标跟随过程中盲目、试探的获取与更新目标候选矩形框，造成跟随实时性、准确性较差的问题，本发明第一方面，提出了一种基于RGBD相机的目标跟随方法，该方法包括：
步骤S100，通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
步骤S200，提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
步骤S300，筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
步骤S400，计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
步骤S500，计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图；
步骤S600，根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转步骤S100，直至跟随任务结束。
在一些优选的实施方式中，在移动设备开始跟随待跟随目标之前，还包括获取待跟随目标的步骤：
步骤A100，基于步骤S100-步骤S200中的方法，获取第一感兴趣区域集合；
步骤A200，计算所述第一感兴趣区域集合中各感兴趣区域的宽、高、中心点坐标、距离平均值，根据所述宽、高与设定人体的身高、肩宽范围的比对，对各感兴趣区域进行筛选，得到第二感兴趣区域集合；所述距离平均值为感兴趣区域中各像素点深度距离的平均值；
步骤A300，若所述第二感兴趣区域集合为空，则执行步骤A100，否则将所述第二集合中距离平均值最小、中心点坐标与相机的成像平面竖直中心线距离在设定阈值范围内的感兴趣区域对应的目标作为待跟随目标。
在一些优选的实施方式中，步骤S200中“提取所述输入图像的感兴趣区域”，其方法为：
通过预设的聚类方法对所述输入图像中各像素点对应的深度距离进行聚类，并根据聚类的结果对所述输入图像进行二值化处理，提取感兴趣区域；
其中，所述预设的聚类方法为：
获取所述输入图像中各像素点对应的深度距离，构建深度距离集合D，D＝{d1,d2,…,dN}，dN表示各像素点的深度距离；
遍历深度距离集合D，以d1为初始聚类中心sd1，初始化聚类中心集合S＝{sd1}，若di在S的任一个聚类中心sdj的设定半径Rd范围内则归为该聚类，同时更新聚类中心；若di与S中所有聚类中心的距离都大于Rd，则添加di为新的聚类中心sdi，更新S＝{sd1,…,sdi}，直到遍历完集合D；其中，i,j表示下标。
在一些优选的实施方式中，所述感兴趣区域的宽、高，其计算方法为：
width＝rectwidth*averDepth/fx
height＝rectytop*averDepth/fy
其中，width、height为感兴趣区域的宽、高，rectwidth为感兴趣区域外接矩形的像素宽度，rectytop为感兴趣区域外接矩形左上角像素的行坐标，averDepth为距离平均值，fx、fy为可见光相机在横轴、纵轴方向上的尺度因子。
在一些优选的实施方式中，所述中心点坐标为感兴趣区域在相机坐标系中的物理坐标，其计算方法为：
Figure BDA0002383390710000041
其中，(u,v)为矩形中心在图像上的坐标，(cx,cy)为RGBD相机的可见光相机的主点，(x,y,z)为中心点坐标。
在一些优选的实施方式中，所述移动速度包括线速度和角速度；所述线速度其计算方法为：
Figure BDA0002383390710000042
v＝v＜vmax？v:vmax
v＝v＞0？v:0
Figure BDA0002383390710000043
所述角速度，其计算方法为：
Figure BDA0002383390710000044
ω＝|ω|＜ωmax？ω:sign(ω)*ωmax
其中，v为线速度，vmax为线速度最大值，distrange为线速度由0增加到vmax需要的区间长度，Rstart、Rstop为直行开始距离阈值、直行结束距离阈值，xtarget、ztarget为根据目标区域的中心点坐标更新的目标位置，ω为角速度，ωmax为角速度最大值，xstart、xstop为转动开始距离阈值、转动结束距离阈值，xrange为角速度由0增加到ωmax需要的区间长度，xstart、xstop为转动开始距离阈值、转动结束距离阈值。
在一些优选的实施方式中，步骤S600之后还包括步骤S700，
若所述第二集合为空和/或所述第三集合为空和/或所述可能候选区域数量为0，则统计目标丢失的时长，若所述时长大于设定时长，则中止跟随任务，否则跳转步骤S100。
本发明的第二方面，提出了一种基于RGBD相机的目标跟随***，该***包括获取模块、提取感兴趣区域模块、第一筛选模块、第二筛选模块、获取目标区域模块、控制设备移动模块；
所述获取模块，配置为通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
所述提取感兴趣区域模块，配置为提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
所述第一筛选模块，配置为筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
所述第二筛选模块，配置为计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
所述获取目标区域模块，配置为计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图；
所述控制设备移动模块，配置为根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转获取模块，直至跟随任务结束。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于RGBD相机的目标跟随方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于RGBD相机的目标跟随方法。
本发明的有益效果：
本发明提高了目标跟随的实时性和准确性。本发明通过对RGBD相机获取的深度图像中的各像素的深度距离进行聚类，根据聚类结果将深度图像进行二值化，并提取感兴趣区域。将深度数据用于目标跟踪过程，用深度数据实现图像分割，得到相机所处空间中各不粘连物体的矩形框。
同时，本发明基于“人体步行运动范围有限”进一步设计了候选矩形框筛选条件，将获得的候选矩形框与目标模型比对以实现目标跟随，与盲目、试探的获取候选矩形框相比，本发明方法得到的候选矩形框更准确有效，对目标快速移动、目标变形、目标尺度变换等跟踪常见难题具有很好的鲁棒性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于RGBD相机的目标跟随方法的流程示意图；
图2是本发明一种实施例的基于RGBD相机的目标跟随***的框架示意图；
图3是本发明一种实施例的基于RGBD相机的目标跟随移动装置硬件结构示意图；
图4是本发明一种实施例的RGBD相机坐标系的示意图；
图5是本发明一种实施例的RGBD相机获取的可见光图像、深度数据映射图像、深度数据点云的示意图；
图6是本发明一种实施例的基于RGBD相机的目标锁定、跟随的示意图；
图7是本发明一种实施例的目标锁定模态的示意图；
图8是本发明一种实施例的深度数据的聚类的示意图；
图9是本发明一种实施例的基于深度数据的图像分割的示意图；
图10是本发明一种实施例的移动速度解算的示意图；
图11是本发明一种实施例的跟随中目标被遮挡的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在下文的实施例中，先对基于RGBD相机的目标跟随移动装置进行介绍，再对应用于该装置的基于RGBD相机的目标跟随方法进行介绍。
1、基于RGBD相机的目标跟随移动装置
本发明的基于RGBD相机的目标跟随移动装置，如图3所示，包括：RGBD相机、机载处理器、显示屏幕、喇叭、差动两轮驱动器以及与目标跟随装置连接的通讯设备(如APP设备)；
RGBD相机，用于获取深度图像，深度图像包括可见光图像和对应的深度数据，可见光图像为R、G、B三通道彩色图像，深度数据为相机所处三维空间中各物体表面距相机成像平面的深度距离，可见光图像宽/高为colorW/colorH，深度数据具体为可见光图像上每个像素点对应的物体表面距相机成像平面的深度距离，可见光图像和深度数据用于人体目标的初始锁定和跟踪，RGBD相机安装在移动装置前面板上部中间位置，距离地面一定高度，在本发明实施例中，相机距地高度优选设置为1米；
机载处理器，用于启动跟随进程，处理RGBD相机获取的可见光图像和深度数据；运行跟随程序；解算运动控制速度，运动控制速度是对差动两轮驱动器的控制速度，具体包括线速度和角速度(v,ω)(前进速度和转弯速度)；发布跟随状态，跟随状态具体包括：①启动跟随服务②目标锁定成功③目标遮挡④目标丢失⑤重新锁定目标⑥结束跟随服务，状态①提醒用户站到装置正前方指定区域范围内用于锁定目标，在本发明的具体实施例中，区域范围为装置正前方50厘米到1米的范围内，状态②告知用户可以开始正常行走，状态③提醒用户装置与用户之间有遮挡，请放慢速度，状态④提醒用户跟随目标丢失了，需重新锁定目标，状态⑤告知用户等待装置重新锁定目标，状态⑥告知用户跟随服务结束；
显示屏幕，用于显示操作界面，操作界面包含二维码和可点击按钮，该屏幕为触摸屏幕，可手动点击，同时用户也可通过App设备扫描屏幕上的二维码，在App设备上启动跟随服务；
喇叭，用于播报机载处理器发布的跟随状态，根据不同的跟随状态，播报不同的语音内容，例如在本发明的具体实施例中，状态①播报“启动跟随服务，请站在我前方50厘米到1米的范围内，等待我两秒钟”，以舒适的用户体验为原则，其他状态播报相应的语音内容；
差动两轮驱动器，用于驱动移动装置运动，该驱动轮采用差动运动学模型，可以使得移动装置前进、左转、右转，本发明的跟随装置在跟随过程中可以前进、左转、右转，不能后退，由机载处理器解算的运动控制速度为差动两轮驱动器质心速度，由质心速度转换为两个轮子各自的速度遵循差速运动学模型，在此不赘述；
App设备，用户可以通过App设备扫描屏幕上的二维码，启动跟随服务，在App设备上显示操作界面，操作界面包含可点击的按钮，另外当出现跟随目标丢失时App设备会振动提醒，App设备通过无线通信与机载处理器进行信息交互。
其中，该移动装置的基本操作流程为：当用户通过点击屏幕按钮或App设备扫描屏幕上的二维码启动跟随服务时，机载处理器接收到启动跟随模式控制指令，启动跟随进程，通过喇叭语音播报指示用户站立在相机前方指定范围内，进入锁定目标模态，目标锁定成功后，初始化颜色模型和目标位置，然后进入跟随移动模态，在人体跟随过程中机载处理器实时发布跟随状态，如果出现目标跟随丢失的情况，机载处理器会向喇叭发送语音播报，同时向App设备发送振动提醒，告知用户重新站立在相机前方指定范围内，跟随移动模态转换为锁定目标模态，当重新拾取目标后，进入跟随移动模态，继续人体跟随，直到用户点击屏幕或App设备上的按钮结束跟随服务。
2、基于RGBD相机的目标跟随方法
本发明的基于RGBD相机的目标跟随方法，包括以下步骤：
步骤S100，通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
步骤S200，提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
步骤S300，筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
步骤S400，计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
步骤S500，计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图；
步骤S600，根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转步骤S100，直至跟随任务结束。
为了更清晰地对本发明基于RGBD相机的目标跟随方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像。
图1为本发明基于RGBD相机的目标跟随方法的流程示意图，具体处理过程在下述步骤中进行详述。
在本实施例中，在移动装置(或移动设备)开始跟随目标之前，先对目标进行锁定，即获取待追随的目标，在其他实施例中，待跟随目标可以人为给定(预定义)，也可以通过类似于机器人的智能设备进行自动获取，根据实际情况进行处理。获取待跟随目标的步骤如图6和图7所示，具体处理过程如下：
步骤A100，获取深度图像，并提取感兴趣区域集合，作为第一感兴趣区域集合。
当用户通过点击屏幕按钮或App设备扫描屏幕上的二维码启动跟随服务时，提醒用户站在RGBD相机前方的预定范围，通过设置于移动设备(移动装置)上的RGBD相机获取周围环境的深度图像。深度图像包括可见光图像和深度数据，深度数据为可见光图像每个像素点对应的物体表面距相机成像平面的深度距离，构建深度距离集合D，D＝{d1,d2,…,dN},N＝colorW*colorH，其中，dN表示各像素点的深度距离。如图4相机坐标系所示，深度距离具体指z轴坐标，深度数据集长度与可见光图像像素数相等。本步骤的最终目的是分割出图像中疑似人体目标集合，由于深度数据为物体表面距相机成像平面的距离，且移动设备运行在室内平整地面上，相机视线水平，正常情况下，行人直立行走，故可以以半径Rd对深度距离集合进行聚类，在本实施例中，半径Rd优选设置为40cm。将每一个像素点作为聚类中心，基于设定的距离半径，对深度距离集合进行聚类，得到聚类中心集合S＝{sd1,sd2,…,sdn}，n表示下标，本发明中的聚类方法类似于均值漂移聚类方法(Mean shift算法)，其聚类后的深度数据如图8所示。具体方法如下：
遍历深度距离集合D，以d1为初始聚类中心sd1，初始化聚类中心集合S＝{sd1}，若di在S的任一个聚类中心sdj的半径Rd范围内则归为该聚类，同时更新聚类中心sdj＝∑dk+di/m+1,dk∈sdj，其中∑dk为聚类中心sdj中已有元素的累加和，m为已有元素的个数，若di与S中所有聚类中心的距离都大于Rd，则添加di为新的聚类中心sdi，更新S＝{sd1,…,sdi}，直到遍历完集合D，其中，i,j,k表示下标。
遍历S，对每个深度聚类中心，遍历深度数据，深度数据与可见光图像上的像素一一对应，将在聚类中心半径Rd范围内的深度数据对应的像素标记为白色，其余部分标记为黑色，得到二值化图像，如图5所示。根据二值化后的图像，提取感兴趣区域，构建感兴趣区域集合SImg＝{simg1,simg2,…simgm}，m表示下标，图9展示了本发明实施例中一帧深度数据聚类后某一深度聚类中心半径Rd范围内标记图像得到的感兴趣区域。
步骤A200，计算所述第一感兴趣区域集合中各感兴趣区域的宽、高、中心点坐标、距离平均值，据所述宽、高与设定人体的身高、肩宽范围的比对，对各感兴趣区域进行筛选，得到第二感兴趣区域集合；所述距离平均值为感兴趣区域中各像素点深度距离的平均值。
在本实施例中，对每个感兴趣区域统计其距离平均值(像素集距离相机的平均深度)averDepth、区域的宽度width、区域的高度height、中心点坐标(区域外接矩形中心点在相机坐标系中的物理坐标)(x,y,z)，按照人体一般身高范围和肩宽范围对第一感兴趣区域集合进行筛选，得到符合人体学条件的感兴趣区域集合，作为第二感兴趣区域。
对于每个感兴趣区域其距离平均值计算方法如公式(1)所示：
Figure BDA0002383390710000121
感兴趣区域外接矩形中心点在相机坐标系中的物理坐标计算方法如公式(2)所示：
Figure BDA0002383390710000131
其中，(u,v)为感兴趣区域的外接矩形的中心在图像上的坐标，fx、fy为可见光相机在横轴、纵轴方向上的尺度因子，(cx,cy)为RGBD相机的可见光相机的主点。
感兴趣区域宽度、高度的计算方法如公式(3)(4)所示：
width＝rectwidth*averDepth/fx (3)
height＝rectytop*averDepth/fy (4)
其中，rectwidth为感兴趣区域外接矩形的像素宽度，rectytop为感兴趣区域外接矩形左上角点像素的行坐标。
在本发明实施例中，人体身高范围优选设置为(1.1米到1.9米)，肩宽范围优选设置为(15厘米到60厘米)。
步骤A300，若所述第二感兴趣区域集合为空，则执行步骤A100，否则将所述第二集合中距离平均值最小、中心点坐标与相机的成像平面竖直中心线距离在设定的阈值范围内的感兴趣区域对应的目标作为待跟随目标，此阈值优选设置为±25厘米。
根据上述得到的第二感兴趣区域集合，选择距离平均值(距离相机平均深度)最小、中心点坐标与相机的成像平面竖直中心线距离在阈值范围内(区域外接矩形中心在相机成像平面竖直中心线左右一定范围内)的感兴趣区域为要跟随的目标。
若筛选后感兴趣区域集合为空，则认为当前帧目标锁定失败，重新获取图像，否则，认为当前帧目标锁定成功。
在本发明中，为了进一步提高锁定目标的成功率，连续获取多帧深度图像用于确认待跟随目标。具体过程如下：
对相机获取的每一帧实时可见光图像和深度数据进行上述处理，前一帧图像锁定目标成功，同时当前帧图像锁定目标也成功，称为持续锁定目标成功，当持续锁定目标成功大于N秒时，结束锁定目标模态，通过喇叭播报，告知用户“锁定目标成功，可以开始跟随服务”，提醒用户正常行走，在本发明实施例中，N设置为2。
每一帧成功锁定目标的图像都会得到一个图像感兴趣区域，持续锁定目标成功大于N秒，会得到约N*fps个图像感兴趣区域，其中fps为图像的帧频，在本发明实施例中fps为15帧每秒。选择感兴趣区域轮廓内面积最大的感兴趣区域为最终的跟随目标，以可见光图像上该感兴趣区域包含的图像区域初始化目标颜色模型(颜色直方图)，以该感兴趣区域的外接矩形中心点的物理坐标初始化目标位置，进入跟随移动模态，在本发明实施例中，目标颜色模型定义为感兴趣区域内可见光图像R、G、B三通道的统计直方图。
步骤S200，提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合。
在本实施例中，该步骤的具体处理过程如上述的步骤A100。此处不再展开详述。
步骤S300，筛选所述第一集合中包含人体的感兴趣区域，构建第二集合。
在本实施例中，该步骤的具体处理过程如上述的步骤A200-A300，通过根据所述宽、高与设定人体的身高、肩宽范围的比对，获取第二集合，若为空，则跳转步骤S700处理。
步骤S400，计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合。
在本实施例中，遍历第二集合，计算各感兴趣区域的物理坐标与上一帧待追随目标的位置的距离，即目标的移动距离D′move，计算过程如公式(5)所示：
Figure BDA0002383390710000151
其中，(x',z')为当前感兴趣区域的物理坐标，(xtarget,ztarget)为保存的上一帧目标位置，因为移动装置运行在室内平整地面，故只需使用x、z两维坐标即可。
根据各感兴趣区域的物理坐标与上一帧目标的位置的距离，通过统计人步行的最大速度，设定目标移动半径Rmove，对各感兴趣区域进行筛选，如果D′move小于Rmove则保留该感兴趣区域，否则删除该感兴趣区域，若在目标移动范围内的感兴趣区域不为空则继续筛选目标，否则跳转步骤S700。
根据统计，正常情况下人步行的最大速度约为1.2米每秒，因为实时处理图像数据，在本发明实施例中图像帧频为15帧每秒，则上一帧图像到当前帧图像的时间段内，人可能移动的距离约为0.08米，基于此现实情况可以按照目标移动范围对感兴趣区域进行筛选，保守起见，在本发明的实施例中Rmove优选设置为20厘米。
步骤S500，计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图。
在本实施例中，根据步骤S400筛选后的感兴趣区域，获取各感兴趣区域的目标颜色模型(颜色直方图)，与目标锁定时获取待追随目标的颜色直方图进行相似度的对比，若相似度大于设定阈值threshcolor，将对应的感兴趣区域作为可能候选区域，并选择相似度最大的目标候区域作为新的目标，即待跟随目标在本帧图像中的区域。若不存在可能候选区域，则跳转步骤S700。
因为本发明实施例定义目标颜色模型为感兴趣区域内可见光图像R、G、B三通道的统计直方图(颜色直方图)，比对值取值范围为(0,1)，两颜色直方图越相似，比对值越接近于1，在本发明实施例中，阈值threshcolor优选设置为0.3。
获取待跟随目标在本帧图像中的位置及对应的颜色直方图进行更新，其中，感兴趣区域的外接矩形中心点在相机坐标系中的物理坐标(x,y,z)更新为目标位置(xtarget,ztarget)。
步骤S600，根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转步骤S100，直至跟随任务结束。
在本实施例中，采用双阈值的方法解算移动速度，采用双阈值控制可以使得运动开关量在一个范围区间内，而不是一个单一阈值，有利于运动鲁棒，减少运动振荡。移动速度分为线速度和角速度，其中线速度计算方法公式(6)(7)(8)(9)所示：
Figure BDA0002383390710000161
v＝v＜vmax？v:vmax (7)
v＝v＞0？v:0 (8)
Figure BDA0002383390710000162
其中，v为线速度，vmax为线速度最大值，distrange为线速度由0增加到vmax需要的区间长度，Rstart、Rstop为直行开始距离阈值、直行结束距离阈值。
角速度，其计算方法如公式(10)(11)所示：
Figure BDA0002383390710000171
ω＝|ω|＜ωmax？ω:sign(ω)*ωmax (11)
其中，ω为角速度，ωmax为角速度最大值，xstart、xstop为转动开始距离阈值、转动结束距离阈值，xrange为角速度由0增加到ωmax需要的区间长度，xstart、xstop为转动开始距离阈值、转动结束距离阈值。
如图10所示，在本实施例中，vmax、ωmax、distrange、xrange根据差动两轮驱动器的运动性能确定，Rstart、Rstop根据移动装置需要与行人保持的安全距离确定，xstart、xstop根据RGBD相机视野确定。其中，vmax优选设置为1米每秒，ωmax优选设置为0.6弧度每秒，distrange优选设置为0.5米，xrange优选设置为0.4米，Rstart优选设置为0.6米，Rstop优选设置为0.5米，xstart优选设置为0.2米，xstop优选设置为0.1米。
在移动的过程中，若跟随目标被遮挡，则停止移动，同时通过语音播报提醒用户有遮挡，请放慢行走速度。判断目标被遮挡的方法如图11所示，将深度数据点云投影到ZX平面，得到装置所处局部环境的临时地图，移动装置在临时地图的坐标已知，判断装置与目标中心连线上是否有其他障碍物，如果存在障碍物，则装置停止运动，同时通过语音播报提醒用户有遮挡，请放慢行走速度
步骤S700，统计目标丢失的时长，若所述时长大于设定时长，则结束跟随任务，否则，跳转步骤S100。
在本实施例中，在上述步骤筛选后的感兴趣区域为空，即步骤S300-步骤S500，则认为目标丢失，前一帧图像目标丢失，同时当前帧图像目标也丢失称为持续目标丢失，当持续丢失目标大于M秒时，认为跟随目标丢失，转入锁定目标模态，在本发明实施例中，M优选设置为2秒。
在实际情况中，用户突然行走加速、突然转身、被其他物体遮挡都可以导致跟随目标丢失，本发明的人体跟随方法不能保证绝对不丢失目标，但是跟随目标丢失后可以及时发现，及时语音播报提醒，在用户配合下，目标丢失后重拾，依然可以正常跟随服务，另外可以确定的是，当用户正常步行、非疾走或慢跑、正常转身，环境中障碍物密度稀疏(以空间容许移动装置原地旋转为参照标准，本发明实施例中移动装置转弯半径为0.5m)时，基本不会出现目标丢失的情况。
跟随目标丢失时，机载处理器通过喇叭播报“跟随目标失败，请重新站到移动装置前方指定位置区域内”，同时App设备振动提醒，告知用户再次站到移动装置前方指定区域范围内重新锁定目标，目标锁定成功后提醒用户可以正常行走，继续跟随模态。基于RGBD相机的人体跟随方法根据实际状况在锁定目标模态和跟随移动模态之间切换，直到用户点击App设备或屏幕上的按钮结束跟随服务。
本发明第二实施例的一种基于RGBD相机的目标跟随***，如图2所示，包括：获取模块100、提取感兴趣区域模块200、第一筛选模块300、第二筛选模块400、获取目标区域模块500、控制设备移动模块600；
所述获取模块100，配置为通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
所述提取感兴趣区域模块200，配置为提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
所述第一筛选模块300，配置为筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
所述第二筛选模块400，配置为计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
所述获取目标区域模块500，配置为计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域；
所述控制设备移动模块600，配置为根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转获取模块100，直至跟随任务结束。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于RGBD相机的目标跟随***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于RGBD相机的目标跟随方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于RGBD相机的目标跟随方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于RGBD相机的目标跟随方法，其特征在于，该方法包括：
步骤S100，通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
步骤S200，提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
步骤S300，筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
步骤S400，计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
步骤S500，计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图；
步骤S600，根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转步骤S100，直至跟随任务结束。
2.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，在移动设备开始跟随待跟随目标之前，还包括获取待跟随目标的步骤：
步骤A100，基于步骤S100-步骤S200中的方法，获取第一感兴趣区域集合；
步骤A200，计算所述第一感兴趣区域集合中各感兴趣区域的宽、高、中心点坐标、距离平均值，根据所述宽、高与设定人体的身高、肩宽范围的比对，对各感兴趣区域进行筛选，得到第二感兴趣区域集合；所述距离平均值为感兴趣区域中各像素点深度距离的平均值；
步骤A300，若所述第二感兴趣区域集合为空，则执行步骤A100，否则将所述第二集合中距离平均值最小、中心点坐标与相机的成像平面竖直中心线距离在设定的阈值范围内的感兴趣区域对应的目标作为待跟随目标。
3.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，步骤S200中“提取所述输入图像的感兴趣区域”，其方法为：
通过预设的聚类方法对所述输入图像中各像素点对应的深度距离进行聚类，并根据聚类的结果对所述输入图像进行二值化处理，提取感兴趣区域；
其中，所述预设的聚类方法为：
获取所述输入图像中各像素点对应的深度距离，构建深度距离集合D，D＝{d1,d2,…,dN}，dN表示各像素点的深度距离；
遍历深度距离集合D，以d1为初始聚类中心sd1，初始化聚类中心集合S＝{sd1}，若di在S的任一个聚类中心sdj的设定半径Rd范围内则归为该聚类，同时更新聚类中心；若di与S中所有聚类中心的距离都大于Rd，则添加di为新的聚类中心sdi，更新S＝{sd1,…,sdi}，直到遍历完集合D；其中，i,j表示下标。
4.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，所述感兴趣区域的宽、高，其计算方法为：
width＝rectwidth*averDepth/fx
height＝rectytop*averDepth/fy
其中，width、height为感兴趣区域的宽、高，rectwidth为感兴趣区域外接矩形的像素宽度，rectytop为感兴趣区域外接矩形左上角像素的行坐标，averDepth为距离平均值，fx、fy为可见光相机在横轴、纵轴方向上的尺度因子。
5.根据权利要求4所述的基于RGBD相机的目标跟随方法，其特征在于，所述中心点坐标为感兴趣区域在相机坐标系中的物理坐标，其计算方法为：
Figure FDA0002383390700000031
其中，(u,v)为感兴趣区域的外接矩形的中心在图像上的坐标，(cx,cy)为RGBD相机的可见光相机的主点，(x,y,z)为中心点坐标。
6.根据权利要求5所述的基于RGBD相机的目标跟随方法，其特征在于，所述移动速度包括线速度和角速度；所述线速度其计算方法为：
Figure FDA0002383390700000032
v＝v＜vmax？v:vmax
v＝v＞0？v:0
Figure FDA0002383390700000033
所述角速度，其计算方法为：
Figure FDA0002383390700000034
ω＝|ω|＜ωmax？ω:sign(ω)*ωmax
其中，v为线速度，vmax为线速度最大值，distrange为线速度由0增加到vmax需要的区间长度，Rstart、Rstop为直行开始距离阈值、直行结束距离阈值，xtarget、ztarget为根据目标区域的中心点坐标更新的目标位置，ω为角速度，ωmax为角速度最大值，xstart、xstop为转动开始距离阈值、转动结束距离阈值，xrange为角速度由0增加到ωmax需要的区间长度，xstart、xstop为转动开始距离阈值、转动结束距离阈值。
7.根据权利要求1-6任一项所述的基于RGBD相机的目标跟随方法，其特征在于，步骤S600之后还包括步骤S700，
若所述第二集合为空和/或所述第三集合为空和/或所述可能候选区域数量为0，则统计目标丢失的时长，若所述时长大于设定时长，则中止跟随任务，否则跳转步骤S100。
8.一种基于RGBD相机的目标跟随***，其特征在于，该***包括：获取模块、提取感兴趣区域模块、第一筛选模块、第二筛选模块、获取目标区域模块、控制设备移动模块；
所述获取模块，配置为通过设置于移动设备上的RGBD相机获取周围环境的深度图像，作为输入图像；
所述提取感兴趣区域模块，配置为提取所述输入图像的感兴趣区域，构建感兴趣区域集合，作为第一集合；
所述第一筛选模块，配置为筛选所述第一集合中包含人体的感兴趣区域，构建第二集合；
所述第二筛选模块，配置为计算所述第二集合中各感兴趣区域的中心点坐标与上一帧待追随目标的坐标的距离，若其大于设定的目标移动半径，则移除对应的感兴趣区域，得到第三集合；
所述获取目标区域模块，配置为计算所述第三集合中各感兴趣区域对应的颜色直方图与预保存的待跟随目标的颜色直方图的相似度，若所述相似度大于设定阈值，则作为可能候选区域，并将相似度最大的可能候选区域作为目标区域，更新目标坐标及其对应的颜色直方图；
所述控制设备移动模块，配置为根据所述目标区域的中心点坐标，通过双阈值方法计算移动设备的移动速度，并控制移动设备向目标移动；移动后，跳转获取模块，直至跟随任务结束。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的基于RGBD相机的目标跟随方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于RGBD相机的目标跟随方法。
CN202010090067.4A 2020-02-13 2020-02-13 基于rgbd相机的目标跟随方法、***、装置 Active CN111325770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090067.4A CN111325770B (zh) 2020-02-13 2020-02-13 基于rgbd相机的目标跟随方法、***、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090067.4A CN111325770B (zh) 2020-02-13 2020-02-13 基于rgbd相机的目标跟随方法、***、装置

Publications (2)

Publication Number Publication Date
CN111325770A true CN111325770A (zh) 2020-06-23
CN111325770B CN111325770B (zh) 2023-12-22

Family

ID=71168808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090067.4A Active CN111325770B (zh) 2020-02-13 2020-02-13 基于rgbd相机的目标跟随方法、***、装置

Country Status (1)

Country Link
CN (1) CN111325770B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588099A (zh) * 2022-11-02 2023-01-10 北京鹰之眼智能健康科技有限公司 一种感兴趣区域显示方法、电子设备和存储介质
CN115690400A (zh) * 2022-11-02 2023-02-03 北京鹰之眼智能健康科技有限公司 一种红外图像显示方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪***及方法
US20130266175A1 (en) * 2012-04-09 2013-10-10 GM Global Technology Operations LLC Road structure detection and tracking
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及***
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置
CN107170011A (zh) * 2017-04-24 2017-09-15 杭州司兰木科技有限公司 一种机器人视觉跟踪方法及***
US20190057244A1 (en) * 2017-08-18 2019-02-21 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
US20190114501A1 (en) * 2017-10-16 2019-04-18 Wistron Corporation Target tracking method and system adaptable to multi-target tracking
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110378218A (zh) * 2019-06-13 2019-10-25 大亚湾核电运营管理有限责任公司 一种图像处理方法、装置及终端设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266175A1 (en) * 2012-04-09 2013-10-10 GM Global Technology Operations LLC Road structure detection and tracking
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪***及方法
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及***
CN105825524A (zh) * 2016-03-10 2016-08-03 浙江生辉照明有限公司 目标跟踪方法和装置
CN107170011A (zh) * 2017-04-24 2017-09-15 杭州司兰木科技有限公司 一种机器人视觉跟踪方法及***
US20190057244A1 (en) * 2017-08-18 2019-02-21 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
US20190114501A1 (en) * 2017-10-16 2019-04-18 Wistron Corporation Target tracking method and system adaptable to multi-target tracking
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110378218A (zh) * 2019-06-13 2019-10-25 大亚湾核电运营管理有限责任公司 一种图像处理方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于铁军;邹震;: "基于颜色差分直方图的图像序列目标检测和跟踪方法", 福建电脑, no. 10, pages 119 - 122 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588099A (zh) * 2022-11-02 2023-01-10 北京鹰之眼智能健康科技有限公司 一种感兴趣区域显示方法、电子设备和存储介质
CN115690400A (zh) * 2022-11-02 2023-02-03 北京鹰之眼智能健康科技有限公司 一种红外图像显示方法
CN115588099B (zh) * 2022-11-02 2023-05-30 北京鹰之眼智能健康科技有限公司 一种感兴趣区域显示方法、电子设备和存储介质
CN115690400B (zh) * 2022-11-02 2024-01-23 北京鹰之眼智能健康科技有限公司 一种红外图像显示方法

Also Published As

Publication number Publication date
CN111325770B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
Zhang et al. Vehicle tracking and speed estimation from roadside lidar
US11915502B2 (en) Systems and methods for depth map sampling
CN112567201B (zh) 距离测量方法以及设备
CN111780771B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN102313547B (zh) 基于手绘轮廓语义地图的移动机器人视觉导航方法
CN113421289B (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
US20130169822A1 (en) Camera calibration using feature identification
CN113064135B (zh) 在3d雷达点云连续帧数据中检测障碍物的方法及装置
CN111552764B (zh) 一种车位检测方法、装置、***及机器人和存储介质
US10922542B2 (en) System and method for identifying target objects
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN111325770B (zh) 基于rgbd相机的目标跟随方法、***、装置
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及***
WO2023179027A1 (zh) 一种道路障碍物检测方法、装置、设备及存储介质
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN113804182B (zh) 一种基于信息融合的栅格地图创建方法
CN117152719B (zh) 除草障碍物检测方法、设备、存储介质及装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템
JP2004294421A (ja) 自己位置計測方法及び装置
Salah et al. Summarizing large scale 3D mesh for urban navigation
CN117152210B (zh) 基于动态观测视场角的图像动态追踪方法及相关装置
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及***
CN115752476B (zh) 一种基于语义信息的车辆地库重定位方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant