CN111708042B - 一种行人轨迹预测和跟随的机器人方法及*** - Google Patents

一种行人轨迹预测和跟随的机器人方法及*** Download PDF

Info

Publication number
CN111708042B
CN111708042B CN202010388347.3A CN202010388347A CN111708042B CN 111708042 B CN111708042 B CN 111708042B CN 202010388347 A CN202010388347 A CN 202010388347A CN 111708042 B CN111708042 B CN 111708042B
Authority
CN
China
Prior art keywords
pedestrian
prediction
track
target
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010388347.3A
Other languages
English (en)
Other versions
CN111708042A (zh
Inventor
范衠
马培立
朱贵杰
林培涵
李晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN202010388347.3A priority Critical patent/CN111708042B/zh
Publication of CN111708042A publication Critical patent/CN111708042A/zh
Application granted granted Critical
Publication of CN111708042B publication Critical patent/CN111708042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开一种行人轨迹预测和跟随的机器人方法及***，包括：ZED摄像头、GPU嵌入式平台、工控机、MCU控制器、激光雷达传感器和轮式里程计；本发明融合激光雷达和摄像头，将行人轨迹预测网络与行人重识别框架结合，利用行人交互轨迹网络进行预测，实现对目标行人的主动选取最优视角进行跟随，并且融入CSRT以及卡尔曼滤波，使机器人能对行人目标的轨迹进行准确地自主预测和跟随；鲁棒性高，精度高，准确率高，成本较低。

Description

一种行人轨迹预测和跟随的机器人方法及***
技术领域
本发明涉及服务机器人技术领域，尤其涉及一种行人轨迹预测和跟随的机器人方法及***。
背景技术
服务机器人在服务业以及医疗行业的需求在逐年上涨，这些服务机器人具有解放生产力、发展生产力和满足人们的消费升级需求等巨大应用价值。并且随着人工智能的不断发展，服务机器人也在人工智能技术应用方面取得了巨大的发展，在深度学习，机器视觉，语义分析等，都让服务机器人更加智能化。服务机器人，目前主流传感器仍然存在很多的局限性，现在市面上的跟随机器人主流技术为超声波雷达测距、UWB定位、RGB或者RGB-D摄像头识别等，来对行人进行识别并进行跟踪，但是上述的方法仍然缺乏自主性，无法让服务机器人主动的对目标行人实现行人跟随。并且在实际服务机器人工作场景中，机器人使用的2D激光雷达，会受到复杂环境的影响，从而使2D激光雷达的点云聚类出现偏差，导致行人轨迹点难以实现精确采集，导致预测出现偏差。
发明内容
本发明的目的在于提出一种行人轨迹预测和跟随的机器人方法及***，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为解决上述技术问题所采用的技术方案：一种行人轨迹预测和跟随的机器人方法，所述方法包括以下步骤：
S100、摄像头捕捉视频流信息传入视频流稀疏化框架中，并通过深度学习算法捕获所有行人位置信息；
S200、通过服务机器人的激光雷达传感器对周围环境进行扫描，并利用欧几里得聚类算法实现行人点集的聚合；
S300、将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的预测网络以及所有轨迹；
S400、利用行人重识别框架对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；
S500、利用当前目标行人的位置对深度学习输出的预测点集进行卡尔曼滤波融合，实现修正，并输出最终的机器人预测轨迹策略。
作为上述技术方案的进一步改进，所述步骤S100具体为：摄像头捕捉视频流信息传入视频流稀疏化框架中，当视频流传入视频流稀疏化框架后，将视频流数据传入到行人重识别网络以及基于CSRT算法的RGB识别框架中捕获所有行人位置信息，其中，所述行人重识别网络为YOLO v3。
作为上述技术方案的进一步改进，步骤200具体为：利用激光雷达传感器实现扫描，并将扫描数据进行整合，利用欧几里得聚类算法，将扫描到的点云数据进行聚类处理，并不断进行迭代，直到将所有点全部聚类完成，最终找到行人相对于服务机器人的方位，并输出行人位置点集的聚合数据。
作为上述技术方案的进一步改进，步骤300具体为：将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，并将融合的数据输入神经网络中，得到行人轨迹预测网络；将摄像头输出的识别结果与相对于机器人的行人位置的距离角度信息进行一一对应，并对此进行信息数据保存；将数据传入行人轨迹预测网络，输出具有社会交互性的行人预测轨迹。
作为上述技术方案的进一步改进，步骤S400具体为：获取所有行人预测轨迹，将检测到的行人以及对应的轨迹预测点传入到行人重识别框架中，行人重识别框架内存在目标行人数据库，在当识别到目标行人后，选取出对应的行人预测轨迹，并将目标行人的轨迹预测点保存。
作为上述技术方案的进一步改进，步骤S500具体为：获取目标行人的位置以及对应未来时刻的预测点进行卡尔曼滤波融合；并在融合后进入门控制电路，当且仅当行人预测网络进行更新时，门控制电路才被激活；最终输出预测的轨迹策略。
一种行人轨迹预测和跟随的机器人***，包括：ZED摄像头、GPU嵌入式平台、工控机、MCU控制器、激光雷达传感器和轮式里程计。
所述ZED摄像头用于捕捉视频流信息传入视频流稀疏化框架中；
所述GPU嵌入式平台处于ZED摄像头下方，用于处理ZED摄像头传入的图像并利用深度学习方法捕获所有行人位置信息。
所述激光雷达传感器用于对周围环境进行扫描并将扫描信息数据发送到工控机。
所述工控机分别连接GPU嵌入式平台以及MCU控制器，用于利用欧几里得聚类对实现行人点集的聚合，将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的所有轨迹以及其预测网络；用于利用行人重识别网络对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；用于利用当前目标行人的位置对深度学习输出的预测点集进行卡尔曼滤波融合，实现修正。
所述MCU控制器用于接收所述工控机的控制信息，并将对应信息转为所述轮式里程计的脉冲控制信息。
所述轮式里程计用于输出最终的机器人预测轨迹策略。
本发明的有益效果：本发明融合激光雷达和摄像头，将行人轨迹预测网络与行人重识别框架结合，利用行人交互轨迹网络进行预测，实现对目标行人的主动选取最优视角进行跟随，并且融入CSRT以及卡尔曼滤波，使机器人能对行人目标的轨迹进行准确地自主预测和跟随；鲁棒性高，精度高，准确率高，成本较低。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种行人轨迹预测和跟随的机器人方法及***的方法流程图；
图2是本发明提供的一种行人轨迹预测和跟随的机器人方法及***的步骤S100的流程图；
图3是本发明提供的一种行人轨迹预测和跟随的机器人方法及***的步骤S500的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
请参照图1，一种行人轨迹预测和跟随的机器人方法，所述方法包括以下步骤：
S100、摄像头捕捉视频流信息传入视频流稀疏化框架中，并通过深度学习算法捕获所有行人位置信息。
请参照图2，具体地，摄像头捕捉视频流信息传入视频流稀疏化框架中，当视频流传入视频流稀疏化框架后，将视频流数据传入到行人重识别网络以及基于CSRT算法的RGB识别框架中捕获所有行人位置信息，其中，所述行人重识别网络为YOLO v3。
将视频流信息传到行人重识别网络以及基于CSRT算法的RGB识别框架中，同时行人重识别网络会反馈当前所有行人的RGB特征信息数据，并传入基于CSRT算法的RGB识别框架中，基于CSRT算法的RGB识别框架循环等待RGB特征信息数据传入并更新；在视频流稀疏化框架输出处存在一个门控制电路，仅当行人重识别网络识别更新时，会激活该门控制电路，从而得到神经网络输出的模型并输出图片；当行人重识别结果传入基于CSRT算法的RGB识别框架后，对基于CSRT算法的RGB识别框架的识别结果中断，则门控制电路断开。
优选地，行人重识别网络为YOLO v3。
S200、通过服务机器人的激光雷达传感器对周围环境进行扫描，并利用欧几里得聚类算法实现行人点集的聚合；
具体地，利用激光雷达传感器实现扫描，并将扫描数据进行整合，利用欧几里得聚类算法，将扫描到的点云数据进行聚类处理，并不断进行迭代，直到将所有点全部聚类完成，最终找到行人相对于服务机器人的方位，并输出行人位置点集的聚合数据。
S300、将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的预测网络以及所有轨迹；
具体地，将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，并将融合的数据输入神经网络中，得到行人轨迹预测网络；将摄像头输出的识别结果与相对于机器人的行人位置的距离角度信息进行一一对应，并对此进行信息数据保存；将数据传入行人轨迹预测网络，输出具有社会交互性的行人预测轨迹。
S400、利用行人重识别框架对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；
具体地，获取所有行人预测轨迹，将检测到的行人以及对应的轨迹预测点传入到行人重识别框架中，行人重识别框架内存在目标行人数据库，在当识别到目标行人后，选取出对应的行人预测轨迹，并将目标行人的轨迹预测点保存。
S500、利用当前目标行人的位置对深度学习输出的预测点集进行卡尔曼滤波融合，实现修正，并输出最终的机器人预测轨迹策略。
请参照图3，具体地，获取目标行人的位置(行人相对于机器人的距离)以及目标行人轨迹预测对应未来时刻的预测点进行卡尔曼滤波融合；并在融合后进入门控制电路，即发送行人对应位置数据到门控制；当且仅当行人预测网络进行更新时(目标行人轨迹预测更新后的预测轨迹点)，门控制电路才被激活；最终输出预测的轨迹策略；目标行人轨迹预测在目标行人轨迹预测更新后，对卡尔曼滤波融合的预测路径中断后，则门控制电路断开。
一种行人轨迹预测和跟随的机器人***，包括：ZED摄像头、GPU嵌入式平台、工控机、MCU控制器、激光雷达传感器和轮式里程计。
所述ZED摄像头用于捕捉视频流信息传入视频流稀疏化框架中。
所述激光雷达传感器用于对周围环境进行扫描并将扫描信息数据发送到工控机。
优选地，激光雷达传感器采用RPLidar A2。
所述GPU嵌入式平台处于ZED摄像头下方，用于处理ZED摄像头传入的图像并利用深度学习方法捕获所有行人位置信息。
优选地，GPU嵌入式平台采用Jetson TX2。
所述工控机分别连接GPU嵌入式平台以及MCU控制器，用于利用欧几里得聚类对实现行人点集的聚合，将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的所有轨迹以及其预测网络；用于利用行人重识别网络对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；用于利用当前目标行人的位置对深度学习输出的预测点集进行卡尔曼滤波融合，实现修正。
所述MCU控制器用于接收所述工控机的控制信息，并将对应信息转为所述轮式里程计的脉冲控制信息。
所述轮式里程计用于输出最终的机器人预测轨迹策略。
本发明融合2D激光雷达和RGB摄像头，结合算法与深度学习对行人目标和环境进行信息采集和融合处理，得出行人目标移动的方向以及机器人的跟随路径，使机器人能对行人目标的轨迹进行准确地自主预测和跟随；通过将该行人轨迹预测网络与行人重识别框架结合，利用一种具有社会性的行人交互轨迹网络进行预测，实现对目标行人的主动选取最优视角进行跟随，并且融入CSRT以及卡尔曼滤波等耗费资源较少的一些方法，对计算机性能进行一定的补充，从而保证代码的流畅运行。最终实现一个高鲁棒性的主动跟随机器人。要求更低的***成本，并保证较好的精度；利用普通RGB相机以及2D激光雷达，充分结合了传统算法与深度学习，在保证鲁棒性的同时提高了相应的精度；在将行人识别与重识别分开，导致不需要神经网络的重复训练且定位和识别的准确率高。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种行人轨迹预测和跟随的机器人方法，其特征在于：所述方法包括以下步骤：
S100、摄像头捕捉视频流信息传入视频流稀疏化框架中，并通过深度学习算法捕获所有行人位置信息；
S200、通过服务机器人的激光雷达传感器对周围环境进行扫描，并利用欧几里得聚类算法实现行人点集的聚合；
S300、将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的预测网络以及所有轨迹；
S400、利用行人重识别框架对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；
S500、利用当前目标行人的位置对目标行人轨迹预测对应未来时刻的预测点进行卡尔曼滤波融合，实现修正，并输出最终的机器人预测轨迹策略。
2.根据权利要求1所述的一种行人轨迹预测和跟随的机器人方法，其特征在于：所述步骤S100具体为：摄像头捕捉视频流信息传入视频流稀疏化框架中，当视频流传入视频流稀疏化框架后，将视频流数据传入到行人重识别网络以及基于CSRT算法的RGB识别框架中捕获所有行人位置信息，其中，所述行人重识别网络为YOLO v3。
3.根据权利要求1所述的一种行人轨迹预测和跟随的机器人方法，其特征在于：步骤200具体为：利用激光雷达传感器实现扫描，并将扫描数据进行整合，利用欧几里得聚类算法，将扫描到的点云数据进行聚类处理，并不断进行迭代，直到将所有点全部聚类完成，最终找到行人相对于服务机器人的方位，并输出行人位置点集的聚合数据。
4.根据权利要求1所述的一种行人轨迹预测和跟随的机器人方法，其特征在于：步骤300具体为：将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，并将融合的数据输入神经网络中，得到行人轨迹预测网络；将摄像头输出的识别结果与相对于机器人的行人位置的距离角度信息进行一一对应，并对此进行信息数据保存；将数据传入行人轨迹预测网络，输出具有社会交互性的行人预测轨迹。
5.根据权利要求1所述的一种行人轨迹预测和跟随的机器人方法，其特征在于：步骤S400具体为：获取所有行人预测轨迹，将检测到的行人以及对应的轨迹预测点传入到行人重识别框架中，行人重识别框架内存在目标行人数据库，在当识别到目标行人后，选取出对应的行人预测轨迹，并将目标行人的轨迹预测点保存。
6.根据权利要求1所述的一种行人轨迹预测和跟随的机器人方法，其特征在于：步骤S500具体为：获取目标行人的位置以及目标行人轨迹预测对应未来时刻的预测点进行卡尔曼滤波融合；并在融合后进入门控制电路，当且仅当行人预测网络进行更新时，门控制电路才被激活；最终输出预测的轨迹策略。
7.一种行人轨迹预测和跟随的机器人***，其特征在于，包括：ZED摄像头、GPU嵌入式平台、工控机、MCU控制器、激光雷达传感器和轮式里程计；
所述ZED摄像头用于捕捉视频流信息传入视频流稀疏化框架中；
所述GPU嵌入式平台处于ZED摄像头下方，用于处理ZED摄像头传入的图像并利用深度学习方法捕获所有行人位置信息；
所述激光雷达传感器用于对周围环境进行扫描并将扫描信息数据发送到工控机；
所述工控机分别连接GPU嵌入式平台以及MCU控制器，用于利用欧几里得聚类对实现行人点集的聚合，将聚合后的行人点集与摄像头捕获的行人位置信息进行融合，得到视频内行人的所有轨迹以及其预测网络；用于利用行人重识别网络对所有行人进行筛选，判断是否存在目标行人，并将目标行人的轨迹预测点保存；用于利用当前目标行人的位置对目标行人轨迹预测对应未来时刻的预测点进行卡尔曼滤波融合，实现修正；
所述MCU控制器用于接收所述工控机的控制信息，并将对应信息转为所述轮式里程计的脉冲控制信息；
所述轮式里程计用于输出最终的机器人预测轨迹策略。
CN202010388347.3A 2020-05-09 2020-05-09 一种行人轨迹预测和跟随的机器人方法及*** Active CN111708042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010388347.3A CN111708042B (zh) 2020-05-09 2020-05-09 一种行人轨迹预测和跟随的机器人方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010388347.3A CN111708042B (zh) 2020-05-09 2020-05-09 一种行人轨迹预测和跟随的机器人方法及***

Publications (2)

Publication Number Publication Date
CN111708042A CN111708042A (zh) 2020-09-25
CN111708042B true CN111708042B (zh) 2023-05-02

Family

ID=72537185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010388347.3A Active CN111708042B (zh) 2020-05-09 2020-05-09 一种行人轨迹预测和跟随的机器人方法及***

Country Status (1)

Country Link
CN (1) CN111708042B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418288B (zh) * 2020-11-17 2023-02-03 武汉大学 一种基于gms和运动检测的动态视觉slam方法
CN112478015B (zh) * 2021-02-03 2021-04-16 德鲁动力科技(成都)有限公司 四足机器人足端触地检测方法及***
CN112965081B (zh) * 2021-02-05 2023-08-01 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN113313201A (zh) * 2021-06-21 2021-08-27 南京挥戈智能科技有限公司 基于Swin Transformer和ZED摄像头的多目标检测和测距方法
CN113916221B (zh) * 2021-09-09 2024-01-09 北京理工大学 一种融合视觉里程计和bp网络的自适应行人航迹推算方法
CN115877328B (zh) * 2023-03-06 2023-05-12 成都鹰谷米特科技有限公司 一种阵列雷达的信号收发方法及阵列雷达

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125087B (zh) * 2016-06-15 2018-10-30 清研华宇智能机器人（天津）有限责任公司 基于激光雷达的舞蹈机器人室内行人跟踪方法
US10884417B2 (en) * 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
CN107765220B (zh) * 2017-09-20 2020-10-23 武汉木神机器人有限责任公司 基于uwb和激光雷达混合定位的行人跟随***及方法
CN109146929B (zh) * 2018-07-05 2021-12-31 中山大学 一种基于事件触发相机与三维激光雷达融合***下的物体识别与配准方法
US11340610B2 (en) * 2018-07-24 2022-05-24 Huili Yu Autonomous target following method and device
CN109444911B (zh) * 2018-10-18 2023-05-05 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN109947119B (zh) * 2019-04-23 2021-06-29 东北大学 一种基于多传感器融合的移动机器人自主跟随方法
CN110414396B (zh) * 2019-07-19 2021-07-16 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法

Also Published As

Publication number Publication date
CN111708042A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111708042B (zh) 一种行人轨迹预测和跟随的机器人方法及***
CN110948492B (zh) 一种基于深度学***台和抓取方法
KR102043143B1 (ko) 인공신경망을 이용한 agv 주행제어 방법 및 장치
US11960290B2 (en) Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
JP5070213B2 (ja) ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
KR102043142B1 (ko) Agv 주행제어를 위한 인공신경망 학습 방법 및 장치
KR20190103103A (ko) 인공지능 무빙 에이전트
CN113093726A (zh) 一种基于Yolo_v4算法的目标检测与跟踪方法
Loukkal et al. Driving among flatmobiles: Bird-eye-view occupancy grids from a monocular camera for holistic trajectory planning
KR20190106918A (ko) 인공지능 무빙 에이전트
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
Ismail et al. Vision-based system for line following mobile robot
Jiang et al. Perceive, interact, predict: Learning dynamic and static clues for end-to-end motion prediction
Singh Transformer-based sensor fusion for autonomous driving: A survey
CN113128339A (zh) 一种基于行为识别的智能车辆运行控制***和方法
CN114730192A (zh) 物体移动***
Mygapula et al. Cnn based end to end learning steering angle prediction for autonomous electric vehicle
CN102745196A (zh) 基于粒计算的缩微智能车智能控制装置及方法
KR102537381B1 (ko) 보행경로예측장치
CN112911151B (zh) 目标跟随方法、装置、设备、***及存储介质
Hao et al. Rcooper: A real-world large-scale dataset for roadside cooperative perception
Mutz et al. Following the leader using a tracking system based on pre-trained deep neural networks
US20240185612A1 (en) Systems and methods for controlling a vehicle by detecting and tracking objects through associated detections
CN112116630A (zh) 目标跟踪的方法
CN111062311A (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant