CN112037259A - 动态目标的跟踪***及方法 - Google Patents
动态目标的跟踪***及方法 Download PDFInfo
- Publication number
- CN112037259A CN112037259A CN202010879875.9A CN202010879875A CN112037259A CN 112037259 A CN112037259 A CN 112037259A CN 202010879875 A CN202010879875 A CN 202010879875A CN 112037259 A CN112037259 A CN 112037259A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- tracking result
- dynamic
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种动态目标的跟踪***及方法。该***包括：图像获取模块，被配置为获取动态目标的RGBD图像；动态目标检测模块，与所述图像获取模块连接，被配置为对所述RGBD图像进行目标检测，得到目标的部件的初始位置；部件位置跟踪模块，与所述动态目标检测模块连接，被配置为根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。通过执行本技术方案，可以提高对动态目标跟踪的准确性和鲁棒性。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种动态目标的跟踪***及方法。
背景技术
随着科技水平的迅速发展，运输设备在对物品的运输领域被广泛应用。在订单到人的场景下，存在一种运输情况，由运输设备跟踪行人，并为行人运输相应的物品。在这种情况下，运输设备需要不断获取行人图像，并从图像中确定自己的跟踪目标。然而，由于行人往往是在运动的，并且可能伴随由侧身弯腰，抬起胳膊等动作，以及还可能会因为其他物品遮挡，或者行人移动出图像范围而造成无法正常跟踪的情况。这不仅使得运输设备无法正常的运动，同时还影响行人的使用体验，甚至容易造成行人的经济损失。
发明内容
本申请实施例提供一种动态目标的跟踪***及方法，可以提高对动态目标跟踪的准确性和鲁棒性。
第一方面，本申请实施例提供了一种动态目标的跟踪***，该***包括：
图像获取模块，被配置为获取动态目标的RGBD图像；
动态目标检测模块，与所述图像获取模块连接，被配置为对所述RGBD图像进行目标检测，得到目标的部件的初始位置；
部件位置跟踪模块，与所述动态目标检测模块连接，被配置为根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
进一步的，所述动态目标检测模块，还被配置为：对所述RGBD图像进行目标检测，得到目标的整***置；
所述***还包括整***置跟踪模块，与所述动态目标检测模块连接，被配置为：
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
进一步的，所述***还包括跟踪融合模块，与所述部件位置跟踪模块连接，并与所述整***置跟踪模块连接，被配置为：
根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果。
进一步的，所述跟踪融合模块，被配置为：
若存在至少两个整体跟踪结果，则选择与所述部件跟踪结果重合系数最大的整体跟踪结果为最终跟踪结果；
若存在一个整体跟踪结果，则当该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。
进一步的，所述跟踪融合模块，还被配置为：
若不存在整体跟踪结果，则以所述部件跟踪结果为最终跟踪结果。
进一步的，所述动态目标检测模块，被配置为：
采用预设检测网络模型进行目标检测，以得到目标的部件的初始位置；其中，所述部件包括头部，躯干，手臂以及腿部中的一个或者多个。
进一步的，所述部件位置跟踪模块，被配置为：
采用光流法确定至少两帧RGBD图像间目标运动信息；并根据所述目标运动信息确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
进一步的，整***置跟踪模块，被配置为：
确定目标帧RGBD图像中的目标检测结果，并确定检测到的目标与所述整***置的跟踪目标模板的匹配置信度；
根据所述匹配置信度，确定至少一个整体跟踪结果。
第二方面，本申请实施例提供了一种动态目标的跟踪方法，所述方法包括：
获取动态目标的RGBD图像；
对所述RGBD图像进行目标检测，得到目标的部件的初始位置；
根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
进一步的，所述方法还包括：
对所述RGBD图像进行目标检测，得到目标的整***置；
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
进一步的，所述方法还包括：
根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果。
进一步的，根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果，包括：
若存在至少两个整体跟踪结果，则选择与所述部件跟踪结果重合系数最大的整体跟踪结果为最终跟踪结果；
若存在一个整体跟踪结果，则当该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。
进一步的，根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果，还包括：
若不存在整体跟踪结果，则以所述部件跟踪结果为最终跟踪结果。
进一步的，对所述RGBD图像进行目标检测，得到目标的部件的初始位置，包括：
采用预设检测网络模型进行目标检测，以得到目标的部件的初始位置；其中，所述部件包括头部，躯干，手臂以及腿部中的一个或者多个。
进一步的，所根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果，包括：
采用光流法确定至少两帧RGBD图像间目标运动信息；并根据所述目标运动信息确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
进一步的，确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果，包括：
确定目标帧RGBD图像中的目标检测结果，并确定检测到的目标与所述整***置的跟踪目标模板的匹配置信度；
根据所述匹配置信度，确定至少一个整体跟踪结果。
本申请实施例所提供的技术方案，包括：图像获取模块，被配置为获取动态目标的RGBD图像；动态目标检测模块，与所述图像获取模块连接，被配置为对所述RGBD图像进行目标检测，得到目标的部件的初始位置；部件位置跟踪模块，与所述动态目标检测模块连接，被配置为根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。通过采用本申请所提供的技术方案，可以提高对动态目标跟踪的准确性和鲁棒性。
附图说明
图1是本发明实施例中提供的订单到人运行过程的示意图；
图2是本发明实施例中提供的一种单向开口货架的结构示意图；
图3是本发明实施例中提供的订单到人的控制过程的示意图；
图4是本申请实施例提供的动态目标的跟踪***的示意图；
图5是本申请实施例提供的动态目标的跟踪方法的示意图；
图6是本申请实施例提供的动态目标的跟踪方法的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本发明实施例中提供的订单到人运行过程的示意图。参见图1，该存储区110包括：货架111，货架111设置有多个，其上放置有各种物品，多个货架111之间排布成阵列形式，例如在超市中见到的放置有各种商品的货架一样。货架111可以是一种具有格口并通过格口能够存取物品的容器，例如收纳箱，其中货架111包括多个隔层以及四个落地支撑柱，货架111的隔层上设置有至少一个格口，格口中可以放置一个或多个物品。另外，货架111可以是单向开口的，例如，图2是本发明实施例中提供的一种单向开口货架的结构示意图，如图2所示的单向开口的货架111，也可以是双向开口。此处的货架111可以是可移动货架，也可以是固定货架。
在订单到人的场景中，控制***可以将相应的订单发送到运输设备120。工作人员通过运输设备120的显示器或者工作人员手中携带的智能终端，确定运输设备120需要完成的订单。可以理解的，如果工作人员采用手中携带的智能终端查看订单或者通过运输设备120的显示器查看订单，在进行订单所包含的商品的拣选前，需要与运输设备120连接，即工作人员与对应的运输设备120进行绑定，具体的，可以是扫码连接、输入编号连接或者刷卡连接等等。
在运输设备120接收到订单之后，运输设备120需要跟踪工作人员完成对订单中的货品的拣选。运输设备120需要把工作人员确定为跟踪目标，以在工作人员行走过程中，对工作人员进行实时跟踪。跟踪工作人员的过程中，工作人员可以进行货品的拣选，并将货品放置在运输设备120上。此外，工作人员还可以根据运输设备120的显示器与运输设备120进行交互，例如了解订单的具体内容等等。
图3是本发明实施例中提供的订单到人的控制过程的示意图。如图3所示，控制***130与运输设备120进行无线通信，客户通过操作台产生订单，该订单传输到控制***130，控制***130响应于订单并将订单下发到运输设备120，运输设备120在控制***130的控制下，并在工作人员的协助下，执行订单任务。例如，运输设备120接收订单任务，与仓库中的某一工作人员进行绑定，即该绑定的工作人员负责该运输设备接收的订单任务的拣选，运输设备120可以沿货架阵列中间的通道空间行驶，运动到货架111的位置，接收工作人员拣选的物品，并跟踪工作人员进行实时运输，最终将拣选的物品运到指定位置。
可见，在工作人员从货架111上面取出物品之后，可以直接放置在运输设备120上，并且无需对运输设备120进行控制，运输设备120会跟踪该工作人员，直至运输设备120分配到的订单被完成。可以理解的，在货品补货时与上述过程类似，此处的货品补货是指仓库中某商品数量低于设定的某一阈值后，需要针对该商品进行补货，由运输设备120加载一定量的该商品，并携带该商品运行至目标存储货架，工作人员将运输设备120上的商品放至目标存储货架上，完成对该商品的补货上架。相对于传统的人工取货或者补货的方式，订单到人的方案实现过程更加便捷，而且在节省人工的同时，无需对货架进行改进，从而可以适应各种类型的存储仓库的物品存取。
控制***130可以是在控制服务器上运行的、具有数据存储、信息处理能力的软件***，可通过无线或有线与运输设备120、硬件输入***、其它软件***连接。控制***130可以包括一个或多个控制服务器，可以为集中式控制架构或者分布式计算架构。控制服务器具有处理器1301和存储器1302，在存储器1302中可以具有订单池1303。
运输设备120可仅具有跟踪功能，或具有跟踪功能和导航功能两者。另外，运输设备120可具有其他期望和/或必要的功能，如避障功能等。
对于跟踪功能，物流机器人可包括：主控制器；可移动底座；信息采集装置，适于采集其视野范围内存在的对象的图像信息和深度信息；信息采集装置可包括RGBD相机，RGBD相机适于采集其视野范围内存在的对象的图像信息和深度信息，得到RGBD图像。
替代地或附加地，信息采集装置可包括单目相机和激光雷达，其中单目相机适于采集其视野范围内存在的对象的图像信息，激光雷达适于采集其视野范围内存在的对象的深度信息。
主控制器可从所述RGBD相机获取所述跟踪目标的图像信息和深度信息。例如，在识别目标超出RGBD相机视野范围的情况下，主控制器在一段时间如1秒内无法从RGBD相机获取有效信息来识别跟踪目标，则确定为跟踪目标丢失。根据需要，可以设置多个RGBD相机。另外，根据需要，单目相机和激光雷达的数量均可以是一个或多个。
可以预期的是，信息采集装置可以实时采集其视野范围内存在的对象的视觉信息，包括图像信息和深度信息；主控制器可以从信息采集装置实时获取其采集的信息，并实时进行跟踪目标识别、实时确定跟踪目标位置信息、实时规划跟踪路线。
可以预期的是，主控制器可以多种方式有线地或无线地获取跟踪目标的身份信息，例如，主控制器可以从主控制器可耦合至或可与之通信的任何设备如服务器、移动设备如操作人员的移动设备等，获取跟踪目标的身份信息。根据需要，主控制器可以经由线缆与这样的设备连接和通信，或经由BluetoothTM、WiFi、ZigBeeTM或其他无线通信协议与这样的设备通信。
通常，上述的跟踪目标为被授权使用运输设备120的工作人员，例如运输设备120的操作人员。主控制器可被配置为基于获取的跟踪目标的身份信息对跟踪目标授权。该身份信息可以为任何可唯一地识别跟踪目标的身份的信息，例如但不限于：跟踪目标的用户名和密码，跟踪目标的指纹，跟踪目标的脸部图像等。
跟踪目标的识别特征可以与跟踪目标的身份信息相关联。该识别特征可以是跟踪目标本身或其身上佩戴或携带的适于识别该跟踪目标的任何特征。在跟踪目标为操作人员的情况下，其识别特征可以为，例如但不限于：其体型、其背上携带的工号、其背上携带的二维码、其所着服装的颜色等。
图4是本申请实施例提供的动态目标的跟踪***的示意图，本实施例可适用于运输设备对动态目标进行跟踪的情况，该***可以执行本申请实施例所提供的动态目标的跟踪方法，该***可以由软件和/或硬件的方式来实现。
如图4所示，所述动态目标的跟踪***包括：
图像获取模块410，被配置为获取动态目标的RGBD图像；
动态目标检测模块420，与所述图像获取模块410连接，被配置为对所述RGBD图像进行目标检测，得到目标的部件的初始位置；
部件位置跟踪模块430，与所述动态目标检测模块420连接，被配置为根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
本方案可以由具有运输功能的机器人执行，具体的，可以为具有全自动驾驶、半自动驾驶或者辅助驾驶功能的移动设备，比如具有自动驾驶模式的汽车、AGV(AutomatedGuided Vehicle，自动导引运输车/无人搬运车)、机器人等。本案中以AGV为例进行说明。
在利用AGV来执行任务的场景中，通常由统一的管理平台对同一场景内的多个AGV来进行调度，以使得整个场景能够有序进行。比如，利用AGV来实现货物拣选时，需要对仓储区域内所有在执行任务或者即将执行任务的AGV进行调度控制。待执行任务可以由管理平台自动导入，也可以由工作人员通过输入设备进行输入。当管理平台接收到一个或者多个待执行任务时，管理平台会根据自身的调度算法或者规则确定相应的AGV来来完成每个任务，当然管理平台也可以根据工作人员指定的AGV来控制相应的AGV执行新的任务。这就需要对接收到任务的AGV(也即待执行任务的AGV)进行路径的规划。对待执行任务的AGV进行路径规划可以采用本领域常用的路径规划方法来进行。具体地，根据AGV的起始点和目的地确定可选路径，然后基于时间、路程因素以及路径繁忙程度进行权衡后选择一个最佳路径作为规划路径。
图像获取模块410，可以是设置在AGV上面的深度摄像头，该摄像头不仅可以获取图像的色彩信息，还可以获取图像中各个像素点的深度信息。因此，可以通过该摄像头获取动态目标的RGBD图像。其中，可以理解的，动态目标可以是行人。动态目标可以是成人，也可以是儿童。
动态目标检测模块420，可以用于对获取的RGBD图像进行目标检测，得到目标的部件的初始位置。可以理解的，可以是采用一定的算法，实现对RGBD图像进行目标检测的，例如，通过人形识别技术识别图像中的人体形态，如果其中包含多个人体形态，则可以将每个人体形态都标记出来，供后续确认其中是否包括动态目标。
在本实施例中，可选的，所述动态目标检测模块420，被配置为：
采用预设检测网络模型进行目标检测，以得到目标的部件的初始位置；其中，所述部件包括头部，躯干，手臂以及腿部中的一个或者多个。
本方案，利用改进的CenterNet检测网络进行行人检测，得到行人及其部件位置。主要用于得到初始帧行人及其部件位置及后续新图像帧中行人及其部件位置。
部件位置跟踪模块430，可以根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
其中，运动信息可以是各个部位的运动量。具体的，可以是各个部位的像素点从前一阵RGBD图像到后一帧RGBD图像的位置变化量。由于每一个部位都是人体的一部分，在相邻两帧RGBD图像之间的运动情况往往是比较接近的，因此，可以根据至少两帧RGBD图像见的运动信息，确定目标帧RGBD图像中各个部件的预估位置。
可以理解的，至少两帧RGBD图像可以是连续的两帧，也可以是非连续的，例如，在视频流中的第2帧RGBD图像和第4帧RGBD图像，则所确定的目标帧RGBD图像可以是第6帧RGBD图像。具体的，可以根据需要，或者实际场景来确定的，如场景中工作人员的运动是相对缓慢的，则可以采取非连续的两帧进行动作量的计算。这样可以减小计算量，减轻计算负担。
在本技术方案中，可选的，所述部件位置跟踪模块430，被配置为：
采用光流法确定至少两帧RGBD图像间目标运动信息；并根据所述目标运动信息确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
光流(optical flow)是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。
采用光流法，可以更加准确的确定目标帧RGBD图像中目标的预估位置。
可以理解的，在部件包括头部，躯干，手臂以及腿部的情况下，可以将各个部件的中心位置确定为动态目标的位置。
本技术方案，通过采用部件检测的手段，可以避免整个动态目标的范围进行跟踪的情况下，由于动态目标的体态变化、移动出图像范围而造成的无法对动态目标进行跟踪的问题。提高了对动态目标进行跟踪的鲁棒性。
在一个可行的实施例中，可选的，所述动态目标检测模块，还被配置为：对所述RGBD图像进行目标检测，得到目标的整***置；
所述***还包括整***置跟踪模块，与所述动态目标检测模块连接，被配置为：
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
其中，整***置可以是基于动态目标的整体跟踪目标模板确定的。整***置可以是作为部件位置的补充方案，也可以是单独用来进行动态目标跟踪的，在一些情况下，如果基于部件位置很难进行动态目标跟踪，则可以采用本方案中提供的整***置跟踪的方式。
在本方案中，具体的，整***置跟踪模块，被配置为：
确定目标帧RGBD图像中的目标检测结果，并确定检测到的目标与所述整***置的跟踪目标模板的匹配置信度；
根据所述匹配置信度，确定至少一个整体跟踪结果。
可以理解的，在目标帧RGBD图像中，可能存在动态目标的整***置，还可能存在其他动态目标的整***置，因此，在整***置检测的过程中，可以利用上一步骤的行人检测模块得到行人检测结果，通过一个匹配网络，将每一个检测结果与跟踪目标模板进行比较，得到匹配置信度，选择前三个最大的匹配结果并保存位置及置信度。
在上述技术方案的基础上，可选的，所述***还包括跟踪融合模块，与所述部件位置跟踪模块连接，并与所述整***置跟踪模块连接，被配置为：
根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果。
在同时采用整***置和部件位置进行检测的情况下，可以根据两种的检测结果，确定动态目标的最终跟踪结果。例如，当其中一个检测成功，另一个检测失败的情况下，可以以检测成功检测得到的位置作为最终跟踪结果。
具体的，所述跟踪融合模块，被配置为：
若存在至少两个整体跟踪结果，则选择与所述部件跟踪结果重合系数最大的整体跟踪结果为最终跟踪结果；
若存在一个整体跟踪结果，则当该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。
其中，当存在整体跟踪结果的情况下，可以根据整体跟踪结果的个数，确定融合策略，当存在两个或者更多整体跟踪结果的情况下，可以根据部件跟踪结果，确定其中哪一个才是真正的跟踪目标。当只存在一个整体跟踪结果的情况下，可以根据该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。例如两者的重合系数为20％，则说明很有可能整体跟踪结果和部件跟踪结果跟踪的不是同一个目标。只有当两者重合系数达到50％或者更高的情况下，可以确定动态目标的最终跟踪结果。而可以理解的，如果是以点位来表示整体跟踪结果和部件跟踪结果的情况下，可以通过确定两个点位之间的距离来确定两者的重合系数。
在另一个可行的实施例中，所述跟踪融合模块，还被配置为：
若不存在整体跟踪结果，则以所述部件跟踪结果为最终跟踪结果。
如果检测不到整体跟踪结果，说明此时动态目标已经部分或者全部肢体在图像范围以外，则只能够通过部件跟踪结果确定动态目标的最终跟踪结果。如果动态跟踪结果也无法进行检测，则可以跳过当前帧图像，对后续预设数量帧的图像进行检测，如果依然检测不到整***置或者部件位置，则可以确定丢失动态跟踪目标。
图5是本申请实施例提供的动态目标的跟踪方法的示意图。如图5所示，所述动态目标的跟踪方法由管理平台执行，包括：
S510、获取动态目标的RGBD图像。
S520、对所述RGBD图像进行目标检测，得到目标的部件的初始位置。
S530、根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
在上述技术方案的基础上，可选的，所述方法还包括：
对所述RGBD图像进行目标检测，得到目标的整***置；
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
在上述技术方案的基础上，可选的，还包括：
根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果。
在上述技术方案的基础上，可选的，根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果，包括：
若存在至少两个整体跟踪结果，则选择与所述部件跟踪结果重合系数最大的整体跟踪结果为最终跟踪结果；
若存在一个整体跟踪结果，则当该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。
在上述技术方案的基础上，可选的，根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果，还包括：
若不存在整体跟踪结果，则以所述部件跟踪结果为最终跟踪结果。
在上述技术方案的基础上，可选的，对所述RGBD图像进行目标检测，得到目标的部件的初始位置，包括：
采用预设检测网络模型进行目标检测，以得到目标的部件的初始位置；其中，所述部件包括头部，躯干，手臂以及腿部中的一个或者多个。
在上述技术方案的基础上，可选的，所根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果，包括：
采用光流法确定至少两帧RGBD图像间目标运动信息；并根据所述目标运动信息确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
在上述技术方案的基础上，可选的，确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果，包括：
确定目标帧RGBD图像中的目标检测结果，并确定检测到的目标与所述整***置的跟踪目标模板的匹配置信度；
根据所述匹配置信度，确定至少一个整体跟踪结果。
上述方法可由本申请任意实施例所提供***来执行，具备与***相应的执行步骤和有益效果。
图6是本申请实施例提供的动态目标的跟踪方法的示意图。如图6所示，所述动态目标的跟踪方法，包括：
本方法利用了外观信息，空间信息和运动一致性信息。人本身作为一个整体，同时将人的身体分为不同部件，结合整体和部件跟踪结果进行跟踪。将目标及其部件作为跟踪对象,通过深度特征描述目标及其部件，利用光流判断部件之间的运动一致性。既能保证跟踪的准确性，又能保证跟踪的鲁棒性。
将行人分为不同部件，如：头部，躯干，手臂，腿。
本发明由行人检测模块，行人整体跟踪模块，基于部件运动的跟踪模块和跟踪融合模块组成。
1、行人检测模块，用于：基于RGBD图像进行行人检测，得到图像中行人及其部件位置。本方法利用改进的CenterNet检测网络进行行人检测，得到行人及其部件位置。主要用于得到初始帧行人及其部件位置(跟踪目标模板)，及后续新图像帧中行人及其部件位置。
2、行人整体跟踪模块，用于：在新一帧图像中，利用上一步骤的行人检测模块得到行人检测结果，通过一个匹配网络，将每一个检测结果与跟踪目标模板进行比较，得到匹配置信度，选择前三个最大的匹配结果并保存位置及置信度。该步骤可得到与目标模板最相似的行人位置结果。该步骤可以处理行人由于出画面或遮挡等引起的，消失后又出现的情况。
3、基于部件运动的跟踪模块，用于：根据连续两帧图像间的相对运动情况，得到目标帧部件位置。本方法利用光流法来实现。光流是指视频图像的一帧中的代表同一对象(物体)像素点移动到目标帧的移动量，使用二维向量表示。根据先验知识可知前后两帧中人体的同一部件的光流运行应该是相同的。因此通过上一帧部件位置及两帧间的光流运行信息，可以得到上一帧部件在目标帧中的位置，从而得到部件跟踪结果。所有部件的中心即行人整体跟踪结果。
4、跟踪融合模块，用于：结合步骤2和步骤3的跟踪结果，得到最终行人跟踪结果：
(1)当步骤2有跟踪结果时，选择与步骤3跟踪结果最接近的结果作为最终跟踪结果。此步骤可以滤除步骤2中的误检，提高跟踪的稳定性与准确率。
(2)当由于人体发生变形或者遮挡引起的第2步骤目标匹配失败时，将步骤3结果作为跟踪结果，提高跟踪结果的鲁棒性。
本发明综合利用了目标的外观信息，空间信息和运动一致性信息，可以适用于行人消失后再出现，行人发生形变，遮挡等多种情况下的跟踪，同时兼顾准确性与鲁棒性。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种动态目标的跟踪***，其特征在于，包括：
图像获取模块，被配置为获取动态目标的RGBD图像；
动态目标检测模块，与所述图像获取模块连接，被配置为对所述RGBD图像进行目标检测，得到目标的部件的初始位置；
部件位置跟踪模块，与所述动态目标检测模块连接，被配置为根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
2.根据权利要求1所述的***，其特征在于，所述动态目标检测模块，还被配置为：对所述RGBD图像进行目标检测，得到目标的整***置；
所述***还包括整***置跟踪模块，与所述动态目标检测模块连接，被配置为：
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
3.根据权利要求2所述的***，其特征在于，所述***还包括跟踪融合模块，与所述部件位置跟踪模块连接，并与所述整***置跟踪模块连接，被配置为：
根据所述部件跟踪结果以及所述至少一个整体跟踪结果，确定动态目标的最终跟踪结果。
4.根据权利要求3所述的***，其特征在于，所述跟踪融合模块，被配置为：
若存在至少两个整体跟踪结果，则选择与所述部件跟踪结果重合系数最大的整体跟踪结果为最终跟踪结果；
若存在一个整体跟踪结果，则当该整体跟踪结果与所述部件跟踪结果重合系数符合设定阈值时，以该整体跟踪结果为最终跟踪结果。
5.根据权利要求4所述的***，其特征在于，所述跟踪融合模块，还被配置为：
若不存在整体跟踪结果，则以所述部件跟踪结果为最终跟踪结果。
6.根据权利要求1所述的***，其特征在于，所述动态目标检测模块，被配置为：
采用预设检测网络模型进行目标检测，以得到目标的部件的初始位置；其中，所述部件包括头部，躯干，手臂以及腿部中的一个或者多个。
7.根据权利要求1所述的***，其特征在于，所述部件位置跟踪模块，被配置为：
采用光流法确定至少两帧RGBD图像间目标运动信息；并根据所述目标运动信息确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
8.根据权利要求2所述的***，其特征在于，整***置跟踪模块，被配置为：
确定目标帧RGBD图像中的目标检测结果，并确定检测到的目标与所述整***置的跟踪目标模板的匹配置信度；
根据所述匹配置信度，确定至少一个整体跟踪结果。
9.一种动态目标的跟踪方法，其特征在于，所述方法包括：
获取动态目标的RGBD图像；
对所述RGBD图像进行目标检测，得到目标的部件的初始位置；
根据至少两帧RGBD图像间目标运动信息，确定目标帧RGBD图像中目标的预估位置，以确定动态目标的部件跟踪结果。
10.根据权利要求9所述的方法，其特征在于，还包括：
对所述RGBD图像进行目标检测，得到目标的整***置；
确定目标帧RGBD图像中与所述整***置相匹配的至少一个整体跟踪结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879875.9A CN112037259A (zh) | 2020-08-27 | 2020-08-27 | 动态目标的跟踪***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879875.9A CN112037259A (zh) | 2020-08-27 | 2020-08-27 | 动态目标的跟踪***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112037259A true CN112037259A (zh) | 2020-12-04 |
Family
ID=73586692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879875.9A Pending CN112037259A (zh) | 2020-08-27 | 2020-08-27 | 动态目标的跟踪***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037259A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883915A (zh) * | 2023-09-06 | 2023-10-13 | 常州星宇车灯股份有限公司 | 一种基于前后帧图像关联的目标检测方法及检测*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835182A (zh) * | 2015-06-03 | 2015-08-12 | 上海建炜信息技术有限公司 | 摄像机上实现动态目标实时跟踪的方法 |
| WO2015161697A1 (zh) * | 2014-04-25 | 2015-10-29 | 深港产学研基地 | 应用于人机交互的运动物体跟踪方法及*** |
| CN108269269A (zh) * | 2016-12-30 | 2018-07-10 | 纳恩博（北京）科技有限公司 | 目标跟踪方法和装置 |
| CN110287855A (zh) * | 2019-06-21 | 2019-09-27 | 上海闪马智能科技有限公司 | 一种行人轨迹获取方法以及*** |
| CN110516620A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| WO2020107524A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
-
2020
- 2020-08-27 CN CN202010879875.9A patent/CN112037259A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015161697A1 (zh) * | 2014-04-25 | 2015-10-29 | 深港产学研基地 | 应用于人机交互的运动物体跟踪方法及*** |
| CN104835182A (zh) * | 2015-06-03 | 2015-08-12 | 上海建炜信息技术有限公司 | 摄像机上实现动态目标实时跟踪的方法 |
| CN108269269A (zh) * | 2016-12-30 | 2018-07-10 | 纳恩博（北京）科技有限公司 | 目标跟踪方法和装置 |
| WO2020107524A1 (zh) * | 2018-11-27 | 2020-06-04 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
| CN110287855A (zh) * | 2019-06-21 | 2019-09-27 | 上海闪马智能科技有限公司 | 一种行人轨迹获取方法以及*** |
| CN110516620A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 方明等: "《视频图像光流场估计技术及应用》", 31 May 2019, 国防工业出版社, pages: 86 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883915A (zh) * | 2023-09-06 | 2023-10-13 | 常州星宇车灯股份有限公司 | 一种基于前后帧图像关联的目标检测方法及检测*** |
| CN116883915B (zh) * | 2023-09-06 | 2023-11-21 | 常州星宇车灯股份有限公司 | 一种基于前后帧图像关联的目标检测方法及检测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7341652B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびシステム | |
| US10810544B2 (en) | Distributed autonomous robot systems and methods | |
| US9928438B2 (en) | High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database | |
| CN107202571B (zh) | 用于在存储设施中执行检查的检查***和方法 | |
| US10209063B2 (en) | Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose | |
| US11966901B2 (en) | Automated shopping experience using cashier-less systems | |
| US20170270579A1 (en) | Robotic equipment for the location of items in a shop and operating process thereof | |
| CN106347919A (zh) | 一种自动仓储*** | |
| CN106647738A (zh) | 一种无人搬运车的对接路径确定方法及***及无人搬运车 | |
| US11961303B1 (en) | Agent re-verification and resolution using imaging | |
| CN110945449B (zh) | 现场环境的实时监督式机器学习***与方法 | |
| CN110816522B (zh) | 车辆姿态的控制方法、设备及计算机可读存储介质 | |
| CN112037259A (zh) | 动态目标的跟踪***及方法 | |
| US20240150159A1 (en) | System and method for definition of a zone of dynamic behavior with a continuum of possible actions and locations within the same | |
| CN114489082A (zh) | 机器人的移动控制方法、装置、设备及存储介质 | |
| KR20190078828A (ko) | 무인 비행체의 비행 제어장치 및 그 방법 | |
| CN111975776A (zh) | 基于深度学习和卡尔曼滤波的机器人移动跟踪***及方法 | |
| US20230211987A1 (en) | Pathfinding using centerline heuristics for an autonomous mobile robot | |
| US20230161356A1 (en) | Method of updating map in fusion slam and robot implementing same | |
| US10891736B1 (en) | Associating an agent with an event using motion analysis | |
| US20180299901A1 (en) | Hybrid Remote Retrieval System | |
| RU2658092C2 (ru) | Способ и система навигации подвижного объекта с использованием трехмерных датчиков | |
| Aquino et al. | Image Processing Based Human Following Cart Using 360° Camera | |
| WO2022193762A1 (zh) | 用于控制搬运机器人的方法和设备 | |
| Mronga et al. | MARLIN: A cloud integrated robotic solution to support intralogistics in retail |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100020 Room 101, 1st floor, building 1, No.36 courtyard, Chuangyuan Road, Chaoyang District, Beijing Applicant after: Beijing jizhijia Technology Co.,Ltd. Address before: 100020 Room 101, 1st floor, building 1, No.36 courtyard, Chuangyuan Road, Chaoyang District, Beijing Applicant before: Beijing Geekplus Technology Co.,Ltd. |