CN109949347B - 人体跟踪方法、装置、***、电子设备和存储介质 - Google Patents

人体跟踪方法、装置、***、电子设备和存储介质 Download PDF

Info

Publication number
CN109949347B
CN109949347B CN201910199204.5A CN201910199204A CN109949347B CN 109949347 B CN109949347 B CN 109949347B CN 201910199204 A CN201910199204 A CN 201910199204A CN 109949347 B CN109949347 B CN 109949347B
Authority
CN
China
Prior art keywords
human body
point cloud
body point
integration effect
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910199204.5A
Other languages
English (en)
Other versions
CN109949347A (zh
Inventor
张成月
亢乐
杨洪天
杨松
刘涛
卢景熙
包英泽
陈明裕
章宏武
刘泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN201910199204.5A priority Critical patent/CN109949347B/zh
Publication of CN109949347A publication Critical patent/CN109949347A/zh
Priority to EP20162428.5A priority patent/EP3709266A1/en
Priority to US16/818,861 priority patent/US11600008B2/en
Application granted granted Critical
Publication of CN109949347B publication Critical patent/CN109949347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人体跟踪方法、装置、***、电子设备和存储介质。其中，所述方法包括：获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的；基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图；获取下一帧的人体点云整合效果图；根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。该方法基于多个摄像头各自的人体点云实现人体跟踪，可以使得整体***的稳定性大大提升，可以提高整个跟踪效果。

Description

人体跟踪方法、装置、***、电子设备和存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人体跟踪方法、装置、***、电子设备和计算机可读存储介质。
背景技术
在智慧零售场景下，通过视觉识别技术和多传感器融合的方式，着重解决了人货场的关系。相关技术中，要实现人货场中人的理解，最直接的方式是通过2D检测与跨镜追踪(PersonRe-Identification，简称ReID)来实现识别功能，通过多摄像头的标定和三角化来实现定位功能，通过2D跟踪来实现空间和时间上的连续跟踪功能。整体技术依赖带3D标定的多个单目摄像头。
但是，发明人经研究发现：上述技术方案在时间阈上的稳定性很难保证，且***累积误差会逐渐变大。除了效果上的问题以外，上述2D单目方案的检测和ReID技术非常耗资源。因为跟踪技术的不稳定，会加剧ReID的使用造成恶性循环，因此资源利用上也是一个明显的劣势。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本发明的第一个目的在于提出一种人体跟踪方法。该方法基于多个摄像头各自的人体点云实现人体跟踪，可以使得整体***的稳定性大大提升，可以提高整个跟踪效果。
本发明的第二个目的在于提出一种人体跟踪装置。
本发明的第三个目的在于提出一种人体跟踪***。
本发明的第四个目的在于提出一种电子设备。
本发明的第五个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出的人体跟踪方法，包括：获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的；基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图；获取下一帧的人体点云整合效果图；根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。
本发明实施例的人体跟踪方法，可获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，并基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
为达到上述目的，本发明第二方面实施例提出的人体跟踪装置，包括：人体点云数据获取模块，用于获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的；人体点云整合效果图生成模块，用于基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图；人体跟踪模块，用于获取下一帧的人体点云整合效果图，并根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。
本发明实施例的人体跟踪装置，可通过人体点云数据获取模块获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，人体点云整合效果图生成模块基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，人体跟踪模块获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
为达到上述目的，本发明第三方面实施例提出的人体跟踪***，包括：多个摄像头和服务器，其中，每个所述摄像头，用于根据各自当前采集到的深度图像和彩色图片，对应的生成人体点云数据，并将生成的人体点云数据发送给所述服务器；所述服务器，用于接收多个摄像头发送的多个人体点云数据，并基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，以及根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。
本发明实施例的人体跟踪***，可通过多个摄像头获取各自的人体点云数据，并将各自的人体点云数据发送给服务器，服务器获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，并基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
为达到上述目的，本发明第四方面实施例提出的电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面实施例所述的人体跟踪方法。
为达到上述目的，本发明第五方面实施例提出的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面实施例所述的人体跟踪方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例人体跟踪方法的流程图；
图2是根据本发明一个具体实施例的人体跟踪方法的流程图；
图3是根据本发明实施例的点云跟踪整体框架的示意图；
图4是根据本发明一个实施例的人体跟踪装置的结构示意图；
图5是根据本发明另一个实施例的人体跟踪装置的结构示意图；
图6是根据本发明一个实施例的人体跟踪***的结构示意图；
图7是根据本发明一个实施例的人体跟踪***的交互流程图；
图8是根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
智慧零售场景下，通过视觉识别技术和多传感器融合的方式，着重解决了人货场的关系。其中人体识别、跟踪和定位功能，成为整个解决方案中至关重要的环节。人体识别技术，能检测出进入场景的每一个顾客，并“记住”他们的外形特征，此时往往通过多个摄像头同时捕捉的方式，来保证识别的稳定性；有了多个摄像头的人体识别，就可以通过几何关系来估算出顾客真实的3D位置，定位功能完成了空间上的约束；而跟踪技术能将识别和定位结果在时间及空间纬度上作到连续性。三种技术的完美结合，为获取顾客实时位置提供支持，也为后续的理解顾客行为、顾客与商品的交互关系、顾客相互之间的交互提供保障。
此外，除了上述核心功能，效果的精准度、鲁棒性、稳定性，以及资源占用情况，直接决定了方案是否能顺利落地。
相关技术中，要实现上述智慧零售场景下的人货场中人的理解，最直接的方式是通过2D检测与跨镜追踪ReID来实现识别功能，通过多摄像头的标定和三角化来实现定位功能，通过2D跟踪来实现空间和时间上的连续跟踪功能。整体技术依赖带3D标定的多个单目摄像头。
具体的，在某一时刻T，整个场景中有M个顾客，对顾客m1而言，有k1(一共有K个摄像头)个摄像头能观察到，即2D检测能在这k1个画面中检测出有某个顾客出现，但并不清楚具体是哪个顾客。假设M个顾客在K个摄像头中一共有N次被观察到，跨摄像头的ReID技术则负责将这N个观测，识别并分类为已知的M个类别中，完成了同一个顾客在多个摄像头下的对应。接下来，可以利用已经标定的相机参数，以及同一个顾客在不同相机中的位置信息，用三角化的方式推算出顾客在实际场景中的3D位置，完成了该时刻顾客位置的估计。
在T+1时刻，同样可以重复T时刻的所有操作，但这样只能得到T时刻和T+1时刻分别的顾客位置，缺少时间上的关联。此时，可以将ReID的范围扩展到时间阈上，即在T+1时刻也考虑某个顾客和历史顾客信息的匹配。但是更加自然的方式，是利用2D跟踪技术，将两个时刻的结果直接匹配起来。跨时间阈的ReID及跟踪技术，打通了视频中连续帧结果，完成人体解决方案的最后一步。
但是，发明人经研究发现：上述技术方案在时间阈上的稳定性很难保证，且***累积误差会逐渐变大。具体表现为：在多人聚集情况下，2D的跟踪很难做到比较完美的结果，在遮挡、交错情况下很容易失败，且致命的是失败情况往往不好捕捉，在***看来和正常情况并无明显差别。跨时间阈的ReID技术，涉及到ID库的建立，在数量足够的精准库条件下效果比较理想，但实际情况却是顾客从进入场景开始是一个渐进的过程，前期ID库数量较少情况下ReID效果下降非常明显，更加悲剧的是，随着时间的推移，前期的微小误差会被逐渐放大到完全影响最后效果。总结起来，2D单目的方案，缺少稳定的时间阈上的关联技术，且这种技术应该对遮挡、交错等常见情况有非常强的鲁棒性。
除了效果上的问题以外，2D单目方案的检测和ReID技术非常耗资源。因为跟踪技术的不稳定，会加剧ReID的使用造成恶性循环，因此资源利用上也是一个明显的劣势。
为了解决上述问题，本发明提出了一种新的鲁棒的人体跟踪方法，为避免2D跟踪结果的不稳定性，本发明可采用双目摄像头得到场景中的点云，以跟踪点云来替代跟踪2D结果。这样，在零售场景的密集摄像头布置条件下，点云的质量能得到很好保障，因此整个跟踪效果大幅度得到提升。具体地，下面参考附图描述本发明实施例的人体跟踪方法、装置、***、电子设备和计算机可读存储介质。
图1是根据本发明一个实施例人体跟踪方法的流程图。如图1所示，该人体跟踪方法可以包括：
S110，获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的。
举例而言，本发明实施例的人体跟踪方法可应用于智慧零售场景中，该智慧零售场景中布置了多个摄像头，每个摄像头均可对当前场景进行深度图像和RGB彩色图片的采集。每个摄像头在得到深度图像和RGB彩色图片时，可结合该深度图像和RGB彩色图片以生成对应的人体点云数据。
作为一种示例，每个摄像头可通过以下方式来生成各自的人体点云数据：获取当前采集到的深度图像和彩色图片，并对该深度图像进行背景去除，利用摄像头的相机内参数，对经过背景去除的深度图像进行坐标转化以得到对应的点云，并根据彩色图片对该深度图像对应的点云进行人***置识别，得到对应的人体点云数据。
也就是说，每个摄像头可对当前场景进行深度图像和RGB彩色图片的采集，并对利用背景差分方式对该深度图像进行背景去除，之后，可利用相机内参数对该经过背景去除的深度图像进行坐标转化以得到对应的点云，然后，利用彩色图片中各点与点云中各点的对应关系，对该深度图像的点云进行标记，以实现人***置和识别，从而可以得到该摄像头当前帧的人体点云数据。
在本发明的一个实施例中，所述摄像头可为双目摄像头。其中，在本发明的实施例中，上述深度图像可以是由该双目摄像头通过两张彩色图片计算得到的。例如，双目摄像头可按照预设拍摄方式对当前场景进行拍摄以得到两张彩色图片，并将拍摄到的两张彩色图片进行计算，以得到一张深度图像。具体地可对双目摄像头进行标定，得到该双目摄像头的内外参数、単应矩阵，并根据标定结果对采集的原始图像校正，校正后的两张图像位于同一平面且互相平行，对校正后的两张彩色图像进行像素点匹配，并根据匹配结果计算出每个像素的深度，从而获得深度图像。
S120，基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图。
可选地，确定摄像头的相机外参数，并基于该相机外参数，对多个人体点云数据进行坐标转化以将该多个人体点云数据整合至同一个坐标系之下，对应的得到当前帧的人体点云整合效果图。
也就是说，在获得多个摄像头各自生成的人体点云数据时，可利用相机外参数将该多个摄像头各自生成的人体点云数据进行坐标转化，使得这些人体点云数据整合到同一个坐标系之下，对应的得到当前帧的人体点云整合效果图。
S130，获取下一帧的人体点云整合效果图。
在本发明的实施例中，所述下一帧的人体点云整合效果图的获取方式与所述当前帧的人体点云整合效果图的获取方式相同。具体地，可获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自得到的下一帧深度图像和下一帧彩色图片生成的，并基于摄像头的相机标定信息，将该由下一帧深度图像和下一帧彩色图片生成的人体点云数据进行坐标转化以将此时的多个摄像头的人体点云数据整合至同一个坐标系之下，对应的得到下一帧的人体点云整合效果图。
S140，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。
可选地，对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息，并对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息，根据所述当前帧的3D位置信息和所述下一帧的3D位置信息进行人体跟踪。
例如，可利用聚类算法对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息，并利用聚类算法对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息，然后，可通过联系上下帧的3D位置信息即可达到对人体的跟踪效果。其中，在本发明的实施例中，所述聚类算法可包括但不限于K-Means聚类算法等。
为了提高聚类结果的准确率，进而提高跟踪准确率，可选地，在本发明的一个实施例中，在对所述当前帧的人体点云整合效果图中的点云进行聚类之前，可以预设长度为基本单位，将所述当前帧的人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数，并根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪。
也就是说，在对所述当前帧的人体点云整合效果图中的点云进行聚类之前，可以预设长度为基本单位，将该当前帧的人体点云整合效果图中的各点云坐标转化为离散值，例如，每个单位内数值(即离散值)可为垂直方向的点云个数，即将每个单位内垂直方向上的点云个数作为该单位数值，该单位数值即表示该单位内的所有点云，这样，可将人体点云整合效果图中的各点云坐标转化为离散值，之后，可将这些离散值与预设阈值进行大小比较，将小于该预设阈值的离散值所对应的单位内的点云进行去除，即将单位内所含点云个数较小的区域进行去除，从而达到去噪的目的。
可以理解，在对人体点云整合效果图中的点云进行聚类之前，需要对该人体点云整合效果图中的点云进行去噪，从而可以得到比较干净的人体点云。
需要说明的是，本发明实施例的人体跟踪方法可应用于本发明实施例人体跟踪装置，该人体跟踪装置可配置于电子设备中。例如，该电子设备可以是服务器。本发明实施例将单个摄像头所生成的深度图像和各自的人体点云数据的计算部分分摊到各个摄像头上，将后续过程均通过服务器cpu加速处理，即根据多个摄像头的人体点云数据进行人体跟踪的计算部分分摊到服务器上，即通过计算分摊的技术，降低服务器的计算资源，进而通过服务器cpu加速处理可以使得总的计算资源得到至少一半以上的优化精简。另外，本发明基于点云的人体跟踪技术，能提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升。
本发明实施例的人体跟踪方法，可获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，并基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
图2是根据本发明一个具体实施例的人体跟踪方法的流程图。图3是根据本发明实施例的点云跟踪整体框架的示意图。需要说明的是，本发明实施例的人体跟踪方法可应用于智慧零售场景。
如图2和图3所示，该人体跟踪方法可以包括：
S210，在智慧零售场景中布置多个双目摄像头，每个双目摄像头对当前场景进行图像采集，得到当前帧的深度图像和彩色图片。
例如，每个双目摄像头可按照预设拍摄方式对当前场景进行拍摄以得到两张彩色图片，并将拍摄到的两张彩色图片进行计算，以得到一张深度图像。
S220，每个双目摄像头结合当前得到的深度图像和彩色图片以对应生成当前帧的人体点云数据，并将各自生成的人体点云数据发送给服务器。
例如，每个摄像头可对当前场景进行深度图像和RGB彩色图片的采集，并对利用背景差分方式对该深度图像进行背景去除，之后，可利用相机内参数对该经过背景去除的深度图像进行坐标转化以得到对应的点云，然后，利用彩色图片中各点与点云中各点的对应关系，对该深度图像的点云进行标记，以实现人***置和识别，从而可以得到该摄像头当前帧的人体点云数据。
S230，服务器可获得多个双目摄像头的人体点云数据，并利用相机标定信息，将多个双目摄像头的人体点云数据整合到同一个坐标系之下，得到当前帧的人体点云整合效果图。
S240，对当前帧的人体点云整合效果图进行采样去噪。
例如，以预设长度为基本单位，将人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数，并对根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪，以对生成的点云去掉响应过小的值，达到去噪的过程。
S250，利用聚类算法对当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息。
S260，获得下一帧的人体点云整合效果图，并根据该的人体点云整合效果图获得对应的3D位置信息。
S270，根据当前帧的3D位置信息和下一帧的3D位置信息进行人体跟踪。即通过联系上下帧的3D位置信息即可达到跟踪效果。
综上所述，发明人在实施本发明的过程中，经过多次实验证明，本发明基于点云的人体跟踪技术，能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升。于此同时，本发明所需要的部分计算可以分摊到各个端上，总的计算资源也得到了至少一半以上的优化精简。
与上述几种实施例提供的人体跟踪方法相对应，本发明的一种实施例还提供一种人体跟踪装置，由于本发明实施例提供的人体跟踪装置与上述几种实施例提供的人体跟踪方法相对应，因此在前述人体跟踪方法的实施方式也适用于本实施例提供的人体跟踪装置，在本实施例中不再详细描述。图4是根据本发明一个实施例的人体跟踪装置的结构示意图。如图4所示，该人体跟踪装置400可以包括：人体点云数据获取模块410、人体点云整合效果图生成模块420和人体跟踪模块430。
具体地，人体点云数据获取模块410用于获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的。作为一种示例，所述人体点云数据通过以下方式生成：获取当前采集到的深度图像和彩色图片，并对所述深度图像进行背景去除；利用所述摄像头的相机内参数，对经过背景去除的深度图像进行坐标转化以得到对应的点云；根据所述彩色图片对所述深度图像对应的点云进行人***置识别，得到对应的人体点云数据。其中，在本发明的实施例中，该摄像头为双目摄像头。
人体点云整合效果图生成模块420用于基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图。作为一种示例，人体点云整合效果图生成模块420具体用于：确定所述摄像头的相机外参数；基于所述相机外参数，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一个坐标系之下，对应的得到所述当前帧的人体点云整合效果图。
人体跟踪模块430用于获取下一帧的人体点云整合效果图，并根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。作为一种示例，人体跟踪模块430具体用于：对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息；对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息；根据所述当前帧的3D位置信息和所述下一帧的3D位置信息进行人体跟踪。
可选地，在本发明的一个实施例中，如图5所示，该人体跟踪装置400还可包括：去噪模块440。其中，该去噪模块440可用于在人体跟踪模块430对所述当前帧的人体点云整合效果图中的点云进行聚类之前，以预设长度为基本单位，将所述当前帧的人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数，并根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪。
本发明实施例的人体跟踪装置，可通过人体点云数据获取模块获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，人体点云整合效果图生成模块基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，人体跟踪模块获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
为了实现上述实施例，本发明还提出了一种人体跟踪***。
图6是根据本发明一个实施例的人体跟踪***的结构示意图。图7是根据本发明一个实施例的人体跟踪***的交互流程图。如图6和图7所示，人体跟踪***600可以包括：多个摄像头610和服务器620。其中，在本发明的实施例中，摄像头610可为双目摄像头。
具体地，每个摄像头610用于根据各自当前采集到的深度图像和彩色图片，对应的生成人体点云数据(S71)，并将生成的人体点云数据发送给服务器620(S72)。
作为一种示例，摄像头610可通过以下方式生成人体点云数据：获取当前采集到的深度图像和彩色图片，并对深度图像进行背景去除，并利用摄像头的相机内参数，对经过背景去除的深度图像进行坐标转化以得到对应的点云，并根据彩色图片对深度图像对应的点云进行人***置识别，得到对应的人体点云数据。
服务器620用于接收多个摄像头610发送的多个人体点云数据(S73)，并基于摄像头610的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图(S74)，并获取下一帧的人体点云整合效果图，以及根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪。
在本发明的一个实施例中，服务器620基于摄像头610的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图的具体实现过程可如下：确定所述摄像头的相机外参数，并基于所述相机外参数，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一个坐标系之下，对应的得到所述当前帧的人体点云整合效果图。
在本发明的一个实施例中，服务器620根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪的具体实现过程可如下：对当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息(S75)，并对下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息(S76)，并根据当前帧的3D位置信息和下一帧的3D位置信息进行人体跟踪(S77)。
在本发明的一个实施例中，服务器620在在对所述当前帧的人体点云整合效果图中的点云进行聚类之前，可以预设长度为基本单位，将所述当前帧的人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数，并根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪。
本发明实施例的人体跟踪***，可通过多个摄像头获取各自的人体点云数据，并将各自的人体点云数据发送给服务器，服务器获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的，并基于摄像头的相机标定信息，根据多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，根据当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，即基于多个摄像头各自的人体点云实现人体跟踪，可以替代传统2D跟踪方案，并能够提供远远优于2D跟踪的稳定性效果，因而也显著得减少了对检测和ReID的依赖，使得整体***的稳定性大大提升，可以提高整个跟踪效果。
为了实现上述实施例，本发明还提出了一种电子设备。
图8是根据本发明一个实施例的电子设备的结构示意图。如图8所示，该电子设备800可以包括：存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序830，处理器820执行计算机程序830时，实现本发明上述任一个实施例所述的人体跟踪方法。
为了实现上述实施例，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明上述任一个实施例所述的人体跟踪方法。
在本发明的描述中，需要理解的是，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种人体跟踪方法，其特征在于，所述方法应用于智慧零售场景中，所述智慧零售场景中布置多个摄像头，所述方法包括以下步骤：
获取所述多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的；
基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图，其中，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一坐标系下，以得到所述当前帧的人体点云整合效果图；
获取下一帧的人体点云整合效果图；
根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，其中，对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息；对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息；根据所述当前帧的3D位置信息和所述下一帧的3D位置信息进行人体跟踪。
2.根据权利要求1所述的方法，其特征在于，所述人体点云数据通过以下方式生成：
获取当前采集到的深度图像和彩色图片，并对所述深度图像进行背景去除；
利用所述摄像头的相机内参数，对经过背景去除的深度图像进行坐标转化以得到对应的点云；
根据所述彩色图片对所述深度图像对应的点云进行人***置识别，得到对应的人体点云数据。
3.根据权利要求1或2所述的方法，其特征在于，所述摄像头为双目摄像头。
4.根据权利要求1所述的方法，其特征在于，所述基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图，包括：
确定所述摄像头的相机外参数；
基于所述相机外参数，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一个坐标系之下，对应的得到所述当前帧的人体点云整合效果图。
5.根据权利要求1所述的方法，其特征在于，在对所述当前帧的人体点云整合效果图中的点云进行聚类之前，所述方法还包括：
以预设长度为基本单位，将所述当前帧的人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数；
根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪。
6.一种人体跟踪装置，其特征在于，包括：
人体点云数据获取模块，用于获取多个摄像头发送的多个人体点云数据，其中，每个人体点云数据是由对应的摄像头根据各自当前采集到的深度图像和彩色图片生成的；
人体点云整合效果图生成模块，用于基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图，其中，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一坐标系下，以得到所述当前帧的人体点云整合效果图；
人体跟踪模块，用于获取下一帧的人体点云整合效果图，并根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，其中，对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息；对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息；根据所述当前帧的3D位置信息和所述下一帧的3D位置信息进行人体跟踪。
7.一种人体跟踪***，其特征在于，包括：多个摄像头和服务器，其中，
每个所述摄像头，用于根据各自当前采集到的深度图像和彩色图片，对应的生成人体点云数据，并将生成的人体点云数据发送给所述服务器；
所述服务器，用于接收多个摄像头发送的多个人体点云数据，并基于所述摄像头的相机标定信息，根据所述多个人体点云数据对应的生成当前帧的人体点云整合效果图，并获取下一帧的人体点云整合效果图，其中，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一坐标系下，以得到所述当前帧的人体点云整合效果图，以及根据所述当前帧的人体点云整合效果图和下一帧的人体点云整合效果图，进行人体跟踪，其中，对所述当前帧的人体点云整合效果图中的点云进行聚类，得到当前帧的3D位置信息；对所述下一帧的人体点云整合效果图中的点云进行聚类，得到下一帧的3D位置信息；根据所述当前帧的3D位置信息和所述下一帧的3D位置信息进行人体跟踪。
8.根据权利要求7所述的***，其特征在于，所述摄像头具体用于：
获取当前采集到的深度图像和彩色图片，并对所述深度图像进行背景去除；
利用所述摄像头的相机内参数，对经过背景去除的深度图像进行坐标转化以得到对应的点云；
根据所述彩色图片对所述深度图像对应的点云进行人***置识别，得到对应的人体点云数据。
9.根据权利要求7或8所述的***，其特征在于，所述摄像头为双目摄像头。
10.根据权利要求7所述的***，其特征在于，所述服务器具体用于：
确定所述摄像头的相机外参数；
基于所述相机外参数，对所述多个人体点云数据进行坐标转化以将所述多个人体点云数据整合至同一个坐标系之下，对应的得到所述当前帧的人体点云整合效果图。
11.根据权利要求7所述的***，其特征在于，所述服务器具体用于：
在对所述当前帧的人体点云整合效果图中的点云进行聚类之前，以预设长度为基本单位，将所述当前帧的人体点云整合效果图中的各点云坐标转化为离散值，其中，每个单位内的数值为垂直方向上的点云个数；
根据所述离散值对所述当前帧的人体点云整合效果图中的点云进行去噪。
12.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至5中任一项所述的人体跟踪方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的人体跟踪方法。
CN201910199204.5A 2019-03-15 2019-03-15 人体跟踪方法、装置、***、电子设备和存储介质 Active CN109949347B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910199204.5A CN109949347B (zh) 2019-03-15 2019-03-15 人体跟踪方法、装置、***、电子设备和存储介质
EP20162428.5A EP3709266A1 (en) 2019-03-15 2020-03-11 Human-tracking methods, apparatuses, systems, and storage media
US16/818,861 US11600008B2 (en) 2019-03-15 2020-03-13 Human-tracking methods, systems, and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199204.5A CN109949347B (zh) 2019-03-15 2019-03-15 人体跟踪方法、装置、***、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109949347A CN109949347A (zh) 2019-06-28
CN109949347B true CN109949347B (zh) 2021-09-17

Family

ID=67009999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199204.5A Active CN109949347B (zh) 2019-03-15 2019-03-15 人体跟踪方法、装置、***、电子设备和存储介质

Country Status (3)

Country Link
US (1) US11600008B2 (zh)
EP (1) EP3709266A1 (zh)
CN (1) CN109949347B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010107768A1 (en) 2009-03-18 2010-09-23 Schering Corporation Bicyclic compounds as inhibitors of diacylglycerol acyltransferase
US20120172369A1 (en) 2009-09-14 2012-07-05 Ting Pauline C Inhibitors of diacylglycerol acyltransferase
US11048917B2 (en) * 2019-07-31 2021-06-29 Baidu Usa Llc Method, electronic device, and computer readable medium for image identification
CN110751052A (zh) * 2019-09-25 2020-02-04 恒大智慧科技有限公司 旅游区域指引推送方法、***及存储介质
CN110717918B (zh) * 2019-10-11 2022-06-07 北京百度网讯科技有限公司 行人检测方法和装置
CN112396654A (zh) * 2020-11-17 2021-02-23 闪耀现实(无锡)科技有限公司 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置
CN112419361B (zh) * 2020-11-20 2024-04-05 中国科学院上海微***与信息技术研究所 一种目标追踪方法和仿生视觉装置
CN113034543B (zh) * 2021-03-18 2022-05-03 德清阿尔法创新研究院 一种基于局部注意力机制的3D-ReID多目标追踪方法
CN114155557B (zh) * 2021-12-07 2022-12-23 美的集团(上海)有限公司 定位方法、装置、机器人及计算机可读存储介质
CN117647788B (zh) * 2024-01-29 2024-04-26 北京清雷科技有限公司 一种基于人体3d点云的危险行为识别方法及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074019A (zh) * 2010-12-28 2011-05-25 深圳泰山在线科技有限公司 一种人体跟踪方法及***
CN105957106A (zh) * 2016-04-26 2016-09-21 湖南拓视觉信息技术有限公司 三维目标跟踪的方法和装置
CN106548520A (zh) * 2016-11-16 2017-03-29 湖南拓视觉信息技术有限公司 一种点云数据去噪的方法和***
CN107341819A (zh) * 2017-05-09 2017-11-10 深圳市速腾聚创科技有限公司 目标跟踪方法及存储介质
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108664841A (zh) * 2017-03-27 2018-10-16 郑州宇通客车股份有限公司 一种基于激光点云的动静态目标物识别方法及装置
CN108921874A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109344812A (zh) * 2018-11-27 2019-02-15 武汉大学 一种改进的基于聚类的单光子点云数据去噪方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
CN104156937B (zh) * 2013-05-15 2017-08-11 株式会社理光 阴影检测方法和装置
WO2016051416A1 (en) * 2014-09-30 2016-04-07 Fitfully Ltd. System and method of 3d modeling and virtual fitting of 3d objects
US10813700B2 (en) * 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
EP3261071B1 (en) * 2016-06-22 2020-04-01 Outsight Methods and systems for detecting intrusions in a monitored volume
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
WO2018199958A1 (en) * 2017-04-27 2018-11-01 Hewlett-Packard Development Company, L.P. Object recognition
US11341723B2 (en) * 2018-02-23 2022-05-24 Sony Group Corporation Methods, devices, and computer program products for improved mesh generation in constructed 3D images
EP3756163B1 (en) * 2018-02-23 2022-06-01 Sony Group Corporation Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
WO2019217366A1 (en) * 2018-05-11 2019-11-14 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
US10540813B1 (en) * 2018-08-22 2020-01-21 The Boeing Company Three-dimensional point data alignment
TWI690439B (zh) * 2018-11-01 2020-04-11 財團法人車輛研究測試中心 道路標線之光達偵測方法及其系統

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074019A (zh) * 2010-12-28 2011-05-25 深圳泰山在线科技有限公司 一种人体跟踪方法及***
CN105957106A (zh) * 2016-04-26 2016-09-21 湖南拓视觉信息技术有限公司 三维目标跟踪的方法和装置
CN106548520A (zh) * 2016-11-16 2017-03-29 湖南拓视觉信息技术有限公司 一种点云数据去噪的方法和***
CN108664841A (zh) * 2017-03-27 2018-10-16 郑州宇通客车股份有限公司 一种基于激光点云的动静态目标物识别方法及装置
CN107341819A (zh) * 2017-05-09 2017-11-10 深圳市速腾聚创科技有限公司 目标跟踪方法及存储介质
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108921874A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109344812A (zh) * 2018-11-27 2019-02-15 武汉大学 一种改进的基于聚类的单光子点云数据去噪方法

Also Published As

Publication number Publication date
US11600008B2 (en) 2023-03-07
EP3709266A1 (en) 2020-09-16
US20200294252A1 (en) 2020-09-17
CN109949347A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109949347B (zh) 人体跟踪方法、装置、***、电子设备和存储介质
US10789765B2 (en) Three-dimensional reconstruction method
US10070053B2 (en) Method and camera for determining an image adjustment parameter
US9117106B2 (en) Use of three-dimensional top-down views for business analytics
US9189859B2 (en) 3D image generation
JP6554169B2 (ja) 物体認識装置及び物体認識システム
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
CN110070611B (zh) 一种基于深度图像融合的人脸三维重建方法和装置
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US20100201880A1 (en) Shot size identifying apparatus and method, electronic apparatus, and computer program
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
US20100182406A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US8098897B2 (en) Multi dimensional imaging system
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN110084133B (zh) 障碍物检测方法、装置、车辆、计算机设备和存储介质
JP2014006586A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
CN109934873B (zh) 标注图像获取方法、装置及设备
WO2014002521A1 (ja) 画像処理装置及び画像処理方法
WO2022127181A1 (zh) 客流的监测方法、装置、电子设备及存储介质
US20230394834A1 (en) Method, system and computer readable media for object detection coverage estimation
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant