CN107230226A - 人体关联关系的判断方法、装置及存储装置 - Google Patents

人体关联关系的判断方法、装置及存储装置 Download PDF

Info

Publication number
CN107230226A
CN107230226A CN201710337568.6A CN201710337568A CN107230226A CN 107230226 A CN107230226 A CN 107230226A CN 201710337568 A CN201710337568 A CN 201710337568A CN 107230226 A CN107230226 A CN 107230226A
Authority
CN
China
Prior art keywords
human body
information
incidence relation
positional information
multiple human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710337568.6A
Other languages
English (en)
Inventor
黄源浩
肖振中
许宏淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201710337568.6A priority Critical patent/CN107230226A/zh
Publication of CN107230226A publication Critical patent/CN107230226A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种人体关联关系的判断方法、装置及存储装置，该方法包括步骤：获取多人场景的深度图像序列；从深度图像序列中识别多个人体；获取多个人体在深度图像序列中的空间位置信息；根据多个人体的空间位置信息及多个人体的空间位置信息之间的关系所持续的时长判断多个人体之间的关联关系。该装置包括至少一个深度相机和处理器，深度相机与处理器连接。该存储装置存储有程序数据，程序数据能够被执行以实现上述方法。本发明能准确判断人体的关联关系，可以规避误判，能有效地对场景进行监控。

Description

人体关联关系的判断方法、装置及存储装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人体关联关系的判断方法、装置及存储装置。
背景技术
深度相机捕获场景的深度图像中每一像素具有的深度信息为场景表面到深度相机的距离，从而根据深度图像可以获取场景目标的位置信息。
在现有技术中，采用2D图像序列对场景进行监控，例如，采用2D视频进行拍摄，再根据2D视频里的图像信息来获取视频内的人物的关联信息。对现有技术的研究和实践过程中，本发明的发明人发现从2D图像序列中无法获得图像中目标的距离、位置信息，因而也不能分辨前后遮挡的位置关系，容易导致产生错误的关联关系，从而对场景的监控效果不佳。
发明内容
本发明提供一种人体关联关系的判断方法、装置及存储装置，能够解决现有技术存在的无法获得图像中目标的距离、位置信息导致产生错误的关联关系的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种人体关联关系的判断方法，该方法包括以下步骤：获取多人场景的深度图像序列；从所述深度图像序列中识别多个人体；获取所述多个人体在所述深度图像序列中的空间位置信息；根据所述多个人体的空间位置信息及所述多个人体的空间位置信息之间的关系所持续的时长判断所述多个人体之间的关联关系。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种判断人体关联关系的装置，该装置包括至少一个深度相机和处理器，所述深度相机与所述处理器连接；所述深度相机用于获取多人场景的深度图像序列；所述处理器用于从所述深度图像序列中识别多个人体；获取所述多个人体在所述深度图像序列中的空间位置信息；根据所述多个人体的空间位置信息及所述多个人体的空间位置信息之间的关系所持续的时长判断所述多个人体之间的关联关系。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种存储装置，该存储装置存储有程序数据，所述程序数据能够被执行以实现上述方法。
本发明的有益效果是：区别于现有技术的情况，本发明通过获取深度图像序列，并根据深度图像序列中人体的位置关系及持续时间来判断人体的关联关系。相比于二维人体图像的判断，本发明基于深度图像，不仅能获取人体的像素信息，还能获取人体的空间位置信息，从而可以获取人与人之间的相对距离信息，因此，可以通过该空间位置信息分辨人体前后遮挡的位置关系，并且，根据深度图像序列可以获得人与人之间的相对距离信息在一定时间段内的变化，从而能准确判断人体的关联关系，可以规避误判。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种人体关联关系的判断方法实施例的流程示意图；
图2是本发明提供的一种人体关联关系的判断方法另一实施例的流程示意图；
图3是本发明另一实施例的一个场景的俯视图；
图4是本发明提供的一种人体关联关系的判断方法又一实施例的流程示意图；
图5是本发明又一实施例的一个场景的俯视图
图6是本发明提供的一种判断人体关联关系的装置实施例的结构示意图；
图7是本发明提供的一种判断人体关联关系的装置另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供的人体关联关系的判断方法可应用于车站、游乐场等公共场合的安防监控。请参阅图1，图1是本发明提供的一种人体关联关系的判断方法实施例的流程示意图。图1所示的人体关联关系的判断方法包括步骤：
S101、获取多人场景的深度图像序列。
具体地，深度图像序列可以通过深度相机来获取，其中，多人场景可以是例如车站、游乐场等公共场合。深度图像则不仅包括空间物体的像素信息，还包括每一像素信息的深度信息，即空间内物体到深度相机之间的距离信息。深度图像序列则是指在一个时间段内的连续的深度图像。
S102、从深度图像序列中识别多个人体。
步骤S102中，可以基于深度图像来获取该深度图像中出现的人体的深度图轮廓，从而识别出人体。S103、获取多个人体在深度图像序列中的空间位置信息。
在深度图像中识别到人体之后，根据单个深度图像可以获取人体的空间位置信息，该空间位置信息可以包括该人体相对于深度相机的相机坐标系上的第一坐标，还可以包括人体相对于场景所在世界坐标系上的第二坐标。
S104、根据多个人体的空间位置信息及多个人体的空间位置信息之间的关系所持续的时长判断多个人体之间的关联关系。
具体而言，根据多个人体的空间位置信息可以获取多个人体之间的位置关系，从而可以根据该位置关系以及持续的时长来判断多个人体之间的关联关系，例如，跟随关系，可以是一个人体近距离地跟在另一个人体后面，并持续一定时间，或者，也可以是一个人牵着另一个人的手，并持续一定时间，或者，还可以是一个人抱着另一个人，并持续一定时间等。
区别于现有技术，本发明通过获取深度图像序列，并根据深度图像序列中人体的位置关系及持续时间来判断人体的关联关系。相比于二维人体图像的判断，本发明基于深度图像，不仅能获取人体的像素信息，还能获取人体的空间位置信息，从而可以获取人与人之间的相对距离信息，因此，可以通过该空间位置信息分辨人体前后遮挡的位置关系，并且，根据深度图像序列可以获得人与人之间的相对距离信息在一定时间段内的变化，从而能准确判断人体的关联关系，可以规避误判。
请参阅图2，图2是本发明提供的一种人体关联关系的判断方法实施例的流程示意图。图2所示的人体关联关系的判断方法包括步骤：
S201、获取多人场景的深度图像序列。
S202、从深度图像序列中识别多个人体。
首先，可以除去深度图像中的背景。例如，可以在深度图中初步确定一个斑块(blob，即，具有相似值的像素的连接组)作为对象的身体，然后从该斑块中去除具有明显不同深度值的其它斑块。以这种方式初步确定的斑块通常必须具有某个最小尺寸。然而，为此，斑块边缘处的像素坐标之间的简单的欧几里德距离不给出该尺寸的准确测量。该不准确的原因是，与具有给定实际尺寸的物体相对应的斑块的尺寸(以像素为单位)随着该物体与设备的距离的变化而增加或减小。
因此，为了确定物体的实际尺寸，首先使用下面的公式将物体的(x，y，深度)坐标变换为“现实世界”坐标(xr，yr，深度)：
xr＝(x-fovx/2)*像素尺寸*深度/参考深度
yr＝(y-fovy/2)*像素尺寸*深度/参考深度
这里，fovx和fovy为x和y方向上的深度图的视野(以像素为单位)。像素尺寸为，在离绘图设备给定距离(参考深度)处像素所对着的长度。然后，斑块的尺寸可以通过求该斑块边缘的现实世界坐标之间的欧几里德距离来实际确定。
因此，可以通过识别具有所要求的最小尺寸的斑块来除去深度图像中的背景，其中，该斑块在场景中的各斑块中间具有最小平均深度值。可以假设，距离深度相机最近的斑块为人体，深度比该平均深度值大了至少某个阈值的所有像素都被假定属于背景物体，并将这些像素的深度值设置为零值。其中，上述阈值可以根据实际需要来确定。此外，在一些实施例中，还可以将具有明显小于所述斑块的平均深度值的深度值的各像素置零。另外，还可以预先设定一个最大深度，从而忽略超过该最大深度的物体。
在一些实施例中，还可以动态地确定深度值，超过该深度值的话，物体就从深度图中去除。为此，假设场景中的物体正在移动。因此，在某最小数目个帧中深度没有变化的任何像素都被假设是背景物体。深度值大于该静态深度值的像素被认为是属于背景物体的，因此都被置零。开始，场景中的所有像素可以都被定义为静态，或者场景中的所有像素可以都被定义为非静态的。在这两种情形中，一旦对象开始运动，就可以动态生成实际的深度过滤器。
当然，还可以通过现有技术中已知的其它方法来除去深度图像中的背景。
在除去背景之后，可以通过边缘检测方法在深度图中找出身体的外部轮廓。本实施例中，采用两步阈值化机制来找出人体的轮廓：
首先，遍历深度图像中与人形相对应的斑块中的所有像素，并且，如果任何给定像素具有有效深度值，并且如果该像素与其四个相连的邻近像素(右、左、上和下)中的至少一个像素之间的深度值之差大于第一阈值，则将其标记为轮廓位置。(其中，有效深度值和零值之间的差被认为是无穷大)。
然后，在完成了上一步骤之后，再次遍历该斑块，并且如果在任何像素(该像素还没有被标记为轮廓位置)的八个相连的邻近像素之中有轮廓像素，并且如果当前像素和剩下的相连邻近位置中的至少一个像素之间的深度值之差大于第二阈值(低于所述第一阈值)，则将其标记为轮廓位置。
在找出人体的外轮廓之后，再识别身体的各个部位，例如，头部、躯干和四肢。
先旋转深度图像，使得身体轮廓处于竖直位置。该转动的目的是为了通过将身体的纵轴与Y坐标(垂直)轴对齐来简化下述步骤中的计算。可选择地，下述计算可以相对于身体的纵轴来执行，而不需要进行该转动，如本领域技术人员所了解的。
在识别身体的各个部位之前，可以先找出身体的3D轴。具体地，找出身体的3D轴可以采用以下方法：
将原始深度图像下采样(down-sample)为节点栅格，其中，在X方向和Y方向上隔n个像素取一个节点。基于以节点为中心的n×n方块中的深度值来计算每个节点的深度值。如果方块中多于半数像素具有零值，则将相应节点设置为零值。否则，将该节点设置为n×n方块中的有效深度值的平均值。
然后，可以基于邻近节点的值来进一步“清理”该下采样的深度图像：如果给定节点的大部分相邻节点具有零值，则将该节点也设置为零值(即使在前述步骤之后它具有有效的深度值)。
在上述步骤完成时，找出下采样的图中所剩节点的纵轴。为此，可以进行线性最小二乘拟合来找出最拟合各节点的线。可选择地，可以拟合围绕各节点的一个椭圆并找出其主轴。
在找出身体的3D轴之后，通过在平行和垂直于纵轴的方向上测量身体轮廓的厚度来识别身体的躯干。为此，可以在身体轮廓的周围限定约束框，然后可以对该框中的像素值进行二值化：将具有零深度值的像素设为0，而将具有非零深度值的像素设为1。
然后，通过沿着相应的垂直线对二进制像素值进行相加，对框内的每个X值计算纵向厚度值，并通过沿着相应的水平线对二进制像素值进行加和，对每个Y值计算横向厚度值。对所得到的值应用阈值，以便识别沿着哪些条垂直线和水平线轮廓相对厚。
当轮廓某一水平区域的横向厚度超过X阈值，某一垂直区域的纵向厚度超过Y阈值时，该水平区域和垂直区域的交集可以确定为躯干。
在确定了躯干之后，可以基于几何考虑来识别身体的头部和四肢。手部手臂是连接到躯干区域的左侧和右侧的区域；头部是躯干区域上方的连接区域；腿部是躯干区域下方的连接区域。还可以将躯干区域的左上角和右上角初步识别为肩膀。
当轮廓以及人体的各个部位均识别出来之后，即可在深度图像中识别出人体。
S203、获取多个人体在深度图像序列中的人***置信息。
当步骤S202识别出人体之后，可以根据步骤S202中识别出的人体轮廓、人体部位等信息获取人体的特定点的位置，即该点在相机坐标系中的坐标。
人***置信息可以是人体的躯干的质心的位置信息。例如，人体的躯干的质心在相机坐标系中的坐标。步骤S202中，当从轮廓中识别出躯干、头部、右壁、左臂、右腿和左腿之后，可以确定身体每个区域的质心。其中，区域的质心指该区域的代表深度或位置。为此，例如，可以生成区域内深度值的直方图，并将具有最高频率的深度值(或具有最高频率的两个或多个深度值的平均值)设为该区域的质心。确定了躯干的质心之后，即可确定人体的躯干的质心在相机坐标系中的坐标。
值得一提的是，本发明中的质心是指通过深度图像处理所获取的质心，而并非物理质心。本发明的质心可以通过质心法获取，也可以通过其它方法获取，本发明不做限定。
如图3所示，图3是本发明实施例的一个场景的俯视图。深度相机10所拍摄的场景内有人体A、人体B和人体C，根据深度相机10拍摄的深度图像可以确定人体A的躯干的质心在相机坐标系中的坐标为(x1,y1,z1)，人体B的躯干的质心在相机坐标系中的坐标为(x2,y2,z2)，人体C的躯干的质心在相机坐标系中的坐标为(x3,y3,z3)。
当然，在其它一些实施例中，人***置信息还可以是人体轮廓上特定点的位置信息，可以通过步骤S202识别的人体的轮廓来确定人体的轮廓上特定点，从而确定其在相机坐标系上的坐标。在另一些实施例中，人***置信息还可以是人体的部位或者该部位的质心(或中心)的位置信息，可以通过骤S202识别的人体头部、肩膀、四肢等部位，从而确定该人体部位在相机坐标系上的坐标，或者通过上述方法确定该人体部位的质心，从而确定该人体部位的质心在相机坐标系上的坐标。
S204、根据人***置信息计算多个人体之间的人体距离信息。
具体地，可以通过各人体在相机坐标系中的坐标值来计算多个人体之间的人体距离信息。其中，人体距离信息可以是多个人体的轮廓边缘之间的距离，人体距离信息还可以是多个人体的人体质心或者人体中心之间的距离，此外，人体距离信息还可以是多个人体的某个人体部位，例如，人体的头部、肩膀等或者该部位的质心或中心的距离。
举例而言，图3中的人体A和人体B之间的距离信息S1是人体A的躯干的质心和人B的躯干的质心之间的距离，其计算方法为：
同理，人体A的躯干的质心和人体C的躯干的质心之间的距离信息S2的计算方法为：
人体B的躯干的质心和人体C的躯干的质心之间的距离信息S3的计算方法为：
值得一提的是，当识别出多个人体的时候，人体距离信息为多个人体中两两人体之间的距离信息。
S205、将人体距离信息与预设的人体距离阈值比较。
具体地，步骤S205之前，可以预设一人体距离阈值以使实际人体距离信息与该人体距离阈值比较，从而作为判断人体关联关系的一个标准。
人体距离阈值S0可以是0-1m，例如，0-0.6m，具体可以是0.2m，0.3m，0.4m或者0.5m，可以理解地，在其它一些实施例中，人体距离阈值还可以是其它值，可以根据实际需求设定，本发明不做限定。
例如，本实施例中，S0＝0.5m，S1＝0.2m，S2＝1.5m，S3＝1.2m，可以得出比较结果：S1＜S0，S2＞S0，S3＞S0，即，人体A和人体B之间的距离信息小于人体距离阈值，表示人体A和人体B的距离较近，并且可能是跟随关系，但人体A和人体B的近距离关系有可能为偶然发生的，因而需要进入步骤S206-S207排除此种偶然发生的近距离关系。而人体B和人体C之间的距离较远，人体A和人体C之间等距离也较远，因而认为人体B和人体C之间、人体A和人体C之间均不是跟随关系。
S206、若人体距离信息小于或等于人体距离阈值，则检测人体距离信息小于或等于人体距离阈值的状态的第一持续时长。
检测第一持续时长可以从检测到人体距离信息小于或等于人体距离阈值时开始进行计时。
S207、当第一持续时长达到预设的第一时间阈值时，则判断多个人体之间的关联关系为跟随。
步骤S207即从开始计时到所计时长达到预设的第一时间阈值时即做出判断。
其中，第一时间阈值可以在步骤S206前预先设定，以将人体距离信息小于或等于人体距离阈值的状态的第一持续时长与预设的第一时间阈值进行比较，从而作为判断人体关联关系的另一个标准。
具体地，该第一时间阈值t0可以是30-90s，例如，30-70s，具体可以是45s，50s或者60s等。当然，在其它一些实施例中，第一时间阈值还可以是其它数值，具体根据实际需要而设定，本发明不做限定。
当该第一持续时长达到第一时间阈值时，表示人体之间在较长的时间段内维持了较近距离的位置关系，因而可以判断该人体之间的关联关系为跟随。
例如，本实施例中，t0＝60s，当检测到人体A和人体B的距离信息小于人体距离阈值的状态所维持的第一持续时长达到60s时，表示人体A和人体B在较长的时间内保持较近的距离，则判断人体A和人体B之间的关联关系为跟随，然后进入步骤S208。
可以理解地，若第一持续时长未达到第一时间阈值，表示人体A和人体B之间近距离状态持续的时间并不长，表示人体A和人体B之间仅是偶然地发生近距离状态，因而可以认为人体A和人体B之间并不是跟随关系，因而不会进入步骤S208。
S208、将关联关系进行标记，并对关联关系相关的人体进行标记，并保存。
在判断人体A和人体B之间是跟随关系之后，可以将该跟随的关联关系进行标记，同时对该人体A和人体B分别进行标记，并保存，以便于后期对该关联关系及相关的人体进行跟踪监控。
请参阅图4，图4是本发明提供的一种人体关联关系的判断方法另一实施例的流程示意图。图4所示的人体关联关系的判断方法包括步骤：
S301、获取多人场景的深度图像序列。
S302、从深度图像序列中识别多个人体，并根据识别出的多个人体进一步识别人体部位。
具体地，人体部位可以是人体的躯干或者四肢等部位，其中，人体部位可以通过上一实施例中的方法来识别，在此不再赘述。例如，本实施例中的人体部位为手部，手部可以在识别出左、右臂之后，识别左、右臂的外端部为手部。在深度图像序列中通过人体的轮廓识别出人体之后，可以进一步通过该人体的部位的轮廓来识别出人体的部位。例如，通过手部的轮廓信息来识别人体的手部。
S303、获取多个人体的人体部位在深度图像序列中的部位位置信息。
其中，部位位置信息可以是人体部位的轮廓上特定点在在相机坐标系中的坐标，还可以是人体部位的质心或中心在相机坐标系中的坐标。人体部位的轮廓以及人体部位的质心的获取可以通过上一实施例中所述的方法，在此不再赘述。
例如，如图5所示，图5是本发明另一实施例的一个场景的俯视图。图5中深度相机10所拍摄的场景内有人体D和人体E，通过深度相机10拍摄的深度图像可以确定，人体D的手的质心在相机坐标系中的坐标为(x4,y4,z4)，人体E的手的质心在相机坐标系中的坐标为(x5,y5,z5)。
S304、根据部位位置信息计算多个人体的人体部位之间的部位距离信息。
具体地，可以通过各人人体部位在相机坐标系中的坐标值来计算多个人体部位之间的部位距离信息。部位距离信息可以是人体部位的轮廓的特定点之间的距离，也可以是人体部位的质心或者中心之间的距离。
举例而言，图5中的人体D的手的质心和人体E的手的质心之间的距离信息S4的计算方法为：
S305、将部位距离信息与预设的部位距离阈值比较。
其中，部位距离阈值可以在步骤S305之前预先设置好，以作为判断人体关联关系的一个标准。
部位距离阈值S0’可以是0-0.03m，例如，0.01m，0.02m，或者0.03m，可以理解地，在其它一些实施例中，部位距离阈值还可以是其它值，可以根据实际需求设定，本发明不做限定。
本实施例中，S0’＝0.02m，S4＝0m，即人体D的手部和人体E的手部之间的距离信息小于部位距离阈值，S4＜S0’，表示人体D的手部和人体E的手部距离较近，本实施例中，S4＝0m，可表示人体D的手部和人体E的手部接触，但是人体D的手部和人体E的手部的近距离的关系有可能为偶然发生的状态，因而需要进入步骤S306-S307排除此种偶然发生的近距离关系。
S306、若部位距离信息小于或等于部位距离阈值，则检测部位距离信息小于或等于部位阈值距离的状态的第二持续时长。
步骤S306中，在检测到部位距离信息小于或等于部位距离阈值时即开始计时，以检测第二时长。
S307、当第二持续时长达到第二时间阈值时，则判断多个人体之间的关联关系为跟随。
步骤S307即从开始计时到所计时长达到第二时间阈值时即做出判断。
其中，第二时间阈值可以在步骤S306前预先设定，以将部位距离信息小于或等于部位距离阈值的状态的第二持续时长与预设的第二时间阈值进行比较，从而作为判断人体关联关系的另一个标准。
具体地，该第二时间阈值t0’可以是1-10s，例如，1-4s，或者5s-9s，具体可以是2s，3s，4s，6s或者8s等。可以理解地，在其它一些实施例中，第二时间阈值还可以是其它数值，具体根据实际需要而设定，本发明不做限定。
当该第二持续时长达到第二时间阈值时，表示人体部位之间在较长的时间段内维持了相互接触的关系，因而可以判断该两个人体之间的关联关系为跟随。
例如，本实施例中，t0’＝2s，人体D的手部和人体E的手部的距离信息小于部位距离阈值的状态的第二持续时长达到2s时，表示人体D的手部和人体E的手部在较长的时间内保持接触的关系，表示人体D和人体E之间的关联关系为牵手，本实施例将牵手作为跟随关系的一种情况，因此，同样判断人体D和人体E之间的关联关系为跟随，然后进入步骤S308。
可以理解地，若第二持续时长未达到第二时间阈值，则表示人体D的手部和人体E的手部之间仅是偶然地发生接触，该接触状态持续的时间并补偿，因而可以认为人体D和人体E之间并不是跟随关系，因而不会进入步骤S308。
S308、将关联关系进行标记，并对关联关系相关的人体进行标记，并保存。
判断人体D和人体E之间是跟随关系之后，可以将该跟随的关联关系进行标记，同时对该人体D和人体E分别进行标记并保存，以便于后期对该关联关系即相关的人体进行跟踪监控。
可以理解地，在其它一些实施例中，人体D和人体E之间还可能是其它状态，例如抱婴状态。此时，人体D和人体E之间，不管是人体之间的人体距离信息还是人体部位之间的部位距离信息均为0，且持续时长较长，可以通过深度图像序列准确地进行判断。
在本发明的一些实施例中，可以直接通过人体之间的距离及该距离维持的时间来判断人体的关联关系。在另一些实施例中，也可以至二级通过人体部位之间的距离及该距离维持的时间来判断人体的关联关系。在又一些实施例中，还可以是通过人体之间的距离及其持续时间以及通过人体部位之间的距离及其持续时间进行判断，例如，先通过人体之间的距离及其持续时间进行判断，若判断为非跟随关系，则再通过人体部位之间的距离及其持续时间进行判断，以使判断结果更加准确。
本发明还提供了一种判断人体关联关系的装置，如图6所示，图6是本发明提供的一种判断人体关联关系的装置实施例的结构示意图。该装置包括至少一个深度相机10和处理器11，其中深度相机10和处理器11连接。
具体地，深度相机10用于获取多人场景的深度图像序列。
其中，多人场景可以是例如车站、游乐场等公共场合。深度相机10获取的深度图像不仅包括空间物体的像素信息，还包括每一像素信息的深度信息，即空间内物体到深度相机10之间的距离信息。深度图像序列则是指在一个时间段内的连续的深度图像。
处理器11用于从深度图像序列中识别多个人体；获取多个人体在深度图像序列中的空间位置信息；根据多个人体的空间位置信息及多个人体的空间位置信息之间的关系所持续的时长判断多个人体之间的关联关系。
例如，处理器11基于深度图像中出现的人体的深度图轮廓来识别人体，根据深度图像获取人体的空间位置信息，该空间位置信息可以包括该人体相对于深度相机的相机坐标系上的第一坐标，还可以包括人体相对于场景所在世界坐标系上的第二坐标。通过多个人体各自的空间位置信息获得多个人体各自空间位置信息之间的关系，并检测出该空间位置信息之间的关系持续的时长，最后根据该空间位置信息之间的关系以及该关系维持的时长来判断多个人体之间的关联关系。
请参阅图7，图7是本发明提供的一种判断人体关联关系的装置另一实施例的结构示意图。
本实施例的判断人体关联关系的装置包括至少一个深度相机20、处理器21和存储器22，深度相机20和存储器22均与处理器21连接。
其中，深度相机20用于获取多人场景的深度图像序列。
处理器21用于从深度图像序列中识别多个人体；获取多个人体在深度图像序列中的空间位置信息，其中，空间位置信息为人***置信息；根据人***置信息计算多个人体之间的人体距离信息；将人体距离信息与预设的人体距离阈值比较；若人体距离信息小于或等于人体距离阈值，则检测人体距离信息小于或等于人体距离阈值的状态的第一持续时长；当第一持续时长达到预设的第一时间阈值时，则判断多个人体之间的关联关系为跟随。将关联关系进行标记，并对关联关系相关的人体进行标记。
在另一实施例中，处理器21用于从深度图像序列中识别多个人体，并根据识别出的多个人体进一步识别人体部位；获取多个人体的人体部位在深度图像序列中的部位位置信息；根据部位位置信息计算多个人体的人体部位之间的部位距离信息；将部位距离信息与预设的部位距离阈值比较；若部位距离信息小于或等于部位距离阈值，则检测部位距离信息小于或等于部位阈值距离的状态的第二持续时长；当第二持续时长达到预设的第二时间阈值时，则判断多个人体之间的关联关系为跟随。
存储器22用于对所做的标记进行保存，以便于后期对该关联关系即相关的人体进行跟踪监控。
本发明还提供了一种存储装置，该存储装置存储有程序数据，该程序数据能够被执行以实现上述任一实施例的人体关联关系的判断方法。
举例而言，该存储装置可以是便携式存储介质，例如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等。可以理解地，存储装置还可以是服务器等各种可以存储程序代码的介质。
综上所述，本发明能准确判断人体的关联关系，可以规避误判，能有效地对场景进行监控。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种人体关联关系的判断方法，其特征在于，包括以下步骤：
获取多人场景的深度图像序列；
从所述深度图像序列中识别多个人体；
获取所述多个人体在所述深度图像序列中的空间位置信息；
根据所述多个人体的空间位置信息及所述多个人体的空间位置信息之间的关系所持续的时长判断所述多个人体之间的关联关系。
2.根据权利要求1所述的方法，其特征在于，所述获取所述多个人体在所述深度图像序列中的空间位置信息的步骤中，所述空间位置信息为人***置信息；
所述根据所述多个人体的空间位置信息及所述空间位置信息所持续的时长判断所述多个人体之间的关联关系的步骤包括：
根据所述人***置信息计算多个人体之间的人体距离信息；
将所述人体距离信息与预设的人体距离阈值比较；
若所述人体距离信息小于或等于所述人体距离阈值，则检测所述人体距离信息小于或等于所述人体距离阈值的状态的第一持续时长；
当所述第一持续时长达到预设的第一时间阈值时，则判断所述多个人体之间的关联关系为跟随。
3.根据权利要求1所述的方法，其特征在于，所述从所述深度图像序列中识别多个人体的步骤中，还包括：
根据识别出的所述多个人体进一步识别人体部位；
获取所述多个人体在所述深度图像序列中的空间位置信息的步骤中，所述空间位置信息为人体部位的部位位置信息；
所述根据所述多个人体的空间位置信息及所述空间位置信息所持续的时长判断所述多个人体之间的关联关系的步骤包括：
根据所述部位位置信息计算多个人体的人体部位之间的部位距离信息；
将所述部位距离信息与预设的部位距离阈值比较；
若所述部位距离信息小于或等于所述部位距离阈值，则检测所述部位距离信息小于或等于所述部位阈值距离的状态的第二持续时长；
当所述第二持续时长达到预设的所述第二时间阈值时，则判断所述多个人体之间的关联关系为跟随。
4.根据权利要求1所述的方法，其特征在于，所述获取所述多个人体在所述深度图像序列中的空间位置信息的步骤中，所述空间位置信息包括在深度相机的相机坐标系中的第一坐标。
5.根据权利要求4所述的方法，其特征在于，所述空间位置信息还包括在场景所在的世界坐标系中的第二坐标。
6.根据权利要求1所述的方法，其特征在于，所述根据所述多个人体的空间位置信息及所述空间位置信息所持续的时长判断所述多个人体之间的关联关系的步骤之后，还包括：
将所述关联关系进行标记，并对所述关联关系相关的人体进行标记，并保存。
7.一种判断人体关联关系的装置，其特征在于，包括至少一个深度相机和处理器，所述深度相机与所述处理器连接；
所述深度相机用于获取多人场景的深度图像序列；
所述处理器用于从所述深度图像序列中识别多个人体；获取所述多个人体在所述深度图像序列中的空间位置信息；根据所述多个人体的空间位置信息及所述多个人体的空间位置信息之间的关系所持续的时长判断所述多个人体之间的关联关系。
8.根据权利要求7所述的装置，其特征在于，所述空间位置信息为人***置信息；
所述处理器还用于根据所述人***置信息计算多个人体之间的人体距离信息；将所述人体距离信息与预设的人体距离阈值比较；若所述人体距离信息小于或等于所述人体距离阈值，则检测所述人体距离信息小于或等于所述人体距离阈值的状态的第一持续时长；当所述第一持续时长达到预设的第一时间阈值时，则判断所述多个人体之间的关联关系为跟随。
9.根据权利要求7所述的装置，其特征在于，所述处理器还用于根据识别出的所述多个人体进一步识别人体部位；获取所述多个人体的人体部位在所述深度图像序列中的部位位置信息；根据所述部位位置信息计算多个人体的人体部位之间的部位距离信息；将所述部位距离信息与预设的部位距离阈值比较；若所述部位距离信息小于或等于所述部位距离阈值，则检测所述部位距离信息小于或等于所述部位阈值距离的状态的第二持续时长；当所述第二持续时长达到预设的所述第二时间阈值时，则判断所述多个人体之间的关联关系为跟随。
10.根据权利要求7所述的装置，其特征在于，所述位置信息包括在深度相机的相机坐标系中的第一坐标。
11.根据权利要求10所述的装置，其特征在于，所述位置信息还包括在场景所在的世界坐标系中的第二坐标。
12.根据权利要求7所述的装置，其特征在于，所述处理还用于将所述关联关系进行标记，并对所述关联关系相关的人体进行标记；
所述装置还包括存储器，所述存储器用于所做的标记进行保存。
13.一种存储装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1至6任一项所述的方法。
CN201710337568.6A 2017-05-15 2017-05-15 人体关联关系的判断方法、装置及存储装置 Pending CN107230226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710337568.6A CN107230226A (zh) 2017-05-15 2017-05-15 人体关联关系的判断方法、装置及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710337568.6A CN107230226A (zh) 2017-05-15 2017-05-15 人体关联关系的判断方法、装置及存储装置

Publications (1)

Publication Number Publication Date
CN107230226A true CN107230226A (zh) 2017-10-03

Family

ID=59934211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710337568.6A Pending CN107230226A (zh) 2017-05-15 2017-05-15 人体关联关系的判断方法、装置及存储装置

Country Status (1)

Country Link
CN (1) CN107230226A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414339A (zh) * 2019-06-21 2019-11-05 武汉倍特威视***有限公司 基于视频流数据的审讯室人员近距离接触识别方法
CN112788818A (zh) * 2020-12-29 2021-05-11 欧普照明股份有限公司 控制方法、控制装置及电子设备
WO2022057804A1 (zh) * 2020-09-16 2022-03-24 青岛维感科技有限公司 一种间距监测方法、装置、***及存储介质
CN114598817A (zh) * 2022-03-04 2022-06-07 无锡乐骐科技股份有限公司 一种基于多人交互动作判断的人机交互判断方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data
CN102129776A (zh) * 2011-04-28 2011-07-20 北京市劳动保护科学研究所 行人异常交通状态自动检测方法及***
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
CN103778635A (zh) * 2006-05-11 2014-05-07 普莱姆传感有限公司 用于处理数据的方法和装置
CN103839049A (zh) * 2014-02-26 2014-06-04 中国计量学院 一种双人交互行为识别和主动角色确定方法
CN103971380A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于rgb-d的行人尾随检测方法
CN104573612A (zh) * 2013-10-16 2015-04-29 北京三星通信技术研究有限公司 估计深度图像中重叠的多个人体对象的姿态的设备和方法
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN105354825A (zh) * 2015-09-30 2016-02-24 李乔亮 自动识别读写场景中读物位置的智能装置及其应用
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
US20160379078A1 (en) * 2015-06-29 2016-12-29 Canon Kabushiki Kaisha Apparatus for and method of processing image based on object region

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data
CN103778635A (zh) * 2006-05-11 2014-05-07 普莱姆传感有限公司 用于处理数据的方法和装置
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN102129776A (zh) * 2011-04-28 2011-07-20 北京市劳动保护科学研究所 行人异常交通状态自动检测方法及***
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
CN104573612A (zh) * 2013-10-16 2015-04-29 北京三星通信技术研究有限公司 估计深度图像中重叠的多个人体对象的姿态的设备和方法
CN103839049A (zh) * 2014-02-26 2014-06-04 中国计量学院 一种双人交互行为识别和主动角色确定方法
CN103971380A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于rgb-d的行人尾随检测方法
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
US20160379078A1 (en) * 2015-06-29 2016-12-29 Canon Kabushiki Kaisha Apparatus for and method of processing image based on object region
CN105354825A (zh) * 2015-09-30 2016-02-24 李乔亮 自动识别读写场景中读物位置的智能装置及其应用
CN105389567A (zh) * 2015-11-16 2016-03-09 上海交通大学 基于稠密光流直方图的群体异常检测方法
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANLI JI 等: "INTERACTIVE BODY PART CONTRAST MINING FOR HUMAN INTERACTION", 《2014 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS (ICMEW)》 *
胡永利 等: "多源异构感知数据融合方法及其在目标定位跟踪中的应用", 《中国科学：信息科学》 *
黄凯奇 等: "智能视频监控技术综述", 《计算机学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414339A (zh) * 2019-06-21 2019-11-05 武汉倍特威视***有限公司 基于视频流数据的审讯室人员近距离接触识别方法
WO2022057804A1 (zh) * 2020-09-16 2022-03-24 青岛维感科技有限公司 一种间距监测方法、装置、***及存储介质
CN112788818A (zh) * 2020-12-29 2021-05-11 欧普照明股份有限公司 控制方法、控制装置及电子设备
CN114598817A (zh) * 2022-03-04 2022-06-07 无锡乐骐科技股份有限公司 一种基于多人交互动作判断的人机交互判断方法及装置

Similar Documents

Publication Publication Date Title
CN107239744A (zh) 人体关联关系的监控方法、***及存储装置
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN107230226A (zh) 人体关联关系的判断方法、装置及存储装置
CN107392086A (zh) 人体姿态的评估装置、***及存储装置
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及***
Yang et al. Ransac matching: Simultaneous registration and segmentation
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
CN105760846A (zh) 基于深度数据的目标检测与定位方法及***
CN110458863A (zh) 一种基于rgbd与编码器融合的动态slam***
CN107742306A (zh) 一种智能视觉中运动目标跟踪算法
CN107025657A (zh) 一种基于视频图像的车辆行为轨迹检测方法
CN110348332A (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN110110608A (zh) 一种全景监控下基于视觉的叉车速度监测方法和***
CN104168444B (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN103903279B (zh) 基于仿生双目视觉机载平台的并行跟踪***与方法
CN106022266A (zh) 一种目标跟踪方法及装置
CN114119729A (zh) 障碍物识别方法及装置
CN113447014A (zh) 室内移动机器人、建图方法、定位方法以及建图定位装置
CN107341179A (zh) 标准运动数据库的生成方法、装置及存储装置
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN106127147B (zh) 一种基于三维数据的人脸深度纹理修复方法
CN114596657B (zh) 一种基于深度数据的闸机通行***
CN109815966A (zh) 一种基于改进sift算法的移动机器人视觉里程计实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003

RJ01 Rejection of invention patent application after publication