CN114495266A - 非站立姿态检测方法、装置、计算机设备及存储介质 - Google Patents

非站立姿态检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114495266A
CN114495266A CN202111678971.8A CN202111678971A CN114495266A CN 114495266 A CN114495266 A CN 114495266A CN 202111678971 A CN202111678971 A CN 202111678971A CN 114495266 A CN114495266 A CN 114495266A
Authority
CN
China
Prior art keywords
pedestrian
track
human body
standing posture
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111678971.8A
Other languages
English (en)
Inventor
宋方井
黄哲
肖嵘
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202111678971.8A priority Critical patent/CN114495266A/zh
Publication of CN114495266A publication Critical patent/CN114495266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及人工智能技术领域,本发明公开了一种非站立姿态检测方法、装置、计算机设备及存储介质,所述方法包括:获取行人视频和与行人视频关联的三维模型,并对行人视频进行分帧处理,得到多个行人图像;对各行人图像进行行人区域检测,得到与各行人图像一一对应的行人区域;根据各行人图像和与其对应的行人区域,在三维模型中构建行人轨迹图;运用最短路径算法,对行人轨迹图进行最短路径识别,得到最短路径轨迹;对最短路径轨迹进行非站立姿态检测,得到检测结果。因此,本发明实现了准确地、科学地、自动地检测出行人视频是否存在非站立姿态的片段,并且提高了非站立姿态检测的准确性和效率。

Description

非站立姿态检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种非站立姿态检测方法、装置、计算机设备及存储介质。
背景技术
行人站立姿态的检测在现实生活中有着十分重要的应用价值,比如人行道行人检测、运动检测和医学诊断等等领域,目前,现有行人站立姿态检测的方法是通过摄像机采集的一序列图像数据进行深度学习达到识别出行人站立姿态的检测结果,但是,采集的图像数据会出现非站立姿态的情况,比如弯腰、摔倒等姿态,这些图像数据会对站立姿态的识别产生影响,会降低识别的准确性,现有的技术通常为人工识别出非站立姿态的图像数据,再将识别出的非站立的图像数据进行去除,因此,大大增加了人工成本,效率低下,不利于行人站立姿态的识别。
发明内容
本发明提供一种非站立姿态检测方法、装置、计算机设备及存储介质,实现了自动检测出行人视频是否存在非站立姿态的片段,无需人工识别,提高了非站立姿态检测的准确性和效率。
一种非站立姿态检测方法,包括:
获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;
对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;
根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;
运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;
对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
一种非站立姿态检测装置,包括:
获取模块,用于获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;
检测模块,用于对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;
构建模块,用于根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;
识别模块,用于运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;
输出模块,用于对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述非站立姿态检测方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述非站立姿态检测方法的步骤。
本发明提供的非站立姿态检测方法、装置、计算机设备及存储介质,通过获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况,因此,本发明实现了通过分帧处理,划分出行人视频中的行人图像,自动对行人图像进行行人区域检测,输出行人区域,并基于各行人区域,构建行人轨迹图,以及运用最短路径算法,自动检测出行人视频中是否存在非站姿态的检测结果,如此,实现了准确地、科学地、自动地检测出行人视频是否存在非站立姿态的片段,无需人工识别,减少了人工成本,并且提高了非站立姿态检测的准确性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中非站立姿态检测方法的应用环境示意图;
图2是本发明一实施例中非站立姿态检测方法的流程图;
图3是本发明一实施例中非站立姿态检测方法的步骤S30的流程图;
图4是本发明一实施例中非站立姿态检测方法的步骤S50的流程图;
图5是本发明一实施例中地面的坐标与成像平面关系的示意图;
图6是本发明一实施例中生成行人基础图的示意图;
图7是本发明一实施例中跨点连接的示意图;
图8是本发明一实施例中非站立姿态检测装置的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的非站立姿态检测方法,可应用在如图1的应用环境中,其中,客户端(计算机设备或终端)通过网络与服务器进行通信。其中,客户端(计算机设备或终端)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种非站立姿态检测方法,其技术方案主要包括以下步骤S10-S50:
S10,获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像。
可理解地,所述行人视频为通过一个设备标识所对应的视频采集设备拍摄多个人体行走的视频,一个所述行人视频与一个设备标识关联,所述设备标识为定义视频采集设备的唯一标识,一个所述设备标识关联一个三维模型,所述三维模型为根据关联的设备标识的内外参数和地面参数构建的三维的坐标系,所述内外参数为所述设备标识所对应的所述视频采集设备的拍摄角度参数、成像内参数和成像外参数之间的映射关系等等,所述地面参数为所述设备标识所对应的所述视频采集设备拍摄到的地面相关的参数,比如地面距离视频采集设备的距离。
其中,所述对所述行人视频进行分帧处理的过程为对输入的视频的每一帧进行分割或者抽取出一帧图像的操作过程,对所述行人视频进行所述分帧处理,能够获得多个所述行人图像,所述行人图像为所述行人视频中的每一帧图像,即所述行人图像中包含多个人体。
S20,对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域。
可理解地,所述行人区域检测的过程可以通过行人区域检测模型实现,所述行人区域检测模型包括人头检测网络和人体检测网络,所述行人区域检测包括人头检测和人体检测,所述人头检测的过程可以通过训练完成的人头检测网络实现,所述人头检测网络的网络结构可以根据需求设定,比如人头检测网络的网络结构可以为Faster R-CNN、SSD和YOLO等网络结构,通过人头检测网络对输入的行人图像进行人头特征的提取,根据提取的人头特征进行人头区域的定位,对定位出的人头区域进行分类,判断该区域是否为人头,识别出包含人头的区域,将其确定为人头区域,所述人头特征为与人体的头部相关的特征,比如头发、眼、鼻子、嘴巴、眉毛、脸等特征,所述人体检测的过程可以通过训练完成的人体检测网络实现,所述人体检测网络的网络结构可以根据需求设定,比如人体检测网络的网络结构可以为Faster R-CNN、SSD和YOLO等网络结构,通过人体检测网络对输入的行人图像进行人体特征的提取,根据提取的人体特征进行人体区域的定位,对定位出的人体区域进行分类,判断该区域是否为人体,识别出包含一个人体的区域,将其确定为人体区域,所述人体特征为与人体的部位相关的特征,比如头、头发、手、人脸、躯干、衣服、腿、脚等能体现一个人体的特征,将识别出的人头区域和人体区域确定为所述行人区域,即所述行人区域包括人头区域和人体区域,一个人头区域对应一个人体区域,所述人头区域和所述人体区域存在重合(完全重合或者部分重合)。
在一实施例中,所述步骤S20中,即所述对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域,包括:
通过人头检测网络对各所述行人图像进行人头检测,得到与各所述行人图像一一对应的人头区域。
可理解地,所述人头检测网络为用于检测输入的图像中具有人头特征的区域的神经网络,所述人头检测网络的网络结构可以根据需求设定,比如人头检测网络的网络结构可以为Faster R-CNN、SSD、CenterNet和YOLO等网络结构,优先地,所述人头检测网络的网络结构为CenterNet的网络结构,因为运用CenterNet的网络结构能够精准地定位出人头的位置,所述人头检测网络的训练过程为输入含有人头标注区域的人头样本图像,对该人头样本图像生成1K~2K个候选区域,再对每个候选区域使用卷积层提取人头特征,将提取的人头特征送入人头分类器中,判别是否该候选区域包含人头,使用回归器精细修正候选框位置,最终识别出该人头样本图像中的包含一个人头的区域,计算该区域和人头标注区域之间的损失值,根据损失值迭代更新人头检测网络的参数,直至损失值达到收敛条件,从而停止训练的过程,所述人头特征为与人体的头部相关的特征,比如头发、眼、鼻子、嘴巴、眉毛、脸等等特征,所述人头检测的过程为通过人头检测网络对输入的所述行人图像进行所述人头特征的提取,根据提取的人头特征进行人头区域的定位,对定位出的人头区域进行分类,判断该区域是否为人头,识别出包含人头的区域,将其确定为人头区域,所述人头区域为所述行人图像中的人物头部的矩形区域。
通过人体检测网络对各所述行人图像进行人体检测,得到与各所述行人图像一一对应的人体区域。
可理解地,所述人体检测网络为用于检测输入的图像中具有人体特征的区域的神经网络,所述人体检测网络的网络结构可以根据需求设定,比如人体检测网络的网络结构可以为Faster R-CNN、SSD、CenterNet和YOLO等网络结构,优先地,所述人体检测网络的网络结构为YOLO V3的网络结构,因为运用YOLO V3的网络结构能够快速地从不同的尺度定位出人体的位置,所述人体检测网络的训练过程为输入含有人体标注区域的人体样本图像,对该人体样本图像进行人体特征的提取(卷积),根据提取的人体特征,得到小尺度的特征图,对小尺度的特征图进行上采样和张量拼接,得到中尺度的特征图,然后对该中尺度的特征图进行上采样和张量拼接,得到大尺度的特征图,再对小尺度、中尺度和大尺度的特征图进行多尺度检测,预测出具有人体特征的一个人体的矩形区域,计算该区域和人体标注区域之间的损失值,根据损失值迭代更新人体检测网络的参数,直至损失值达到收敛条件,从而停止训练的过程,其中,小尺度、中尺度和大尺度可分别为相对于行人图像尺寸的1/32尺度、1/16尺度、1/8尺度,通过不同尺度的特征图能够检测的到更加细粒度的人体特征,所述上采样为卷积的反向传播,即反卷积或者前向传播的转置,所述张量拼接为将卷积过程中的中间层和相邻的下一层的上采样结果进行拼接过程,所述人体特征为与人体的部位相关的特征,比如头、头发、手、人脸、躯干、衣服、腿、脚等能体现一个人体的特征,所述人体检测的过程为通过人体检测网络对输入的所述行人图像进行所述人体特征的提取,根据提取的人体特征进行人体区域的预测,预测出包含一个人体的矩形区域,将其确定为人体区域,所述人体区域为所述行人图像中的一个人体的矩形区域。
将与同一所述行人图像对应的所述人头区域和所述人体区域记录为与该行人图像对应的所述行人区域。
可理解地,将与相同的所述行人图像对应的所述人头区域和所述人体区域确定为该行人图像所对应的所述行人区域,所述人体区域和所述人头区域存在部分重叠。
本发明实现了通过人头检测网络对各所述行人图像进行人头检测,得到与各所述行人图像一一对应的人头区域;通过人体检测网络对各所述行人图像进行人体检测,得到与各所述行人图像一一对应的人体区域;将与同一所述行人图像对应的所述人头区域和所述人体区域记录为与该行人图像对应的所述行人区域,如此,实现了通过人头检测网络的人头检测和人体检测网络的人体检测,自动识别出输入的行人图像中的人头区域和人体区域,无需人工识别,节省了成本,快速地为后续的行人轨迹图的构建提供准确的数据基础,提高了非站立姿态检测的准确率和效率。
S30,根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图。
可理解地,所述在所述三维模型中构建的过程为:首先,对所述行人图像中的人体区域进行身高预测,可通过训练完成的身高预测模型对输入的行人图像及所框定的人体区域进行身高预测,能够预测出每个所述行人图像所对应的预测身高值;其次,对所有所述预测身高值进行聚类处理,能够确定出行人图像中行人的行人身高值;最后,根据所述行人身高值、各所述人头区域和各所述人体区域,运用反投影射线算法,能够计算出每个人头区域的人头轨迹点,以及每个人体区域的人体轨迹点,在所述三维模型中根据所有所述人头轨迹点和所述人体轨迹点构建行人轨迹图,所述行人轨迹图为行人的人头和人体在该三维模型中可能移动的路线轨迹的集合。
在一实施例中,如图3所示,所述步骤S30中,即所述根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图,包括:
S301,对各所述行人图像和与其对应的所述行人区域中的人体区域进行身高预测,获得各所述行人图像所对应的预测身高值。
可理解地,对所述行人图像中的人体区域进行身高预测的过程可以通过身高预测模型实现,所述身高预测模型可以为训练完成的深度学习模型,该身高预测模型的训练过程为收集身高图像样本,所述身高图像样本为历史收集的通过所述视频采集设备拍摄的单独人体站在与所述地面参数所对应的地面上的图像,一个包含人体区域的所述身高图像样本关联一个人***置标签和一个身高标签,该深度学习模型包含初始参数,通过所述深度学习模型对输入的身高图像样本进行行人位置定位和高度特征的提取,根据定位出行人位置和提取的高度特征进行预测,预测出人体区域中的行人的身高,所述高度特征为行人图像中行人的肩宽和垂直高度的占比特征,预测的过程为根据定位出行人相对于视频采集设备的距离,以及身高特征之间的组合函数进行映射,映射出身高数值的过程,计算人***置标签和定位出行人位置之间的差距,得到第一损失值,同时计算身高标签和预测出的身高数值之间的差距,得到第二损失值,对所述第一损失值和所述第二损失值进行加权求和,得到总损失值,在检测到所述总损失值未达到收敛条件时,迭代更新深度学习模型的初始参数,并执行对所述行人图像及人体区域进行行人位置定位和高度特征的提取的步骤,循环执行直至总损失值达到收敛条件,停止训练,将收敛之后深度学习模型记录为身高预测模型,其身高预测的过程为通过训练完成的身高预测模型对输入的行人图像及人体区域进行行人位置定位和高度特征的提取,根据定位出行人位置和提取的高度特征进行预测,预测出相应的身高数值的过程,将预测出的身高数值记录为所述预测身高值,所述预测身高值表征了输入的行人图像中行人的身高预估值。
其中,所述身高预测模型还可以为基于三维模型构建完成的投影计算模型,其身高预测的过程为计算所述人体区域距离所述行人图像的垂直距离,分别得到所述人体区域距离所述行人图像的上边框的第一垂直距离,以及所述人体区域距离所述行人图像的下边框的第二垂直距离,根据所述第一垂直距离和所述第二垂直距离,可以在所述地面参数的坐标轴中映射出行人投影的距离,即将地面参数中的地面为水平坐标的拍摄水平距离减去所述第一垂直距离所映射的水平距离与所述第二垂直距离所映射的水平距离之和,并根据所述第一距离能够定位出行人在所述地面参数中的水平坐标的站立坐标,运用反投影射线算法,根据在所述三维模型中所述第一垂直距离所映射的水平距离的反投影射线形成的平面,与站立坐标相对于地面的垂直线的平面相交与一条交叉段,可以计算出该交叉段占该垂直线的的垂直高度,从而可以将该垂直高度记录为行人的身高的预测过程,通过该身高预测的方法可以输出每个输入至身高预测模型的行人图像中的行人的身高预估值。
其中,所述反投影射线算法为通过视频采集设备(例如:相机)拍摄到真实地面参数中地面上的各点的反投影射线而成像的图像(也称为成像平面或者图片)中的相应像素点的算法,如图5所示,例如:成像平面的一像素点(比如人头顶点)向真实的人头的顶部进行投影,投影至地面的一个坐标点,三点形成的投影线也是地面的该坐标点的反投影射线,通过各个坐标点的反投影射线可以建立与成像平面的各像素点的映射关系,通过所述反投影射线算法可以方便计算出地面参数中的地面的坐标点与成像的图像之间的映射关系,也可以在三维模型中描绘出各坐标点的反投影射线,即在三维模型中地面的坐标点与所述视频采集设备的坐标位置的连接线。
S302,对所有所述预测身高值进行聚类处理,得到行人身高值。
可理解地,将所有所述预测身高值组成一个一维数组,对该一维数组进行所述聚类处理,所述聚类处理可以根据需求设定,比如聚类处理可以为对一维数组进行去除最小值后取均值,将该均值记录为行人身高值的处理,也可以为运用K-means聚类算法对一维数组进行聚类确定出一个新人身高值的处理,所述行人身高值为最能体现所述行人视频中的行人的真实身高。
其中,所述K-means聚类算法为在一个一维数组中随机选择K个点,这K个点表示K个簇的中心点,然后计算一维数组中每个所述预测身高值距离这K个中心点的距离,将某个预测身高值划分到距离其最近的中心点对应的簇上,最后对于刚刚生成的分类簇,重新计算簇的中心点,直至收敛得到一个合适的K个中心点的结果,所述运用K-means聚类算法对一维数组进行聚类确定出一个新人身高值的处理过程为:首先,根据一维数组中预测身高值的总数,确定K的个数,比如K的个数为预测身高值的总数的1/N取整,例如:预测身高值的总数为16,N为5,则K为3;其次,运用所述K-means聚类算法,输出一维数组中K个值;最后,对K个值进行均值处理或者去除最小值后取均值处理,得到一个均值,将该均值记录为所述行人身高值,如此,可以将行人图像中行人被遮挡或者行人弯腰的情况输出的预测身高值能够进行过滤,达到从所有预测身高值中准确地确定出行人的真实的身高,避免了行人被遮挡或者行人弯腰情况的影响。
S303,根据所述行人身高值、各所述人头区域和各所述人体区域,在所述三维模型中构建行人轨迹图。
可理解地,所述在所述三维模型中构建所述行人轨迹图的过程为:首先,运用反投影射线算法,根据所述行人身高值、各所述人头区域和所述三维模型中的地面参数,在所述三维模型中确定出与各所述人头区域对应的人头轨迹点,其次,运用反投影射线算法,根据各所述人体区域和所述地面参数,在所述三维模型中确定出与各所述人体区域对应的人体轨迹点,最后,基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图的过程,所述行人轨迹图体现了行人可能行走的轨迹集合。
其中,所述反投影射线算法为通过视频采集设备拍摄到真实地面参数中地面上的各点的反投影射线而成像的图像中的相应像素点的算法,通过所述反投影射线算法可以方便计算出地面参数中的地面的坐标点与成像的图像之间的映射关系,也可以在三维模型中描绘出各坐标点的反投影射线,即在三维模型中地面的坐标点与所述视频采集设备的坐标位置的连接线。
本发明实现了通过对各所述行人图像和与其对应的所述行人区域中的人体区域进行身高预测,获得各所述行人图像所对应的预测身高值;对所有所述预测身高值进行聚类处理,得到行人身高值;根据所述行人身高值、各所述人头区域和各所述人体区域,在所述三维模型中构建行人轨迹图,如此,通过自动识别出行人图像中行人的身高预测,得到每个行人图像中的预测身高值,再通过聚类处理,科学地预测出行人身高值,并自动基于行人身高值、所有人头区域和所有人体区域,构建出行人轨迹图,提高了行人轨迹图输出的完整性、准确性和正确性。
在一实施例中,所述根据所述行人身高值、各所述人头区域和各所述人体区域,在所述三维模型中构建行人轨迹图,包括:
运用反投影射线算法,根据所述行人身高值、各所述人头区域和所述三维模型中的地面参数,在所述三维模型中确定出与各所述人头区域对应的人头轨迹点。
可理解地,提取所述人头区域中的顶边(靠近所述行人图像的上边框)的顶边的中间点的像素坐标,运用所述反投影射线算法,将该顶边的中间点作为真实地面参数中地面上的点的反投影射线而成像的行人图像的像素点,可以确定出该顶边的中间点投影到所述三维模型中的地面参数中的坐标位置,如图5所示,相应地,通过该坐标位置与所述视频采集设备的坐标位置可以形成三维模型中的反投影射线,在所述三维模型中,将垂直于所述地面参数中地面的所述行人身高值的线段向顶边的中间点投影到所述三维模型中的地面参数中的坐标位置靠近,直至该反投影射线、所述行人身高值的线段和所述地面参数的地面刚好围成一个的封闭的三角形,将所述行人身高值的线段与该反投影射线相交的三维坐标记录为行人的人头坐标,将该人头坐标所站立在所述地面参数的地面上的站立坐标记录为与所述人头区域对应的所述人头轨迹点,例如:顶边的中间点投影到所述三维模型中的地面参数中的坐标位置为(1000,800,0)cm,该坐标位置的反投影射线与地面参数的地面的夹角为30度,行人身高为170cm,则行人身高刚好距离与坐标位置的纵坐标为
Figure BDA0003453388440000101
的时候,形成封闭的三角形,从而确定出人头坐标为(1000,800-240=560,170)cm,则人头轨迹点为(1000,560)cm。
其中,所述反投影射线算法为通过视频采集设备拍摄到真实地面参数中地面上的各点的反投影射线而成像的图像中的相应像素点的算法,通过所述反投影射线算法可以方便计算出地面参数中的地面的坐标点与成像的图像之间的映射关系,也可以在三维模型中描绘出各坐标点的反投影射线,即在三维模型中地面的坐标点与所述视频采集设备的坐标位置的连接线。
运用反投影射线算法,根据各所述人体区域和所述地面参数,在所述三维模型中确定出与各所述人体区域对应的人体轨迹点。
可理解地,提取所述人体区域中的底边(靠近所述行人图像的下边框)的中间点的像素坐标,运用所述反投影射线算法,将该底边的中间点作为真实地面参数中地面上的点的反投影射线而成像的行人图像的像素点,可以确定出该底边的中间点投影到所述三维模型中的地面参数中坐标位置,相应地,通过该坐标位置与所述视频采集设备的坐标位置可以形成三维模型中的反投影射线,将该坐标位置所站立在所述地面参数的地面上的站立坐标记录为与该所述人体区域对应的所述人体轨迹点,例如:底边的中间点投影到所述三维模型中的地面参数中的坐标位置为(950,600,0)cm,则确定出的人体轨迹点的坐标位置为(950,600)cm。
其中,所述反投影射线算法为通过视频采集设备拍摄到真实地面参数中地面上的各点的反投影射线而成像的图像中的相应像素点的算法,通过所述反投影射线算法可以方便计算出地面参数中的地面的坐标点与成像的图像之间的映射关系,也可以在三维模型中描绘出各坐标点的反投影射线,即在三维模型中地面的坐标点与所述视频采集设备的坐标位置的连接线。
基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图。
可理解地,一个所述行人图像与一个时间戳对应,一个所述行人图像对应一个所述人头区域和一个所述人体区域,一个所述人头区域对应一个所述人头轨迹点,一个所述人体区域对应一个所述人体轨迹点,从而一个所述人头轨迹点对应一个所述时间戳,一个所述人体轨迹点对应一个所述时间戳,即所述人头轨迹点和所述人体轨迹点均包含有在同一时间轴上的时间戳,所述时间戳为拍摄所述行人图像的时间点,其构建的过程为:首先,对所有所述人头轨迹点和所述人体轨迹点进行时间戳关联,将所有人头轨迹点和人体轨迹点在一个基于所述地面参数的坐标图中进行描点,计算同一时间戳的所述人头轨迹点和所述人体轨迹点之间的欧式距离,判断欧式距离是否小于预设距离阈值,若欧式距离小于预设距离阈值,则将该人头轨迹点和该人体轨迹点确定为可靠点对(如图6所示的可靠点对),并标识出可靠点对;其次,对描点的所述人头轨迹点/人体轨迹点按照时间戳的时序顺序进行两两相邻连接,连接的过程存在方向性,由时序先的所述人头轨迹点/人体轨迹点向时序后的所述人头轨迹点/人体轨迹点,得到如图6所示的行人基础图;最后,按照预设规则,比如在人头轨迹点/人体轨迹点在预设范围内的其他人头轨迹点或者人体轨迹点进行有方向性的连接时,不可以跨越可靠点对进行连接,也即将与所述可靠点对的时间戳以后的所述人头轨迹点或者所述人体轨迹点的连接进行去除或者裁掉,如图7所示,其中,预设范围可以为预设圆形范围,也可以为预设矩形范围,在此不做限制,优选地,预设范围为预设半径为R的圆形范围,如此,将连接完后的所述行人基础图记录为所述行人轨迹图,所述行人轨迹图体现了行人可能行走的轨迹集合。
本发明实现了通过运用反投影射线算法,根据所述行人身高值、各所述人头区域和所述三维模型中的地面参数,在所述三维模型中确定出与各所述人头区域对应的人头轨迹点;运用反投影射线算法,根据各所述人体区域和所述地面参数,在所述三维模型中确定出与各所述人体区域对应的人体轨迹点;基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图,如此,能够运用反投影射线算法,准确地确定出人头轨迹点和人体轨迹点,并自动构建行人可能行走的轨迹集合的行人轨迹图,提高了行人轨迹图输出的完整性、准确性和正确性。
在一实施例中,所述基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图,包括:
根据同一时间戳的所述人头轨迹点和所述人体轨迹点,确定出可靠点对;所述人头轨迹点和所述人体轨迹点均包含有在同一时间轴上的时间戳。
可理解地,所述根据同一时间戳的所述人头轨迹点和所述人体轨迹点,确定出可靠点对的过程为:对所有所述人头轨迹点和所述人体轨迹点进行关联,例如:人头轨迹点的坐标位置为(1000,560),其对应的时间戳为09:00,人体轨迹点的坐标位置为(950,600),其对应的时间戳为09:00,则人头轨迹点为(1000,560)-09:00,人体轨迹点为(950,600)-09:00,将所有人头轨迹点和人体轨迹点在一个基于所述地面参数的坐标图中进行描点,在该描点后的坐标图中计算相同时间戳下的人头轨迹点的描点坐标和人体轨迹点的描点坐标之间的欧式距离,在该距离小于预设距离阈值时,将该人头轨迹点和该人体轨迹点确定为可靠点对,所述可靠点对体现了人头轨迹点和人体轨迹点置信度高的两个轨迹点,说明所述可靠点能够准确地体现行人的站立位置,一个所述可靠点对一定包含一个所述人头轨迹点和一个所述人体轨迹点。
其中,所述预设距离阈值可以根据需求设定,比如5cm、10cm等等,所述欧式距离的计算方法为运用欧式距离算法计算二维空间两个点之间的的最短距离,二维空间上两点a(x1,y1)与b(x2,y2)间的欧氏距离:
Figure BDA0003453388440000131
其中,L为点a与点b之间的欧式距离;x1为点a的横坐标值;x2为点b的横坐标值;y1为点a的纵坐标值;y2为点b的纵坐标值。
对所有所述人头轨迹点按照时间戳顺序两两相邻连接,以及对所有所述人体轨迹点按照时间戳顺序两两连接,得到行人基础图。
可理解地,对相邻的两个所述人头轨迹点按照时间戳的时序顺序连接,同时对相邻的两个所述人体轨迹点按照时间戳的时序顺序连接,即从时间戳在先的人头轨迹点/人体轨迹点连接至时间戳在后的人头轨迹点/人体轨迹点,在所有所述人头轨迹点和所述人体轨迹点连接完后,将连接完后的坐标图记录为所述行人基础图。
基于所述可靠点对对所述行人基础图进行跨点连接,得到所述行人轨迹图。
可理解地,获取预设第一规则和预设第二规则,所述预设第一规则与一个预设跨帧半径关联,所述预设第二规则与一个预设跨轨迹半径关联,所述预设跨帧半径和所述跨轨迹半径可以相同,也可以不相同个,所述跨点连接包括按照预设第一规则对所述行人基础图进行跨帧连接,以及按照预设第二规则对所述行人基础图进行跨轨迹连接,所述预设第一规则可以为以任意一个人头轨迹点/人体轨迹点为圆心,按预设跨帧半径为半径画一个圆区域,在该圆区域中将圆心向与圆心同一轨迹的人头轨迹点/人体轨迹点连接,并将该圆区域中的可靠点对以后的人头轨迹点/人体轨迹点的连接边进行去除或者丢弃的规则,所述预设第二规则可以为以一个人头轨迹点/人体轨迹点为圆心,按预设跨轨迹半径为半径画一个圆区域,在该圆区域中将圆心向与圆心相应的人体轨迹上的人体轨迹点,或者人头轨迹上的人头轨迹点连接,并将该圆区域中可靠点对以后的人体轨迹点/人头轨迹点的连接边进行去除或者丢弃的规则,经过跨帧连接和跨轨迹连接后的所述行人基础图记录为所述行人轨迹图,所述行人轨迹图体现了行人可能行走的轨迹集合。
本发明实现了通过根据同一时间戳的所述人头轨迹点和所述人体轨迹点,确定出可靠点对;对所有所述人头轨迹点按照时间戳顺序两两相邻连接,以及对所有所述人体轨迹点按照时间戳顺序两两连接,得到行人基础图;基于所述可靠点对对所述行人基础图进行跨点连接,得到所述行人轨迹图,如此,能够自动识别出可靠点对,并运用跨点连接,自动连接出行人可能行走的轨迹,进而输出行人轨迹图,无需人工识别及连接,减少了人工成本,也提高了行人轨迹图输出的完整性、准确性和正确性。
在一实施例中,所述基于所有所述可靠点对、跨帧机制和跨轨迹机制,对所述行人基础图进行跨点连接,得到所述行人轨迹图,包括:
基于所述可靠点对和预设第一规则,对各所述人头轨迹点或各所述人体轨迹点进行同轨迹的跨帧连接,得到多个跨帧边。
可理解地,所述预设第一规则为以一个人头轨迹点/人体轨迹点为圆心,按预设跨帧半径为半径画一个圆区域,在该圆区域中存在除圆心以外的人头轨迹点/人体轨迹点,将圆心向除圆心以外且在圆心的时间戳以后的人头轨迹点/人体轨迹点连接,若检测到除圆心以外的人头轨迹点/人体轨迹点中存在可靠点对的人头轨迹点/人体轨迹点,则将该可靠点对所对应的时间戳以后的人头轨迹点/人体轨迹点的连接边进行去除或者丢弃,仅保留圆心与该可靠点对所对应的时间戳和该时间戳之前的人头轨迹点/人体轨迹点的连接边的机制,所述同一轨迹上的轨迹点跨帧连接为运用所述跨帧机制,只有在所述行人基础图中同一轨迹的人头轨迹点或者人体轨迹点进行连接,得到多个所述跨帧边的过程,所述跨帧边为同一轨迹满足所述跨帧机制的人头轨迹点或者人体轨迹点之间的连接边,其跨帧边的边长为两个人头轨迹点/人体轨迹点之间的欧式距离,同一轨迹可理解为所有所述人头轨迹点形成的轨迹,或者所有所述人体轨迹点形成的轨迹。
其中,所述预设跨帧半径可以根据需求设定,比如100cm、200cm等等。
基于所述可靠点对和预设第二规则,对各所述人头轨迹点或所述人体轨迹点进行跨轨迹连接,得到多个跨轨迹边。
可理解地,所述预设第二规则为以一个人头轨迹点/人体轨迹点为圆心,按预设跨轨迹半径为半径画一个圆区域,在该圆区域中存在除圆心以外的人体轨迹点/人头轨迹点,将圆心与除圆心以外的人体轨迹点/人头轨迹点连接,若检测到除圆心以外的人体轨迹点/人头轨迹点中存在可靠点对的人体轨迹点/人头轨迹点,则将该可靠点对所对应的时间戳以后的人体轨迹点/人头轨迹点的连接边进行去除或者丢弃,仅保留圆心与该可靠点对所对应的时间戳和该时间戳之前的人体轨迹点/人头轨迹点的连接边的机制,所述跨轨迹机制应用在一个轨迹的人头轨迹点/人体轨迹点连接至另一轨迹的人体轨迹点/人头轨迹点上,所述轨迹点跨轨迹连接为运用所述跨轨迹机制,在所述行人基础图中不同轨迹之间的所述人头轨迹点和所述人体轨迹点进行连接,得到多个所述跨轨迹边的过程,所述跨轨迹边为不同轨迹中满足所述跨帧机制的人头轨迹点和人体轨迹点之间的连接边,其跨轨迹边的边长为人头轨迹点和人体轨迹点之间的欧式距离。
其中,所述预设跨轨迹半径可以根据需求设定,比如300cm、400cm等等。
将所述行人基础图、所有所述跨帧边和所有所述跨轨迹边构建成所述行人轨迹图。
可理解地,在所述行人基础图中体现所有所述跨帧边和所有所述跨轨迹边,得到所述行人轨迹图,所述行人轨迹图体现了行人可能行走的轨迹集合。
本发明实现了通过基于所述可靠点对和预设第一规则,对各所述人头轨迹点或各所述人体轨迹点进行同轨迹的跨帧连接,得到多个跨帧边;基于所述可靠点对和预设第二规则,对各所述人头轨迹点或所述人体轨迹点进行跨轨迹连接,得到多个跨轨迹边;将所述行人基础图、所有所述跨帧边和所有所述跨轨迹边构建成所述行人轨迹图,如此,能够运用跨帧机制和跨轨迹机制,自动连接行人可能移动的跨帧边和跨轨迹边,构建出一个行人所有可能移动的轨迹集合的行人轨迹图,无需人工连接及判断可能移动的轨迹,提高了行人轨迹图输出的完整性、准确性和正确性。
S40,运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹。
可理解地,所述最短路径算法为在输入的行人轨迹图中寻求一条连接边长的总和最小的路径的算法,所述最短路径识别的过程为:由所述行人轨迹图中时间戳最早的人头轨迹点为起点,按照各个有方向的连接边的边长进行移动,通过各种边长的组合方式,计算出边长总和最小的值,从而识别出得到该值经过的路径的识别过程,将计算该值移动经过的人头轨迹点或者人体轨迹点所形成的轨迹记录为所述最短路径轨迹。
S50,对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
可理解地,所述非站立姿态检测为:首先,对所述最短路径轨迹进行人体轨迹点分段处理,得到若干人体轨迹段,然后,对每个所述人体轨迹段进行个数统计,统计出每个所述人体轨迹段的人体轨迹点数,若所述人体轨迹点数大于预设阈值,将与该人体轨迹点数相应的所述人体轨迹段确定为非站姿态轨迹,最后,根据所有所述非站姿态轨迹,输出该行人视频的检测结果的过程,所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况,在大量的行人视频中,对每个行人视频进行非站立姿态检测,得到每个行人视频的检测结果,将检测结果为非站姿态的行人视频进行去除或者删除,从而能够从大量的行人视频中提取出站立姿态的行人视频,自动获得站立姿态的行人视频,无需人工识别和提取。
本发明实现了通过获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况,因此,本发明实现了通过分帧处理,划分出行人视频中的行人图像,自动对行人图像进行行人区域检测,输出行人区域,并基于各行人区域,构建行人轨迹图,以及运用最短路径算法,自动检测出行人视频中是否存在非站立姿态的检测结果,如此,实现了准确地、科学地、自动地检测出行人视频是否存在非站立姿态的片段,无需人工识别,减少了人工成本,并且提高了非站立姿态检测的准确性和效率。
在一实施例中,如图4所示,所述步骤S50中,即所述对所述最短路径轨迹进行非站立姿态检测,得到检测结果,包括:
S501,对所述最短路径轨迹进行人体轨迹点分段处理,得到若干人体轨迹段。
可理解地,所述分段处理为在所述最短路径轨迹中将连续出现所述人体轨迹点的一段范围划分出来,将划分出来的一段范围记录为一个所述人体轨迹段,所述人体轨迹段为在所述最短路径轨迹中出现人头轨迹点相邻的下一个时间戳的人体轨迹点和最靠近且下一个时间戳为人头轨迹点的人体轨迹点之间的一段。
S502,对各所述人体轨迹段进行个数统计,得到各所述人体轨迹段的人体轨迹点数。
可理解地,对每一个所述人体轨迹段进行个数统计处理,所述个数统计处理为统计一个所述人体轨迹段中包含人体轨迹点的个数的处理过程,从而能够统计出每个所述人体轨迹段的所述人体轨迹点数,所述人体轨迹点数体现了一个所述人体轨迹段中人体轨迹点个数之和。
S503,在检测到所述人体轨迹点数大于预设阈值时,确定与该人体轨迹点数对应的所述人体轨迹段为非站姿态轨迹。
可理解地,检测每一个所述人体轨迹点数是否大于所述预设阈值,所述预设阈值可以根据需求设定,比如预设阈值为500、600等等,在检测到一个所述人体轨迹点数大于所述预设阈值时,将该人体轨迹点数所对应的所述人体轨迹段标识为非站姿态轨迹,在一实施例中,在检测到所述人体轨迹点数小于或者等于所述预设阈值时,确定与该人体轨迹点数对应的所述人体轨迹段为站姿态轨迹,即将该人体轨迹点数所对应的所述人体轨迹段标识为站姿态轨迹,从而能够确定出每个所述人体轨迹段是否为非站姿态轨迹。
S504,根据所有所述非站姿态轨迹,确定所述检测结果。
可理解地,若检测到任一所述人体轨迹段标识为非站姿态轨迹,确定所述行人视频的检测结果为存在非站立姿态,说明所述行人视频中的行人存在非站立姿态的结果,若检测到所有所述人体轨迹段均标识为站姿态轨迹,确定所述行人视频的检测结果为不存在非站立姿态,说明所述行人视频中的行人不存在非站立姿态的结果。
本发明实现了通过对所述最短路径轨迹进行人体轨迹点分段处理,得到若干人体轨迹段;对各所述人体轨迹段进行个数统计,得到各所述人体轨迹段的人体轨迹点数;在检测到所述人体轨迹点数大于预设阈值时,确定与该人体轨迹点数对应的所述人体轨迹段为非站姿态轨迹;根据所有所述非站姿态轨迹,确定所述检测结果,如此,能够通过非站立姿态检测,自动检测出最短路径轨迹中是否存在非站立姿态的情况,科学地、准确地识别出行人视频中是否存在非站立姿态的检测结果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种非站立姿态检测装置,该非站立姿态检测装置与上述实施例中非站立姿态检测方法一一对应。如图8所示,该非站立姿态检测装置包括获取模块11、检测模块12、构建模块13、识别模块14和输出模块15。各功能模块详细说明如下:
获取模块11,用于获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;
检测模块12,用于对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;
构建模块13,用于根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;
识别模块14,用于运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;
输出模块15,用于对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
关于非站立姿态检测装置的具体限定可以参见上文中对于非站立姿态检测方法的限定,在此不再赘述。上述非站立姿态检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端或者服务端,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作***、计算机程序和数据库。该内存储器为可读存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非站立姿态检测方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中非站立姿态检测方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中非站立姿态检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种非站立姿态检测方法,其特征在于,包括:
获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;
对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;
根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;
运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;
对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
2.如权利要求1所述的非站立姿态检测方法,其特征在于,所述对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域,包括:
通过人头检测网络对各所述行人图像进行人头检测,得到与各所述行人图像一一对应的人头区域;
通过人体检测网络对各所述行人图像进行人体检测,得到与各所述行人图像一一对应的人体区域;
将与同一所述行人图像对应的所述人头区域和所述人体区域记录为与该行人图像对应的所述行人区域。
3.如权利要求2所述的非站立姿态检测方法,其特征在于,所述根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图,包括:
对各所述行人图像和与其对应的所述行人区域中的人体区域进行身高预测,获得各所述行人图像所对应的预测身高值;
对所有所述预测身高值进行聚类处理,得到行人身高值;
根据所述行人身高值、各所述人头区域和各所述人体区域,在所述三维模型中构建行人轨迹图。
4.如权利要求3所述的非站立姿态检测方法,其特征在于,所述根据所述行人身高值、各所述人头区域和各所述人体区域,在所述三维模型中构建行人轨迹图,包括:
运用反投影射线算法,根据所述行人身高值、各所述人头区域和所述三维模型中的地面参数,在所述三维模型中确定出与各所述人头区域对应的人头轨迹点;
运用反投影射线算法,根据各所述人体区域和所述地面参数,在所述三维模型中确定出与各所述人体区域对应的人体轨迹点;
基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图。
5.如权利要求4所述的非站立姿态检测方法,其特征在于,所述基于所有所述人头轨迹点和所述人体轨迹点构建出所述行人轨迹图,包括:
根据同一时间戳的所述人头轨迹点和所述人体轨迹点,确定出可靠点对;所述人头轨迹点和所述人体轨迹点均包含有在同一时间轴上的时间戳;
对所有所述人头轨迹点按照时间戳顺序两两相邻连接,以及对所有所述人体轨迹点按照时间戳顺序两两连接,得到行人基础图;
基于所述可靠点对对所述行人基础图进行跨点连接,得到所述行人轨迹图。
6.如权利要求5所述的非站立姿态检测方法,其特征在于,所述基于所述可靠点对对所述行人基础图进行跨点连接,得到所述行人轨迹图,包括:
基于所述可靠点和预设第一规则,对各所述人头轨迹点或各所述人体轨迹点进行同轨迹的跨帧连接,得到多个跨帧边;
基于所述可靠点和预设第二规则,对各所述人头轨迹点或所述人体轨迹点进行跨轨迹连接,得到多个跨轨迹边;
将所述行人基础图、所有所述跨帧边和所有所述跨轨迹边构建成所述行人轨迹图。
7.如权利要求1所述的非站立姿态检测方法,其特征在于,所述对所述最短路径轨迹进行非站立姿态检测,得到检测结果,包括:
对所述最短路径轨迹进行人体轨迹点分段处理,得到若干人体轨迹段;
对各所述人体轨迹段进行个数统计,得到各所述人体轨迹段的人体轨迹点数;
在检测到所述人体轨迹点数大于预设阈值时,确定与该人体轨迹点数对应的所述人体轨迹段为非站姿态轨迹;
根据所有所述非站姿态轨迹,确定所述检测结果。
8.一种非站立姿态检测装置,其特征在于,包括:
获取模块,用于获取行人视频和与所述行人视频关联的三维模型,并对所述行人视频进行分帧处理,得到多个行人图像;
检测模块,用于对各所述行人图像进行行人区域检测,得到与各所述行人图像一一对应的行人区域;
构建模块,用于根据各所述行人图像和与其对应的所述行人区域,在所述三维模型中构建行人轨迹图;
识别模块,用于运用最短路径算法,对所述行人轨迹图进行最短路径识别,得到最短路径轨迹;
输出模块,用于对所述最短路径轨迹进行非站立姿态检测,得到检测结果;所述检测结果表征了所述行人视频中的行人是否存在非站立姿态的情况。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述非站立姿态检测方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述非站立姿态检测方法。
CN202111678971.8A 2021-12-31 2021-12-31 非站立姿态检测方法、装置、计算机设备及存储介质 Pending CN114495266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111678971.8A CN114495266A (zh) 2021-12-31 2021-12-31 非站立姿态检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111678971.8A CN114495266A (zh) 2021-12-31 2021-12-31 非站立姿态检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114495266A true CN114495266A (zh) 2022-05-13

Family

ID=81510466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111678971.8A Pending CN114495266A (zh) 2021-12-31 2021-12-31 非站立姿态检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114495266A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115637901A (zh) * 2022-10-09 2023-01-24 东风汽车集团股份有限公司 一种基于oms的儿童锁控制***、方法及设备
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及***
CN117255180A (zh) * 2023-11-20 2023-12-19 山东通广电子股份有限公司 一种智能安全监控设备及监控方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115637901A (zh) * 2022-10-09 2023-01-24 东风汽车集团股份有限公司 一种基于oms的儿童锁控制***、方法及设备
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及***
CN115861381B (zh) * 2023-02-28 2023-05-09 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及***
CN117255180A (zh) * 2023-11-20 2023-12-19 山东通广电子股份有限公司 一种智能安全监控设备及监控方法
CN117255180B (zh) * 2023-11-20 2024-02-09 山东通广电子股份有限公司 一种智能安全监控设备及监控方法

Similar Documents

Publication Publication Date Title
Raza et al. Appearance based pedestrians’ head pose and body orientation estimation using deep learning
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN105628951B (zh) 用于测量对象的速度的方法和装置
CN109657583B (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN114495266A (zh) 非站立姿态检测方法、装置、计算机设备及存储介质
CN104376576B (zh) 一种目标跟踪方法及装置
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
WO2018036454A1 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
CN110533048A (zh) 基于全景区域场景感知的组合语义层次连接模型的实现方法及***
CN114787865A (zh) 轻追踪:用于在线自顶向下人体姿态追踪的***和方法
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
KR102261880B1 (ko) 딥러닝 기반 비대면 안면 인식 서비스 제공 방법, 장치 및 시스템
CN112651291A (zh) 基于视频的姿势估计方法、装置、介质及电子设备
Zhang et al. A swarm intelligence based searching strategy for articulated 3D human body tracking
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN111738164B (zh) 一种基于深度学习的行人检测方法
Tang et al. Robust tracking with discriminative ranking lists
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
WO2023279799A1 (zh) 对象识别方法、装置和电子***
US20170053172A1 (en) Image processing apparatus, and image processing method
Qu et al. Stripnet: Towards topology consistent strip structure segmentation
Sun et al. Automated human use mapping of social infrastructure by deep learning methods applied to smart city camera systems
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
Kwolek et al. Swarm intelligence based searching schemes for articulated 3D body motion tracking
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination