CN114677651B - 一种基于低画质低帧率视频的客流统计方法及相关装置 - Google Patents

一种基于低画质低帧率视频的客流统计方法及相关装置 Download PDF

Info

Publication number
CN114677651B
CN114677651B CN202210595817.2A CN202210595817A CN114677651B CN 114677651 B CN114677651 B CN 114677651B CN 202210595817 A CN202210595817 A CN 202210595817A CN 114677651 B CN114677651 B CN 114677651B
Authority
CN
China
Prior art keywords
target
tracking
head
tracker
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210595817.2A
Other languages
English (en)
Other versions
CN114677651A (zh
Inventor
邓富城
罗韵
陈振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jijian Technology Co.,Ltd.
Original Assignee
Shandong Jivisual Angle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jivisual Angle Technology Co ltd filed Critical Shandong Jivisual Angle Technology Co ltd
Priority to CN202210595817.2A priority Critical patent/CN114677651B/zh
Publication of CN114677651A publication Critical patent/CN114677651A/zh
Application granted granted Critical
Publication of CN114677651B publication Critical patent/CN114677651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种基于低画质低帧率视频的客流统计方法及相关装置，用于提高针对低画质低帧率视频条件下客流统计的精度。本申请方法包括：获取视频图像序列，所述视频序列包含若干图像帧；将所述图像帧输入至头肩检测器，得到头肩检测结果；将所述头肩检测结果输入至一级多目标***以生成所述一级多目标***的第一跟踪轨迹，并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹，所述二级多目标***由若干个单目标***构成；根据所述第二跟踪轨迹进行客流统计。

Description

一种基于低画质低帧率视频的客流统计方法及相关装置
技术领域
本申请涉及视频图像处理领域，尤其涉及一种基于低画质低帧率视频的客流统计方法及相关装置。
背景技术
在零售门店、商场入口、场馆入口等场景下，常常需要进行客流统计，以获取进出门口的人数情况。随着科技的不断进步，客流统计的方法也越来越多，通过客流统计监测人流量可以更好地判断消费者的动向，以便作出经营决策和经营管理。目前较多被采用的客流统计方法是基于监控摄像头的客流统计，具体是基于视频流通过深度学习的目标检测和多目标跟踪技术来实现自动识别和统计进出的人数。
但是在实际应用中，由于摄像头清晰度受限或是受到传输网络带宽的影响，往往导致用来进行客流统计的视频流画质不佳，图像模糊不清。现有技术中，一般采用基于人脸或人头的目标检测来实现客流统计，但是如果遇到这类画质不佳的视频流，人脸或人头的特征提取难度大，无法提取相应的特征，经常存在检测失败的情况，导致算法精度降低，难以实现准确的客流统计。
发明内容
本申请提供了一种基于低画质低帧率视频的客流统计方法及相关装置，用于提高针对低画质低帧率视频条件下客流统计的精度。
本申请第一方面提供了一种基于低画质低帧率视频的客流统计方法，包括：
获取视频图像序列，所述视频图像序列包含若干图像帧；
将所述图像帧输入至头肩检测器，得到头肩检测结果；
将所述头肩检测结果输入至一级多目标***以生成所述一级多目标***的第一跟踪轨迹，并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹，所述二级多目标***由若干个单目标***构成；
根据所述第二跟踪轨迹进行客流统计。
可选的，所述将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹包括：
将所述目标头肩检测结果输入至二级多目标***中进行跟踪，并确定所述目标图像帧中的二级跟踪结果；
通过将所述目标头肩检测结果和所述二级跟踪结果进行匹配，以生成所述二级多目标***的第二跟踪轨迹。
可选的，所述通过将所述目标头肩检测结果和所述二级跟踪结果进行匹配，以生成所述二级多目标***的第二跟踪轨迹包括：
将所述目标头肩检测结果和所述二级跟踪结果进行匹配；
若匹配成功，则跟据所述目标头肩检测结果生成所述二级多目标***的第二跟踪轨迹；
若匹配不成功，则对未匹配成功的所述目标头肩检测结果进行反向跟踪以生成所述二级多目标***的第二跟踪轨迹。
可选的，所述对未匹配成功的所述目标头肩检测结果进行反向跟踪以生成所述二级多目标***的第二跟踪轨迹包括：
对未匹配成功的所述目标头肩检测结果进行反向跟踪；
若反向跟踪成功，则根据所述反向跟踪的结果生成所述二级多目标***的第二跟踪轨迹；
若反向跟踪不成功，则根据未匹配成功的所述目标头肩检测结果初始化所述二级多目标***，以生成所述二级多目标***的第二跟踪轨迹。
可选的，在所述根据所述第二跟踪轨迹进行客流统计之前，所述方法还包括：
根据所述第二跟踪轨迹在所述目标图像帧中确定对应的目标跟踪结果；
判断所述目标跟踪结果是否位于预设分析区外；
若是，则确定所述目标跟踪结果对应的跟踪轨迹已跟踪结束，并将所述目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹；
所述根据所述第二跟踪轨迹进行客流统计包括：
根据所述目标跟踪轨迹进行客流统计。
可选的，所述根据所述目标跟踪轨迹进行客流统计包括：
通过所述目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及所述目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计。
可选的，所述通过所述目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及所述目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计包括：
若所述目标跟踪轨迹的起点和终点分别位于预设门线的两侧，且所述目标跟踪轨迹的起点和预设门外点位于所述预设门线的同侧，则确定进场人数增加；
若所述目标跟踪轨迹的起点和终点分别位于所述预设门线的两侧，且所述目标跟踪轨迹的起点和所述预设门外点分别位于所述预设门线的两侧，则确定出场人数增加。
本申请第二方面提供了一种基于低画质低帧率视频的客流统计装置，包括：
获取单元，用于获取视频图像序列，所述视频图像序列包含若干图像帧；
头肩检测单元，用于将所述图像帧输入至头肩检测器，得到头肩检测结果；
一级跟踪单元，用于将所述头肩检测结果输入至一级多目标***以生成所述一级多目标***的第一跟踪轨迹，并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
二级跟踪单元，用于将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹，所述二级多目标***由若干个单目标***构成；
客流统计单元，用于根据所述第二跟踪轨迹进行客流统计。
可选的，所述二级跟踪单元包括：
二级跟踪模块，用于将所述目标头肩检测结果输入至二级多目标***中进行跟踪，并确定所述目标图像帧中的二级跟踪结果；
匹配生成模块，用于通过将所述目标头肩检测结果和所述二级跟踪结果进行匹配，以生成所述二级多目标***的第二跟踪轨迹。
可选的，所述匹配生成模块具体用于：
将所述目标头肩检测结果和所述二级跟踪结果进行匹配；
若匹配成功，则跟据所述目标头肩检测结果生成所述二级多目标***的第二跟踪轨迹；
若匹配不成功，则对未匹配成功的所述目标头肩检测结果进行反向跟踪以生成所述二级多目标***的第二跟踪轨迹。
可选的，所述匹配生成模块具体还用于：
对未匹配成功的所述目标头肩检测结果进行反向跟踪；
若反向跟踪成功，则根据所述反向跟踪的结果生成所述二级多目标***的第二跟踪轨迹；
若反向跟踪不成功，则根据未匹配成功的所述目标头肩检测结果初始化所述二级多目标***，以生成所述二级多目标***的第二跟踪轨迹。
可选的，所述客流统计装置还包括：
第一确定单元，用于根据所述第二跟踪轨迹在所述目标图像帧中确定对应的目标跟踪结果；
判断单元，用于判断所述目标跟踪结果是否位于预设分析区外；
第二确定单元，用于当所述判断单元的判断结果为是时，确定所述目标跟踪结果对应的跟踪轨迹已跟踪结束，并将所述目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹；
所述客流统计单元具体用于：
根据所述目标跟踪轨迹进行客流统计。
可选的，所述客流统计单元具体还用于：
通过所述目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及所述目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计。
可选的，所述客流统计单元具体包括：
进场统计模块，用于当所述目标跟踪轨迹的起点和终点分别位于预设门线的两侧，且所述目标跟踪轨迹的起点和预设门外点位于所述预设门线的同侧，则确定进场人数增加；
出场统计模块，用于当若所述目标跟踪轨迹的起点和终点分别位于所述预设门线的两侧，且所述目标跟踪轨迹的起点和所述预设门外点分别位于所述预设门线的两侧，则确定出场人数增加。
本申请第三方面提供了一种基于低画质低帧率视频的客流统计装置，所述客流统计装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的基于低画质低帧率视频的客流统计方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的基于低画质低帧率视频的客流统计方法。
从以上技术方案可以看出，本申请具有以下优点：
本方案采用头肩检测器以及两级多目标***来实现客流的跟踪，通过头肩检测器检测行人，并结合一级多目标***弥补当前帧头肩检测器的漏检，再通过二级多目标***将一级多目标***的输出作为待跟踪的目标，进行预测跟踪。其中二级多目标***不同于一级多目标***，是采用单目标***构成的多目标***，每个单目标***建立一个行人的运动轨迹，持续跟踪行人进出门口的过程，最后通过二级多目标***输出的跟踪轨迹来进行客流统计，这样能有效缓解客流头肩检测器漏检产生的影响，同时有效降低低帧率造成的跟踪丢失的情况。
本申请提供的客流统计方法，不仅能提高针对低画质低帧率视频条件下客流统计的精度，还具有高性能低成本的特点，有利于大规模推广应用。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于低画质低帧率视频的客流统计方法一个实施例流程示意图；
图2为本申请提供的基于低画质低帧率视频的客流统计方法另一个实施例流程示意图；
图3为本申请提供的基于低画质低帧率视频的客流统计装置一个实施例结构示意图；
图4为本申请提供的基于低画质低帧率视频的客流统计装置另一个实施例结构示意图；
图5为本申请提供的基于低画质低帧率视频的客流统计装置一个实施例实体结构示意图。
具体实施方式
本申请提供了一种基于低画质低帧率视频的客流统计方法及相关装置，用于提高针对低画质低帧率视频条件下客流统计的精度。
需要说明的是，本申请提供的基于低画质低帧率视频的客流统计方法，可以应用于终端，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
请参阅图1，图1为本申请提供的基于低画质低帧率视频的客流统计方法的一个实施例，该方法包括：
101、获取视频图像序列，视频图像序列包含若干图像帧；
低画质低帧率视频图像典型特点是分辨率低、图像模糊不清晰、图像噪声大，因此采用传统的客流统计方法难以保证算法精度，本实施例则提供了一种针对低画质低帧率视频条件下的客流统计算法，能够提高客流统计的准确度。
终端通过监控摄像头获取视频流，通过解码得到视频图像序列。在本实施例中，终端所获取的视频流可以是低画质低帧率的视频流，该低画质低帧率视频流具体是指分辨率≤640x360、比特率≤256bit/s和/或帧率≤5fps的视频流，这样不仅能够降低算法实施过程中对网络带宽和稳定性的要求，还能够降低前端摄像头的硬件成本。
102、将图像帧输入至头肩检测器，得到头肩检测结果；
由于在低画质低帧率图像中特征难以提取，同时由于客流统计场景下行人相互遮挡严重，存在大量同时进出的人群，因此本申请使用头肩区域而非头部或人脸区域来代表行人躯体，有利于特征分辨。终端将经过解码后的每一帧图像送入头肩检测器进行检测，得到代表行人的头肩检测框，即本申请中的头肩检测结果。
在一些具体的实施例中，头肩检测器通过轻量级神经网络模型实现，例如NanoDet模型。NanoDet模型是一个快速且和轻量级的移动端 Anchor-free目标检测模型，能够实现实时的目标检测，并且GPU运行内存成本极低。
进一步的，由于实际应用中摄像头放置位置不同，因此视频图像中客流头部姿态各异，可能是正面、侧面，也可能是背面，特征差异较大。因此，为了提高检测精度，头肩检测器可以检测三个类别的头肩，分别是正面头肩(front_head_shoulder),侧面头肩(lateral_head_shoulder)和背面头肩(back_head_shoulder)。终端则对应输出三种类型的头肩检测结果用于代表检测到的行人。
103、将头肩检测结果输入至一级多目标***以生成一级多目标***的第一跟踪轨迹，并根据第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
在低画质低帧率视频中，即使使用头肩区域代表行人，也仍然会存在漏检的问题。并且低帧率视频相较于正常帧率视频，抽帧将导致帧与帧之间行人运动加快，如果没有及时的检测到头肩会导致客流统计的不准确。因此本实施例中设计一级多目标***来辅助头肩检测。需要说明的是，该一级多目标***采用高效的通用***实现，例如ByteTrack，简单高速，具体可以使用卡尔曼滤波运动建模根据上一帧目标位置（头肩检测结果位置）预测当前帧目标位置。
为了缓解头肩检测器的漏检，终端将头肩检测器所检测到的头肩检测结果送入一级多目标***进行跟踪，并根据一级多目标***的跟踪轨迹（第一跟踪轨迹）对应的跟踪结果来作为最终的头肩检测结果，即根据第一跟踪轨迹确定目标图像帧中的目标头肩检测结果。
进一步的，基于深度学习的头肩检测模型在使用时通常会根据置信度阈值选取置信度更高的检测框，也容易导致漏检真实的头肩，本实施例采用一级多目标***来辅助头肩检测还能够实现头肩检测器输出置信度阈值的降低，充分利用客流头肩检测器的输出，减少头肩漏检。
104、将目标头肩检测结果输入至二级多目标***以生成二级多目标***的第二跟踪轨迹，二级多目标***由若干个单目标***构成；
客流统计算法能准确计数的前提是能够连续检测和跟踪到行人进出门口的过程，终端通过头肩检测器结合一级多目标***得到目标头肩检测结果后，还需要将目标头肩检测结果送入二级多目标***中进行跟踪，将一级多目标***的输出作为待跟踪的目标进行预测跟踪，生成第二跟踪轨迹。
需要说明的是，二级多目标***不同于一级多目标***，二级多目标***是采用若干单目标***构成的多目标***，因此第二跟踪轨迹实际为若干单目标***的跟踪轨迹集合，各单目标***是基于目标的外观特征来预测目标在当前帧的位置，每个单目标***建立一个行人的运动轨迹，持续跟踪行人进出门口的过程。在一些具体的实施例中，二级多目标***可以采用高效的KCF、STAPLE***等实现。
105、根据第二跟踪轨迹进行客流统计。
终端最后根据二级多目标***的第二跟踪轨迹来判断以及计算客流数值，进行客流统计。
在本实施例中，采用头肩检测器以及两级多目标***来实现客流的跟踪，通过头肩检测器检测行人，并结合一级多目标***弥补当前帧头肩检测器的漏检，再通过二级多目标***将一级多目标***的输出作为待跟踪的目标，进行预测跟踪。其中二级多目标***不同于一级多目标***，是采用单目标***构成的多目标***，每个单目标***建立一个行人的运动轨迹，持续跟踪行人进出门口的过程，最后通过二级多目标***输出的跟踪轨迹来进行客流统计，这样能有效缓解客流头肩检测器漏检产生的影响，同时有效降低低帧率造成的跟踪丢失的情况。
本申请提供的客流统计方法，不仅能提高针对低画质低帧率视频条件下客流统计的精度，还具有高性能低成本的特点，有利于大规模推广应用。
下面对本申请提供的基于低画质低帧率视频的客流统计方法进行详细说明，请参阅图2，图2为本申请提供的基于低画质低帧率视频的客流统计方法另一个实施例，该方法包括：
201、获取视频图像序列，视频图像序列包含若干图像帧；
202、将图像帧输入至头肩检测器，得到头肩检测结果；
本实施例中，步骤201至步骤202与前述实施例步骤101至步骤102类似，此处不再赘述。
在一些具体的实施例中，终端将当前第i帧图像Ii RGB缓存到历史图像帧序列IN history中，该历史图像帧序列长度固定且遵循先进先出原则。终端将当前第i帧图像Ii RGB输入头肩检测器CNNdet，输出检测到的所有头肩检测框（头肩检测结果）bboxk head_shoulder。
203、将头肩检测结果输入至一级多目标***以生成一级多目标***的第一跟踪轨迹，并根据第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
本实施例中，步骤203与前述实施例步骤103类似，此处不再赘述。
在一些具体的实施例中，终端将头肩检测器检测到的头肩检测结果bboxk head_shoulder输入至一级多目标***中以生成第一跟踪轨迹，实际上只需要将每一帧新检测出的头肩检测结果bboxk head_shoulder输入至一级多目标***中，与一级多目标***中已存在的跟踪轨迹进行数据关联，判断该头肩检测结果是否已被跟踪上，如果未被跟踪上则对应新建一个跟踪轨迹，以此生成（更新）第一跟踪轨迹。然后终端根据更新后的第一跟踪轨迹来得出当前目标图像帧中的目标头肩检测结果bboxn head_shoulder。
204、将目标头肩检测结果输入至二级多目标***中进行跟踪，并确定目标图像帧中的二级跟踪结果；
客流统计算法能准确计数的前提是能够连续检测和跟踪到行人进出门口的过程，终端通过头肩检测器结合一级多目标***得到目标头肩检测结果后，还需要将目标头肩检测结果送入二级多目标***中进行跟踪，将一级多目标***的输出作为待跟踪的目标进行预测跟踪，在目标图像帧中得到对应的二级跟踪结果。
需要说明的是，二级多目标***不同于一级多目标***，二级多目标***是采用若干单目标***构成的多目标***，各单目标***是基于目标的外观特征来预测目标在当前帧的位置，每个单目标***建立一个行人的运动轨迹，持续跟踪行人进出门口的过程。在一些具体的实施例中，二级多目标***可以采用高效的KCF、STAPLE***等实现。
终端将目标头肩检测结果bboxn head_shoulder输入到由单目标***构成的二级多目标***中进行预测跟踪，并在目标图像帧中确定对应的二级跟踪结果Trackbboxsecond。
205、通过将目标头肩检测结果和二级跟踪结果进行匹配，若匹配成功，则执行步骤206，若匹配不成功，则执行步骤207；
在一些具体的实施例中，终端通过将一级多目标***输出的目标头肩检测结果bboxn head_shoulder与二级多目标***输出的二级跟踪结果Trackbboxsecond进行匹配，以此来生成（更新）二级多目标***的第二跟踪轨迹。如果匹配成功，则执行步骤206，如果匹配不成功，则执行步骤207。
206、跟据目标头肩检测结果生成二级多目标***的第二跟踪轨迹；
如果一级多目标***输出的目标头肩检测结果bboxn head_shoulder与二级多目标***输出的二级跟踪结果Trackbboxsecond匹配成功，则用新检测到的目标头肩检测结果bboxn head_shoulder修正替换原有的第二跟踪结果Trackbboxsecond，即根据目标头肩检测结果bboxn head_shoulder来生成（更新）第二跟踪轨迹。
207、对未匹配成功的目标头肩检测结果进行反向跟踪以生成二级多目标***的第二跟踪轨迹；
如果一级多目标***输出的目标头肩检测结果bboxn head_shoulder与二级多目标***输出的二级跟踪结果Trackbboxsecond匹配不成功，则在二级多目标***中新建一个单目标***，以当前未匹配成功的目标头肩检测结果bboxn head_shoulder作为初始框，在历史图像帧序列中进行反向跟踪，然后将该单目标***加入二级多目标***中，将反向跟踪得到的轨迹更新至第二跟踪轨迹中，得到新的二级多目标***。
反向跟踪的目的是为了缓解检测失败和跟踪失败的问题，当一级多目标***输出的目标头肩检测结果是属于新目标时，即与二级多目标***已有的第二跟踪轨迹无法匹配时，终端则利用缓存的历史图像帧序列IN history，反向去进行跟踪，尝试恢复出该行人的运动轨迹。该反向跟踪的所使用的跟踪方法与二级多目标***的跟踪方法相同。
进一步的，如果反向跟踪成功，即在历史图像帧序列IN history中恢复出了行人的运动轨迹，终端则将该运动轨迹更新到第二跟踪轨迹之中，即通过反向跟踪的结果生成第二跟踪轨迹；如果反向跟踪不成功，没有在历史图像帧序列中找到对应的运动轨迹，则将其作为全新的目标初始化二级多目标***，新建单目标***进行跟踪以生成第二跟踪轨迹。
208、根据第二跟踪轨迹在目标图像帧中确定对应的目标跟踪结果；
终端根据新得到的第二跟踪轨迹在目标图像帧中确定对应的目标跟踪结果，即在目标图像帧中更新二级多目标***的预测。需要说明的是，由于该二级多目标***是由若干个单目标***构成，因此也对应存在若干个目标跟踪结果。
209、判断目标跟踪结果是否位于预设分析区外，若是，则执行步骤210；
终端通过判断该若干个目标跟踪结果是否落在预设分析区ROI外，如果某目标跟踪结果落在预设分析区外，则认为与该目标跟踪结果对应的跟踪轨迹跟踪无效，跟踪结束，此时执行步骤210。如果某目标跟踪结果落在预设分析区内，则认为该目标跟踪结果对应的跟踪轨迹跟踪有效。该预设分析区为用户预先配置的分析区域。
210、确定目标跟踪结果对应的跟踪轨迹已跟踪结束，并将目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹；
如果目标跟踪结果落在预设分析区外，终端则确定该目标跟踪结果对应的跟踪轨迹跟踪无效或跟踪结束，将该目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹以进行客流统计。
具体的，终端从二级多目标***中删除落在预设分析区外的目标跟踪结果对应的单目标***，同时将该单目标***的跟踪轨迹确定为目标跟踪轨迹。
211、通过目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计。
本实施例提供的客流计数方法是首先建立配置信息，包括预设分析区域ROI，预设门线doorline和预设门外点outdoor_point，然后根据二级多目标***输出的目标跟踪轨迹，即第二跟踪轨迹中已跟踪结束的轨迹，依次判断每一条目标跟踪轨迹的起点和终点与与预设门线的位置关系，再结合判断起点与预设门外点和预设门线的位置关系，以此来作为客流统计的依据。
具体的，当某一目标跟踪轨迹中起点和终点分别位于预设门线的两侧，同时起点和门外点位于预设门线的同侧时，则确定进场人数增1；而当起点和终点分别位于预设门线的两侧，同时起点和门外点也分别位于预设门线的两侧时，则确定出场人数增1。
在本实施例中，针对低画质低帧率视频条件下，普通客流统计算法准确率低的问题，提出了一种新的客流统计算法，既能提高统计计数的精度，又具有高性能低成本的特点。本实施例提供的客流统计方法采用轻量级深度学习模型实现多类别的头肩检测，有效降低遮挡的影响，同时计算复杂度小，能在cpu上实时推理，此外还结合了两级多目标跟踪和反向跟踪，能有效缓解头肩检测器漏检产生的影响，同时有效降低低帧率造成的跟踪丢失的情况。在客流统计方法上采用跟踪完成后轨迹的起点和终点与门线和门外点的位置关系逻辑来区分客流的进出状态，既能实现同时统计进出客流人数，又能有效减少在门线附近徘徊而导致重复计数的情况。
请参阅图3，图3为本申请提供的基于低画质低帧率视频的客流统计装置一个实施例，该客流统计装置包括：
获取单元301，用于获取视频图像序列，视频图像序列包含若干图像帧；
头肩检测单元302，用于将图像帧输入至头肩检测器，得到头肩检测结果；
一级跟踪单元303，用于将头肩检测结果输入至一级多目标***以生成一级多目标***的第一跟踪轨迹，并根据第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
二级跟踪单元304，用于将目标头肩检测结果输入至二级多目标***以生成二级多目标***的第二跟踪轨迹，二级多目标***由若干个单目标***构成；
客流统计单元305，用于根据第二跟踪轨迹进行客流统计。
在本实施例中，采用头肩检测单元302以及两级跟踪单元303、304来实现客流的跟踪，通过头肩检测单元302检测行人，并结合一级跟踪单元303弥补当前帧头肩检测器的漏检，再通过二级跟踪单元304将一级跟踪单元303的输出作为待跟踪的目标，进行预测跟踪。其中二级跟踪单元304不同于一级跟踪单元303，是采用单目标***构成的多目标***，每个单目标***建立一个行人的运动轨迹，持续跟踪行人进出门口的过程，最后通过二级跟踪单元304输出的第二跟踪轨迹来进行客流统计，这样能有效缓解客流头肩检测器漏检产生的影响，同时有效降低低帧率造成的跟踪丢失的情况。
本申请提供的客流统计装置，不仅能提高针对低画质低帧率视频条件下客流统计的精度，还具有高性能低成本的特点，有利于大规模推广应用。
下面对本申请提供的基于低画质低帧率视频的客流统计装置进行详细说明，请参阅图4，图4为本申请提供的基于低画质低帧率视频的客流统计装置另一个实施例，该客流统计装置包括：
获取单元401，用于获取视频图像序列，视频图像序列包含若干图像帧；
头肩检测单元402，用于将图像帧输入至头肩检测器，得到头肩检测结果；
一级跟踪单元403，用于将头肩检测结果输入至一级多目标***以生成一级多目标***的第一跟踪轨迹，并根据第一跟踪轨迹确定目标图像帧中的目标头肩检测结果；
二级跟踪单元404，用于将目标头肩检测结果输入至二级多目标***以生成二级多目标***的第二跟踪轨迹，二级多目标***由若干个单目标***构成；
客流统计单元405，用于根据第二跟踪轨迹进行客流统计。
可选的，二级跟踪单元404包括：
二级跟踪模块4041，用于将目标头肩检测结果输入至二级多目标***中进行跟踪，并确定目标图像帧中的二级跟踪结果；
匹配生成模块4042，用于通过将目标头肩检测结果和二级跟踪结果进行匹配，以生成二级多目标***的第二跟踪轨迹。
可选的，匹配生成模块4042具体用于：
将目标头肩检测结果和二级跟踪结果进行匹配；
若匹配成功，则跟据目标头肩检测结果生成二级多目标***的第二跟踪轨迹；
若匹配不成功，则对未匹配成功的目标头肩检测结果进行反向跟踪以生成二级多目标***的第二跟踪轨迹。
可选的，匹配生成模块4042具体还用于：
对未匹配成功的目标头肩检测结果进行反向跟踪；
若反向跟踪成功，则根据反向跟踪的结果生成二级多目标***的第二跟踪轨迹；
若反向跟踪不成功，则根据未匹配成功的目标头肩检测结果初始化二级多目标***，以生成二级多目标***的第二跟踪轨迹。
可选的，客流统计装置还包括：
第一确定单元406，用于根据第二跟踪轨迹在目标图像帧中确定对应的目标跟踪结果；
判断单元407，用于判断目标跟踪结果是否位于预设分析区外；
第二确定单元408，用于当判断单元407的判断结果为是时，确定目标跟踪结果对应的跟踪轨迹已跟踪结束，并将目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹；
客流统计单元405具体用于：
根据目标跟踪轨迹进行客流统计。
可选的，客流统计单元405具体还用于：
通过目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计。
可选的，客流统计单元405具体包括：
进场统计模块4051，用于当目标跟踪轨迹的起点和终点分别位于预设门线的两侧，且目标跟踪轨迹的起点和预设门外点位于预设门线的同侧，则确定进场人数增加；
出场统计模块4052，用于当若目标跟踪轨迹的起点和终点分别位于预设门线的两侧，且目标跟踪轨迹的起点和预设门外点分别位于预设门线的两侧，则确定出场人数增加。
本实施例装置中，各单元及模块的功能与前述图2所示方法实施例中的步骤对应，此处不再赘述。
本申请还提供了一种基于低画质低帧率视频的客流统计装置，请参阅图5，图5为本申请提供的基于低画质低帧率视频的客流统计装置一个实施例，该装置包括：
处理器501、存储器502、输入输出单元503、总线504；
处理器501与存储器502、输入输出单元503以及总线504相连；
存储器502保存有程序，处理器501调用程序以执行如上任一基于低画质低帧率视频的客流统计方法。
本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一基于低画质低帧率视频的客流统计方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (7)

1.一种基于低画质低帧率视频的客流统计方法，其特征在于，所述客流统计方法包括：
获取视频图像序列，所述视频图像序列包含若干图像帧；
将所述图像帧输入至头肩检测器，得到头肩检测结果；
将所述头肩检测结果输入至一级多目标***以生成所述一级多目标***的第一跟踪轨迹，并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测结果，所述一级多目标***用于通过卡尔曼滤波运动建模根据上一帧目标的位置预测当前帧目标的位置；
将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹，所述二级多目标***由若干个单目标***构成，所述单目标***用于通过目标的外观特征来预测目标在当前帧的位置；
根据所述第二跟踪轨迹进行客流统计；
所述将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹包括：
将所述目标头肩检测结果输入至二级多目标***中进行跟踪，并确定所述目标图像帧中的二级跟踪结果；
将所述目标头肩检测结果和所述二级跟踪结果进行匹配；
若匹配成功，则跟据所述目标头肩检测结果生成所述二级多目标***的第二跟踪轨迹；
若匹配不成功，则对未匹配成功的所述目标头肩检测结果进行反向跟踪；
若反向跟踪成功，则根据所述反向跟踪的结果生成所述二级多目标***的第二跟踪轨迹；
若反向跟踪不成功，则根据未匹配成功的所述目标头肩检测结果初始化所述二级多目标***，以生成所述二级多目标***的第二跟踪轨迹。
2.根据权利要求1所述的客流统计方法，其特征在于，在所述根据所述第二跟踪轨迹进行客流统计之前，所述客流统计方法还包括：
根据所述第二跟踪轨迹在所述目标图像帧中确定对应的目标跟踪结果；
判断所述目标跟踪结果是否位于预设分析区外；
若是，则确定所述目标跟踪结果对应的跟踪轨迹已跟踪结束，并将所述目标跟踪结果对应的跟踪轨迹确定为目标跟踪轨迹；
所述根据所述第二跟踪轨迹进行客流统计包括：
根据所述目标跟踪轨迹进行客流统计。
3.根据权利要求2所述的客流统计方法，其特征在于，所述根据所述目标跟踪轨迹进行客流统计包括：
通过所述目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及所述目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计。
4.根据权利要求3所述的客流统计方法，其特征在于，所述通过所述目标跟踪轨迹的起点和终点与预设门线之间的位置关系，以及所述目标跟踪轨迹的起点与预设门外点的位置关系进行客流统计包括：
若所述目标跟踪轨迹的起点和终点分别位于预设门线的两侧，且所述目标跟踪轨迹的起点和预设门外点位于所述预设门线的同侧，则确定进场人数增加；
若所述目标跟踪轨迹的起点和终点分别位于所述预设门线的两侧，且所述目标跟踪轨迹的起点和所述预设门外点分别位于所述预设门线的两侧，则确定出场人数增加。
5.一种基于低画质低帧率视频的客流统计装置，其特征在于，所述客流统计装置包括：
获取单元，用于获取视频图像序列，所述视频图像序列包含若干图像帧；
头肩检测单元，用于将所述图像帧输入至头肩检测器，得到头肩检测结果；
一级跟踪单元，用于将所述头肩检测结果输入至一级多目标***以生成所述一级多目标***的第一跟踪轨迹，并根据所述第一跟踪轨迹确定目标图像帧中的目标头肩检测结果，所述一级多目标***用于通过卡尔曼滤波运动建模根据上一帧目标的位置预测当前帧目标的位置；
二级跟踪单元，用于将所述目标头肩检测结果输入至二级多目标***以生成所述二级多目标***的第二跟踪轨迹，所述二级多目标***由若干个单目标***构成，所述单目标***用于通过目标的外观特征来预测目标在当前帧的位置；
客流统计单元，用于根据所述第二跟踪轨迹进行客流统计；
所述二级跟踪单元包括：
二级跟踪模块，用于将所述目标头肩检测结果输入至二级多目标***中进行跟踪，并确定所述目标图像帧中的二级跟踪结果；
匹配生成模块，用于将所述目标头肩检测结果和所述二级跟踪结果进行匹配；若匹配成功，则跟据所述目标头肩检测结果生成所述二级多目标***的第二跟踪轨迹；若匹配不成功，则对未匹配成功的所述目标头肩检测结果进行反向跟踪；若反向跟踪成功，则根据所述反向跟踪的结果生成所述二级多目标***的第二跟踪轨迹；若反向跟踪不成功，则根据未匹配成功的所述目标头肩检测结果初始化所述二级多目标***，以生成所述二级多目标***的第二跟踪轨迹。
6.一种基于低画质低帧率视频的客流统计装置，其特征在于，所述客流统计装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至4中任一项所述方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至4中任一项所述方法。
CN202210595817.2A 2022-05-30 2022-05-30 一种基于低画质低帧率视频的客流统计方法及相关装置 Active CN114677651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210595817.2A CN114677651B (zh) 2022-05-30 2022-05-30 一种基于低画质低帧率视频的客流统计方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210595817.2A CN114677651B (zh) 2022-05-30 2022-05-30 一种基于低画质低帧率视频的客流统计方法及相关装置

Publications (2)

Publication Number Publication Date
CN114677651A CN114677651A (zh) 2022-06-28
CN114677651B true CN114677651B (zh) 2022-09-27

Family

ID=82079786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210595817.2A Active CN114677651B (zh) 2022-05-30 2022-05-30 一种基于低画质低帧率视频的客流统计方法及相关装置

Country Status (1)

Country Link
CN (1) CN114677651B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616317A (zh) * 2014-12-12 2015-05-13 宁波中国科学院信息技术应用研究院 一种视频车辆跟踪有效性验证方法
CN108377419A (zh) * 2018-02-28 2018-08-07 北京奇艺世纪科技有限公司 一种直播流中新闻标题的定位方法及装置
CN112862853A (zh) * 2021-02-09 2021-05-28 北京大学 一种基于轨迹预测的多目标轨迹追踪与融合方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600631A (zh) * 2016-11-30 2017-04-26 郑州金惠计算机***工程有限公司 基于多目标跟踪的客流统计方法
CN108241844B (zh) * 2016-12-27 2021-12-14 北京文安智能技术股份有限公司 一种公交客流统计方法、装置及电子设备
CN109697499B (zh) * 2017-10-24 2021-09-07 北京京东尚科信息技术有限公司 行人流量漏斗生成方法及装置、存储介质、电子设备
CN108549846B (zh) * 2018-03-26 2022-03-22 北京航空航天大学 一种结合运动特征和头肩结构的行人检测与统计方法
CN111079474A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 乘客状态分析方法和装置、车辆、电子设备、存储介质
US11164335B2 (en) * 2018-11-06 2021-11-02 International Business Machines Corporation Passenger travel route inferencing in a subway system
CN110688884B (zh) * 2019-02-28 2023-04-18 成都通甲优博科技有限责任公司 客流统计方法及装置
CN112132119B (zh) * 2020-11-24 2021-05-28 科大讯飞(苏州)科技有限公司 客流统计方法、装置、电子设备和存储介质
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616317A (zh) * 2014-12-12 2015-05-13 宁波中国科学院信息技术应用研究院 一种视频车辆跟踪有效性验证方法
CN108377419A (zh) * 2018-02-28 2018-08-07 北京奇艺世纪科技有限公司 一种直播流中新闻标题的定位方法及装置
CN112862853A (zh) * 2021-02-09 2021-05-28 北京大学 一种基于轨迹预测的多目标轨迹追踪与融合方法及***

Also Published As

Publication number Publication date
CN114677651A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
Wen et al. Detection, tracking, and counting meets drones in crowds: A benchmark
CN110378264B (zh) 目标跟踪方法及装置
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
WO2021017291A1 (zh) 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
CN108734107B (zh) 一种基于人脸的多目标跟踪方法及***
EP1844443B1 (en) Classifying an object in a video frame
US9582722B2 (en) Video-based vehicle speed estimation from motion vectors in video streams
CN112634326A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109446967B (zh) 一种基于压缩信息的人脸检测方法和***
CN110598540B (zh) 一种监控视频中步态轮廓图的提取方法及***
CN108200432A (zh) 一种基于视频压缩域的目标跟踪技术
US20230154192A1 (en) Person flow analysis method and system, electronic device, and readable storage medium
CN112364680B (zh) 一种基于光流算法的异常行为检测方法
CN112380960A (zh) 一种人群计数方法、装置、设备和存储介质
Yang et al. A method of pedestrians counting based on deep learning
CN113011399B (zh) 基于生成协同判别网络的视频异常事件检测方法及***
CN114677651B (zh) 一种基于低画质低帧率视频的客流统计方法及相关装置
CN111784750A (zh) 视频图像中移动物体追踪方法、装置、设备以及存储介质
CN110956649A (zh) 多目标三维物体跟踪的方法和装置
CN115909497A (zh) 一种人体姿态识别方法及装置
WO2021259033A1 (zh) 人脸识别方法、电子设备以及存储介质
CN112580633B (zh) 一种基于深度学习的公共交通客流统计装置及方法
Belmouhcine et al. Robust deep simple online real-time tracking
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266000 F3, Jingkong building, No. 57 Lushan Road, Huangdao District, Qingdao, Shandong

Patentee after: Shandong Jijian Technology Co.,Ltd.

Address before: 266000 F3, Jingkong building, No. 57 Lushan Road, Huangdao District, Qingdao, Shandong

Patentee before: Shandong jivisual angle Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder