CN112183431A - 实时行人数量统计方法、装置、相机和服务器 - Google Patents

实时行人数量统计方法、装置、相机和服务器 Download PDF

Info

Publication number
CN112183431A
CN112183431A CN202011083416.6A CN202011083416A CN112183431A CN 112183431 A CN112183431 A CN 112183431A CN 202011083416 A CN202011083416 A CN 202011083416A CN 112183431 A CN112183431 A CN 112183431A
Authority
CN
China
Prior art keywords
target
images
image
pedestrian
pedestrians
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011083416.6A
Other languages
English (en)
Inventor
顾孟婷
侯世国
庄艺唐
陈云凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hanshi Information Technology Co ltd
Original Assignee
Shanghai Hanshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hanshi Information Technology Co ltd filed Critical Shanghai Hanshi Information Technology Co ltd
Priority to CN202011083416.6A priority Critical patent/CN112183431A/zh
Publication of CN112183431A publication Critical patent/CN112183431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种实时行人数量统计方法、装置、相机和服务器，统计方法包括：获取以预设的时间间隔拍摄得到的M张图像；采用目标检测算法，对M张图像中每一张图像进行目标检测，获取M张图像中N个目标行人的坐标；根据N个目标行人的坐标，对M张图像进行裁剪处理，以得到N张目标图像，其中，每一张目标图像仅包括一个目标行人；采用行人重识别算法，对N张目标图像中的行人特征进行识别，判断N张目标图像中的目标行人是否存在重复的情况；根据行人重识别算法的结果，计算M张图像中所包括的行人实际数量。

Description

实时行人数量统计方法、装置、相机和服务器
技术领域
本申请属于计算机视觉领域，具体涉及一种实时行人数量统计方法、装置、内置AI芯片的相机和云端服务器。
背景技术
在线行人计数是计算机视觉的较为常见的应用之一，随着计算机视觉算法与AI芯片的不断进步与发展，以及安防、商超等公共场所的迫切需求，尤其受2020年新冠疫情影响，行人计数技术能够为社区、校园、医院、机场等公共场所提供客流数量，为决策者提供更加准确的参考依据等。近年来，关于在线行人计数的相关技术，比较主流的方法是通过目标检测配合目标跟踪方法，利用过线法等实现行人计数。
在实现本申请过程中，发明人发现当前主流的通过目标检测配合目标跟踪的方法，当采集视频有间断帧情况时，该方法的ID基本都会切换；当视频不连续，人物位移发生较大变化时，该方法的ID基本都会切换。例如现阶段的目标跟踪方法FairMOT，对于视频不连续问题，同样很不友好。目前至少存在如下问题：实时目标跟踪对于采集的视频流帧率要求较高，并且在视频存在间断帧或者视频不连续时统计结果不准确的问题。
发明内容
本申请实施例的目的是提供实时行人数量统计方法、装置、内置AI芯片的相机和云端服务器，能够解决目前实时目标跟踪技术对于采集的视频流帧率要求较高，并且在视频存在间断帧或者视频不连续时会导致统计结果不准确的技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种实时行人数量统计方法，应用于内置AI芯片的相机或者云端服务器，包括：
获取以预设的时间间隔拍摄得到的M张图像；
采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标；
根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，其中，每一张所述目标图像仅包括一个所述目标行人；
采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况；
根据所述行人重识别算法的结果，计算所述M张图像中所包括的行人实际数量。
进一步地，所述M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，所述第一相机为内置AI芯片的相机，在所述方法应用于所述第一相机的情况下，在所述获取以预设的时间间隔拍摄得到的M张图像之前，所述第二相机将所述B张图像传输给所述第一相机。
进一步地，所述采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况，具体包括：
通过Backbone网络对所述N张目标图像中的行人特征进行识别；
逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，所述图像库中的目标图像为已经经过相似度计算且被加入到所述图像库中的所述目标图像；
在最高相似度距离值小于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述图像库中，行人数量加1；
在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变。
进一步地，所述在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变，具体包括：
在所述最高相似度距离值大于所述第一阈值且小于第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像加入到所述图像库中，行人数量不变；
在所述最高相似度距离值大于所述第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，不将所述当前目标图像加入到所述图像库中，行人数量不变。
进一步地，所述逐张计算当前目标图像与图像库中的目标图像的相似度距离值，具体包括：
采用搜索算法，从图像库中搜索出与所述当前目标图像相似的一个或多个相似图像；
分别计算所述当前目标图像与所述一个或多个相似图像的相似度距离值；
确定所述当前目标图像与所述一个或多个相似图像的最高相似度距离值。
进一步地，所述采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标之后，还包括：
输出N个检测框，所述检测框用于框选出所述N个目标行人；
所述根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，具体包括：
根据所述N个检测框对所述M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像。
第二方面，本申请实施例提供了一种实时行人数量统计装置，应用于内置AI芯片的相机或者云端服务器，包括：
获取模块，用于获取以预设的时间间隔拍摄得到的M张图像；
检测模块，用于采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标；
裁剪模块，用于根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，其中，每一张所述目标图像仅包括一个所述目标行人；
重识别模块，用于采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况；
计算模块，用于根据所述行人重识别算法的结果，计算所述M张图像中所包括的行人实际数量。
进一步地，所述M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，所述第一相机为内置AI芯片的相机，在所述装置应用于所述第一相机的情况下，所述第二相机将所述B张图像传输给所述第一相机。
进一步地，所述重识别模块，具体包括：
识别子模块，用于通过Backbone网络对所述N张目标图像中的行人特征进行识别；
相似计算子模块，用于逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，所述图像库中的目标图像为已经经过相似度计算且被加入到所述图像库中的所述目标图像；
第一定义子模块，用于在最高相似度距离值小于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述图像库中，行人数量加1；
第二定义子模块，用于在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变。
进一步地，所述第二定义子模块，具体用于：
在所述最高相似度距离值大于所述第一阈值且小于第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像加入到所述图像库中，行人数量不变；
在所述最高相似度距离值大于所述第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，不将所述当前目标图像加入到所述图像库中，行人数量不变。
进一步地，所述相似计算子模块，具体用于：
采用搜索算法，从图像库中搜索出与所述当前目标图像相似的一个或多个相似图像；
分别计算所述当前目标图像与所述一个或多个相似图像的相似度距离值；
确定所述当前目标图像与所述一个或多个相似图像的最高相似度距离值。
进一步地，所述装置还包括：
输出模块，用于输出N个检测框，所述检测框用于框选出所述N个目标行人；
所述裁剪模块，具体用于根据所述N个检测框对所述M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像。
第三方面，本申请实施例提供了一种内置AI芯片的相机，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的行人数量统计方法的步骤。
第四方面，本申请实施例提供了一种云端服务器，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的行人数量统计方法的步骤。
在本申请实施例中，通过获取以预设的时间间隔拍摄得到的M张图像，采用目标检测算法以及行人重识别算法，计算所述M张图像中所包括的行人实际数量。直接以预设的时间间隔采样图像即可完成行人实际数量的计算，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
附图说明
图1是本申请实施例提供的一种实行人数量统计方法的流程示意图；
图2是本申请实施例提供的另一种实行人数量统计方法的流程示意图；
图3是本申请实施例提供的一种图像处理流程示意图；
图4是本申请实施例提供的一种计数过程示意图；
图5是本申请实施例提供的一种实时行人数量统计装置的结构示意图。
附图标记说明：
50-实时行人数量统计装置、501-获取模块、502-检测模块、503-剪裁模块、504-重识别模块、5041-识别子模块、504-相似计算子模块、504-第一定义子模块、504-第二定义子模块、505-计算模块、506-输出模块。
本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的摄影设备进行详细地说明。
实施例一
参照图1，示出了本申请实施例提供的一种实行人数量统计方法的流程示意图，应用于内置AI芯片的相机或者云端服务器，具体地，相机可以是浙江汉朔电子科技有限公司生产的睿见智能相机。
具体地，内置AI芯片的相机，含有DSP芯片，支持Caffe、Tensorflow、Pytorch等框架的深度学习算子。
实时行人数量统计方法包括：
S101：获取以预设的时间间隔拍摄得到的M张图像。
可选地，通过摄像机以预设的时间间隔拍摄M张图像。
可选地，M张图像可以由多台摄像机共同拍摄获得。
可选地，预设的时间间隔为1秒，即每秒拍摄1张图像。可以理解的是，现有技术采用的视频流多以30fps采集图像，本申请实施例中预设的时间间隔为1秒，本申请实施例中单位时间内拍摄图像的张数远小于采用视频流拍摄图像的张数，本实施例所需数据信息的关联性更小，单位时间拍摄的视频数据量也更小，可以减小对于数据传输带宽的要求。
可选地，M为预设数值，例如M等于100，在拍摄达到100张图像时，进入步骤S102。
S102：采用目标检测算法，对M张图像中每一张图像进行目标检测，获取M张图像中N个目标行人的坐标。
可选地，目标检测算法可以选用yolov3、tiny-yolo、Faster-RCNN、SSD等算法。
可以理解的是，坐标可以表示目标行人的图像位于整张图像中的具***置，具体地，可以以(x，y)向量的形式进行存储。
S103：根据N个目标行人的坐标，对M张图像进行裁剪处理，以得到N张目标图像，其中，每一张目标图像仅包括一个目标行人。
可以理解的是，在获取目标行人的坐标位置的情况下，可以对目标行人的位置进行标识，具体的用虚拟的检测框框选出目标行人，进而可以根据检测框对原始图像进行剪裁，得到每张图像上仅包括一个目标行人的目标图像。
可选地，根据置信度算法裁剪出合适大小的目标图像，并且可以进一步地保证每张目标图像上仅包括一个目标行人。
S104：采用行人重识别算法，对N张目标图像中的行人特征进行识别，判断N张目标图像中的目标行人是否存在重复的情况。
可选地，行人重识别算法可以采用京东fast-reid工具箱中的重识别算法、reid-strong-baseline等。
需要说明的是，通过行人重识别算法可以判断两张目标图像中对应的行人是否为同一人，在计算行人实际数量时，应当在目标行人总数M的基础上减去重复的行人。
具体地，可以通过两张目标图像的相似度值或者相似度距离值来判断两张目标图像中对应的行人是否为同一人，可以理解的是，相似度值越高，相似度距离值越低，意味着两张目标图像越近似，相似度值越低，相似度距离值越高，意味着两张目标图像差异越大。
具体地，相似度度量方法有：余弦相似度距离、欧式距离、马氏距离、汉明距离等等。优选地采用余弦相似度距离。
S105：根据行人重识别算法的结果，计算M张图像中所包括的行人实际数量。
在本申请实施例中，通过获取以预设的时间间隔拍摄得到的M张图像，采用目标检测算法以及行人重识别算法，计算M张图像中所包括的行人实际数量。直接以预设的时间间隔采样图像即可完成行人实际数量的计算，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
实施例二
参照图2，示出了本申请实施例提供的另一种实行人数量统计方法的流程示意图，应用于内置AI芯片的相机或者云端服务器，具体地，相机可以是浙江汉朔电子科技有限公司生产的睿见智能相机。
具体地，内置AI芯片的相机，含有DSP芯片，支持Caffe、Tensorflow、Pytorch等框架的深度学习算子。
实时行人数量统计方法包括：
S201：获取以预设的时间间隔拍摄得到的M张图像。
可选地，预设的时间间隔为1秒，即每秒拍摄1张图像。可以理解的是，现有技术采用的视频流多以30fps采集图像，本申请实施例中预设的时间间隔为1秒，本申请实施例中单位时间内拍摄图像的张数远小于采用视频流拍摄图像的张数，本实施例所需数据信息的关联性更小，单位时间拍摄的视频数据量也更小，可以减小对于数据传输带宽的要求。
可选地，M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，第一相机为内置AI芯片的相机，在方法应用于第一相机的情况下，在获取以预设的时间间隔拍摄得到的M张图像之前，第二相机将B张图像传输给第一相机。
可以理解的是，在实时行人数量统计方法应用于第一相机的情况下，第二相机将其拍摄的B张图像传输给第一相机，以在第一相机上完成实行人数量统计方法的后续步骤。
在第一相机上实现实时行人数量统计方法，仅需一台内置AI芯片的相机，落地成本较低，结构简单。
在实时行人数量统计方法应用于云端服务器的情况下，第一相机将其拍摄的A张图像传输给云端服务器，第二相机将其拍摄的B张图像传输给云端服务器，以在云端服务器上完成实行人数量统计方法的后续步骤。
可选地，M为预设数值，例如M等于100，在拍摄达到100张图像时，当然也可以是多个相机累计拍摄达到100张图像时，进入步骤S202。
参见图3，图3示出了本发明实施例提供的一种图像处理流程示意图。
S202：采用目标检测算法，对M张图像中每一张图像进行目标检测，获取M张图像中N个目标行人的坐标。
可选地，目标检测算法可以选用yolov3、tiny-yolo、Faster-RCNN、SSD等算法。
可以理解的是，坐标可以表示目标行人的图像位于整张图像中的具***置，具体地，可以以点坐标(x，y)的形式进行存储，也可以以范围坐标(x1,y1,x2,y2)或者(x,y,w,h)的形式进行存储。
S203：输出N个检测框，检测框用于在图像中框选出N个目标行人。
图3中示出了用检测框在图像中框选出N个目标行人的具体形式。
图3仅为一种可能的示例，对于检测框的具体形式，例如虚线框、实线框、红色框等，本申请实施例不做限定。
通过显示检测框来框选目标行人，使得计算过程更加直观可视。
S204：根据N个检测框对M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像，其中，每一张目标图像仅包括一个目标行人。
图3中示出了经过调整后的预设图像大小的5张图标图像。
可选地，预设的图像大小为128*64像素。
进一步地，可以根据置信度算法裁剪出合适大小的目标图像，并且可以进一步地保证每张目标图像上仅包括一个目标行人。
S205：通过Backbone网络对N张目标图像中的行人特征进行识别。
S206：逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，图像库中的目标图像为已经经过相似度计算的目标图像。
可选地，逐张处理可以是一张挨着一张依次处理，为了追求处理的效率，也可以将预设数目例如三张图像为一组，一组挨着一组依次处理。
可以理解的是，可以通过两张目标图像的相似度距离值(cosine similar)来判断两张目标图像中对应的行人是否为同一人，可以理解的是，相似度距离值越低，意味着两张目标图像越近似，而相似度距离值越高，则意味着两张目标图像差异越大。
可选地，S206可以包括子步骤S2061、子步骤S2062和子步骤S2063。
S2061：采用搜索算法，从图像库中搜索出与当前目标图像相似的一个或多个相似图像。
可选地，搜索算法可以采用1：M的搜索算法或者N：M的搜索算法，可以从M个目标行人中，找到最接近的1或N个行人。
S2062：分别计算当前目标图像与一个或多个相似图像的相似度距离值。
S2063：确定当前目标图像与一个或多个相似图像的最高相似度距离值。
通过搜索算法可以减少计算量，提高计算效率。
S207：在最高相似度距离值小于第一阈值时，将当前目标图像对应的目标行人定义为新人，将当前目标图像加入到图像库中，行人数量加1。
可选地，对于入库的图像，将分配一个与入库图像建立有关联关系的ID。
S208：在最高相似度距离值大于第一阈值时，将当前目标图像对应的目标行人定义为非新人，行人数量不变。
可选地，S208可以包括子步骤S2081和子步骤S2082。
S2081：在最高相似度距离值大于第一阈值且小于第二阈值时，将当前目标图像对应的目标行人定义为非新人，将当前目标图像加入到图像库中，行人数量不变。
可以理解的是，此种情况下，图像库中已有此人，但是特征差异相对较大，因此需要将当前目标图像加入到图像库中，以便于后续目标图像的对比。
S2082：在最高相似度距离值大于第二阈值时，将当前目标图像对应的目标行人定义为非新人，不将当前目标图像加入到图像库中，行人数量不变。
可选地，行人重识别算法可以采用京东fast-reid工具箱中的重识别算法、reid-strong-baseline等。
可选地，第一阈值与第二阈值的具体数值，可以根据实际需要进行设定。
需要说明的是，通过行人重识别算法可以判断两张目标图像中对应的行人是否为同一人，在计算行人实际数量时，应当在目标行人总数M的基础上减去重复的行人。
具体地，可以通过两张目标图像的相似度值或者相似度距离值来判断两张目标图像中对应的行人是否为同一人，可以理解的是，相似度值越高，相似度距离值越低，意味着两张目标图像越近似，相似度值越低，相似度距离值越高，意味着两张目标图像差异越大。
S209：根据行人重识别算法的结果，计算M张图像中所包括的行人实际数量。
参见图4，图4示出了本申请实施例提供的一种计数过程示意图。
下面通过图4对本申请实施例的技术过程做出说明，以下涉及到的第一阈值与第二阈值仅为一种示例。
第一阶段，图像库中仅有目标图像401(后简称“图像401”)，三张待处理的目标图像，即目标图像402(后简称“图像402”)、目标图像403(后简称“图像402”)和目标图像404(后简称“图像402”)，与图像401的相似度距离值分别为0.64、0.23和0.92。
第二阶段，是上述步骤S207的具体表现，图像403与图像401的相似度距离值0.23小于第一阈值0.5，此时应该判定图像403对应的目标行人为新人，即未在图像库中的行人，将图像403加入到图像库中，行人数量加1。
第三阶段，是上述步骤S2081的具体表现，图像402与图像401的相似度距离值0.64大于第一阈值0.5，但是小于第二阈值0.75，此时应该判定图像402对应的目标行人为非新人，即已在图像库中的行人，但是由于仍与已在图像库中的图像401存在一定的差异，为了便于后续判断的准确性，仍将图像402加入到图像库中，但是行人数量保持不变。
而，对于图像404，图像404与图像401的相似度距离值0.92第二阈值0.75，此时更应当判定图像404对应的目标行人为非新人，即已在图像库中的行人，并且由于与已在图像库中的图像401相似度极高，加入库中只会增加数据冗余，因此，将对图像404进行删除处理。
在本申请实施例中，通过在图像中显示检测框来框选目标行人，使得计算过程更加直观可视。通过搜索算法可以减少计算量，预先搜索出较为近似的图像，之后再做比较，提高了计算效率。另外，重识别算法的进一步细化，进一步的确定目标图像中哪些是新人，哪些是非新人，对非新人图像进行入库处理，可以进一步提供的计算的准确性。
实施例三
参照图5，示出了本申请实施例提供的一种实时行人数量统计装置的结构示意图，实时行人数量统计装置50包括：
获取模块501，用于获取以预设的时间间隔拍摄得到的M张图像；
检测模块502，用于采用目标检测算法，对M张图像中每一张图像进行目标检测，获取M张图像中N个目标行人的坐标；
裁剪模块503，用于根据N个目标行人的坐标，对M张图像进行裁剪处理，以得到N张目标图像，其中，每一张目标图像仅包括一个目标行人；
重识别模块504，用于采用行人重识别算法，对N张目标图像中的行人特征进行识别，判断N张目标图像中的目标行人是否存在重复的情况；
计算模块505，用于根据行人重识别算法的结果，计算M张图像中所包括的行人实际数量。
进一步地，M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，第一相机为内置AI芯片的相机，在装置应用于第一相机的情况下，第二相机将B张图像传输给第一相机。
进一步地，重识别模块504，具体包括：
识别子模块5041，用于通过Backbone网络对N张目标图像中的行人特征进行识别；
相似计算子模块5042，用于逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，图像库中的目标图像为已经经过相似度计算且被加入到图像库中的目标图像；
第一定义子模块5043，用于在最高相似度距离值小于第一阈值时，将当前目标图像对应的目标行人定义为新人，将当前目标图像加入到图像库中，行人数量加1；
第二定义子模块5044，用于在最高相似度距离值大于第一阈值时，将当前目标图像对应的目标行人定义为非新人，行人数量不变。
进一步地，第二定义子模块5044，具体用于：
在最高相似度距离值大于第一阈值且小于第二阈值时，将当前目标图像对应的目标行人定义为非新人，将当前目标图像加入到图像库中，行人数量不变；
在最高相似度距离值大于第二阈值时，将当前目标图像对应的目标行人定义为非新人，不将当前目标图像加入到图像库中，行人数量不变。
进一步地，相似计算子模块5042，具体用于：
采用搜索算法，从图像库中搜索出与当前目标图像相似的一个或多个相似图像；
分别计算当前目标图像与一个或多个相似图像的相似度距离值；
确定当前目标图像与一个或多个相似图像的最高相似度距离值。
进一步地，实时行人数量统计装置50还包括：
输出模块506，用于输出N个检测框，检测框用于框选出N个目标行人；
裁剪模块503，具体用于根据N个检测框对M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像。
本申请实施例提供的实时行人数量统计装置50能够实现上述方法实施例中实现的各个过程，为避免重复，这里不再赘述。
在本申请实施例中，通过获取以预设的时间间隔拍摄得到的M张图像，采用目标检测算法以及行人重识别算法，计算M张图像中所包括的行人实际数量。直接以预设的时间间隔采样图像即可完成行人实际数量的计算，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
本申请实施例中的虚拟装置可以是装置，也可以是终端中的部件、集成电路、或芯片。
实施例四
本申请实施例还提供一种内置AI芯片的相机，包括摄像头，处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述实施例中的行人数量统计方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请实施例中，通过获取以预设的时间间隔拍摄得到的M张图像，采用目标检测算法以及行人重识别算法，计算M张图像中所包括的行人实际数量。直接以预设的时间间隔采样图像即可完成行人实际数量的计算，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
实施例五
本申请实施例还提供一种云端服务器，包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现上述实施例中的行人数量统计方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请实施例中，通过获取以预设的时间间隔拍摄得到的M张图像，采用目标检测算法以及行人重识别算法，计算M张图像中所包括的行人实际数量。直接以预设的时间间隔采样图像即可完成行人实际数量的计算，无需连续的视频流，所需数据信息的关联性小，降低了数据传输带宽，降低了设备的能耗和风险，同时由于无需视频流，不存在视频存在间断帧或者视频不连续的情况，提高了计算的准确性。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (14)

1.一种实时行人数量统计方法，应用于内置AI芯片的相机或者云端服务器，其特征在于，包括：
获取以预设的时间间隔拍摄得到的M张图像；
采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标；
根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，其中，每一张所述目标图像仅包括一个所述目标行人；
采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况；
根据所述行人重识别算法的结果，计算所述M张图像中所包括的行人实际数量。
2.根据权利要求1所述的方法，其特征在于，所述M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，所述第一相机为内置AI芯片的相机，在所述方法应用于所述第一相机的情况下，在所述获取以预设的时间间隔拍摄得到的M张图像之前，所述第二相机将所述B张图像传输给所述第一相机。
3.根据权利要求1所述的方法，其特征在于，所述采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况，具体包括：
通过Backbone网络对所述N张目标图像中的行人特征进行识别；
逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，所述图像库中的目标图像为已经经过相似度计算且被加入到所述图像库中的所述目标图像；
在最高相似度距离值小于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述图像库中，行人数量加1；
在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变。
4.根据权利要求4所述的方法，其特征在于，所述在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变，具体包括：
在所述最高相似度距离值大于所述第一阈值且小于第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像加入到所述图像库中，行人数量不变；
在所述最高相似度距离值大于所述第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，不将所述当前目标图像加入到所述图像库中，行人数量不变。
5.根据权利要求4所述的方法，其特征在于，所述逐张计算当前目标图像与图像库中的目标图像的相似度距离值，具体包括：
采用搜索算法，从图像库中搜索出与所述当前目标图像相似的一个或多个相似图像；
分别计算所述当前目标图像与所述一个或多个相似图像的相似度距离值；
确定所述当前目标图像与所述一个或多个相似图像的最高相似度距离值。
6.根据权利要求1所述的方法，其特征在于，所述采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标之后，还包括：
输出N个检测框，所述检测框用于框选出所述N个目标行人；
所述根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，具体包括：
根据所述N个检测框对所述M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像。
7.一种实时行人数量统计装置，应用于内置AI芯片的相机或者云端服务器，其特征在于，包括：
获取模块，用于获取以预设的时间间隔拍摄得到的M张图像；
检测模块，用于采用目标检测算法，对所述M张图像中每一张图像进行目标检测，获取所述M张图像中N个目标行人的坐标；
裁剪模块，用于根据所述N个目标行人的坐标，对所述M张图像进行裁剪处理，以得到N张目标图像，其中，每一张所述目标图像仅包括一个所述目标行人；
重识别模块，用于采用行人重识别算法，对所述N张目标图像中的行人特征进行识别，判断所述N张目标图像中的所述目标行人是否存在重复的情况；
计算模块，用于根据所述行人重识别算法的结果，计算所述M张图像中所包括的行人实际数量。
8.根据权利要求7所述的装置，其特征在于，所述M张图像包括由第一相机拍摄的A张图像和由第二相机拍摄的B张图像，其中，所述第一相机为内置AI芯片的相机，在所述装置应用于所述第一相机的情况下，所述第二相机将所述B张图像传输给所述第一相机。
9.根据权利要求8所述的装置，其特征在于，所述重识别模块，具体包括：
识别子模块，用于通过Backbone网络对所述N张目标图像中的行人特征进行识别；
相似计算子模块，用于逐张计算当前目标图像与图像库中的目标图像的相似度距离值，其中，所述图像库中的目标图像为已经经过相似度计算且被加入到所述图像库中的所述目标图像；
第一定义子模块，用于在最高相似度距离值小于第一阈值时，将所述当前目标图像对应的目标行人定义为新人，将所述当前目标图像加入到所述图像库中，行人数量加1；
第二定义子模块，用于在所述最高相似度距离值大于所述第一阈值时，将所述当前目标图像对应的目标行人定义为非新人，行人数量不变。
10.根据权利要求9所述的装置，其特征在于，所述第二定义子模块，具体用于：
在所述最高相似度距离值大于所述第一阈值且小于第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，将所述当前目标图像加入到所述图像库中，行人数量不变；
在所述最高相似度距离值大于所述第二阈值时，将所述当前目标图像对应的目标行人定义为非新人，不将所述当前目标图像加入到所述图像库中，行人数量不变。
11.根据权利要求9所述的装置，其特征在于，所述相似计算子模块，具体用于：
采用搜索算法，从图像库中搜索出与所述当前目标图像相似的一个或多个相似图像；
分别计算所述当前目标图像与所述一个或多个相似图像的相似度距离值；
确定所述当前目标图像与所述一个或多个相似图像的最高相似度距离值。
12.根据权利要求7所述的装置，其特征在于，还包括：
输出模块，用于输出N个检测框，所述检测框用于框选出所述N个目标行人；所述裁剪模块，具体用于根据所述N个检测框对所述M张图像进行剪裁处理，并调整至预设的图像大小，以得到N张目标图像。
13.一种内置AI芯片的相机，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的行人数量统计方法的步骤。
14.一种云端服务器，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的行人数量统计方法的步骤。
CN202011083416.6A 2020-10-12 2020-10-12 实时行人数量统计方法、装置、相机和服务器 Pending CN112183431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011083416.6A CN112183431A (zh) 2020-10-12 2020-10-12 实时行人数量统计方法、装置、相机和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011083416.6A CN112183431A (zh) 2020-10-12 2020-10-12 实时行人数量统计方法、装置、相机和服务器

Publications (1)

Publication Number Publication Date
CN112183431A true CN112183431A (zh) 2021-01-05

Family

ID=73947572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011083416.6A Pending CN112183431A (zh) 2020-10-12 2020-10-12 实时行人数量统计方法、装置、相机和服务器

Country Status (1)

Country Link
CN (1) CN112183431A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906483A (zh) * 2021-01-25 2021-06-04 ***股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN113609886A (zh) * 2021-03-11 2021-11-05 上海汉时信息科技有限公司 实时行人数量统计方法、装置、相机和服务器
CN113657430A (zh) * 2021-06-30 2021-11-16 浙江大华技术股份有限公司 行人聚类方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机***、装置及同步方法
CN109478293A (zh) * 2016-07-28 2019-03-15 索尼公司 内容输出***、终端设备、内容输出方法和记录介质
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、***、电子终端及存储介质
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111695491A (zh) * 2020-06-10 2020-09-22 北京百度网讯科技有限公司 用于检测行人的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机***、装置及同步方法
CN109478293A (zh) * 2016-07-28 2019-03-15 索尼公司 内容输出***、终端设备、内容输出方法和记录介质
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、***、电子终端及存储介质
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111695491A (zh) * 2020-06-10 2020-09-22 北京百度网讯科技有限公司 用于检测行人的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906483A (zh) * 2021-01-25 2021-06-04 ***股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
WO2022156234A1 (zh) * 2021-01-25 2022-07-28 ***股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN112906483B (zh) * 2021-01-25 2024-01-23 ***股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN113609886A (zh) * 2021-03-11 2021-11-05 上海汉时信息科技有限公司 实时行人数量统计方法、装置、相机和服务器
CN113657430A (zh) * 2021-06-30 2021-11-16 浙江大华技术股份有限公司 行人聚类方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及***
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
CN112183431A (zh) 实时行人数量统计方法、装置、相机和服务器
CN110866480A (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN111160202B (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN111260037B (zh) 图像数据的卷积运算方法、装置、电子设备及存储介质
CN111462155B (zh) 移动侦测方法、装置、计算机设备和存储介质
CN110659391A (zh) 一种视频侦查方法及装置
JP7295213B2 (ja) 信号灯の位置判定方法、装置、記憶媒体、プログラム、路側機器
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及***
CN111667504A (zh) 一种人脸追踪方法、装置及设备
CN114581794B (zh) 地理数字孪生信息获取方法、装置、电子设备及存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN113256683B (zh) 目标跟踪方法及相关设备
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN111986229A (zh) 视频目标检测方法、装置及计算机***
CN113688839A (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN116912517B (zh) 相机视野边界的检测方法及装置
CN111246116B (zh) 一种用于屏幕上智能取景显示的方法及移动终端
CN116091709B (zh) 建筑物的三维重建方法、装置、电子设备和存储介质
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN110781797B (zh) 一种标注方法、装置及电子设备
CN114463654A (zh) 状态检测方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination