CN112464757A - 一种基于高清视频的目标实时定位和轨迹重构方法 - Google Patents

一种基于高清视频的目标实时定位和轨迹重构方法 Download PDF

Info

Publication number
CN112464757A
CN112464757A CN202011278432.0A CN202011278432A CN112464757A CN 112464757 A CN112464757 A CN 112464757A CN 202011278432 A CN202011278432 A CN 202011278432A CN 112464757 A CN112464757 A CN 112464757A
Authority
CN
China
Prior art keywords
camera
video
target person
target
specific target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011278432.0A
Other languages
English (en)
Inventor
任静
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202011278432.0A priority Critical patent/CN112464757A/zh
Publication of CN112464757A publication Critical patent/CN112464757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于高清视频的目标实时定位和轨迹重构方法，用于通过设置在监测地点中各个道路上的摄像头对目标进行定位，其特征在于，包括：步骤S1：将摄像头与道路之间的关系以图结构在数据库中进行存储；步骤S2：获取摄像头拍摄到的视频并对该视频进行目标检测分析，并将分析出的目标人员的人员信息与视频对应的摄像头的编号进行存储记录；步骤S3：利用摄像头对应的位置坐标对目标人员的位置进行实时展示；步骤S4：针对被选定的特定目标人员，根据图结构获取相邻的摄像头的所有视频；步骤S5：通过目标检测分析拍摄到特定目标人员的摄像头的编号；步骤S6：重复步骤S4至步骤S5直到分析不出特定目标人员；步骤S7：对特定目标人员的位置进行展示。

Description

一种基于高清视频的目标实时定位和轨迹重构方法
技术领域
本发明属于目标监测领域，涉及一种基于高清视频的目标实时定位和轨迹重构方法。
背景技术
现在的坐标定位一般依赖于卫星定位***，比如GPS(全球定位***)和北斗卫星导航***，通过这些定位***可以让用户通过随身携带的定位装置在户外对进行随时随地的准确定位。但是，也有很多情况下无法采用卫星定位***，例如行人识别、目标监测等领域，由于这些领域一般是通过摄像头来识别出需要监控的目标，很难确定被监控的目标的身份，更不可能让该目标携带定位装置，因此也就难以采用卫星定位来对这些监控目标进行定位。
目标检测技术主要用于检测图像或者视频中的目标，目前已经发展比较成熟，在很多网络摄像头中，也已经嵌入目标检测算法，能够检测出摄像头中的人员。但是针对特定监控目标的定位问题依旧很难以解决，尤其是摄像头的数量往往很多，在众多拍摄到的视频中针对特定监控目标进行目标检测也会耗费较多的计算资源。
发明内容
为解决上述问题，提供一种基于高清视频的目标实时定位和轨迹重构方法，用于对特定场景下的特性行人进行实时定位以及轨迹重构，本发明采用了如下技术方案：
本发明提供了一种基于高清视频的目标实时定位和轨迹重构方法，用于通过设置在监测地点中各个道路上的摄像头对目标进行定位，其特征在于，包括：步骤S1：基于摄像头的编号以及对应于各个道路的位置坐标，将摄像头与道路之间的关系以图结构在数据库中进行存储；步骤S2：获取摄像头拍摄到的视频并对该视频进行目标检测分析，一旦在视频中发现目标人员则向后台管理***通信，后台管理***将目标人员的人员信息与视频对应的摄像头的编号进行存储记录；步骤S3：后台管理***利用摄像头对应的位置坐标，并结合地图JS api对目标人员的位置进行实时展示；步骤S4：针对被选定的特定目标人员，基于与特定目标人员的视频所对应的摄像头的编号，在数据库中根据关系获取相邻的摄像头的所有视频作为可能性视频；步骤S5：通过目标检测分析从可能性视频分析出出现有特定目标人员的可能性视频并获取对应的摄像头的编号；步骤S6：重复步骤S4至步骤S5直到可能性视频中分析不出特定目标人员；步骤S7：根据所有出现有特定目标人员的摄像头的位置坐标，结合地图JS api 对特定目标人员的位置进行展示从而示出特定目标人员移动轨迹。
本发明提供的基于高清视频的目标实时定位和轨迹重构方法，还可以具有这样的技术特征，其中，步骤S1包括如下子步骤：步骤S1-1，在监测地点中选取重点位置作为摄像头布置点，重点位置为道路交叉口；步骤S1-2，获取摄像头的编号以及对应的道路交叉口位置，并获取道路交叉口位置之间的道路名称；步骤S1-3，以道路交叉口位置为节点、道路名称为关系，将摄像头编号以图结构进行存储。
本发明提供的基于高清视频的目标实时定位和轨迹重构方法，还可以具有这样的技术特征，其中，视频为rtsp视频流，步骤S2包括如下子步骤：步骤2-1，摄像头将rtsp视频流送入后台管理***对rtsp 视频流进行处理，后台管理***利用人脸检测算法识别出人脸；步骤 2-2，确定人脸所对应的目标人员的身份，并将人脸以及身份作为一条记录进行整合，进一步将记录与相应rtsp视频流所对应的摄像头的编号在数据库中进行对应存储。
本发明提供的基于高清视频的目标实时定位和轨迹重构方法，还可以具有这样的技术特征，其中，步骤6中，每个特定目标人员的位置处还展示出出现该特定目标人员的视频关键帧以及该视频关键帧对应的时间。
发明作用与效果
根据本发明的基于高清视频的目标实时定位和轨迹重构方法，由于预先存储有摄像头的位置信息，并通过目标检测分析对摄像头拍摄到的视频进行实时分析，因此可以实时地监测出目标人员并根据摄像头的位置对目标人员进行定位，从而实现一种不依赖于卫星的定位***，在校园、园区等特定场景下，可以一定程度降低人员布控的成本，具有较高的使用价值。同时，还由于根据摄像头与道路之间的关系将摄像头的编号以及位置信息以图结构进行存储，因此，在进行例如游乐园中的寻人、商场监控危险人员等针对特定目标人员的监控时，就根据图结构获取相邻的摄像头拍摄的视频并逐步分析出特定目标人员的行动轨迹，通过这样的方式，可以只针对每个拍摄有特定目标人员行动轨迹的摄像头相邻的摄像头进行目标识别，从而不仅避免了花费大量计算资源针对所有视频进行耗时耗力的计算，而且还大大地加快了对特定目标人员的行动轨迹的计算速度。
附图说明
图1是本发明实施例中基于高清视频的目标实时定位和轨迹重构方法；
图2是本发明实施例中摄像头信息的管理界面示意图；
图3是本发明实施例中图结构的示意图；
图4是本发明实施例中针对目标人员实时监控的画面的示意图；以及
图5是本发明实施例中针对特定目标人员进行轨迹确认的画面的示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于高清视频的目标实时定位和轨迹重构方法作具体阐述。
<实施例>
本实施例涉及一种基于高清视频的目标实时定位和轨迹重构方法，该方法基于一个目标监控平台实现，目标监控平台的操作***为 ubuntu16.04，使用Python 3.6语言实现，web后台使用django1.1，前端使用vue2.0，摄像头选用海康威视iDS-2PT7T80MX-D4/T3摄像头，地图JS api选用高德地图。
图1是本发明实施例中基于高清视频的目标实时定位和轨迹重构方法。
如图1所示，基于高清视频的目标实时定位和轨迹重构方法具体包括步骤S1至步骤S6。
步骤S1：搭建一套摄像头***，需要提供摄像头安装的位置坐标和ip，并且根据摄像头和道路之间的关系，在计算机中用“图”这种数据结构表示。该步骤S1具体包括子步骤S1-1至步骤S1-3：
步骤S1-1，在监测地点中选取重点位置作为摄像头布置点，重点位置为道路交叉口；
步骤S1-2，获取摄像头的编号以及对应的道路交叉口位置，并获取道路交叉口位置之间的道路名称；
步骤S1-3，以道路交叉口位置为节点、道路名称为关系，将摄像头编号以图结构进行存储。
本实施例中，如图2所示，摄像头***搭建在一个园区内，摄像头的安装的摄像头坐标(即位置坐标)、名称(即道路名称)以及摄像头的IP(即摄像头的编号)对应地存储在数据库中(即摄像头列表)。在图2示出的界面中，摄像头列表中id为3的记录处于被点选状态，此时，在右侧的地图中还会根据摄像头的坐标对应地通过标记显示出摄像头所处的位置。另外，通过该界面，监控人员或是其他负责人员可以对园区内的摄像头的数据进行管理，例如进行删除、修改等操作，当摄像头列表中的
同时，如图3所示，各个摄像头还根据道路之间的关系以图结构进行了存储，从而便于轨迹的还原，图3中示出了编号为SXT1至 SXT11共11个摄像头的图结构，各个摄像头之间的连线对应于摄像头之间的道路关系(即道路名称)。例如，在摄像头SXT8对应的道路交叉口，只具有朝向摄像头SXT2、SXT6、SXT7的道路，因此人员也只能沿这三个方向进行移动(在实际情况中，道路关系可能会更加复杂，图3中示出的图结构仅为一个示例)。
步骤S2：将摄像头捕捉到的视频进行目标检测分析，发现目标人员则向后台管理***通信，后台管理***记录下摄像头的位置和人员信息。步骤S2包括如下子步骤：
步骤2-1，摄像头将rtsp视频流送入后台管理***对rtsp视频流进行处理，后台管理***利用人脸检测算法识别出人脸；
步骤2-2，确定人脸所对应的目标人员的身份，并将人脸以及身份作为一条记录进行整合，进一步将记录与相应rtsp视频流所对应的摄像头的编号在数据库中进行对应存储。
步骤S3：后台管理***利用摄像头位置信息，并结合高德地图提供的JS api进行实时展示。
如图4所示，视图的左侧显示有园区的地图，该地图的右侧的“目标人员记录”表中显示到所有历史监测到的目标人员。每当摄像头中监测到目标人员时，会在最右侧的“实时图片”中实时地展示监测到目标人员的视频帧，该图片同时还会在地图中一并展示，从而便于监控人员掌握目标人员的位置。
本实施例中，上述步骤S2以及步骤S3是针对摄像头所拍摄到的视频进行实时分析，并实时对检测到的目标人员进行展示，此外，本实施例还可以针对离线的视频(即摄像头拍摄后被存储归档的视频)，通过以下步骤S4至步骤S6对需要监控的特定目标人员进行轨迹分析。
步骤S4：针对被选定的特定目标人员，基于与特定目标人员的视频所对应的摄像头的编号，在数据库中根据关系获取相邻的摄像头的所有视频作为可能性视频。
本实施例中，特定目标人员由监控人员通过目标监控平台选定，在实际使用中，监控人员调用离线存储的视频以及该视频中被检测出的目标人员，从中指定需要重点监控的目标人员，此时，即可得到离线的视频所对应的摄像头的编号。
接下来，根据摄像头编号，从图结构的数据库中获取相邻所有摄像头，以图4示出的图结构为例，当前的摄像头编号为摄像头SXT8，则获取到的相邻摄像头的编号为SXT2、SXT6和SXT7，此时将这三个摄像头拍摄到并离线存储的所有视频作为可能出现特定目标人员的视频(即可能性视频)。
步骤S5：通过目标检测分析从可能性视频分析出出现有特定目标人员的可能性视频并获取对应的摄像头的编号。
本实施例的步骤S5中，通过目标检测分析依次对每个可能性视频进行分析后，能够分析得到出现有特定目标人员的视频帧以及录制该视频的摄像头的编号。
步骤S6：重复步骤S4至步骤S5直到可能性视频中分析不出特定目标人员。
步骤S7：并根据所有出现有特定目标人员的摄像头的位置坐标，结合地图JS api对特定目标人员的位置进行展示从而示出特定目标人员移动轨迹。
本实施例中，通过重复步骤S4及步骤S5，可以从图结构的数据库中从起始的摄像头逐步地沿着特定目标人员的行动轨迹向周边的摄像头进行检索，并根据检索出含有特定目标人员的视频帧确定该特定目标人员经过摄像头的顺序、时间和位置。
接下来，即可根据该顺序、时间和位置得出特定目标人员的轨迹，在地图上进行显示，如图4所示，该视图中，左边示出了园区的地图，并在该地图的右侧“目标人员记录”中示出了所有历史监控到的目标人员。当监控人员点击编号为7的目标人员作为特定目标人员时，就会通过上述步骤S4至步骤S7进行轨迹处理，从而进一步地在“目标人员记录”右侧的“轨迹信息”中显示该特定目标人员摄像头的时间和位置、以及含有特定目标人员的视频帧，并在左侧地图中根据摄像头的位置坐标标出行动轨迹。
实施例作用与效果
根据本实施例提供的基于高清视频的目标实时定位和轨迹重构方法，由于预先存储有摄像头的位置信息，并通过目标检测分析对摄像头拍摄到的视频进行实时分析，因此可以实时地监测出目标人员并根据摄像头的位置对目标人员进行定位，从而实现一种不依赖于卫星的定位***，在校园、园区等特定场景下，可以一定程度降低人员布控的成本，具有较高的使用价值。同时，还由于根据摄像头与道路之间的关系将摄像头的编号以及位置信息以图结构进行存储，因此，在进行例如游乐园中的寻人、商场监控危险人员等针对特定目标人员的监控时，就根据图结构获取相邻的摄像头拍摄的视频并逐步分析出特定目标人员的行动轨迹，通过这样的方式，可以只针对每个拍摄有特定目标人员行动轨迹的摄像头相邻的摄像头进行目标识别，从而不仅避免了花费大量计算资源针对所有视频进行耗时耗力的计算，而且还大大地加快了对特定目标人员的行动轨迹的计算速度。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (4)

1.一种基于高清视频的目标实时定位和轨迹重构方法，用于通过设置在监测地点中各个道路上的摄像头对目标进行定位，其特征在于，包括：
步骤S1：基于所述摄像头的编号以及对应于各个道路的位置坐标，将所述摄像头与所述道路之间的关系以图结构在数据库中进行存储；
步骤S2：获取所述摄像头拍摄到的视频并对该视频进行目标检测分析，一旦在所述视频中发现目标人员则向后台管理***通信，后台管理***将所述目标人员的人员信息与所述视频对应的所述摄像头的编号进行存储记录；
步骤S3：所述后台管理***利用所述摄像头对应的位置坐标，并结合地图JS api对所述目标人员的位置进行实时展示；
步骤S4：针对被选定的特定目标人员，基于与所述特定目标人员的视频所对应的所述摄像头的编号，在所述数据库中根据所述关系获取相邻的所述摄像头的所有视频作为可能性视频；
步骤S5：通过所述目标检测分析从所述可能性视频分析出出现有所述特定目标人员的可能性视频并获取对应的所述摄像头的编号；
步骤S6：重复所述步骤S4至所述步骤S5直到所述可能性视频中分析不出所述特定目标人员；
步骤S7：根据所有出现有所述特定目标人员的所述摄像头的所述位置坐标，结合地图JS api对所述特定目标人员的位置进行展示从而示出所述特定目标人员移动轨迹。
2.根据权利要求1所述的基于高清视频的目标实时定位和轨迹重构方法，其特征在于：
其中，所述步骤S1包括如下子步骤：
步骤S1-1，在所述监测地点中选取重点位置作为摄像头布置点，所述重点位置为道路交叉口；
步骤S1-2，获取摄像头的编号以及对应的道路交叉口位置，并获取所述道路交叉口位置之间的道路名称；
步骤S1-3，以所述道路交叉口位置为节点、所述道路名称为关系，将所述摄像头编号以图结构进行存储。
3.根据权利要求1所述的基于高清视频的目标实时定位和轨迹重构方法，其特征在于：
其中，所述视频为rtsp视频流，
所述步骤S2包括如下子步骤：
步骤2-1，所述摄像头将所述rtsp视频流送入所述后台管理***对所述rtsp视频流进行处理，所述后台管理***利用人脸检测算法识别出人脸；
步骤2-2，确定所述人脸所对应的目标人员的身份，并将所述人脸以及所述身份作为一条记录进行整合，进一步将所述记录与相应所述rtsp视频流所对应的所述摄像头的编号在所述数据库中进行对应存储。
4.根据权利要求1所述的基于高清视频的目标实时定位和轨迹重构方法，其特征在于：
其中，所述步骤6中，每个所述特定目标人员的位置处还展示出出现该特定目标人员的视频关键帧以及该视频关键帧对应的时间。
CN202011278432.0A 2020-11-16 2020-11-16 一种基于高清视频的目标实时定位和轨迹重构方法 Pending CN112464757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011278432.0A CN112464757A (zh) 2020-11-16 2020-11-16 一种基于高清视频的目标实时定位和轨迹重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278432.0A CN112464757A (zh) 2020-11-16 2020-11-16 一种基于高清视频的目标实时定位和轨迹重构方法

Publications (1)

Publication Number Publication Date
CN112464757A true CN112464757A (zh) 2021-03-09

Family

ID=74837269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278432.0A Pending CN112464757A (zh) 2020-11-16 2020-11-16 一种基于高清视频的目标实时定位和轨迹重构方法

Country Status (1)

Country Link
CN (1) CN112464757A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422828A (zh) * 2022-01-26 2022-04-29 复旦大学 一种基于高清摄像头的实时定位和轨迹重构方法
CN115205341A (zh) * 2022-09-14 2022-10-18 南京北新智能科技有限公司 一种基于A-Star的运动轨迹生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581000A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种视频关注目标的运动轨迹的快速检索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581000A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种视频关注目标的运动轨迹的快速检索方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422828A (zh) * 2022-01-26 2022-04-29 复旦大学 一种基于高清摄像头的实时定位和轨迹重构方法
CN115205341A (zh) * 2022-09-14 2022-10-18 南京北新智能科技有限公司 一种基于A-Star的运动轨迹生成方法

Similar Documents

Publication Publication Date Title
Van Etten et al. The multi-temporal urban development spacenet dataset
CN107370983B (zh) 用于视频监控***的行踪轨迹的获取方法和装置
US9710924B2 (en) Field of view determiner
CN102436738B (zh) 一种基于无人机的交通监测装置
US11676389B2 (en) Forensic video exploitation and analysis tools
CN106446002A (zh) 一种基于运动目标在地图中轨迹的视频检索方法
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
CN102819578A (zh) 视频侦查嫌疑目标分析***及方法
CN111160243A (zh) 客流量统计方法及相关产品
Bouma et al. Real-time tracking and fast retrieval of persons in multiple surveillance cameras of a shopping mall
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
JP6013923B2 (ja) ビデオエピソードの閲覧及び検索のためのシステム及び方法
CN107241572A (zh) 学员实训视频追踪评价***
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
CN112464757A (zh) 一种基于高清视频的目标实时定位和轨迹重构方法
CN113255477A (zh) 一种行人视频图像的综合管理***及方法
Lin et al. Moving camera analytics: Emerging scenarios, challenges, and applications
CN113469080A (zh) 一种个体、群体、场景交互协同感知方法、***及设备
CN113312951A (zh) 动态视频目标跟踪***、相关方法、装置及设备
CN115830076A (zh) 一种人员轨迹视频智能分析***
CN115424320A (zh) 一种在三维场景中显示人员移动轨迹的方法及***
CN106777078A (zh) 一种基于信息数据库的视频检索方法和***
CN110781797B (zh) 一种标注方法、装置及电子设备
Sebastian et al. Performance evaluation metrics for video tracking
CN107493441B (zh) 一种摘要视频生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309