CN112991742B - 一种实时交通数据的可视化仿真方法及*** - Google Patents

一种实时交通数据的可视化仿真方法及*** Download PDF

Info

Publication number
CN112991742B
CN112991742B CN202110427414.2A CN202110427414A CN112991742B CN 112991742 B CN112991742 B CN 112991742B CN 202110427414 A CN202110427414 A CN 202110427414A CN 112991742 B CN112991742 B CN 112991742B
Authority
CN
China
Prior art keywords
vehicle
frame
data table
video
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110427414.2A
Other languages
English (en)
Other versions
CN112991742A (zh
Inventor
罗德宁
高旻
张严辞
亢林焘
何轶
郭美
段强
陶李
彭林春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jianshan Technology Co ltd
Original Assignee
Sichuan Jianshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jianshan Technology Co ltd filed Critical Sichuan Jianshan Technology Co ltd
Priority to CN202110427414.2A priority Critical patent/CN112991742B/zh
Publication of CN112991742A publication Critical patent/CN112991742A/zh
Application granted granted Critical
Publication of CN112991742B publication Critical patent/CN112991742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/12—Timing analysis or timing optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Development Economics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智慧交通技术领域，具体涉及一种实时交通数据的可视化仿真方法及***，包括：实时接收所述数字孪生城市对应的实时道路监控视频流；将所述监控视频流按时间顺序划分为若干段相同时长的视频；获取每段视频中的车辆信息，一段视频的所有数组存入一个数据表中；当遍历至一个数据表时，以第N+1帧作为第一帧开始遍历，读取数据表中的车辆信息；当遍历至数据表的最后一帧时，进入下一个数据表，以所述数据表的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频。本发明提高了监控视频流的处理效率，减少可视化展示的延迟，以及保证了模拟视频的连续性，减少数据中断的情况。

Description

一种实时交通数据的可视化仿真方法及***
技术领域
本发明涉及智慧交通技术领域，具体而言，涉及一种实时交通数据的可视化仿真方法及***。
背景技术
随着我国城市经济贸易和社会活动日益繁忙，城市交通发生了前所未有的迅速增长，当前，我国城市特别是大城市的交通问题颇为突出，城市管理变得越来越复杂。在对城市的管理过程中，道路监控***在治安防控中发挥着重要的作用，城市的道路监控点主要分布在车流、人流比较集中的道路交叉口、重点路段，对公路运行车辆的构成、流量分布、违章情况进行常年不间断的自动记录，为交通规划，交通管理，道路养护部门提供重要的基础和运行数据。
在道路监控点的不断庞大的同时，监控***面临着严峻的现状问题：海量视频分散、孤立、视角不完整、位置不明确等问题，视频画面本身，不能有效呈现真实的空间地理场景，不能进行有效直观的交通信息提取、车辆追踪和指挥调度。随着“视频+GIS”的应用形式的出现，将监控视频流数据与监控场景的三维模型数据进行结合，监控视频流可以实时、动态地显示真实场景的变化，三维模型则能精准、真实地反映现实世界的空间特征，以解决上述问题。
将实时监控视频流叠加到GIS场景的方法上，面临着一些新产生的“实时”技术问题，包括：1、由于实时监控视频流数据量大，要做到实时可视化展示就需要提高监控视频流的处理效率，以尽量减少可视化展示的延迟；2、由于是实时监控视频流，也就是在实时可视化展示的过程中需要保证视频的连续性，减少数据中断的情况。
发明内容
本发明的目的在于提供一种实时交通数据的可视化仿真方法及***，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一种实时交通数据的可视化仿真方法，包括：
基于真实城市，搭建数字孪生城市；
实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域；
将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；
按时间顺序依次遍历数据表，当遍历至数据表时，以第N+1帧作为第一帧开始遍历，读取数据表中的车辆信息，将每个车辆映射在数字孪生城市中；
当遍历至数据表的最后一帧时，进入下一个数据表，以数据表的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频。
进一步的，所述实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域，包括：
确定真实城市中需要监控的道路；
接收所述道路实时拍摄的监控视频流；
将数字孪生城市定位至监控视频流中的道路，并在数字孪生城市中将监控视频流画面中拍摄到的道路设置为预设行驶区域。
进一步的，所述将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像，包括：
设定每段视频的时长为T，和重叠帧数为N；
确定每段视频的起始时间戳t'和终止时间戳t”，上一段视频的终止时间戳与下一段视频的起始时间戳之间重叠有N帧图像；
根据所述每段视频的起始时间戳t'和终止时间戳t”将监控视频流划分成若干段相同时长的视频。
进一步的，所述获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表，包括：
利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的像素坐标、实际的偏移坐标；
利用当前帧图像的第前、后N帧图像计算车辆在当前帧图像的行驶速度，并追踪车辆的行驶轨迹；
将一个车辆的车辆信息存入一个数组中，每一数组中至少包含8组数据，分别为：车辆出现时的起始帧数、消失时的终止帧数、车辆类型、车辆颜色、车牌号码、X轴偏移坐标、Y轴偏移坐标、行驶速度；其中，所述X轴偏移坐标、Y轴偏移坐标、行驶速度均包含从起始帧数到终止帧数之间所有帧图像的数据；
得到若干个数组，将所述若干个数组存入一个数据表中，记录数据表的总帧数。
进一步的，将视频画面的左上角作为坐标原点；
在视频画面中选择至少两个特征点作为参照点和标志点，利用所述参照点和标志点计算单位像素的实际距离；
确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标；
利用所述第一像素坐标和单位像素的实际距离，计算车辆的偏移坐标，即车辆相对于标志点的实际距离。
进一步的，所述按时间顺序依次遍历数据表,当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表Dm中的车辆信息，将每个车辆的数据映射在数字孪生城市中，包括：
从第N+1帧图像开始遍历一段视频的数据表Dm，读取当前遍历的帧数；
当遍历至一个数组的起始帧数时，读取数组中的车辆信息，生成一个对应的模拟车辆，将所述数组传给所述模拟车辆；
根据车辆的偏移坐标确定模拟车辆在数字城市场景中生成的坐标位置，当所述坐标位置在预设行驶区域之外时，纠正模拟车辆的坐标位置后生成模拟车辆；
遍历至终止帧数时，销毁正常消失在预设行驶区域的模拟车辆。
进一步的，所述当所述坐标位置在预设行驶区域之外时，纠正模拟车辆的坐标位置后生成模拟车辆，包括：
若当前帧图像中的坐标位置在预设行驶区域之外，则根据上一帧图像既定的行驶速度重新计算偏移坐标，在所述偏移坐标对应的坐标位置继续生成模拟车辆。
进一步的，所述遍历至终止帧数时，销毁正常消失在预设行驶区域的模拟车辆，包括：
遍历至终止帧数时，判断所述模拟车辆消失时是否在预设行驶区域之外；
若是，则销毁所述模拟车辆；
若否，则以上一帧图像既定的行驶速度重新计算得到偏移坐标；
判断当前帧是否生成有新模拟车辆，且所述新模拟车辆与模拟车辆的偏移坐标之间的距离≤1m；
若是，则将所述新模拟车辆的数据赋予所述模拟车辆，继续读取数组中的数据，按照所述数组中的偏移坐标继续生成所述模拟车辆，并销毁所述新模拟车辆；
若否，则在所述偏移坐标继续生成所述模拟车辆。
进一步的，所述当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频，包括：
判断是否遍历至数据表Dm的最后一帧；
若是，则跳入至数据表Dm+1的第N+1帧继续遍历；
当遍历至一个数组的起始帧数时，读取数组中的车辆信息，判断车辆的车牌号码是否与数据表Dm中模拟车辆的车牌号码相同；
若不同，生成一个新的模拟车辆，将所述数组传给所述新的模拟车辆；
若相同，则为同一个车辆，将所述车辆的数组赋予所述模拟车辆，继续在数字孪生城市中生成所述模拟车辆。
一种实时交通数据的可视化仿真***，所述***包括：
建模单元：基于真实城市，搭建数字孪生城市；
接收单元：实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域；
视频流划分单元：将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
存储单元：获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；
具体包括：
利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的像素坐标、实际的偏移坐标；
所述车辆在当前帧图像中的像素坐标、实际的偏移坐标的计算过程为：
将视频画面的左上角作为坐标原点；
在视频画面中选择至少两个特征点作为参照点和标志点，利用所述参照点和标志点计算单位像素的实际距离；
确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标；
利用所述第一像素坐标和单位像素的实际距离，计算车辆的偏移坐标，即车辆相对于标志点的实际距离。
视频生成单元：按时间顺序依次遍历数据表，当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表Dm中的车辆信息，将每个车辆映射在数字孪生城市中；
视频连接单元：当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频。
本发明的有益效果为：
1、本发明实时接收道路监控视频流，当接收到的监控视频流时长到达预设的时长，就将其截断，划分为一段视频，即按照预设的时长将实时接收的监控视频流不断的划分成若干段视频；同时当第一段视频划分出来后，就开始提取视频中的车辆信息，再将一个车辆的视频单独存储在一个数组中，然后将一段视频中所有数组以数据表的形式存入UE4中，形成一个数据表，一旦数据表形成后，即可开始遍历数据表，生成模拟车辆映射在数字孪生城市中；第一段视频处理完后，第二段视频也被划分完成，按照上述方法开始处理第二段视频以及后续的第三段、第四段...，直到终止传输监控视频流，通过本发明提供的AI识别算法，在保证车辆的识别准确率的情况下，极大的提高了帧图像中的车辆信息提取效率，从而缩短了可视化展示的延迟时间。
2、本发明通过将实时监控视频流与被监控场景的三维模型进行实时精准的融合起来，可以将不同位置、不同角度布设的多个监控视频流纳入到统一空间基准的全空间三维场景中，可以实现任意位置、任意角度的监控视频流查看、回放、监控路线跟踪、目标跟踪等功能。将其应用在城市管理中，可为交通规划，交通管理，道路养护部门提供重要的基础和运行数据，为快速纠正交通违章行为，快速侦破交通事故逃逸和机动车盗抢案件提供重要的技术手段和证据，例如：嫌疑车辆布控、肇事车辆追踪、光靠人眼无法识别异常事件事故、违章违法车辆等。
3、本发明在截断视频时，使两段相邻的视频之间重叠有N帧图像，利用前、后N帧图像与当前图像之间的帧间相关性确定是否同一个车辆的行驶轨迹，以进行车辆追踪，保证在一个数组中正确的记录一个车辆的信息，防止后续的数据调用出错，从而导致可视化模拟数据中断，出现断断续续的模拟情况。两段相邻的视频之间重叠有N帧图像为模拟视频的效果提供了保障。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的一种实时交通数据的可视化仿真方法流程示意图；
图2是本发明实施例中所述的数据表遍历方法流程图；
图3是本发明实施例中所述的数组遍历的详细流程图；
图4是本发明实施例中所述的销毁车辆的详细流程图；
图5是本发明实施例中所述的标记有标志点和参照点的视频画面；
图6是本发明实施例中所述的绘制有行驶轨迹的帧图像；
图7是本发明实施例中所述的监控视频流在数字孪生城市场景中的可视化表达效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种实时交通数据的可视化仿真方法，该方法包括以下步骤：
S1.基于真实城市，搭建数字孪生城市；
具体的，获取城市的地图，根据所述地图数据，按照真实的比例，在开发平台中搭建出数字孪生城市，所述开发平台包括UE4、Unity、Unigine、OSG，优选的，本实施例中采用UE4开发平台。
S2.实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域，在可视化过程中，数字孪生城市可自动识别出模拟车辆是否生成在预设行驶区域以外，以便于纠正出错的数据；
基于以上实施例，所述S2具体包括：
S21.确定真实城市中需要监控的道路，在所述道路的上方搭建监控实时监控网络存储和服务器，所述监控包括无人机航拍和道路监控摄像头；优选的，所述摄像头设置于两侧道路之间的位置，尽可能清晰的拍摄到左右两侧道路中的车辆，需拍摄到车辆的车头或车尾，以便于后续步骤中的AI识别算法识别车牌号，清晰度越高识别越精准；
S22.接收所述道路实时拍摄的监控视频流，具体的，根据客户端请求，实时接收监控视频流所采用的传输协议，选择合适的编解码方式，将摄像机实时动态视频流按帧请求传输到客户端；
S23.将数字孪生城市定位至监控视频流中的道路，并在数字孪生城市中将监控视频流画面中拍摄到的道路设置为预设行驶区域，需要注意的是，道路延伸出监控视频流以外的部分不属于预设行驶区域。
S3.将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
基于以上实施例，所述S3具体包括以下步骤：
S31.设定每段视频的时长为T，和重叠帧数为N；
S32确定每段视频的起始时间戳t'和终止时间戳t”,上一段视频的终止时间戳与下一段视频的起始时间戳之间重叠有N帧图像；
具体的，例如：第一段视频的起始时间戳为t'1，则终止时间戳t”1＝t'1+T；再计算N帧图像的时长为T'，那么第二段视频的起始时间戳t'2＝t”1-T'，终止时间戳t'2'＝t'2+T，以此类推；
S33.根据所述每段视频的起始时间戳和终止时间戳将监控视频流划分成若干段相同时长的视频。
本实施例中，从接收监控视频流的时间戳开始计时，当接收的视频流时长为T时，就划分出第一段视频，然后就利用后续步骤S4-S6处理所述第一段视频，与此同时，划分出第二段视频，待第一段视频处理完之后，开始处理第二段视频，以此类推，所述视频流划分过程和视频处理过程是同步进行的步骤，以提高视频的处理效率。
S4.获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；
基于以上实施例，所述S4具体包括以下步骤：
S41.利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的像素坐标、实际的偏移坐标；
具体的，所述S41包括以下步骤：
S411.将一段视频输入AI识别算法中，AI识别算法自动将所述监控视频流分割为单帧图像，按照时间顺序存储起来；具体的，在得到的单帧图像中，可以连续获取每一帧图像，也可以间隔多张获取一帧图像，再将获取到的若干帧图像存储起来，进行下一步的识别操作；
S412.识别每帧图像中所有的车辆、以及车辆的种类和颜色，并将识别到的车辆标识出来；
具体的，利用优化过的CompCar数据集训练YOLOv3算法，CompCar数据集是目前规模最大、类别最丰富、用于评测车辆精细识别的公开数据集.数据集通过网络和监控设备采集得到车辆图像，其中网络图像共136726幅，涵盖了163个汽车厂家的1716类车型，监控图像共44481幅车辆正面图像，包含281类车型。采用训练后的YOLOv3算法对帧图像进行全帧检测，将识别到的所有的车辆用矩形框框出来，并且识别每个车辆的种类和颜色，其中车辆的种类自定义，本实施例中，车辆识别的自定义种类包括：越野车、轿车、面包车、货车、公交车、摩托车，根据实际需要，可增加车辆识别的种类。
S413.识别车辆的车牌号；
具体的，制作样本集，基于视频图像的融合特征，采用预训练过的基于YOLOv3算法的目标检测网络，用所述样本集进行离线学习后，实现对帧图像中车辆的车牌号码的检测，将车辆和对应的车牌号码进行关联标记；
S414.确定车辆在每帧图像中的像素坐标，根据所述像素坐标计算实际的偏移坐标；
具体的，所述S414包括以下步骤：
S4141.将视频画面的左上角作为坐标原点O(0,0)；
S4142.在视频画面中选择至少两个特征点作为标志点Q1(x1,y1)和参照点Q2(x2,y2)，利用所述标志点Q1和参照点Q2计算单位像素的实际距离；
具体的，由于监控视频流的拍摄视角固定，因此每一帧图像的视频画面相同。从监控视频流中截取任意一帧视频画面中寻找特征点即可，所述特征点具有便于确定的特点，例如：两条车道分界线的交叉点、车道分界线的中点或终点、路标与地面的连接点或者路灯与地面的连接点；其中，将至少一个特征点作为标志点，在数字孪生城市的场景中相同的位置点Q'1进行标记，建立视频画面与场景的映射关系，再利用参照点和标志点计算单位像素的实际距离；
具体的，所述单位像素在x轴上的实际距离计算方法如下：
Figure GDA0003172087890000091
其中，所述P'x为任意像素点P在x轴方向上单位像素的实际长度，Distance(x'1-x'2)为Q1与Q2之间在x轴上的实际距离，|x1-x2|为Q1与Q2之间在x轴方向上的像素距离，a为距离远近的调节参数,由于视频拍摄角度为倾斜摄影，因而会导致靠近镜头一侧的单位像素的实际距离小于远离镜头一侧的单位像素的实际距离，通过调节参数a可解决该问题；
具体的，所述Distance(x'1-x'2)可根据两点的经纬度得到，计算过程如下：
Figure GDA0003172087890000092
Figure GDA0003172087890000093
Figure GDA0003172087890000094
由公式(2)-(4)得到：
Figure GDA0003172087890000101
其中，R为地球半径，
Figure GDA0003172087890000102
分别为两点的纬度，Δρ为两点之间的经度差。
具体的，所述调节参数a的计算过程如下：
Figure GDA0003172087890000103
其中，所述H为y轴上的像素总长度，yP为任意像素点P在y轴上的像素坐标；
同理，所述单位像素的在y轴上的实际距离计算方法为：
Figure GDA0003172087890000104
其中，所述P'y为任意像素点P在y轴方向上单位像素的实际长度，Distance(y'1-y'2)为Q1与Q2之间在y轴上的实际距离，|y1-y2|为Q1与Q2之间在y轴方向上的像素距离，a为距离远近的调节参数；
请参阅图5，Q1和Q2分别为本实施例中所选取的标志点Q1和参照点Q2，其相对于坐标原点O的像素坐标，分别为Q1(1045,475)和Q2(26,653)。
S4143.确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标C(xc,yc)；
S4144.利用所述第一像素坐标和单位像素的实际距离，计算车辆的偏移坐标C(x'c,y'c)，即车辆相对于标志点Q1(x1,y1)的实际距离,其计算过程如下：
Figure GDA0003172087890000105
S42.利用当前帧图像的第前、后N帧图像计算车辆在当前帧图像的行驶速度，并追踪车辆的行驶轨迹；
具体的，所述S42包括以下步骤：
S421.分别获取车辆在当前帧的第前、后N帧图像中的偏移坐标；
本实施例中，获取当前帧F的第前5帧(F-5)的偏移坐标和第后5帧(F+5)的偏移坐标；
S422.利用位移--速度公式：
Figure GDA0003172087890000106
计算车辆在当前帧图像中的行驶速度，其中，v表示车辆在当前帧图像中的行驶速度，x表示第前5帧(F-5)的偏移坐标和第后5帧(F+5)的偏移坐标之间的距离，t表示第前、后5帧两帧图像之间间隔的时间；
S423.利用连续的前N帧图像，(需要说明的是，如果为间隔存储，间隔帧数为5，则此处应该为利用连续的前N/5帧图像进行追踪，第前、后N帧也同理)，利用连续的前5帧图像采用STRCF算法追踪车辆的行驶轨迹，在帧图像中将每个车辆的行驶轨迹绘制出来，请参阅图6，图中，不仅绘制出了每个车辆的行驶轨迹，还绘制了车辆的行驶速度和偏移坐标；
具体的，所述STRCF算法的计算过程具体如下：
Figure GDA0003172087890000111
其中，E为特征图的总个数，所述特征图为融合了卷积神经特征和HOG神经特征的监控视频流的特征图，e∈[1,E]，T为总帧数，xt为第t帧图像，t∈[1,T]，
Figure GDA0003172087890000112
Figure GDA0003172087890000113
Figure GDA0003172087890000114
为第t帧图像中的第e个特征图，fe表示第e个特征图特征学习到的相关滤波器，yt为第t帧图像的标签，w为空间正则化权重函数，f为第t帧学习到的相关滤波器，ft-1为第t-1帧学习到的相关滤波器，f0＝f1；μ表示时间正则因子，运算符·表示Hadamard乘积，*表示卷积运算，||||表示向量的模。
S43.将一个车辆的车辆信息存入一个数组中，每一数组中至少包含8组数据，分别为：车辆出现时的起始帧数、消失时的终止帧数、车辆类型、车辆颜色、车牌号码、X轴偏移坐标(x'c)、Y轴偏移坐标(y'c)、行驶速度；其中，所述X轴偏移坐标、Y轴偏移坐标、行驶速度均包含从起始帧数到终止帧数之间所有帧图像的数据；
S44.得到若干个数组，将所述若干个数组存入一个数据表中，记录数据表的总帧数，AI识别算法处理监控视频流后会得到一个存储有车辆信息的.csv文件，将所述.csv文件以数据表的形式存入UE4中；
S45.重复上述步骤，并将每段视频中的车辆信息存入一个数据表中，得到若干个数据表D，所述数据表D是一个不断的生成过程，而在生成第一个数据表之后，开始进行步骤S5，读取第一个数据表中的数据，以在数字孪生城市中进行可视化模拟，由此可知，在数字孪生生成中生成模拟视频与真实道路中视频的时差为一段视频处理时间+T，而利用本实施例中步骤S4可将渲染一帧图像的速度提升至0.2/frame。
具体实施例：设一段视频的时长T＝2s，监控视频流的帧率为30frame/s，那么一段视频中有60帧图像，间隔5帧保存一帧图像，则存储有12帧图像，计算得出处理一段视频的需要的时间为2.4s，模拟视频与真实道路中视频的时差为4.4s，以上为本方案列举的一个优选具体实施例，当时长T缩短或者间隔帧数增加时，所述时差还能缩短，具体情况是实际情况而定。
S5.按时间顺序依次遍历数据表，当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表Dm中的车辆信息，将每个车辆映射在数字孪生城市中；
请参阅图2，基于以上实施例，所述S5具体包括以下步骤：
S51.从第N+1帧图像开始遍历一段视频的数据表Dm，读取当前遍历的帧数；
由步骤S42可知，利用第前N帧图像和后N帧图像计算车辆在当前帧图像中的行驶速度，以及利用连续的前N帧追踪车辆的行驶轨迹，因此相邻的两个视频需间隔有N帧图像。而在可视化过程中，避免生成重叠的视频，则以第N+1帧图像为第一帧开始遍历一个数据表中的数据(若为间隔5帧存储，则应该以第N+5帧图像为第一帧开始遍历)。
S52.当遍历至一个数组的起始帧数时，读取数组中的车辆信息，生成一个对应的模拟车辆，将所述数组传给所述模拟车辆；优选的，还包括创建一个车辆识别控制对象，用于读取数据表中关联的车辆信息；
具体的，利用UE4中的SetTimerbyEvent节点循环遍历数据表，每次都需要记录当前循环的次数，即遍历到的帧数，当遍历到和数组中的某个起始帧数相同时，就开始处理和该初始帧数相关的车辆，以所述相关车辆为对象生成一个对应的模拟车辆，所述模拟车辆根据车辆信息中的型号和颜色，在预设库中调用对应的型号和颜色生成一辆模拟车辆，其中，所述预设库中预存有货车、小车、货车、公交车、摩托车的型号，预存有多种颜色，模拟车辆按照数组中的数据调用数据库生成与真实车辆相似的车。
具体的，当模拟车辆生成后，接收到相关车辆的数组数据，模拟车辆生成的时候就包含了这辆车之后整个移动过程所需要的数据。
S53.根据车辆的偏移坐标确定模拟车辆在数字城市场景中生成的坐标位置，具体的，当A车在第3帧被生成出来后，其数组内部也声明了一个定时循环执行的方法，遍历数组中的数据，即每隔一帧的时间执行一次，读取A车在当前帧图像的X轴偏移坐标(x'c)、Y轴偏移坐标(y'c)、行驶速度，在数字孪生城市的场景中定位至所述偏移坐标(x'c，y'c)，以所述偏移坐标(x'c，y'c)为中心点生成模拟车辆，即当前帧A车在视频图像中所处在什么位置就让模拟车辆生成到数字孪生城市场景中对应的位置去，同时生成当前帧的行驶速度vc，标记在模拟车辆的上方。每次执行时都会记录当前的帧数，直到遍历至81帧时，结束遍历。需要说明的是，在生成模拟车辆的同时就生成既定的车牌号码，车牌号码会随着车辆的行驶轨迹移动，但在后续遍历数组的过程中不再读取车牌号码。
当所述坐标位置在预设行驶区域之外时，纠正模拟车辆的坐标位置后生成模拟车辆；
具体的，由于用AI识别算法获得的数据中会存在行驶轨迹不合理的情况，例如：车辆的行驶轨迹追踪至草坪上或撞到障碍物等，则需要对这些数据进行合理化处理。当车辆要开出预设行驶区域撞到障碍物时，立即切断对实时数据的读取，转而利用模拟的数据来移动模拟车辆，即让模拟车辆朝着既定的车道行驶。
请参阅图3，基于以上实施例，所述S53具体包括以下步骤：
判断模拟车辆在当前车辆的偏移坐标是否在预设行驶区域内；
若是，则按照读取的数据生成模拟车辆，具体的，在数字孪生城市中定位至所述监控视频流中对应的场景，并在所述场景处寻找到视频画面中对应的标志点Q'1，以所述标志点Q'1为原点计算偏移坐标生成模拟车辆；
若否，则需纠正所述偏移坐标，根据上一帧图像既定的行驶速度重新计算偏移坐标，继续生成模拟车辆。
优选的，在生成的模拟车辆上方在所述模拟车辆的正上方显示车牌号码和行驶速度，请参阅图7；
S54.遍历至终止帧数时，销毁正常消失在预设行驶区域的模拟车辆，具体的，由于利用AI识别算法在识别车辆时会存在识别不连续(即一辆车在识别过程中识别中断，而之后又被识别到)的情况，造成同一辆车拥有多个数组，而一个数组生成一辆模拟车辆，导致生成多个模拟车辆。
请参阅图4，基于以上实施例，所述S54具体包括以下步骤：
S541.在终止帧图像中，判断所述模拟车辆消失时是否在预设行驶区域之外，即终止帧图像中的模拟车辆的偏移坐标是否在行驶区域之外；
若是，则销毁所述模拟车辆；
若否，则以上一帧图像既定的行驶速度继续计算得到偏移坐标；
S542.判断当前帧是否生成有新模拟车辆，且所述新模拟车辆与模拟车辆的偏移坐标之间的距离≤1m；
若是，则将所述新模拟车辆的数据赋予所述模拟车辆，继续读取数组中的数据，按照所述数组中的偏移坐标继续生成所述模拟车辆，并销毁所述新模拟车辆；
若否，则在所述偏移坐标继续生成所述模拟车辆；
重复上述步骤S541--S542。
具体而言：当一辆车(B车)的行驶轨迹中断，让B车以最后的行驶速度继续移动，而在之后的某一帧图像时新生成了一辆模拟车辆，而且新模拟车辆的位置和B车所处的位置相隔非常接近的时候，说明B车在后续又被重新识别到了，于是将新模拟车辆的数组数据赋给B车之后把新模拟车辆删除，让B车用新得到的数据中的行驶轨迹继续移动。
S6.所述当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频；
基于以上实施例，所述S6具体包括以下步骤：
当遍历至数据表Dm+1中一个数组的起始帧数时，读取数组中的车辆信息，判断车辆的车牌号码是否与数据表Dm中模拟车辆的车牌号码相同；
若不同，生成一个新的模拟车辆，将所述数组传给所述新的模拟车辆；
若相同，则为同一个车辆，将所述车辆的数组赋予所述模拟车辆，继续在数字孪生城市中生成所述模拟车辆。
通过步骤S6，可将任意两段连续的数据表在数字孪生城市中生成连续、流畅的视频，当客户端不断的接收监控视频流，不断的将监控视频流分割后进行车辆信息提取存储数据表，同时再遍历数据表中的数据，在数字孪生城市中生成虚拟车辆，以实现监控视频流的实时模拟。
由于数据量过大，将监控视频流中的车辆数据提取出后，还需将监控视频流删除以减轻客户端的存储压力。
实施例2
相应于上面的方法实施例，本公开实施例还提供了一种实时交通数据的可视化仿真***，下文描述的实时交通数据的可视化仿真装置与上文描述的实时交通数据的可视化仿真方法可相互对应参照。
该***包括如下模块：
建模单元：基于真实城市，搭建数字孪生城市；
接收单元：实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域；
视频流划分单元：将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
存储单元：获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；
具体包括：
利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的像素坐标、实际的偏移坐标；
所述车辆在当前帧图像中的像素坐标、实际的偏移坐标的计算过程为：
将视频画面的左上角作为坐标原点；
在视频画面中选择至少两个特征点作为参照点和标志点，利用所述参照点和标志点计算单位像素的实际距离；
确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标；
利用所述第一像素坐标和单位像素的实际距离，计算车辆的偏移坐标，即车辆相对于标志点的实际距离。
视频生成单元：按时间顺序依次遍历数据表，当遍历至数据表时，以第N+1帧作为第一帧开始遍历，读取数据表中的车辆信息，将每个车辆映射在数字孪生城市中；
视频连接单元：当遍历至数据表的最后一帧时，进入下一个数据表，以数据表的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了一种实时交通数据的可视化仿真设备，下文描述的一种基于实时交通数据的拥堵模拟设备与上文描述的一种实时交通数据的可视化仿真方法可相互对应参照。
该电子设备可以包括：处理器，存储器。该电子设备还可以包括多媒体组件，输入/输出(I/O)接口，以及通信组件中的一者或多者。
其中，处理器用于控制该电子设备的整体操作，以完成上述的实时交通数据的可视化仿真方法中的全部或部分步骤。存储器用于存储各种类型的数据以支持在该电子设备的操作，这些数据例如可以包括用于在该电子设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandomAccessMemory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammableRead-OnlyMemory，简称EPROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口为处理器和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件用于该电子设备与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、数字信号处理器(DigitalSignalProcessor，简称DSP)、数字信号处理设备(DigitalSignalProcessingDevice，简称DSPD)、可编程逻辑器件(ProgrammableLogicDevice，简称PLD)、现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的实时交通数据的可视化仿真方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的实时交通数据的可视化仿真方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由电子设备的处理器执行以完成上述的实时交通数据的可视化仿真方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种实时交通数据的可视化仿真方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的实时交通数据的可视化仿真方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种实时交通数据的可视化仿真方法，其特征在于，包括：
基于真实城市，搭建数字孪生城市；
实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域；
将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆出现时的起始帧数和消失时的终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；按时间顺序依次遍历数据表，当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表Dm中的车辆信息，将每个车辆映射在数字孪生城市中；
当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频；
其中，所述获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆出现时的起始帧数和消失时的终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表，具体包括；
利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的第一像素坐标、实际的偏移坐标；
所述车辆在当前帧图像中的第一像素坐标、实际的偏移坐标的计算过程为：
将视频画面的左上角作为坐标原点；
在视频画面中选择至少两个特征点作为参照点和标志点，所述特征点具有便于确定的特点，包括但不限于两条车道分界线的交叉点、车道分界线的中点或终点、路标与地面的连接点或者路灯与地面的连接点；
利用所述参照点和标志点计算单位像素在x轴、y轴上的实际距离；
确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标；
利用所述第一像素坐标和单位像素在x轴、y轴上的实际距离，计算车辆相对于标志点在x轴、y轴上的实际距离，得到车辆的偏移坐标，所述车辆的偏移坐标为以标志点为原点的实际坐标。
2.根据权利要求1所述的实时交通数据的可视化仿真方法，其特征在于，所述实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域，包括：
确定真实城市中需要监控的道路；
接收所述道路实时拍摄的监控视频流；
将数字孪生城市定位至监控视频流中的道路，并在数字孪生城市中将监控视频流画面中拍摄到的道路设置为预设行驶区域。
3.根据权利要求1所述的实时交通数据的可视化仿真方法，其特征在于，所述将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像，包括：
设定每段视频的时长为T，和重叠帧数为N；
确定每段视频的起始时间戳和终止时间戳，上一段视频的终止时间戳与下一段视频的起始时间戳之间重叠有N帧图像；
根据所述每段视频的起始时间戳和终止时间戳将监控视频流划分成若干段相同时长的视频。
4.根据权利要求1所述的实时交通数据的可视化仿真方法，其特征在于，所述获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆出现时的起始帧数和消失时的终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表，包括：
利用当前帧图像之前第N帧、之后第N帧图像计算车辆在当前帧图像的行驶速度，并追踪车辆的行驶轨迹；
将一个车辆的车辆信息存入一个数组中，每一数组中至少包含8组数据，分别为：车辆出现时的起始帧数、消失时的终止帧数、车辆类型、车辆颜色、车牌号码、X轴偏移坐标、Y轴偏移坐标、行驶速度；其中，所述X轴偏移坐标、Y轴偏移坐标、行驶速度均包含从起始帧数到终止帧数之间所有帧图像的数据；
得到若干个数组，将所述若干个数组存入一个数据表中，记录数据表的总帧数。
5.根据权利要求1所述的实时交通数据的可视化仿真方法，其特征在于，所述按时间顺序依次遍历数据表，当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表Dm中的车辆信息，将每个车辆的数据映射在数字孪生城市中，包括：
从第N+1帧图像开始遍历一段视频的数据表Dm，读取当前遍历的帧数；
当遍历至一个数组的起始帧数时，读取数组中的车辆信息，生成一个对应的模拟车辆，将所述数组传给所述模拟车辆；
根据数组的偏移坐标确定模拟车辆在数字城市场景中生成的坐标位置，当所述坐标位置在预设行驶区域之外时，纠正模拟车辆的坐标位置后生成模拟车辆；
遍历至终止帧数时，销毁正常消失在预设行驶区域的模拟车辆。
6.根据权利要求5所述的实时交通数据的可视化仿真方法，其特征在于，所述当所述坐标位置在预设行驶区域之外时，纠正模拟车辆的坐标位置后生成模拟车辆，包括：
若当前帧图像中的坐标位置在预设行驶区域之外，则根据上一帧图像既定的行驶速度重新计算偏移坐标，在所述偏移坐标对应的坐标位置继续生成模拟车辆。
7.根据权利要求5所述的实时交通数据的可视化仿真方法，其特征在于，所述遍历至终止帧数时，销毁正常消失在预设行驶区域的模拟车辆，包括：
遍历至终止帧数时，判断所述模拟车辆消失时是否在预设行驶区域之外；
若是，则销毁所述模拟车辆；
若否，则以上一帧图像既定的行驶速度重新计算得到偏移坐标；
判断当前帧是否生成有新模拟车辆，且所述新模拟车辆与模拟车辆的偏移坐标之间的距离≤1m；
若是，则将所述新模拟车辆的数据赋予所述模拟车辆，继续读取数组中的数据，按照所述数组中的偏移坐标继续生成所述模拟车辆，并销毁所述新模拟车辆；
若否，则在所述偏移坐标继续生成所述模拟车辆。
8.根据权利要求1所述的实时交通数据的可视化仿真方法，其特征在于，所述当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，包括：
当遍历至数据表Dm+1中一个数组的起始帧数时，读取数组中的车辆信息，判断车辆的车牌号码是否与数据表Dm中模拟车辆的车牌号码相同；
若不同，生成一个新的模拟车辆，将所述数组传给所述新的模拟车辆；
若相同，则为同一个车辆，将所述车辆的数组赋予所述模拟车辆，继续在数字孪生城市中生成所述模拟车辆。
9.一种实时交通数据的可视化仿真***，其特征在于，包括：
建模单元：基于真实城市，搭建数字孪生城市；
接收单元：实时接收所述数字孪生城市对应的实时道路监控视频流，根据监控视频流的监控区域在数字孪生城市中划分预设行驶区域；
视频流划分单元：将所述监控视频流按时间顺序划分为若干段相同时长的视频，任意两段相邻的视频之间重叠N帧图像；
存储单元：获取每段视频中的车辆信息，将每个车辆的车辆信息分别存入不同的数组中，每个数组中至少记录有车辆的起始帧数和终止帧数，一段视频的所有数组存入一个数据表中，得到若干个数据表；
具体包括：
利用AI识别算法将一段视频分割成若干帧图像，在每帧图像中识别出车辆信息，所述车辆信息至少包括车辆的种类、颜色、车牌号码、车辆在当前帧图像中的第一像素坐标、实际的偏移坐标；
所述车辆在当前帧图像中的第一像素坐标、实际的偏移坐标的计算过程为：
将视频画面的左上角作为坐标原点；
在视频画面中选择至少两个特征点作为参照点和标志点，所述特征点具有便于确定的特点，包括但不限于两条车道分界线的交叉点、车道分界线的中点或终点、路标与地面的连接点或者路灯与地面的连接点；
利用所述参照点和标志点计算单位像素在x轴、y轴上的实际距离；
确定所述车辆在当前帧图像中相对于坐标原点的第一像素坐标；
利用所述第一像素坐标和单位像素在x轴、y轴上的实际距离，计算车辆相对于标志点在x轴、y轴上的实际距离，得到车辆的偏移坐标，所述车辆的偏移坐标为以标志点为原点的实际坐标；
视频生成单元：按时间顺序依次遍历数据表，当遍历至数据表Dm时，以第N+1帧作为第一帧开始遍历，读取数据表中的车辆信息，将每个车辆映射在数字孪生城市中；
视频连接单元：当遍历至数据表Dm的最后一帧时，进入下一个数据表Dm+1，以数据表Dm+1的第N+1帧作为第一帧开始遍历，继续将车辆映射在数字孪生城市中，生成连续的实时交通模拟视频。
CN202110427414.2A 2021-04-21 2021-04-21 一种实时交通数据的可视化仿真方法及*** Active CN112991742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110427414.2A CN112991742B (zh) 2021-04-21 2021-04-21 一种实时交通数据的可视化仿真方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110427414.2A CN112991742B (zh) 2021-04-21 2021-04-21 一种实时交通数据的可视化仿真方法及***

Publications (2)

Publication Number Publication Date
CN112991742A CN112991742A (zh) 2021-06-18
CN112991742B true CN112991742B (zh) 2021-08-20

Family

ID=76341408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110427414.2A Active CN112991742B (zh) 2021-04-21 2021-04-21 一种实时交通数据的可视化仿真方法及***

Country Status (1)

Country Link
CN (1) CN112991742B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529875A (zh) * 2022-04-24 2022-05-24 浙江这里飞科技有限公司 一种违停车辆的检测方法、装置、电子设备及存储介质
CN114966695B (zh) * 2022-05-11 2023-11-14 南京慧尔视软件科技有限公司 雷达的数字孪生影像处理方法、装置、设备及介质
CN114780666B (zh) * 2022-06-23 2022-09-27 四川见山科技有限责任公司 一种数字孪生城市中道路标签优化方法及***
CN114782588B (zh) * 2022-06-23 2022-09-27 四川见山科技有限责任公司 一种数字孪生城市中道路名称实时绘制方法及***
CN114943940A (zh) * 2022-07-26 2022-08-26 山东金宇信息科技集团有限公司 一种隧道内车辆可视化监测的方法、设备及存储介质
CN116543586B (zh) * 2023-07-03 2023-09-08 深圳市视想科技有限公司 基于数字孪生的智能公交信息展示方法及展示设备
CN117579761B (zh) * 2024-01-16 2024-03-26 苏州映赛智能科技有限公司 一种道路数字孪生模型的误差显示控制方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295702A (ja) * 2005-04-13 2006-10-26 Canon Inc 画像処理装置及び方法、並びに画像処理プログラム及び記憶媒体
CN100555355C (zh) * 2006-08-29 2009-10-28 亿阳信通股份有限公司 道路交通的通行速度计算和匹配的方法和***
CN100538763C (zh) * 2007-02-12 2009-09-09 吉林大学 基于视频的混合交通流参数的检测方法
US8063918B2 (en) * 2008-05-28 2011-11-22 Adobe Systems Incorporated Method and apparatus for rendering images with and without radially symmetric distortions
US7973276B2 (en) * 2009-07-29 2011-07-05 Ut-Battelle, Llc Calibration method for video and radiation imagers
CN101866429B (zh) * 2010-06-01 2012-09-05 中国科学院计算技术研究所 多运动目标动作行为识别的训练方法和识别方法
CN101924953B (zh) * 2010-09-03 2012-11-14 南京农业大学 基于基准点的简便匹配方法
WO2013005244A1 (ja) * 2011-07-01 2013-01-10 株式会社ベイビッグ ３次元相対座標計測装置およびその方法
CN102307320B (zh) * 2011-08-11 2013-07-10 江苏亿通高科技股份有限公司 一种适用于流媒体环境的盗版追踪水印方法
CN102636378A (zh) * 2012-04-10 2012-08-15 无锡国盛精密模具有限公司 基于机器视觉定位的生物芯片点样仪及其定位方法
CN103577412B (zh) * 2012-07-20 2017-02-08 永泰软件有限公司 基于高清视频的交通事件帧标记方法
CN103092924A (zh) * 2012-12-28 2013-05-08 深圳先进技术研究院 实时数据驱动的交通数据三维可视化分析***及方法
CN105354548B (zh) * 2015-10-30 2018-10-26 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN106204560B (zh) * 2016-07-02 2019-04-16 上海大学 菌落挑选仪自动标定方法
CN106604059B (zh) * 2016-12-28 2020-07-14 深圳Tcl新技术有限公司 数据投放方法及***
US10691847B2 (en) * 2017-01-13 2020-06-23 Sap Se Real-time damage determination of an asset
CN107526504B (zh) * 2017-08-10 2020-03-17 广州酷狗计算机科技有限公司 图像显示的方法及装置、终端及存储介质
CN108694237A (zh) * 2018-05-11 2018-10-23 东峡大通（北京）管理咨询有限公司 处理车辆位置数据的方法、设备、可视化***和用户终端
CN108805073A (zh) * 2018-06-06 2018-11-13 合肥嘉仕诚能源科技有限公司 一种安防监控动态目标优化锁定追踪方法及***
US10843689B2 (en) * 2018-06-13 2020-11-24 Toyota Jidosha Kabushiki Kaisha Collision avoidance for a connected vehicle based on a digital behavioral twin
CN109063587B (zh) * 2018-07-11 2021-02-26 北京大米科技有限公司 数据处理方法、存储介质和电子设备
CN109359507B (zh) * 2018-08-24 2021-10-08 南京理工大学 一种车间人员数字孪生体模型快速构建方法
CN109147341B (zh) * 2018-09-14 2019-11-22 杭州数梦工场科技有限公司 违章车辆检测方法及装置
CN111275960A (zh) * 2018-12-05 2020-06-12 杭州海康威视***技术有限公司 一种交通路况分析方法、***及摄像机
CN109615862A (zh) * 2018-12-29 2019-04-12 南京市城市与交通规划设计研究院股份有限公司 道路车辆交通运动状态参数动态获取方法及装置
CN109887027A (zh) * 2019-01-03 2019-06-14 杭州电子科技大学 一种基于图像的移动机器人定位方法
JP7103241B2 (ja) * 2019-01-15 2022-07-20 株式会社デンソー 盗難車両追跡システム
US11436567B2 (en) * 2019-01-18 2022-09-06 Johnson Controls Tyco IP Holdings LLP Conference room management system
US10991217B2 (en) * 2019-02-02 2021-04-27 Delta Thermal, Inc. System and methods for computerized safety and security
CN110033479B (zh) * 2019-04-15 2023-10-27 四川九洲视讯科技有限责任公司 基于交通监控视频的交通流参数实时检测方法
CN110111565A (zh) * 2019-04-18 2019-08-09 中国电子科技网络信息安全有限公司 一种基于实时视频流下的人车流量统计***与方法
CN110060524A (zh) * 2019-04-30 2019-07-26 广东小天才科技有限公司 一种机器人辅助阅读的方法及阅读机器人
US10922826B1 (en) * 2019-08-07 2021-02-16 Ford Global Technologies, Llc Digital twin monitoring systems and methods
CN110505464A (zh) * 2019-08-21 2019-11-26 佳都新太科技股份有限公司 一种数字孪生***、方法及计算机设备
CN110398233B (zh) * 2019-09-04 2021-06-08 浙江中光新能源科技有限公司 一种基于无人机的定日镜场坐标测绘方法
CN110826415A (zh) * 2019-10-11 2020-02-21 上海眼控科技股份有限公司 一种场景图像中车辆的重识别方法及设备
CN110992425A (zh) * 2019-12-11 2020-04-10 北京大豪科技股份有限公司 图像标定方法、装置、电子设备及存储介质
CN111400405B (zh) * 2020-03-30 2021-04-02 兰州交通大学 一种基于分布式的监控视频数据并行处理***及方法
CN111505916B (zh) * 2020-05-25 2023-06-09 江苏迪盛智能科技有限公司 激光直接成像设备
CN111815710B (zh) * 2020-05-28 2024-01-23 北京易航远智科技有限公司 鱼眼相机自动标定方法
CN111565303B (zh) * 2020-05-29 2021-12-14 广东省电子口岸管理有限公司 基于雾计算及深度学习的视频监控方法、***和可读存储介质
CN111724485B (zh) * 2020-06-11 2024-06-07 浙江商汤科技开发有限公司 实现虚实融合的方法、装置、电子设备及存储介质
CN111565286B (zh) * 2020-07-14 2020-10-23 之江实验室 一种视频静态背景合成方法、装置、电子设备及存储介质
CN111737887B (zh) * 2020-08-21 2020-11-24 北京理工大学 一种基于平行仿真的虚拟舞台
CN112163348A (zh) * 2020-10-24 2021-01-01 腾讯科技（深圳）有限公司 道路异常路面的检测方法、装置、仿真方法、车辆和介质
KR102217870B1 (ko) * 2020-10-28 2021-02-19 주식회사 예향엔지니어링 디지털 트윈 기술을 이용한 교통관리 시스템
CN112378953A (zh) * 2020-11-25 2021-02-19 清华大学 一种液滴碰撞金属底板的观察装置及其应用
CN112529856A (zh) * 2020-11-30 2021-03-19 华为技术有限公司 确定操作对象位置的方法、机器人和自动化***

Also Published As

Publication number Publication date
CN112991742A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112991742B (zh) 一种实时交通数据的可视化仿真方法及***
CN112990114B (zh) 一种基于ai识别的交通数据可视化仿真方法及***
US10621495B1 (en) Method for training and refining an artificial intelligence
US11443555B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
US11893682B1 (en) Method for rendering 2D and 3D data within a 3D virtual environment
CN109064755B (zh) 基于四维实景交通仿真路况感知管理***的路径识别方法
CN113033030B (zh) 一种基于真实道路场景的拥堵模拟方法及***
CN109740420A (zh) 车辆违法识别方法及相关产品
CN110032947B (zh) 一种监控事件发生的方法及装置
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
US20220237919A1 (en) Method, Apparatus, and Computing Device for Lane Recognition
CN108898839B (zh) 一种实时动态交通信息数据***及其更新方法
CA3179005A1 (en) Artificial intelligence and computer vision powered driving-performance assessment
JP2019154027A (ja) ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
Zipfl et al. From traffic sensor data to semantic traffic descriptions: The test area autonomous driving baden-württemberg dataset (taf-bw dataset)
CN115762120A (zh) 基于快速路全路段的全息感知预警***
Cheng et al. Structure-aware network for lane marker extraction with dynamic vision sensor
KR20210140766A (ko) 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템
CN108682154A (zh) 基于车流状态变化深度学习分析的道路拥堵检测***
JP6405606B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN113066182A (zh) 一种信息展示方法、装置、电子设备及存储介质
CN116524718A (zh) 一种路口数据的远程可视化处理方法和***
US20230095663A1 (en) Urban digital twin platform system and moving object information analysis and management method therefor
CN115394089A (zh) 一种车辆信息融合展示的方法、无感通行***及存储介质
US11727580B2 (en) Method and system for gathering information of an object moving in an area of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Visual Simulation Method and System for Real Time Traffic Data

Effective date of registration: 20231019

Granted publication date: 20210820

Pledgee: Chengdu Rural Commercial Bank Co.,Ltd. Tianfu New Area Branch

Pledgor: SICHUAN JIANSHAN TECHNOLOGY CO.,LTD.

Registration number: Y2023510000232

PE01 Entry into force of the registration of the contract for pledge of patent right