CN110235188A - 用于交通监控、事件检测和变化预测的视频数据和gis映射 - Google Patents

用于交通监控、事件检测和变化预测的视频数据和gis映射 Download PDF

Info

Publication number
CN110235188A
CN110235188A CN201780074257.3A CN201780074257A CN110235188A CN 110235188 A CN110235188 A CN 110235188A CN 201780074257 A CN201780074257 A CN 201780074257A CN 110235188 A CN110235188 A CN 110235188A
Authority
CN
China
Prior art keywords
event
traffic
video
street
traffic monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780074257.3A
Other languages
English (en)
Inventor
S.莫迪
S.辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ashlang Co
Echelon Corp
Original Assignee
Ashlang Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ashlang Co filed Critical Ashlang Co
Publication of CN110235188A publication Critical patent/CN110235188A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/042—Public Land Mobile systems, e.g. cellular systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

一种用于交通监控和事件检测的分布式***包含位于待监控的大街的视距内的多个视频单元。每个视频单元处理视频流同时监控在大街处的事件、识别并分析事件、编码表征分析的交通元数据、并将元数据发送到中央控制器。中央处理器存储表示大街的地理地图、关联从视频单元接收的元数据、并形成地理地图与经关联的元数据的合成表示。中央控制器重放先前存储的地理地图与经关联的在彼此不同的事件条件下监控的元数据的合成表示。中央控制器还被配置为允许改变先前存储的地理地图与经关联的元数据的合成表示，以便理解变化的影响。

Description

用于交通监控、事件检测和变化预测的视频数据和GIS映射
该国际申请基于并要求于2016年10月31日提交的题为“用于交通监控、事件检测和变化预测的视频数据和GIS映射”的美国申请序号No.15/338,633的优先权，并且其全部内容通过引用并入本文。
技术领域
所公开的本发明广泛地涉及捕获交通活动，并且更具体地涉及采用交通监控和事件检测数据来驱动用于改善交通行为洞察力和理解变化的影响的能力的地理信息***(GIS)地图上的活动重放或模拟。
背景技术
出于许多商业和政府原因，监控交通的能力是重要的。一个特别重要的原因是获取必要的底层数据，以理解在驾驶车辆时的人类行为以及驾驶员之间、驾驶员与环境之间以及二者的关系。数据收集的最终目标是允许经由重放进行分析或利用其他能够导致平滑货物和服务的流动、加快应急车辆的速度、并总体上提高人类生活质量的后续改进的理解方法。监控、检测和报告关于事件的准确信息的能力对决策者、交通管理人员和驾驶员等都至关重要。在这方面，已经创建了整个***来响应这种监控挑战。但是，这些***受到交通活动的完整描述所需的大量的监控数据的严重约束。如今的***也受到能量限制、高成本、无法有效搜索视频、无法关联多个数据输入以及传感器网络部署中受约束的多跳通信的限制现实的阻碍。最后，所有问题中最大的问题是这些***无法准确地重放交通事件或者在环境因素发生变化时提供对未来行为的洞察，例如天气、停车灯的定时、限定车辆尺寸或拓宽道路。
持续的监控问题是对信息的渴求总是在增长，这驱动技术从简单的标量交通计数发展到更复杂的交通分类技术。作为IoT在日常生活中不断扩大的作用的一部分，智能城市的智能交通引导和管理***充斥着监控数据。计数车辆、人员和物品(装配线上的产品、货物托盘、车辆中的人员、车辆类型、速度等)正在逐渐成为“杀手级应用”的关键类别，这将大大有助于推广监控并收集用于未来交通应用的数据的IoT部署。如今，技术的发展也驱动了超越计数到对程序化事件的自动监控，到最终地回答道路容量、最佳速度限制是什么、需要多少车行道等问题的主动使用的愿望。
如今，单台摄像机通过人工智能(AI)算法驱动的精密交通分析软件可以做到的令人惊讶。虽然AI算法已经出现了一段时间了，但它们仍在不断发展，并且在事件检测和报告活动方面越来越好。但是，在基于分布式IoT传感器的环境中，AI在网络边缘的应用是新的并且存在重大挑战。由于摩尔定律，与支持大量和越来越多的视频馈送的大规模视频传输基础设施的成本相比，处理变得非常便宜。关键问题是挖掘嵌入在视频数据中的、其在哪里被捕获以及要监控哪里的信息，并通常远程地检测被编程到***中的事件。使用事件检测方法比不必要地在能量和容量受约束的网络周围移动原始视频数据更加有效和紧凑。相反，由于经济趋势，将可编程处理器附接到数据收集点以减少传输的数据量并管理为网络传感器/节点供电所需的能量以提供更高的监控和事件检测覆盖是可能的。
由如今的基本传感器网络收集的数据具有带有更少信息的简单的标量形式，这使得处理简单(例如，通常生成加法、减法、除法、求和以及平均的简单计算)。但是很难基于简单的标量信息形成对环境的全面理解。另一方面，视频传感器网络收集的视频和图像信息丰富。它们是无损的，并且可以被反复分析，但具有复杂的形式。可以以精确和逐步的方式搜索和分析视频，寻找并深入研究事件。如今，视频有时会被压缩并发送到后端服务器进行此处理(格式化、集成、分析等)，以满足不同的应用需求。但简单的压缩对于即将到来的大量未来数据来说还不够。
越来越多地，典型的标量传感器网络不能支持新的应用，因为它们需要巨量的只能从图像或视频中获得的信息。对许多重要的应用，例如GIS、视频监视、交通监控以及GIS和交通监控信息的组合，标量数据是不充分的。
显然，计数诸如单个汽车通过之类的事件的标量方法是不够的。这种方法错过了重要的数据，例如汽车、车辆大小、关闭速度、加速度，天气条件、道路条件之间的关系等。另外，简单的标量数据收集将无法提供足够的信息，以允许终端用户准确重放带有所有环境细微差别的交通活动。
从视频馈送获得适当的元数据对于将来能将虚拟现实和人工智能组合在交通活动在地图和图片上的重放中的应用是重要的，这些应用不仅适合人类消费，而且提供改变对采用主动交通管理至关重要的参数的能力。
准确地重放交通事件的能力对于衡量我们的交通基础设施的效率是重要的。但更重要的是，在行为模式和环境因素变化时，例如天气、来自未来体育场的交通量增加、停车灯的定时、限定车辆尺寸或拓宽道路，提供对未来表现的洞察的能力。基础设施变化所需的资金数额巨大，并且积极主动地确保将要花费的资金达到其预期目的是至为重要的。
由于缺乏灵活的传感器、能量需求、网络连接和视频平台，在控制IoT视频传感器的分布式***方面几乎没有进展。未来的***需要灵活性来调整摄像机目标、协调来自多个摄像机2D到3D的数据以管理许多摄像机角度、并将视频数据关联到低比特率数据流，该数据流是可用于允许重放和“假设”模拟情景的GIS应用程序的足够丰富的信息。主动的能力极其重要。
发明内容
本发明的示例实施例解决了在视频数据捕获动态变化的场景的地点处挖掘嵌入在视频数据中的表示待监控的事件的信息、将挖掘的信息作为低带宽元数据发送到中央控制器、并在服务器上构建可被重放和修改以分析和重新设计所述地点的被监控事件的表示的问题。
公开了一种用于交通监控和事件检测的分布式***。根据本发明的示例实施例，所述***包含位于待监控的至少一条大街的视距(viewing distance)内的多个视频单元。每个视频单元包含视频摄像机、视频帧处理逻辑、处理器和包含计算机程序代码的存储器。视频单元被配置为使得视频帧处理逻辑处理来自至少一个视频摄像机的视频流同时监控在至少一条大街处的预定义类别的事件、识别与至少一条大街有关的交通监控事件、分析交通监控事件、以及编码表征交通监控事件的分析的交通元数据。至少一个视频单元包含被配置为向中央控制器发送表征交通监控事件的分析的元数据的通信单元。
根据本发明的示例实施例，分布式***包含中央控制器，中央控制器包含处理器和包含计算机程序代码的存储器。中央控制器被配置为存储表示待监控的至少一条大街的至少一个地理地图、使得控制器关联从多个视频单元接收的交通监控元数据、以及使得控制器形成至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示。中央控制器包含回放单元，回放单元被配置为重放先前存储的至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的记录。
根据本发明的示例实施例，中央控制器包含存档存储器，存档存储器被配置为存储至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录；多个记录中的每个与在彼此不同的事件条件下监控的至少一条大街对应。
根据本发明的示例实施例，中央控制器包含回放单元，回放单元被配置为重放至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录。
根据本发明的示例实施例，彼此不同的事件条件包含改变交通灯的定时、用环岛替换交通灯、改变交通流、改变交通量、改变交通方向、拓宽道路使其具有更多车行道、增加另一条道路以分散交通、或改变环境天气条件。
根据本发明的示例实施例，在至少一个视频单元中的通信单元被配置为通过通信媒介将低带宽事件消息发送到中央控制器，通信媒介选自由以下各项构成的组：双绞线、同轴电缆、以太网、红外线、RFID、WiFi、蓝牙、低功耗蓝牙、来自Sigfox的超窄带通信协议、LTE-M，任何低功率无线区域网(LPWAN)协议、任何M2M通信协议、蜂窝、IEEE 802.15.4RF、或LoRa低功率广域网。在中央控制器中的通信单元被配置为通过通信媒介从至少一个视频单元接收低带宽事件消息。示例低带宽通信链路可以具有低至几千字节/秒的数据速率。期望本发明的示例实施例在低带宽通信链路上工作，但是它不定于低带宽并且能在更高带宽的通信链路上工作。
根据本发明的示例实施例，在至少一个视频单元中的通信单元是电力线通信单元，所述电力线通信单元被配置为通过安装的电力线将低带宽事件消息发送到中央控制器。在中央控制器中的通信单元是被配置为通过安装的电力线从至少一个视频单元接收低带宽事件消息的电力线通信单元。
根据本发明的示例实施例，传感器位于至少一个视频单元处，被配置为感测车辆的距离和运动，至少一个视频单元被配置为准备表示由传感器感测到的车辆位置和运动的低带宽事件消息。中央控制器还被配置为接收低带宽事件消息以在车辆在大街中移动时跟踪车辆。
根据本发明的示例实施例，传感器靠近大街被配置为检测车辆的接近并发送指示接近的车辆的信号。
根据本发明的示例实施例，多个视频摄像机位于至少一个视频单元处，被配置为分析和组合同一事件的多个视图，并且仅将量减少的信息传送给中央控制器，至少一个视频单元被配置为准备表示量减少的信息的低带宽事件消息。
附图说明
图1图示了用于交通监控和事件检测的分布式***的本发明的示例实施例，分布式***包含：多个视频单元，位于待监控的至少一条大街的视距(viewing distance)内；和控制器，被配置为关联从多个视频单元接收的交通监控元数据，并形成至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示。
图2图示了本发明的示例实施例，示出了位于大街处的至少一个视频单元，包含视频摄像机、视频帧处理逻辑、处理器和包含计算机程序代码的存储器。所述至少一个视频单元被配置为使得视频帧处理逻辑处理来自视频摄像机的视频流，同时监控由中央控制器指定的大街处的交通监控事件，以识别与大街有关的交通监控事件，并分析交通监控事件以及编码表征由大街处的至少一个视频单元分析的交通监控事件的分析的交通元数据。所述至少一个视频单元包含通信单元，其被配置为将表征交通监控事件的分析的元数据发送到中央控制器。
图2A图示了至少一个视频单元中的参考背景模型的示例实施例。
图2B图示了至少一个视频单元中的推理引擎逻辑的示例实施例。
图2C图示了本发明的示例实施例，示出了用于将观看车道的摄像机的透视图透视映射到车道的地理地图上的交通监控视频摄像机的调试的初始步骤。该图示出了在与视频摄像机有关的存储器中的待监控的车道的透视图的存储器图像。
图2D图示了图2C中的本发明的示例实施例，示出了调试交通监控视频摄像机的后续步骤。该图示出了与视频摄像机有关的存储器中的待监控的车道的地理地图的存储器图像。该图示出了形成图2C中的车道的摄像机透视图中的所识别的参考地点与对应于参考地点的、图2D中的地理地图的地理坐标之间映射关系。
图2E图示了图2D中的本发明的示例实施例，示出了使用映射关系监控车辆运动的初始步骤。该图示出了与视频摄像机有关的存储器中的沿着待监控的车道移动的车辆的透视图的存储器图像。该图示出了如在摄像机中所见的映射被映射到地理地图上的移动车辆的地理地图坐标上的车辆的图像的运动，。
图2F图示了图2E中的本发明的示例实施例，示出了使用映射关系监控车辆运动的后续步骤。该图示出了与视频摄像机有关的存储器中的、带有移动车辆的地理地图坐标的车道的地理地图的存储器图像。车辆运动的特性，例如其速度，可以从其地图坐标导出。
图2G图示了本发明的示例实施例，示出了调试交通监控视频摄像机的示例过程的流程图。
图3图示了本发明的示例实施例，示出了中央控制器的存储器，其含有地理地图中的街道网格的存储图像以及分布式***的视频单元图标的相对地点。
图3A图示了图3中所示的中央控制器的存储器的示例实施例，示出了在经关联的从多个视频单元接收的交通监控元数据中表示的交通流事件，其覆盖到街道网格的存储图像和视频单元图标上。
图3B图示了图3A中所示的中央控制器的存储器、以及被配置为重放先前存储的地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的记录的回放单元的示例实施例。
图3C图示了中央控制器中的参考背景模型的示例实施例。
图3D图示了中央控制器中的推理引擎逻辑的示例实施例。
图4图示了本发明的示例实施例，示出了交通监控***的操作的示例的***流程图。
具体实施方式
本发明的示例实施例解决了在其中视频数据捕获了动态变化的场景的地点处挖掘嵌入在视频数据中的表示待监控的事件的信息、将挖掘的信息作为低带宽元数据发送到中央控制器、并在服务器上构建可被重放以分析和重新设计地点的被监控事件的表示的问题。
图1图示了用于交通监控和事件检测的分布式***的本发明的示例实施例。该***包含位于待监控的至少一条大街的视距内的多个视频单元102(1)C1、102(2)C2、102(3)C3、102(4)C4、102(5)C5和102(6)C6。所示的大街是南北向车道的第一街道和第二街道，以及东西向车道的A街道、B街道和C街道。该***还包含中央控制器120，其被配置为关联通过通信路径102'从多个视频单元接收的交通监控元数据，并形成至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示。该图显示了在第一街道上的交通流TF(1)、在第二街道上的交通流TF(2)和在B街道上的交通流TF(3)。该图示出了在B街道和第一街道的交叉口处的交通灯L1和L1'以及在B街道和第二街道的交叉口处的交通灯L2和L2'。B街道上的交通流TF(3)由其描绘的较重的线示出为每单位时间内通过的车辆比第一街道上的交通流TF(1)或第二街道上的交通流TF(2)更大。这是将交通量表示为热图的许多方式之一。也可以应用颜色来表示相对于速度限制的交通速度等。
中央控制器120包含处理器122，处理器122包括双中央处理器单元(CPU)或多CPU124/125、随机存取存储器(RAM)126和只读存储器(ROM)128。存储器126和/或128包含计算机程序代码，计算机程序代码包含交通监控软件130(A)。显示设备和图形用户界面可以连接到中央控制器。
中央控制器120包含电力线140、无线电通信146或包含发送/接收(TX/RX)缓冲器142/148和电力线或其他媒介耦合器144或无线电的其他低带宽通信媒介单元140/146。无线电或电力线通信单元140耦合到位于第一街道和第二街道，以及A街道、B街道和C街道的地理区域中的多个视频单元102(1)、102(2)、102(3)、102(4)、102(5)和102(6)。多个视频单元发送交通元数据，交通元数据表征由视频单元分析的交通监控事件的分析、通过无线电或电力线通信路径102'发送，电力线通信路径102'可以是作为低带宽通信链路操作的电力线。低带宽通信路径102'的其他示例包含双绞线，同轴电缆，以太网，诸如WiFi、蓝牙、蜂窝、更长距离的IEEE 802.15.4RF、低功耗蓝牙、来自Sigfox的超窄带通信协议、LTE-M、任何低功率无线区域网(LPWAN)协议、任何M2M通信协议和LoRa低功率广域网的无线电媒介。期望本发明的示例实施例在低带宽通信链路上工作，但是它不限定于低带宽并且能在更高带宽的通信链路上工作。
根据本发明的示例实施例，中央控制器120被配置为存储表示待监控的至少一条大街的至少一个地理地图或图片。中央控制器120被配置为关联从多个视频单元102(1)、102(2)、102(3)、102(4)、102(5)和102(6)接收的交通监控元数据，并且形成至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示，如图3A所示。来自多个视频单元的输入元数据的关联可以通过车辆类型、制造商、颜色、诸如天窗的特征、车辆损坏，车牌号等或任何组合的图像识别来完成。中央控制器120包含回放单元135，被配置为重放先前存储的至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的记录。
图2图示了本发明的示例实施例，示出了位于第一街道和第二街道以及A街道、B街道和C街道的地理区域中的至少一个视频单元102(1)。视频单元102(1)包含视频摄像机210、第二视频摄像机210'和视频帧处理逻辑255，视频帧处理逻辑255包括视频缓冲器250、帧抓取器252、参考背景模型254和推理引擎逻辑258。参考背景模型254是存储在RAM 226中的程序结构体，其是在各种照明、色温、阴影和其他条件下表征和编目分类的对象的检测和表示的经学习的模型。
视频摄像机210和210'包括图像传感器外加3D传感器，包含红色、绿色、蓝色(RGB)传感器外加红外(IR)传感器。
图2A中所示的参考背景模型254包含交通学习模型270，交通学习模型270包含但不限于用于不同光照和天气条件271、照明模型272、阴影模型274和运动模型276的多个参考帧缓冲器。
例如，光照和天气条件的模型271将一天中的当前时间和阴天相比晴天的太阳照射水平作为输入。基于一天中的时间和太阳照射水平，光照和天气模型271随着时间关联照射大街的背景光照水平。光和天气模型271为各种背景光水平分配分数。对于一天中的当前时间和太阳照射水平，光照和天气模型271向推理引擎258提供对应的分数，作为推理引擎在确定发生被监控的可报告事件时使用的因素之一。
视频帧处理逻辑255处理来自摄像机210和210'的视频流，同时监控地理区域，以识别事件。视频单元102(1)还包含运动/距离传感器250，该传感器能够感测诸如在地理区域中移动汽车的对象的运动和距离，并触发摄像机210和/或210'打开。运动/距离传感器250将针对检测到的运动和距离的事件信号输入到推理引擎逻辑258
图2B中所示的推理引擎逻辑258包括推理引擎280，推理引擎280包含但不限于多个分类器。分类器的示例有：1、交通状态分类器282；2、交通违规分类器284；3、违规停车分类286；4、可疑活动分类器288；以及5、碰撞分类器290。推理引擎逻辑258是存储在RAM 226中的程序结构体。推理引擎逻辑258输出识别与地理区域有关的交通监控事件的交通监控元数据。推理引擎逻辑258分析交通监控事件，并编码表征交通监控事件的分析的交通元数据。由推理引擎逻辑258输出的元数据的示例包含以下：
车辆的数量
时间戳
地点(GPS坐标、地址等)
分类(汽车摩托车、公共汽车、卡车、豪华轿车等)
车行道占用
每条车行道的流量
每个对象(汽车、卡车等)的速度
平均速度-收集关于行经车道的车辆的平均速度信息(如果需要，按车辆分类类型分开)。
颜色搜索-执行基于颜色的对人或车辆的搜索，以在事件发生后快速找到可疑对象。
可导出的CSV-导出事件信息，包含车辆速度、监控器和分类数据，以便与合作伙伴共享或吸收到其他工具中。
无离去-检测是否汽车已停车且无人离开车辆。这对检测可疑活动很有用。
行人活动-当行人过于靠近车道或聚集在道路一侧时进行检测。
人行横道安全和监控–当行人在人行道或人行横道上行走时监控行人，确保行人安全、或检测人们在何时乱穿马路等。
人/车辆分类-毫不费力地设置分类以在人与车辆之间检测，然后更精密地在车辆类型之间分类-汽车、卡车、摩托车以及更多。
烟雾/火灾检测-目视检测在监控的大街区域中是否发生火灾。标准烟雾和火灾探测器在户外不能很好地工作，视觉探测器可以立即发出通知。
超速车辆-检测并提供关于超速经过交通场景的车辆的信息。超速驾驶车辆不安全，但很难抓到。
停止的车辆-检测在可疑地点空转的车辆，它们是否已经损坏或是非法停放。
跟踪摘要-事后回顾在人或车辆移动经过场景时他们的跟踪摘要和快照。基于地点、颜色和分类搜索跟踪。
交通热图-生成热图以查看交通信息的概述并提供用于展示的直观演示工具(热图：数据的图形表示，其中矩阵中含有的各个值被表示为颜色)。
转向监控器–监控遵循特定轨道经过车道的车辆。在车辆来自何处以及它们转向哪里之间区分显示器。
车辆分类：与包含速度、监控、空转对象以及更多的其他事件类型结合的卡车、汽车、摩托车。
车辆监控-在车辆行经场景时监控车辆。
错道-检测逆交通流行驶的车辆或人员。
例如，作为人工智能(AI)组件的交通状态分类器282将诸如特定交通和标准的规模的一系列IF-THEN规则应用于数据的知识库。交通学***的测量值小于某个值，则推理引擎逻辑258输出“可接受的交通流”指示作为所识别的事件，其被编码为低带宽事件消息215并由视频单元102(1)发送到控制器120。替代地，如果当前交通流的水平的测量值太大以至于过量，则推理引擎逻辑258输出“过量交通流”指示作为所识别的事件，其被编码为低带宽事件消息并由视频单元102(1)发送到控制器120。交通状态分类器282可以在视频单元102(1)处检测一段时间内的交通流事件并将关于它们的一系列元数据消息发回中央服务器120。
视频单元102(1)被配置为编码表征事件的低带宽消息。视频单元102(1)包含电力线或包含发送/接收(TX/RX)缓冲器242和电力线或其他低带宽媒介耦合器244的其他低带宽媒介通信单元240，被配置为通过电力线或其他低带宽媒介102'向管理控制器120发送低带宽消息。在替代的实施例中，视频单元102(1)包含无线电单元246，其包含发送/接收(TX/RX)缓冲器248、蜂窝电话收发器和WiFi收发器，被配置为通过无线电链路105向管理控制器120发送低带宽消息。
视频单元102(1)包含处理器222，处理器222包括双中央处理器单元(CPU)或多CPU224/225、随机存取存储器(RAM)226和只读存储器(ROM)228。226和/或228包含计算机程序代码，计算机程序代码包含视频单元软件230(A)。期望本发明的示例实施例在低带宽通信链路上工作，但是它不限定于低带宽并且能在更高带宽的通信链路上工作。
视频单元软件230(A)包含如下的示例指令：
1-从服务器接收事件的定义以在视频流和标量传感器数据中进行识别
2-触发生成表征所识别的事件的具有时间戳和地理坐标的元数据
3-关联来自多个摄像机的所识别的事件并生成表示经关联的事件的组合元数据
4-将元数据传送到中央控制器。
所识别的事件低带宽消息缓冲器260可以包含示例元数据消息215，例如：交通流事件、停车灯事件、拥堵事件、行人事件、碰撞事件和紧急事件。
图2C图示了本发明的示例实施例，示出了用于将观看车道的摄像机的透视图透视映射到车道的地理地图上的交通监控视频摄像机C1 102(1)的调试的初始步骤。该图示出了在与视频摄像机C1 102(1)有关的存储器226中的待监控的车道的透视图的存储器图像257。该图示出了在摄像机透视图的存储器图像中通过视频摄像机识别关于车道的参考地点1、2、3和4。这可以通过用户以鼠标或其他图形用户界面(GUI)点击设备指定地点来完成。例如，用户可以选择例如四个匹配的参考点(越多越好)以在摄像机视图和地图之间创建透视变换。例如，在第一街道和A街道的交叉口处选择参考标记或点3。
图2D图示了图2C中的本发明的示例实施例，示出了调试交通监控视频摄像机C1102(1)的后续步骤。该图示出了与视频摄像机有关的存储器中的待监控的车道的地理地图的存储器图像259。该图示出了形成图2C中的车道的摄像机透视图中的所识别的参考地点1、2、3和4与对应于参考地点的、图2D中的地理地图的地理坐标之间的映射关系。例如，给定街道视图，可以自动完成相机视图和地图视图之间的点的自动关联以创建透视变换。在示例实施例中，用户选择参考标记或点3处于图2C中的第一街道和A街道的交叉口处。第一街道和A街道的交叉口的地理地图视图可以在数字地图中与第一街道和A街道的交叉点的地理坐标自动关联，所述关联建立映射关系。
图2E图示了图2D中的本发明的示例实施例，示出了使用映射关系监控车辆运动的初始步骤。该图示出了与视频摄像机C1 102(1)有关的存储器中的沿着待监控的车道移动的车辆的透视图的存储器图像261。该图示出了如在摄像机中所见的在两个连续地点处映射被映射到地理地图上的移动车辆的地理地图坐标上的车辆像素P1和P2的图像的运动。给定透视变换，我们使用所检测的车辆的基础来估计其在道路上的位置。例如，使用摄像机中的像素运动之间的映射来映射坐标以估计车辆速度。
图2F图示了图2E中的本发明的示例实施例，示出了使用映射关系监控车辆运动的后续步骤。该图示出了与视频摄像机C1 102(1)有关的存储器中的、带有移动车辆的地理地图坐标LOC.PIXEL P1和LOC.PIXEL P2的车道的地理地图的存储器图像263。车辆运动的特性，例如其速度，可以从其地图坐标导出。
在本发明的示例实施例中，给定不同视图及它们在地图上的映射，即使视图不重叠，也可以将不同视图拼接在一起。拼接的视图可以用于跟踪车辆、跟踪路径以实现更好的交通管理。
在本发明的示例实施例中，可以使用多个传感器，例如多个摄像机或激光测距仪或任何其他3D绘图仪，以更好地估计车辆、它们的尺寸、运动和倾斜等。这也允许消除飞鸟飞越造成的错误。
图2G图示了本发明的示例实施例，示出了调试交通监控视频摄像机并使用该摄像机监控车辆的示例过程的流程图450。流程图的步骤表示存储在RAM和/或ROM存储器中的计算机代码指令，当其由中央处理单元(CPU)运行时，实施本发明的示例实施例的功能。这些步骤可以以不同于所示的顺序的另一顺序实施，并且各个步骤可以组合或分成组件步骤。流程图具有以下步骤：
步骤452：在与视频摄像机有关的存储器中存储在其中待监控交通的地理区域中的车道的摄像机透视图的存储器图像；
步骤454：在摄像机透视图的存储器图像中识别关于车道的参考地点；
步骤456：在与视频摄像机有关的存储器中存储其中待监控交通的车道的地理地图的存储器图像；
步骤458：形成车道的摄像机透视图中所识别的参考地点与对应于参考地点的地理地图的地理坐标之间的映射关系。
步骤460：在与视频摄像机有关的存储器中存储沿着车道移动的车辆的摄像机透视图的存储器图像；
步骤462：在沿着车道移动的车辆的摄像机透视图的存储器图像中识别至少识别沿着车道的第一和第二位置的车辆的一个或多个像素的地点；以及
步骤464：使用映射关系将摄像机透视图的存储器图像中车辆的一个或多个像素的地点转换为地理地图上的移动车辆的地理坐标，在沿着车道移动时，地理坐标对应于车辆的至少第一和第二位置。
图3图示了本发明的示例实施例，示出了中央控制器120的存储器126，中央控制器120含有在地理地图302中的图1中的街道网格的存储图像，以及分布式***的视频单元102(1)C1、102(2)C2、102(3)C3、102(4)C4、102(5)C5和102(6)C6的图标的相对地点。还示出了表示交通灯L1、L1'、L2和L2'的图标的相对地点。
图3A图示了图3中所示的中央控制器的存储器的示例实施例，示出了第一街道上的交通流事件TF(1)、第二街道上的交通流事件TF(2)以及B街道上的交通流事件TF(3)，如在被覆盖在地理地图302和视频单元图标的街道网格的存储图像上的经关联的从多个视频单元接收的交通监控元数据的覆盖304中表示的。该信息可以显示给用户或作为打印报告输出。附加信息是可用的，天气条件、夜晚或白天或阴天以及通过人工智能(AI)算法计算或推导出的，这些可以在地图上以表格形式表示或者通过单击各种交叉口位置来表示。例如，点击B街道和第一街道的交叉口，弹出窗口可以为你显示该交叉口南北、东西等处车辆在交通灯处的平均等待时间。所呈现的其他信息可以提供每分钟或每小时或每天的高峰车流等。还可以呈现车流和速度趋势。
图3B图示了图3A中所示的中央控制器的存储器、以及被配置为重放先前存储的地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的记录的回放单元的示例实施例。在所示的示例回放中，B街道上的交通流事件TF(3)已经在“假设”分析中被重新配置，以划分B街道和A街道之间的交通流，使得B街道具有较低的交通流TF(3)'并且A街道现在具有交通流TF(4)。通过AI算法计算或导出的新的“假设”信息也可以显示给用户或作为打印报告输出。可以在地图上以表格形式表示或通过单击各种交叉口地点表示附加信息。例如，点击B街道和第一街道的交叉口，前后弹出窗口(before-and-after pop-up)可以向用户显示该交叉口南北、东西等处的车辆在交通灯处的平均等待时间。所呈现的其他前后信息(before-and-after information)可以提供每分钟或每小时或每天的峰值车流等。还可以呈现车流和速度趋势。另外，可以使每个参数是可变的，因此可以改变它并且再次重新运行模拟。变化可以包含访问参考模型270以改变诸如照明或天气条件的事物，或者移除妨碍交通的车辆等。
在本发明的示例实施例中，中央控制器120包含人工智能(AI)组件，以使得能够模拟对环境因素或事件的改变，并且元数据被重放为原始事件的模拟。中央控制器120包含图3C中所示的参考背景模型354和图3D中所示的推理引擎逻辑358。
中央控制器120包含交通学习模型370，交通学习模型370包含但不限于用于模拟不同光照和天气条件、照明模拟模型372、阴影模拟模型374和运动模拟模型376的多个参考帧缓冲器371。
例如，光照和天气条件的模型371将一天中的时间的模拟和阴天相比晴天的太阳照射水平的模拟作为输入。基于一天中的时间的模拟和太阳照射水平的模拟，光照和天气模型371随着时间关联照射大街的背景光水平的模拟。光和天气模型371为各种模拟背景光水平分配分数。对于一天中的时间的模拟和太阳照射水平的模拟，光照和天气模型371向推理引擎358提供对应的分数，作为推理引擎在确定发生被监控的模拟事件时使用的因素之一。
中央控制器120包含图3D中所示的推理引擎逻辑358，推理引擎逻辑358包括推理引擎380，推理引擎380包含但不限于多个分类器。分类器的示例有：1、交通状态分类器382；2、交通违规分类器384；3、违规停车分类386；4、可疑活动分类器388；以及5、碰撞分类器390。推理引擎逻辑358是存储在RAM 126中的程序结构体。推理引擎逻辑358输出识别与地理区域有关的交通监控事件的模拟的交通监控元数据的模拟。推理引擎逻辑358分析交通监控事件的模拟并将模拟结果呈现给用户，例如在耦合到中央控制器120的显示设备上。
用户可以改变影响原始事件的各种因素，以评估模拟事件因此可能如何变化。例如，通过访问中央控制器120中的照明模型372，可以将一天中的时间的模拟从白天改变为夜间。作为另一个示例，通过访问中央控制器120中的交通状态标识符382，可以将交通量的模拟从适度的交通流改变为大交通流。人工智能(AI)组件使能模拟改变交通灯的定时、用环岛(roundabout)替换交通灯、改变交通流、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、将停车标志改变为交通灯、使街道为单行、改变环境天气条件、改变街道交叉口、模拟夜间、模拟白天、或模拟车辆活动。
图4图示了本发明的示例实施例，示出了中央控制器的操作的示例的***流程图400。
流程图400的步骤表示存储在RAM和/或ROM存储器中的计算机代码指令，其在由中央处理单元(CPU)运行时实施本发明的示例实施例的功能。这些步骤可以以不同于所示的顺序的另一顺序实施，并且各个步骤可以组合或分成组件步骤。流程图包括以下步骤：
步骤402：存储表示待监控的至少一条大街的至少一个地理地图；
步骤404：关联从观看至少一条大街的多个视频单元接收的交通监控元数据；
步骤406：形成至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示；
步骤408：存储至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录，多个记录中的每个与在彼此不同的条件下监控的至少一条大街对应；和
步骤410：重放至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个(sub-plurality of)记录。
步骤412：访问人工智能(AI)模型和/或分类器以模拟改变事件条件的影响。
在本发明的示例实施例中，视频单元102(1)中的交通状态分类器282可以检测一段时间内的交通流事件，并将描述它们的一系列元数据消息发回中央控制器120。该元数据可以在中央控制器处作为原始事件的模拟重放，并用来在假设分析中模拟原始事件中的变化。
在本发明的示例实施例中，在中央控制器120处，可以对环境因素或事件进行模拟改变，并且重放元数据作为原始事件的模拟。用户可以改变影响原始事件的各种因素，以模拟所模拟的事件因此可能如何变化。例如，通过访问中央控制器120中的照明模型，可以将一天中的时间的模拟从白天改变为夜间。作为另一个示例，通过访问中央控制器120中的交通状态标识符，可以将交通量的模拟从适度的交通流改变为大交通流。
在本发明的示例实施例中，中央控制器可以包含人工智能(AI)组件，以使能模拟对环境因素或事件的改变，并且元数据被重放为原始事件的模拟。人工智能(AI)组件可以包含参考背景模型和推理引擎逻辑。人工智能(AI)组件使能模拟天气变化、街道交叉口、环岛、夜间、白天、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、改变交通灯的定时、将停车标志改变为交通灯、使街道为单行或车辆活动。人工智能(AI)组件可以使能将直接来自视频单元的元数据与对环境因素或事件的改变的模拟组合以进行假设调查。
在交叉口或监控车道处的事件的重放或者对事件改变的模拟所涉及的处理可以比实时更快地完成。例如，中央控制器以秒为单位处理长为一个月的视频中的活动。
尽管已经公开了本发明的具体示例实施例，但是本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，可以对针对具体示例实施例描述的细节进行改变。
权利要求书(按照条约第19条的修改)
1.一种用于交通监控和事件检测的分布式***，包括：
多个视频单元，位于待监控的至少一条大街的视距内，每个视频单元包含视频摄像机、视频帧处理逻辑、处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述视频帧处理逻辑处理来自至少一个视频摄像机的视频流同时监控在所述至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
中央控制器，包含处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述控制器存储表示待监控的所述至少一条大街的至少一个地理地图、使得所述控制器关联从所述多个视频单元接收的交通监控元数据、以及使得所述控制器形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示。
2.一种用于交通监控和事件检测的分布式***，包括：
多个视频单元，位于待监控的至少一条大街的视距内，每个视频单元包含视频摄像机、视频帧处理逻辑、处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述视频帧处理逻辑处理来自至少一个视频摄像机的视频流同时监控在所述至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
中央控制器，包含处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述控制器存储表示待监控的所述至少一条大街的至少一个地理地图、使得所述控制器关联从所述多个视频单元接收的交通监控元数据、以及使得所述控制器形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示
包含存档存储器的中央控制器，所述存档存储器被配置为存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录；所述多个记录中的每个对应于在彼此不同的事件条件下监控的所述至少一条大街。
3.如权利要求2所述的***，还包括：
包含回放单元的中央控制器，所述回放单元被配置为重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录。
4.如权利要求3所述的***，其中所述彼此不同的事件条件包含改变交通灯的定时、用环岛替换交通灯、改变交通流、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、将停车标志改变为交通灯、使街道为单行、或改变环境天气条件。
5.如权利要求1所述的***，还包括：
在所述至少一个视频单元中的通信单元，被配置为通过通信媒介将低带宽事件消息发送到所述中央控制器，所述通信媒介选自包括以下各项组：双绞线、同轴电缆、以太网、WiFi、蓝牙、蜂窝、IEEE 802.15.4 RF、低功耗蓝牙、来自Sigfox的超窄带通信协议、LTE-M，任何低功率无线区域网(LPWAN)协议、任何M2M通信协议或LoRa低功率广域网；和
所述中央控制器包含被配置为通过通信媒介从所述至少一个视频单元接收低带宽事件消息的通信单元。
6.如权利要求2所述的***，还包括：
在所述至少一个视频单元中的通信单元是被配置为通过安装的电力线将低带宽事件消息发送到所述中央控制器的电力线通信单元；
所述中央控制器包含通信单元，所述通信单元是被配置为通过安装的电力线从所述至少一个视频单元接收低带宽事件消息的电力线通信单元；和
在所述中央控制器中的电力线通信单元还被配置为通过安装的电力线将数据通信发送或接收到需要电力和期望控制的大街中的电动设备。
7.如权利要求2所述的***，还包括：
位于所述至少一个视频单元处的传感器，被配置为感测车辆的距离和运动，所述至少一个视频单元被配置为准备表示由所述传感器感测到的车辆位置和运动的低带宽事件消息。
8.如权利要求2所述的***，还包括：
位于所述至少一个视频单元处的多个视频摄像机，被配置为分析和组合同一事件的多个视图，并且仅将减少量的信息传送给所述中央控制器，所述至少一个视频单元被配置为准备表示所述减少量的信息的低带宽事件消息。
9.如权利要求2所述的***，还包括：
包含人工智能(AI)组件的中央控制器，以使能模拟对环境因素或事件的改变并将所述元数据重放为原始事件的模拟。
10.如权利要求9所述的***，其中，所述人工智能(AI)组件包含参考背景模型和推理引擎逻辑。
11.根据权利要求9所述的***，其中，所述人工智能(AI)组件使能模拟改变交通灯的定时、用环岛替换交通灯、改变交通流、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、将停车标志改变为交通灯、使街道为单行、改变环境天气条件、改变街道交叉口、模拟夜间、模拟白天、或模拟车辆活动。
12.如权利要求9所述的***，其中，将直接来自所述视频单元的元数据与对环境因素或事件的改变的模拟组合以进行假设调查。
13.一种用于交通监控和事件检测的方法，包括：
处理来自至少一个视频摄像机的视频流，同时监控在至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
存储表示待监控的所述至少一条大街的至少一个地理地图，关联从所述多个视频单元接收的交通监控元数据、以及形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示。
14.一种用于交通监控和事件检测的方法，包括：
处理来自至少一个视频摄像机的视频流，同时监控在至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
存储表示待监控的所述至少一条大街的至少一个地理地图，关联从所述多个视频单元接收的交通监控元数据、以及形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示；和
存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录；所述多个记录中的每个对应于在彼此不同的事件条件下监控的所述至少一条大街；和
重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录。
15.一种用于交通监控和事件检测的方法，包括：
存储表示待监控的至少一条大街的至少一个地理地图；
关联从观看至少一条大街的多个视频单元接收的交通监控元数据；
形成所述至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示；
存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录，所述多个记录中的每个对应于在彼此不同的条件下监控的至少一条大街；和
重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录；和
访问人工智能(AI)模型和/或分类器以模拟改变事件条件的影响。
16.如权利要求15所述的方法，其中，在交叉口或监控车道处的事件的重放或者对事件改变的模拟所涉及的处理比通过视频单元实时捕获事件更快。
17.一种用于调试交通监控摄像机的方法，包括：
在与视频摄像机有关的存储器中存储其中待监控交通的地理区域中的车道的摄像机透视图的存储器图像；
在所述摄像机透视图的存储器图像中识别关于车道的参考地点；
在所述与视频摄像机有关的存储器中存储其中待监控交通的车道的地理地图的存储器图像；和
形成所述车道的摄像机透视图中识别的所述参考地点与对应于所述参考地点的地理地图的地理坐标之间的映射关系。
18.如权利要求17所述的方法，还包括：
在与所述视频摄像机有关的存储器中存储沿着所述车道移动的车辆的摄像机透视图的存储器图像；
在沿着所述车道移动的车辆的摄像机透视图的存储器图像中识别车辆的一个或多个像素的地点，至少识别沿着车道的第一和第二位置；和
使用所述映射关系将所述摄像机透视图的存储器图像中车辆的一个或多个像素的地点转换为地理地图上的移动车辆的地理坐标，在沿着车道移动时，所述地理坐标对应于车辆的所述至少第一和第二位置。
19.如权利要求18所述的方法，还包括：
识别与在移动车辆沿着车道移动时的地理坐标有关的交通监控事件；
分析所述交通监控事件；
编码表征所述交通监控事件的分析的低带宽交通元数据；和
向中央控制器发送表征所述交通监控事件的分析的低带宽交通元数据。

Claims (19)

1.一种用于交通监控和事件检测的分布式***，包括：
多个视频单元，位于待监控的至少一条大街的视距内，每个视频单元包含视频摄像机、视频帧处理逻辑、处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述视频帧处理逻辑处理来自至少一个视频摄像机的视频流同时监控在所述至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
中央控制器，包含处理器和包含计算机程序代码的存储器，所述计算机程序代码被配置为使得所述控制器存储表示待监控的所述至少一条大街的至少一个地理地图、使得所述控制器关联从所述多个视频单元接收的交通监控元数据、以及使得所述控制器形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示。
2.如权利要求1所述的***，还包括：
包含存档存储器的中央控制器，所述存档存储器被配置为存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录；所述多个记录中的每个对应于在彼此不同的事件条件下监控的所述至少一条大街。
3.如权利要求2所述的***，还包括：
包含回放单元的中央控制器，所述回放单元被配置为重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录。
4.如权利要求3所述的***，其中所述彼此不同的事件条件包含改变交通灯的定时、用环岛替换交通灯、改变交通流、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、将停车标志改变为交通灯、使街道为单行、或改变环境天气条件。
5.如权利要求1所述的***，还包括：
在所述至少一个视频单元中的通信单元，被配置为通过通信媒介将低带宽事件消息发送到所述中央控制器，所述通信媒介选自包括以下各项组：双绞线、同轴电缆、以太网、WiFi、蓝牙、蜂窝、IEEE 802.15.4 RF、低功耗蓝牙、来自Sigfox的超窄带通信协议、LTE-M，任何低功率无线区域网(LPWAN)协议、任何M2M通信协议或LoRa低功率广域网；和
所述中央控制器包含被配置为通过通信媒介从所述至少一个视频单元接收低带宽事件消息的通信单元。
6.如权利要求1所述的***，还包括：
在所述至少一个视频单元中的通信单元是被配置为通过安装的电力线将低带宽事件消息发送到所述中央控制器的电力线通信单元；
所述中央控制器包含通信单元，所述通信单元是被配置为通过安装的电力线从所述至少一个视频单元接收低带宽事件消息的电力线通信单元；和
在所述中央控制器中的电力线通信单元还被配置为通过安装的电力线将数据通信发送或接收到需要电力和期望控制的大街中的电动设备。
7.如权利要求1所述的***，还包括：
位于所述至少一个视频单元处的传感器，被配置为感测车辆的距离和运动，所述至少一个视频单元被配置为准备表示由所述传感器感测到的车辆位置和运动的低带宽事件消息。
8.如权利要求1所述的***，还包括：
位于所述至少一个视频单元处的多个视频摄像机，被配置为分析和组合同一事件的多个视图，并且仅将减少量的信息传送给所述中央控制器，所述至少一个视频单元被配置为准备表示所述减少量的信息的低带宽事件消息。
9.如权利要求1所述的***，还包括：
包含人工智能(AI)组件的中央控制器，以使能模拟对环境因素或事件的改变并将所述元数据重放为原始事件的模拟。
10.如权利要求9所述的***，其中，所述人工智能(AI)组件包含参考背景模型和推理引擎逻辑。
11.根据权利要求9所述的***，其中，所述人工智能(AI)组件使能模拟改变交通灯的定时、用环岛替换交通灯、改变交通流、改变交通流的方向或大小、拓宽道路、增加另一条道路以分散交通、将停车标志改变为交通灯、使街道为单行、改变环境天气条件、改变街道交叉口、模拟夜间、模拟白天、或模拟车辆活动。
12.如权利要求9所述的***，其中，将直接来自所述视频单元的元数据与对环境因素或事件的改变的模拟组合以进行假设调查。
13.一种用于交通监控和事件检测的方法，包括：
处理来自至少一个视频摄像机的视频流，同时监控在至少一条大街处的预定义类别的事件、识别与所述至少一条大街有关的交通监控事件、分析所述交通监控事件、以及编码表征所述交通监控事件的分析的交通元数据，所述至少一个视频单元包含被配置为向中央控制器发送表征所述交通监控事件的分析的元数据的通信单元；和
存储表示待监控的所述至少一条大街的至少一个地理地图，关联从所述多个视频单元接收的交通监控元数据、以及形成所述至少一个地理地图与经关联的从所述多个视频单元接收的交通监控元数据的表示的合成表示。
14.如权利要求13所述的方法，还包括：
存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录；所述多个记录中的每个对应于在彼此不同的事件条件下监控的所述至少一条大街；和
重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录。
15.一种用于交通监控和事件检测的方法，包括：
存储表示待监控的至少一条大街的至少一个地理地图；
关联从观看至少一条大街的多个视频单元接收的交通监控元数据；
形成所述至少一个地理地图与经关联的从多个视频单元接收的交通监控元数据的表示的合成表示；
存储所述至少一个地理地图与经关联的交通监控元数据的表示的合成表示的多个记录，所述多个记录中的每个对应于在彼此不同的条件下监控的至少一条大街；和
重放所述至少一个地理地图与经关联的在彼此不同的事件条件下监控的交通监控元数据的表示的合成表示的多个记录中的子多个记录；和
访问人工智能(AI)模型和/或分类器以模拟改变事件条件的影响。
16.如权利要求15所述的方法，其中，在交叉口或监控车道处的事件的重放或者对事件改变的模拟所涉及的处理比通过视频单元实时捕获事件更快。
17.一种用于调试交通监控摄像机的方法，包括：
在与视频摄像机有关的存储器中存储其中待监控交通的地理区域中的车道的摄像机透视图的存储器图像；
在所述摄像机透视图的存储器图像中识别关于车道的参考地点；
在所述与视频摄像机有关的存储器中存储其中待监控交通的车道的地理地图的存储器图像；和
形成所述车道的摄像机透视图中识别的所述参考地点与对应于所述参考地点的地理地图的地理坐标之间的映射关系。
18.如权利要求17所述的方法，还包括：
在与所述视频摄像机有关的存储器中存储沿着所述车道移动的车辆的摄像机透视图的存储器图像；
在沿着所述车道移动的车辆的摄像机透视图的存储器图像中识别车辆的一个或多个像素的地点，至少识别沿着车道的第一和第二位置；和
使用所述映射关系将所述摄像机透视图的存储器图像中车辆的一个或多个像素的地点转换为地理地图上的移动车辆的地理坐标，在沿着车道移动时，所述地理坐标对应于车辆的所述至少第一和第二位置。
19.如权利要求18所述的方法，还包括：
识别与在移动车辆沿着车道移动时的地理坐标有关的交通监控事件；
分析所述交通监控事件；
编码表征所述交通监控事件的分析的低带宽交通元数据；和
向中央控制器发送表征所述交通监控事件的分析的低带宽交通元数据。
CN201780074257.3A 2016-10-31 2017-10-30 用于交通监控、事件检测和变化预测的视频数据和gis映射 Pending CN110235188A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/338,633 2016-10-31
US15/338,633 US10223911B2 (en) 2016-10-31 2016-10-31 Video data and GIS mapping for traffic monitoring, event detection and change prediction
PCT/US2017/058938 WO2018081670A1 (en) 2016-10-31 2017-10-30 Video data and gis mapping for traffic monitoring, event detection and change prediction

Publications (1)

Publication Number Publication Date
CN110235188A true CN110235188A (zh) 2019-09-13

Family

ID=62022165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074257.3A Pending CN110235188A (zh) 2016-10-31 2017-10-30 用于交通监控、事件检测和变化预测的视频数据和gis映射

Country Status (3)

Country Link
US (1) US10223911B2 (zh)
CN (1) CN110235188A (zh)
WO (1) WO2018081670A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392714A (zh) * 2021-05-20 2021-09-14 上海可深信息科技有限公司 一种聚众事件检测方法及***
CN114287023A (zh) * 2019-09-25 2022-04-05 华为云计算技术有限公司 用于交通预测的多传感器学习***
WO2023029588A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种应用于gis的动态视频呈现方法及其***
CN117156259A (zh) * 2023-10-30 2023-12-01 海信集团控股股份有限公司 一种视频流获取方法及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953535B1 (en) * 2016-06-27 2018-04-24 Amazon Technologies, Inc. Annotated virtual track to inform autonomous vehicle control
CN107424411B (zh) * 2017-07-24 2021-05-18 京东方科技集团股份有限公司 路灯集成装置、路灯***及通信方法
US10999446B1 (en) * 2017-12-22 2021-05-04 Charles Isgar Community reporting system
US11651593B2 (en) * 2018-08-31 2023-05-16 Verizon Patent And Licensing Inc. Cloud-based road segment vehicle and pedestrian trend analysis
CN110874938A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 交通灯控制***及交通灯控制方法
CN109410573B (zh) * 2018-10-24 2021-03-23 中电科新型智慧城市研究院有限公司 基于道路全息感知的交通服务与管理***
CN109376653B (zh) * 2018-10-24 2022-03-01 百度在线网络技术（北京）有限公司 用于定位车辆的方法、装置、设备和介质
US20200219389A1 (en) * 2019-01-08 2020-07-09 Continental Automotive Systems, Inc. Visualiziing real-time intersection occupancy and calculated analytics in 3d
TWI775123B (zh) * 2020-07-29 2022-08-21 財團法人資訊工業策進會 交通狀況預測系統與交通狀況預測方法
US20220058944A1 (en) * 2020-08-24 2022-02-24 Quantela Inc Computer-based method and system for traffic congestion forecasting

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3685012A (en) 1970-04-16 1972-08-15 Sperry Rand Corp Apparatus for determining data associated with objects
US4847772A (en) 1987-02-17 1989-07-11 Regents Of The University Of Minnesota Vehicle detection through image processing for traffic surveillance and control
US5341435A (en) 1992-03-17 1994-08-23 Corbett Technology Company, Inc. System for detection and recognition of an object by video imaging means
US6466862B1 (en) 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
WO2001033503A1 (en) 1999-11-03 2001-05-10 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US6697104B1 (en) 2000-01-13 2004-02-24 Countwise, Llc Video based system and method for detecting and counting persons traversing an area being monitored
US7123166B1 (en) 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
JP2001243477A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像による交通量解析装置
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US7230703B2 (en) * 2003-07-17 2007-06-12 Tokyo Electron Limited Apparatus and method for measuring overlay by diffraction gratings
WO2006105655A1 (en) 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US8520069B2 (en) 2005-09-16 2013-08-27 Digital Ally, Inc. Vehicle-mounted video system with distributed processing
CN101042802A (zh) 2006-03-23 2007-09-26 安捷伦科技有限公司 交通信息传感器、交通信息检测方法和***
US7541943B2 (en) 2006-05-05 2009-06-02 Eis Electronic Integrated Systems Inc. Traffic sensor incorporating a video camera and method of operating same
US8334906B2 (en) 2006-05-24 2012-12-18 Objectvideo, Inc. Video imagery-based sensor
RU2473968C2 (ru) 2007-04-11 2013-01-27 Рэд.Ком, Инк. Видеокамера
CN101842818A (zh) * 2007-11-01 2010-09-22 伊戈尔·尤瑞维其·马修 交通车辆监控***
WO2009150528A2 (en) 2008-06-13 2009-12-17 Tmt Services And Supplies (Pty) Limited Traffic control system and method
US8339454B1 (en) 2008-09-20 2012-12-25 PureTech Systems Inc. Vision-based car counting for multi-story carparks
KR20100086089A (ko) 2009-01-20 2010-07-30 (주)인펙비전 영상인식 종합 주차관리시스템
JP2011034676A (ja) * 2009-07-29 2011-02-17 Renesas Electronics Corp Ｓｅｍ制御装置、制御方法及びプログラム
US8576069B2 (en) 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
US8358808B2 (en) 2010-01-08 2013-01-22 University Of Washington Video-based vehicle detection and tracking using spatio-temporal maps
WO2011135694A1 (ja) * 2010-04-28 2011-11-03 株式会社 日立製作所 電力変換装置
US9241190B2 (en) 2010-08-24 2016-01-19 Cisco Technology, Inc. Generating a response to video content request including dynamically processed video content
EP2485406B1 (en) 2011-02-07 2017-03-15 Sony Corporation Power line communication apparatus including ac power socket
EP2700032B1 (en) 2011-04-22 2016-03-16 F3M3 Companies, Inc. A comprehensive and intelligent system for managing traffic and emergency services
WO2013151414A1 (en) 2012-04-05 2013-10-10 Universiti Malaya (Um) A method and apparatus of obtaining and processing vehicle data
US9553769B2 (en) 2012-04-06 2017-01-24 Qualcomm Incorporated Devices and methods for communication in ad-hoc networks
US10119831B2 (en) * 2012-06-10 2018-11-06 Apple Inc. Representing traffic along a route
WO2013187748A1 (en) 2012-06-12 2013-12-19 Institute Of Electronics And Computer Science System and method for video-based vehicle detection
US20140046874A1 (en) 2012-08-08 2014-02-13 Palo Alto Research Center Incorporated Real time dynamic vehicle parking price management methods, systems and processor-readable media
US9159228B2 (en) 2012-11-26 2015-10-13 Xerox Corporation System and method for estimation of available parking space through intersection traffic counting
US9087453B2 (en) 2013-03-01 2015-07-21 Palo Alto Research Center Incorporated Computer-implemented system and method for spontaneously identifying and directing users to available parking spaces
US9275545B2 (en) 2013-03-14 2016-03-01 John Felix Hart, JR. System and method for monitoring vehicle traffic and controlling traffic signals
US9122930B2 (en) 2013-07-15 2015-09-01 Digitalglobe Inc. Automated remote car counting
US20160300489A1 (en) 2013-11-15 2016-10-13 Surespot Inc. Parking assignment system
KR20170036744A (ko) 2014-09-25 2017-04-03 인텔 아이피 코포레이션 디바이스-대-디바이스(d2d) 발견 메시지의 확률적 송신을 위한 장치, 시스템 및 방법
US9621417B2 (en) 2014-09-30 2017-04-11 Ruckus Wireless, Inc. Avoiding electronic-device identification errors
EP3213288B8 (en) 2014-10-30 2019-11-06 Verizon Patent and Licensing Inc. Parking and traffic analysis

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114287023A (zh) * 2019-09-25 2022-04-05 华为云计算技术有限公司 用于交通预测的多传感器学习***
CN114287023B (zh) * 2019-09-25 2023-12-15 华为云计算技术有限公司 用于交通预测的多传感器学习***
CN113392714A (zh) * 2021-05-20 2021-09-14 上海可深信息科技有限公司 一种聚众事件检测方法及***
WO2023029588A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种应用于gis的动态视频呈现方法及其***
CN117156259A (zh) * 2023-10-30 2023-12-01 海信集团控股股份有限公司 一种视频流获取方法及电子设备
CN117156259B (zh) * 2023-10-30 2024-03-22 海信集团控股股份有限公司 一种视频流获取方法及电子设备

Also Published As

Publication number Publication date
US10223911B2 (en) 2019-03-05
WO2018081670A1 (en) 2018-05-03
WO2018081670A4 (en) 2018-06-21
US20180122231A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN110235188A (zh) 用于交通监控、事件检测和变化预测的视频数据和gis映射
US11443555B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
CN108961790B (zh) 基于四维实景交通仿真的恶劣天气预警管理***及方法
Collins et al. Algorithms for cooperative multisensor surveillance
CN108922188B (zh) 雷达跟踪定位的四维实景交通路况感知预警监控管理***
CN109064755B (zh) 基于四维实景交通仿真路况感知管理***的路径识别方法
Pavlidis et al. Urban surveillance systems: from the laboratory to the commercial world
Gohari et al. Involvement of surveillance drones in smart cities: A systematic review
Valera et al. Intelligent distributed surveillance systems: a review
CN103069434B (zh) 用于多模式视频事件索引的方法和***
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍***
CN112166438A (zh) 确定性标记数据生成和人工智能训练途径
CN109640032A (zh) 基于人工智能多要素全景监控检测五维预警***
CN106056517A (zh) 一种智慧城市管理***
US20050073585A1 (en) Tracking systems and methods
CN107360394B (zh) 应用于边防视频监控***的多预置点动态智能监测方法
CN104813339A (zh) 用于检测视频中的对象的方法、设备和***
CA2451660A1 (en) Method for monitoring a moving object and system regarding same
CN114489122B (zh) 一种基于uav及配套机场的高速公路自动巡检方法及***
CN106682592A (zh) 一种基于神经网络方法的图像自动识别***及方法
CN103096032A (zh) 一种全景监控***及方法
GB2562018A (en) A method and system for analyzing the movement of bodies in a traffic system
CN114419231B (zh) 基于点云数据和ai技术的交通设施矢量识别提取分析***
Hossain et al. A UAV-based traffic monitoring system for smart cities
CN115661965B (zh) 一种融合自动机场的公路无人机智能巡检***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190913

WD01 Invention patent application deemed withdrawn after publication