CN112379362B - 一种基于多源数据融合的事件自适应采集设备及方法 - Google Patents
一种基于多源数据融合的事件自适应采集设备及方法 Download PDFInfo
- Publication number
- CN112379362B CN112379362B CN202011150344.2A CN202011150344A CN112379362B CN 112379362 B CN112379362 B CN 112379362B CN 202011150344 A CN202011150344 A CN 202011150344A CN 112379362 B CN112379362 B CN 112379362B
- Authority
- CN
- China
- Prior art keywords
- video
- radar
- information
- sensor
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims 1
- 238000002790 cross-validation Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000414697 Tegra Species 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明是一种基于多源数据融合的事件自适应采集设备及方法，设备的GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和云台控制单元，视频流处理单元从视频传感器接收视频信号，通过算法处理得到视频目标信息；雷达信号处理单元从雷达传感器接收雷达信号，通过算法处理得到雷达目标信息；数据融合单元接收视频目标信息和雷达目标信息后进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和控制输出信息；云台控制单元根据控制输出信息调整云台角度，实现事件对焦。应用本发明设备与方法，可以解决视频检测受环境影响大，雷达检测可视化效果不佳的问题，使检测数据更全面，检测准确度更高。
Description
技术领域
本发明属于智能交通数据采集和处理领域，具体涉及一种基于多源数据融合的事件自适应采集设备及方法。
背景技术
随着社会的进步和科学技术的发展，交通流量采集和交通违法事件取证等智能交通数据采集监控***在各种城市交叉口、路段应用越来越广泛，它可以收集路口车流量信息，帮助生产路口放行方案，对危险驾驶行为进行抓拍取证，针对实时交通情况做出合理决策，实现安全、可靠和高效的道路交通车流控制。在应用中节约了人力，规范了驾驶行为，给各种场所更深度和广度的应用提供了便捷性。
传统的智能交通数据监控通常采用视频传感器、地磁传感器、毫米波雷达及激光雷达等检测设备，对交通违法事件进行监控时多依赖视频自动识别或手动控制。单一的传感器技术进行环境测定，都表现出了一定的局限性：
雷达传感器主要表现在：（1）无法可视化展示，（2）对物体的角度分辨率较差，（3）无法对目标类型进行识别；
视频传感器主要表现在：（1）受光照、环境如雾、雨、雪天气等影响较大，（2）无法准确获取目标的距离、速度信息；
另外，在数据分析处理器方面，传统的DSP由于运行速率的限制，无法直接处理产生的超高速数据流，FPGA处理器相同算力下功耗较大，成本较高，而GPU在多源数据处理中的应用给上述问题带来了经济、有效的解决方案。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种新的基于多源数据融合的事件自适应采集设备，该设备可以提高智能交通数据采集和处理***对路口环境下交通流、交通事件的识别率，克服单一使用雷达传感器和单一使用视频传感器的缺点，使智能交通控制***能够更可靠的规划路口放行方案，能针对实时交通情况做出合理决策，实现安全、可靠及高效的驾驶。
本发明所要解决的另一个技术问题是提供一咱基于多源数据融合的事件自适应采集方法。
为了达到上述目的，本发明首先提供了一种基于多源数据融合的事件自适应采集设备，所述装置包括GPU处理器，GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和控制输出单元，其中：
所述视频流处理单元从视频传感器接收视频信号，并通过算法处理信号，得到视频目标信息传输给所述数据融合单元；
所述雷达信号处理单元从毫米波雷达传感器接收雷达信号，并通过算法处理信号，得到雷达目标信息传输给所述数据融合单元；
所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和云台调整信息；
所述控制输出单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，与所述的角度传感器输入的信息对比确认调整到位后，对交通事件进行对焦取证。
进一步优选的技术方案是，所述设备还包括视频传感器、雷达传感器和角度传感器，所述视频传感器传输视频流媒体信息输入到所述视频流处理单元，所述雷达传感器传输毫米波雷达回波信号到所述雷达信号处理单元，所述角度传感器传输云台的水平角度信息和俯仰角信息到数据融合单元。
进一步优选的技术方案是，所述的GPU处理器还包括下列单元：Tegra X1处理器、通用可编程输入输出口GPIO、嵌入式内存LPDDR4、闪存eMMC、MIPI CSI-2摄像头接口、10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口、USB 2.0接口、UART接口、SPI接口、I2S接口、I2C接口、布线等，上述单元的连接关系同常规GPU处理器中这些单元的连接关系。
进一步优选的技术方案是，所述视频流处理单元采用基于人工智能的深度学习算法进行高精度的推理运算，对视频传感器的视频流输入进行图像检测、识别和语义分割，得到的视频目标信息传输给所述的数据融合单元。
进一步优选的技术方案是，所述的视频流处理单元和雷达信号处理单元是GPU处理器的嵌入式可编程单元。
进一步优选的技术方案是，所述的数据融合单元是GPU处理器的嵌入式可编程单元。
进一步优选的技术方案是，所述的输出单元和控制单元是GPU处理器的嵌入式可编程单元。
进一步优选的技术方案是，所述的雷达传感器是毫米波雷达传感器。
本发明还提供一种基于多源数据融合的事件自适应采集方法，所述方法包括以下步骤：
（1）通过所述的视频流处理单元从所述的视频传感器接收视频数据，并通过YOLOV3算法对数据进行提取、分离、推断和判断，并将得到的视频目标信息传输给所述数据融合单元；
（2）通过所述的雷达信号处理单元从所述的雷达传感器接收毫米波雷达信号，并通过数据重采样、滤波、压缩、参数估计等算法进行信号处理，并将得到雷达目标信息传输给所述数据融合单元；
（3）利用所述的数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出交通特征信息和云台控制信息。
（4）利用所述的云台控制信息驱动所述的控制输出单元，使得所述的视频传感器对准需要关注的交通事件，并对交通行为进行录像、摄像取证，之后存储。
基于多源数据融合的事件自适应采集方法进一步优选的技术方案是：对于步骤（1），还包括利用所述视频流处理单元通过YOLO V3算法对视频传感器输入的基础图像特征进行提取，所述YOLO V3算法提取流程包括：读取图像、比较算法处理图像和原始图像、视频传感器标定、输出目标坐标、画框、匹配、图像输出、目标辨识和目标像素坐标输出。
基于多源数据融合的事件自适应采集方法进一步优选的技术方案是：所述视频流信息包括目标编号、目标类型、目标像素坐标、排队长度和车辆特征等。所述雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。所述云台控制信息包括水平角度、俯仰角度等。
与现有技术相比，本发明具有以下有益效果：
本发明设备中的GPU处理器是专用集成电路中对视频流处理性能最强、设计周期最短及开发费用最低的器件之一，采用GPU处理器是小批量***提高***集成度、可靠性的最佳选择之一，而且由于它功能强大、应用灵活，在视频处理，自动控制邻域中得到更多青睐，用它作为主处理器，对于多源传感器信息的融合、校验和控制获得了非常明显的益处：
使用了单一的GPU处理器，统一在底层完成数据校验、融合和控制，简化了***结构；
基于GPU处理器技术，实时完成视频信号和雷达信号的预处理，并获取视频信息和雷达信息，之后在同一处理器中实现两种信息的融合和校验，提高了***的处理带宽，增加了***的输出速率；
应用GPU处理器的数据融合单元，对雷达信息和视频信息很好的进行了信息融合和校验，使输出的控制信息更全面、准确。
本发明实现了更高效、准确、可靠的实现交通流量采集、交通违法事件取证功能，用GPU处理器接收、处理多源数据信息，并进行了校验、融合和交叉验证，然后驱动云台实现交通事件现场的自动对焦和自动取证，克服了单一雷达或视频传感技术的缺点，减少了人工工作量，能够更可靠的识别交通流量数据、排队长度、速度及违章类型等信息，提高交通控制***运行的安全性和实时性。
附图说明：
图1为一种基于多源数据融合的事件自适应采集设备的***构成框图；
图2 为一种基于多源数据融合的事件自适应采集设备的***结构示意图；
图3为视频输入信息特征提取流程图；
图4为雷达输入信息特征提取流程图；
图5为视频输入信息和雷达输入信息数据融合输出流程图。
具体实施方式：
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例1，一种基于多源数据融合的事件自适应采集设备：
参照图1和2，包括GPU处理器，GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和控制输出单元，其中：
所述视频流处理单元从视频传感器接收视频信号，并通过算法处理信号，得到视频目标信息传输给所述数据融合单元；所述雷达信号处理单元从毫米波雷达传感器接收雷达信号，并通过算法处理信号，得到雷达目标信息传输给所述数据融合单元；所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和云台调整信息；所述控制输出单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，并对交通事件进行对焦取证。
所述的GPU处理器还包括下列单元：Tegra X1处理器、通用可编程输入输出口GPIO、嵌入式内存RAM、闪存eMMC、MIPI CSI-2摄像头接口、10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口、USB 2.0接口、UART接口、SPI接口、I2S接口、I2C接口、布线等，上述单元的连接关系同常规GPU处理器中这些单元的连接关系。
所述MIPI CSI-2摄像头接口、USB 3.0接口和USB 2.0接口可作为视频流信息输入口；通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为雷达信号输入口；通用可编程输入输出口GPIO、10/100/1000BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为角度信号输入口；10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口和USB 2.0接口可作为视频流媒体输出口；通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为控制信息输出口。所述的接口是GPU处理器与外界电路的接口部分，完成不同电气特性下对输入/输出信号的驱动与匹配要求，GPU处理器内的接口按组分类，每组都能够独立地支持不同的接口标准。通过配置，可适配不同的电气标准与输入/输出物理特性。
所述视频流处理单元和雷达信号处理单元为GPU处理器的嵌入式可编程单元，是实现用户功能的基本单元，所述视频流处理单元还包括基于YOLO V3算法的特征提取单元。
所述的Tegra X1内核是GPU处理器的工作核心，GPU处理器的通过读入闪存eMMC中的程序在Tegra X1内核中运行实现需要的工作逻辑和输入输出。
布线连通GPU处理器内部的所有单元，而连线的长度和工艺决定着信号在连线上的驱动能力和传输速度。
所述视频传感器，也即摄像头，是一种视频采集设备，主要包括了镜头、CCD(Charged Coupled Device)图像传感器、预中放、AGC(Automatic Gain Control)、A/D(Analog/Digital)转换电路、同步信号发生器、CCD驱动器、DSP主控芯片、D/A(Digital/Analog)转换电路和电源的电路等。
本实施例中，利用视频流输入单元通过MIPI CSI-2摄像头接口、USB 3.0接口或USB 2.0接口接收来自视频传感器的视频信号输入，将视频信号载入YOLO V3算法，完成特征数据的提取，再与原始图像进行比较，实现目标坐标标记、画框、匹配，最终完成图像输出、目标辨识和目标像素坐标输出。
完成视频流信息处理的视频流信息包括目标编号、目标类型、目标像素坐标、排队长度和车辆特征等，然后把视频流数据信息传输到所述的数据融合单元。
所述雷达传感器的种类可选性比较多，有电磁波雷达、激光雷达、超宽带雷达等，各有优缺点和适合的应用场所，在智能交通数据采集和控制***中用的比较多的是毫米波雷达，激光雷达也有应用。
毫米波雷达相比波长更长的米波雷达、厘米波雷达，波长更小，精度更高。而相对于波长更短的微米波雷达来说，在天线口径相同的情况下，毫米波雷达具有天线波束窄、分辨率高、频带宽、抗干扰能力强等优点。
本实施例选用了毫米波雷达传感器，毫米波雷达传感器通过自身的天线、发射单元、接收单元、模数转换器进行雷达回波信号的采集，通过GPU处理器的通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口或I2C接口输入到所述雷达信号处理单元。
所述雷达信号处理单元接收来自雷达传感器的雷达回波信号，并进行信号处理，该信号处理包括数据采样、滤波、压缩、参数估计得到雷达数据信息，传输给所述数据融合单元，雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。
所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证提取车辆大小、颜色、坐标、车速等信息后将交通流量信息和视频流数据通过10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口或USB 2.0接口编码输出，同时将云台调整信息通过通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口或I2C接口输出。
所述输出单元从所述的数据融合单元接收交通流量信息和视频流数据信息，输出上述信息给交通管理控制设备以备使用。
所述控制单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，并对交通事件进行对焦取证。
实施例2，一种基于多源数据融合的事件自适应采集设备，
参照图1、附图2，设备包括GPU处理器4，雷达传感器1，视频传感器2和角度传感器3。
雷达传感器包括雷达模组11、信号预处理单元12。
GPU处理器4通过Tegra X1内核46进行算法处理，其中，将接收视频传感器信号的输入端口定义为视频输入口41，将接收雷达传感器信号的输入端口设置为雷达信号输入口42，将接收角度传感器信号的输入端口设置为角度信号输入口43，对Tegra X1内核算法流程进行配置，分成将视频输入处理成视频目标信息的视频处理单元44、将雷达信号输入处理成雷达目标信息的雷达信号处理单元45、实现相应功能的数据融合单元47、将控制信息提取为交通特征信息的输出单元48和将云台控制信息输出的控制单元4a，为实现数据输出和控制质量输出，配置相应的输出端口为输出口49和输出口4b。
设备还包括嵌入式内存LPDDR4 4c和闪存eMMC 4d。
实施例3，应用实施例2所述设备进行多源数据融合的方法：
所述视频输入口42接收所述视频传感器2输入的标准视频信号，输入到所述视频识别单元44，所述视频识别单元44将视频信号载入YOLO V3算法，完成特征数据的提取，再与原始图像进行比较，实现目标坐标标记、画框、匹配，最终完成图像输出、目标辨识和目标像素坐标输出，然后将视频目标信息传输给所述数据融合单元47，视频目标信息为目标编号、目标类型、目标像素坐标、排队长度和车辆特征等。视频输入图像特征提取流程图见图3。
所述雷达信号输入口41接收所述雷达传感器1传输的雷达目标信号，输入到所述雷达信号处理单元45，所述雷达信号处理单元45对雷达信号进行信号处理，该信号处理包括数据采样、滤波、压缩、参数估计得到雷达数据信息，然后将雷达目标信息传输给所述数据融合单元47，雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。雷达输入信息特征提取流程图见图4。
所述数据融合单元47接收所述的视频目标信息和雷达目标信息，并对信息进行比对、校验，完成融合和交叉验证，从而提高整体***的精度、效率和数据可视化输出。之后通过输出口49输出交通特征信息，输出口4b输出云台控制信息。
采用本实施例的多源交通数据监控方法及设备，在实际应用中，克服了单一传感器的缺点，对视频数据和雷达数据进行了校验、融合和交叉验证，对现场环境、交通流特征和交通事件的判断更及时、准确、全面，给智能交通数据采集和处理提供了更好的条件。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.一种基于多源数据融合的事件自适应采集设备，所述事件自适应采集设备包括GPU处理器，其特征在于，所述设备还包括视频传感器、雷达传感器和角度传感器；GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和控制输出单元，其中：所述视频流处理单元从视频传感器接收视频信号，并通过算法处理信号，得到视频目标信息传输给所述数据融合单元；
所述雷达信号处理单元从毫米波雷达传感器接收雷达信号，并通过算法处理信号，得到雷达目标信息传输给所述数据融合单元；
所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和云台调整信息；
所述控制输出单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，与所述的角度传感器输入的信息对比确认调整到位后，通过所述的视频传感器对交通事件进行对焦取证；
所述视频传感器传输视频流媒体信息输入到所述视频流处理单元，所述雷达传感器传输毫米波雷达回波信号到所述雷达信号处理单元，所述角度传感器传输云台的水平角度信息和俯仰角度信息到数据融合单元；
所述视频流处理单元采用基于人工智能的深度学习进行高精度的推理运算，对视频传感器的视频流输入进行图像检测、识别和语义分割，得到的视频目标信息传输给所述的数据融合单元；
所述的视频流处理单元和雷达信号处理单元是GPU处理器的嵌入式可编程单元；所述的数据融合单元是GPU处理器的嵌入式可编程单元；所述的雷达传感器是毫米波雷达传感器；
采用前述事件自适应采集设备进行事件自适应采集方法的步骤如下：
（1）通过所述的视频流处理单元从所述的视频传感器接收视频数据，并通过YOLO V3算法对数据进行提取、分离、推断和判断，并将得到的视频目标信息传输给所述数据融合单元；利用所述视频流处理单元通过YOLO V3算法对视频传感器输入的基础图像特征进行提取，所述YOLO V3算法提取流程包括：读取图像、比较算法处理图像和原始图像、视频传感器标定、输出目标坐标、画框、匹配、图像输出、目标辨识和目标像素坐标输出；视频流信息包括目标编号、目标类型、目标像素坐标、排队长度和车辆特征；所述雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征；所述云台控制信息包括水平角度和俯仰角度；
（2）通过所述的雷达信号处理单元从所述的雷达传感器接收毫米波雷达信号，并通过数据重采样、滤波、压缩、参数估计算法进行信号处理，并将得到雷达目标信息传输给所述数据融合单元；
（3）利用所述的数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出交通特征信息和云台控制信息；所述云台控制信息包括水平角度和俯仰角度；
（4）利用所述的云台控制信息驱动所述的控制输出单元，使得所述的视频传感器对准需要关注的交通事件，并对交通行为进行录像、摄像取证，之后存储。
2.根据权利要求1所述的设备，其特征在于，所述的GPU处理器还包括下列单元：TegraX1 处理器、通用可编程输入输出口GPIO、嵌入式内存RAM、闪存eMMC、MIPI CSI-2摄像头接口、10/100/1000 BASE-T 以太网接口、HDMI 2 .0 接口、PCIE接口、USB 3 .0接口、USB2 .0接口、UART接口、SPI接口、I2S接口、I2C接口和布线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011150344.2A CN112379362B (zh) | 2020-10-23 | 2020-10-23 | 一种基于多源数据融合的事件自适应采集设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011150344.2A CN112379362B (zh) | 2020-10-23 | 2020-10-23 | 一种基于多源数据融合的事件自适应采集设备及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112379362A CN112379362A (zh) | 2021-02-19 |
| CN112379362B true CN112379362B (zh) | 2024-06-04 |
Family
ID=74575939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011150344.2A Active CN112379362B (zh) | 2020-10-23 | 2020-10-23 | 一种基于多源数据融合的事件自适应采集设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112379362B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095540B (zh) * | 2023-10-18 | 2024-01-23 | 四川数字交通科技股份有限公司 | 道路二次事故的预警方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109581345A (zh) * | 2018-11-28 | 2019-04-05 | 深圳大学 | 基于毫米波雷达的目标检测与跟踪方法及*** |
| CN109615870A (zh) * | 2018-12-29 | 2019-04-12 | 南京慧尔视智能科技有限公司 | 一种基于毫米波雷达和视频的交通检测*** |
| CN109799493A (zh) * | 2017-11-17 | 2019-05-24 | 北京木牛领航科技有限公司 | 雷达和视频融合***及方法 |
| CN109948523A (zh) * | 2019-03-18 | 2019-06-28 | 中国汽车工程研究院股份有限公司 | 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| KR20200106810A (ko) * | 2019-11-07 | 2020-09-15 | 사단법인 꿈드래장애인협회 | 데이터 융합을 통한 돌발상황 감시 제어 시스템 |
-
2020
- 2020-10-23 CN CN202011150344.2A patent/CN112379362B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109799493A (zh) * | 2017-11-17 | 2019-05-24 | 北京木牛领航科技有限公司 | 雷达和视频融合***及方法 |
| CN109581345A (zh) * | 2018-11-28 | 2019-04-05 | 深圳大学 | 基于毫米波雷达的目标检测与跟踪方法及*** |
| CN109615870A (zh) * | 2018-12-29 | 2019-04-12 | 南京慧尔视智能科技有限公司 | 一种基于毫米波雷达和视频的交通检测*** |
| CN109948523A (zh) * | 2019-03-18 | 2019-06-28 | 中国汽车工程研究院股份有限公司 | 一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| KR20200106810A (ko) * | 2019-11-07 | 2020-09-15 | 사단법인 꿈드래장애인협회 | 데이터 융합을 통한 돌발상황 감시 제어 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112379362A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108109385B (zh) | 一种输电线防外破的车辆识别与危险行为判别***与方法 | |
| WO2020199538A1 (zh) | 基于图像监控数据的桥梁关键构件病害预警***及方法 | |
| CN100507970C (zh) | 基于数字摄像机的闯红灯检测***及方法 | |
| CN110046584B (zh) | 一种基于无人机巡检的道路裂纹检测装置及检测方法 | |
| CN111340151B (zh) | 一种用于辅助车辆自动驾驶的天气现象识别***和方法 | |
| CN110991466A (zh) | 一种基于新型视觉传感设备的高速公路路面状况检测*** | |
| CN105306796A (zh) | 具有定期红外照明和全局快门cmos传感器的夜视设备 | |
| CN106846837A (zh) | 一种交通灯智能控制***、交通灯智能控制方法及装置 | |
| CN115331190B (zh) | 一种基于雷视融合的道路隐患识别方法及装置 | |
| CN110334625A (zh) | 一种面向自动泊车的停车位视觉识别***及其识别方法 | |
| CN103321129A (zh) | 基于3g网络的红外热像的远程路面施工诊断***及方法 | |
| CN112379362B (zh) | 一种基于多源数据融合的事件自适应采集设备及方法 | |
| CN102306274A (zh) | 一种停车位状态识别装置及方法 | |
| CN109326125B (zh) | 基于嵌入式***的图片质量诊断***及诊断方法 | |
| CN101320048A (zh) | 扇形排列的多电荷耦合器件图像传感器大视场车辆测速装置 | |
| CN115393684A (zh) | 一种基于自动驾驶场景多模态融合的抗干扰目标检测方法 | |
| CN107147877A (zh) | 固定区域夜雾天况全天候彩***成像***及其构建方法 | |
| CN114415695A (zh) | 一种基于视觉技术和巡检机器人的茶园巡检*** | |
| CN113343849A (zh) | 一种基于雷达和视频的融合感知设备 | |
| CN108184096B (zh) | 一种机场跑滑区全景监控装置、***及方法 | |
| CN108663368A (zh) | 一种实时监测高速公路路网夜间整体能见度的***及方法 | |
| CN110827317B (zh) | 一种基于fpga的四目运动目标检测与识别设备及方法 | |
| CN112926415A (zh) | 一种行人避让***和行人监测方法 | |
| CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 | |
| CN102779412A (zh) | 集成式一体化视频交通信息检测方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |