CN114120642A - 一种道路车流三维重建方法、计算机设备及存储介质 - Google Patents

一种道路车流三维重建方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN114120642A
CN114120642A CN202111393942.7A CN202111393942A CN114120642A CN 114120642 A CN114120642 A CN 114120642A CN 202111393942 A CN202111393942 A CN 202111393942A CN 114120642 A CN114120642 A CN 114120642A
Authority
CN
China
Prior art keywords
vehicle
road
dimensional
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111393942.7A
Other languages
English (en)
Other versions
CN114120642B (zh
Inventor
黄建军
吴耀炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111393942.7A priority Critical patent/CN114120642B/zh
Publication of CN114120642A publication Critical patent/CN114120642A/zh
Application granted granted Critical
Publication of CN114120642B publication Critical patent/CN114120642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/169—Special adaptations of TCP, UDP or IP for interworking of IP based networks with other networks 

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于智能交通技术领域，具体涉及一种道路车流三维重建方法、计算机设备及存储介质。该方法包括：服务器获取毫米波雷达与摄像头的数据；利用神经网络估计车辆在道路上的实际位置和车辆型号信息；服务器将所有车辆在道路上的实际位置和车辆型号信息编码成JSON字符串格式的数据，将编码后的数据推送给多个客户端；客户端建立车辆模型数据库，客户端根据解码出来的数据匹配所述车辆对应的三维模型；客户端重建道路上车流的三维场景并进行展示。本发明降低了服务端与客户端之间的数据传输量，使客户端根据所接收的文本数据就能重建道路的车流三维模型，并且车流信息能够共享给多个客户端，有利于智能交通的发展。

Description

一种道路车流三维重建方法、计算机设备及存储介质
技术领域
本发明属于智能交通技术领域，具体涉及一种道路车流三维重建方法、计算机设备及存储介质。
背景技术
随着城市化进程的推进,交通拥堵问题日益突出。交通信息是道路状况的直观反映,及时掌握交通信息对合理的配置交通资源、缓解拥堵具有重要意义,同时也为智能交通的发展提供数据支撑。在目前的交通监测场景中，主要是通过利用摄像头对行驶在道路上的车辆进行实时检测,获取车辆车牌号码和判断车辆是否违规，利用雷达对车辆进行测速。
由于目前的监测***只能够将检测到的车牌号码、车速和车辆型号以文本的方式展示，不能将道路的实际车流进行建模，并且监测站以视频流的方式与其他终端共享道路图像会占用巨大的通信带宽，造成不必要的传输开销。究其原因在于：
1、没有利用车辆在道路上的实际位置信息。
目前的监测站大都只是利用车辆的型号、车牌和车速信息，缺乏对车辆实际位置信息的利用，本申请利用神经网络估计车辆在道路上的实际位置信息和车辆型号，将车辆的实际位置信息和车辆型号用于道路场景的三维重建。
2、缺乏三维重建***。
因为缺乏一个能够重建道路车流状况的***，目前道路监测站主要是以视频流的方式共享给其他用户终端，视频流的传输会带来巨大的通信开销。本申请通过在服务端将所监测到的车辆信息编码成为文本格式，在使用较小通信资源的情况下共享给其他终端，然后在终端建立三维重建的***。终端解码服务端所发送的数据并利用三维重建***重新还原出道路车流的实际状况。
发明内容
为了对目前交通检测***中由于利用视频流的方式共享道路车流图像造成的巨大通信开销的问题，本发明提供了一种道路车流信息的传输和三维重建的方法、计算机设备及存储介质。
本发明采用以下技术方案实现：
一种道路车流三维重建方法，包括以下步骤：
服务器获取毫米波雷达与摄像头的数据；
利用神经网络估计车辆在道路上的实际位置和车辆型号信息；
服务器将所有车辆在道路上的实际位置和车辆型号信息编码成JSON字符串格式的数据，通过网络传输协议将编码后的数据推送给多个客户端；
客户端建立车辆模型数据库，并负责解码所接收的JSON格式的数据包，获取车辆型号和实际位置信息，并建立虚拟道路模型；
客户端根据输出解码所获得的车辆型号在车辆三维模型数据库内匹配所述车辆对应的三维模型，根据车辆的实际位置信息，将车辆三维模型映射到虚拟道路模型上，重新建立道路上车流的实际状况，并全方位地进行展示。
作为本发明的进一步方案，所述获取毫米波雷达与摄像头的数据的方法为在道路监测站测速龙门架上安装毫米波雷达、摄像头传感器，并分别通过摄像头传感器、毫米波雷达测量获得毫米波雷达数据和摄像头图像数据。
进一步的，所述利用神经网络估计车辆在道路上的实际位置和车辆型号信息的方法为：
利用目标检测神经网络生成图像数据中辆车的三维包围框和估计车辆的型号；
将车辆三维包围框投影到二维图像平面，形成目标的二维包围框；
利用所形成的二维包围框对每辆车的毫米波雷达点云图进行筛选，将包含了车辆姿态信息的三维包围框信息与所筛选出来的毫米波雷达点云信息一同输入到第二卷积神经网络，估计出车辆在现实世界中的实际位置。
进一步的，所述摄像头图像数据采用第一卷积神经网络估计车辆的三维包围框信息和车辆型号信息。
进一步的，估计车辆在道路上的实际位置和车辆型号信息的方法还包括：将摄像头传感器、毫米波雷达与数据处理服务器连接，在服务器上部署基于神经网络的车辆信息检测器，检测车辆的实际位置与车辆型号信息。
作为本发明的进一步方案，将检测器的输出编码为JSON格式的字符串，通过网络传输协议WebSocket发送数据到客户端。
作为本发明的进一步方案，所述服务端将检测出的车辆位置信息和车辆型号信息编码成JSON字符串的形式，并利用WebSocket传输协议向客户端传输数据，所述车辆位置信息和车辆型号信息共享给多个客户端，以使道路车辆的三维显示图像在多个客户端的终端进行显示。
作为本发明的进一步方案，本发明的道路车流三维重建方法，还包括客户端根据解码出来的数据，统计货车、卡车和轿车的数量并展示；客户端利用WebGL，重建道路上车流的三维场景并进行展示，展示内容包括车辆的模型、车辆的位置信息和车辆型号。
作为本发明的进一步方案，所述客户端还用于整合三维图像显示功能、车辆数目显示功能和客户端与服务端连接状态的显示功能，形成一个车流实时展示终端。
作为本发明的进一步方案，所述车辆三维重建展示的方法，包括：
服务端对车辆的位置信息和型号信息进行字符串编码；
服务端利用网络传输协议将编码后的车辆位置信息与型号信息发送给用户终端；
用户终端接收并解码信息，获取车辆的实际位置和型号信息；
用户终端建立车辆三维模型数据库，与车辆的型号进行匹配；
用户终端建立道路模型，根据车辆的实际位置信息将车辆三维模型映射到道路模型，统计各类车辆的数目并进行显示。
本发明还包括一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的道路车流三维重建方法。
本发明还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述的道路车流三维重建方法。
本发明提供的技术方案，具有如下有益效果：
1、本发明能够减少道路车流监控视频传输所占用的通信开销。
本发明将道路上的车流信息编码为字符串的形式，利用网络传输协议发送给用户终端，减少了以视频流共享道路交通图像所占用的通信资源。
2、本发明能够在用户终端重新还原道路上的车流状态，对道路上的车流进行重新建模，能够直观地显示道路的车流状况，有利于智能交通技术的发展。
3、本发明能够将道路车流状况共享给多个用户终端，包括智能车辆、道路监测站和执法部门用户终端，实现道路车流信息的共享。
本发明利用第一点大大降低以往视频流共享方式所占用的带宽，并且能够根据车辆型号和车辆实际位置信息利用车辆三维模型库在用户终端对车流状况进行重新建模，车辆的信息能够供多个终端使用。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对示例性实施例或相关技术描述中所需要使用的附图作一简单地介绍，附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一种道路车流三维重建方法的流程图。
图2为本发明一个实施例中道路车流三维重建方法的样例中车辆采集数据处理的流程示意图。
图3为本发明一个实施例中道路车流三维重建方法中估计车辆在道路上的实际位置信息和车辆型号的流程图。
图4为本发明一个实施例中道路车流三维重建方法中第一卷积神经网络架构示意图。
图5为图4中本发明一个实施例中道路车流三维重建方法中第一卷积神经网络架构的各个模块的组成示意图。
图6为本发明一个实施例中道路车流三维重建方法中第二卷积神经网络结构示意图。
图7为本发明一个实施例中服务端数据处理并与客户端进行数据通信的示意图。
图8为本发明一个实施例中客户端根据服务端的信息进行道路车流三维重建的示意图。
图9为本发明一个实施例中一个客户端利用本发明的道路车流三维重建方法实现的车流实时展示终端的示意图。
图10为图9本发明一个实施例中车流实时展示终端的另一视角示意图。
图11为图9本发明一个实施例中车流实时展示终端的另一视角示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面将结合本发明示例性实施例中的附图，对本发明示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种道路车流三维重建方法，在服务端利用神经网络从摄像头与毫米波雷达的数据中估计车辆的实际位置和车辆型号信息，并将信息编码为字符串，利用网络传输协议传输给多个客户端，客户端建立车辆三维模型库，解码服务端发送的数据获得车辆的实际位置和型号信息，在车辆模型库匹配车辆模型，并建立道路模型，将车辆模型映射到道路模型上进行显示。解决目前由于多个客户端之间共享道路车流视频图像所造成的巨大通信开销的问题。并且，本发明使得道路上的车流能够被客户端利用所接收的信息重新建立三维模型，有利于智能交通技术的发展，解决目前的道路检测***的检测信息展示不够直观的问题。
下面结合具体实施例对本发明的技术方案作进一步的说明：
参阅图1所示，图1为本发明提供的一种道路车流三维重建方法的流程图。
本发明的一个实施例提供了一种道路车流三维重建方法，为了解决目前交通检测***多客户端共享视频流造成的巨大通信开销的问题，该方法包括以下步骤：
S1、在道路测速龙门架上安装毫米波雷达、摄像头传感器，并分别将摄像头传感器、毫米波雷达与数据处理服务器连接，在服务器上部署基于神经网络的车辆信息检测器，检测车辆的实际位置与车辆型号信息。
在本实施例中，服务器获取毫米波雷达与摄像头的数据。其中，数据采集所采用的设备为安装在道路龙门架上的毫米波雷达与摄像头。在车辆途经该设备安装路段时，由毫米波雷达采集车辆的雷达点云数据，由摄像头采集车辆的摄像头图像数据。服务端部署神经网络检测器，用于从毫米波雷达与摄像头数据中估计车辆在现实世界的实际位置信息和车辆型号。
在道路监测站测速龙门架上安装毫米波雷达、摄像头传感器，并分别通过摄像头传感器、毫米波雷达测量获得毫米波雷达数据和摄像头图像数据。
其中，采集后的毫米波雷达数据通过千兆以太网接口进行数据传输，采集后的摄像头图像数据通过通用串行总线(Universal Serial Bus)进行数据传输。
需要特别说明的是，参见图2所示，本实施例中是用于处理毫米波雷达点云数据和摄像头图像数据，从数据中运用神经网络算法估计出车辆在道路上的实际位置信息和车辆的型号。具体的处理方法为采用第一卷积神经网络和第二卷积神经网络以进行数据处理。
所述摄像头图像数据采用第一卷积神经网络估计车辆的三维包围框信息和车辆型号信息。
所述毫米波雷达数据采用第二卷积神经网络结合车辆的三维包围框信息估计出车辆三维中心在道路上的具***置信息。参见图3所示，估计车辆在道路上的实际位置信息的方法包括：
S11、第一卷积神经网络估计车辆的三维包围框信息和车辆型号信息；
S12、利用三维包围框在图像中的位置对点云图进行筛选；
S13、将筛选之后的毫米波雷达点云图与车辆的三维包围框信息输入到第二卷积神经网络；
S14、第二卷积神经网络估计车辆的实际位置信息。
在本实施例中，估计车辆在道路上的实际位置信息的方法具体为：根据获取的毫米波雷达数据产生毫米波雷达数据点云图；利用第一卷积神经网络从图像数据产生车辆的三维包围框，将车辆三维包围框投影到二维图像平面，形成二维包围框，利用车辆二维包围框对毫米波雷达点云进行筛选，筛选出同一车辆的雷达点云；将筛选出的雷达点云与车辆的三维包围框信息输入到第二卷积神经网络，估计出车辆三维中心在道路上的具***置信息。将检测器的输出编码为JSON格式的字符串，通过网络传输协议WebSocket发送数据到客户端。
在本实施例中，第一卷积神经网络结合了深层聚合特征提取网络架构，第一卷积神经网络的总体结构如图4所示。
图4中各个模块的组成如图5所示，包含已知的神经网络模块：
Conv:卷积层；
BN:批标准化/规范化(Batch Normalization)；
Relu:线性整流函数(Rectified Linear Unit)；
Concat:张量拼接；
Pooling:池化；
Full connection：全连接层；
Flatten：全连接层；
Sigmoid:S型的神经网络的激活函数。
在本实施例中，第二卷积神经网络的结构如图6所示。
S2、将检测器的输出编码为JSON格式的字符串，通过网络传输协议WebSocket发送数据到客户端。
本实施例中，服务端神经网络所估计的车辆实际位置与车辆型号信息被编码为JSON格式的字符串，然后通过WebSocket网络协议将车辆位置信息和型号信息发送给多个客户端,参见图7所示。
在本实施例中，WebSocket基于TCP协议，能够给客户端与服务端提供可靠的连接。
S3、建立多个客户端，客户端接收服务端发送的数据并解码，得到所有车辆的型号和位置信息。
在本实施例中，基于WebSocket传输协议，服务端的数据可以同时与多个客户端共享所检测到的车辆数据，每个客户端都可以得到车辆的位置与型号信息。其中，服务器将所有车辆在道路上的实际位置和车辆型号信息编码成JSON字符串格式的数据，通过网络传输协议将编码后的数据推送给多个客户端。
S4、在客户端建立车辆类型的三维模型数据库，根据得到的车辆型号和位置信息，将模型在相应的位置上显示出来。
在本实施例中，客户端建立车辆三维模型数据库，参见图8所示，客户端在接收到JSON字符串信息之后，解码数据包获得车辆的型号和位置信息，在三维模型数据库中寻找合适的车辆模型，并且在虚拟的三维空间建立道路模型，根据车辆的实际位置信息将车辆的模型映射到道路模型上进行显示，重新建立道路上车流的实际状况，并全方位地进行展示。
本发明实施例中使用了高精度的车辆三维模型以达到更好的可视化效果，用户可以自定义各种类型的车辆模型样式，并且根据客户端硬件性能，用户可以更改模型的精细程度，使得显示的帧率达到理想水平。
其中车辆模型的加载利用了WebGL技术，使得客户端只需要访问特定的网页就可以观看车辆三维重建的场景。
其中，客户端根据解码出来的数据，统计货车、卡车和轿车的数量并展示；客户端利用WebGL，重建道路上车流的三维场景并进行展示，展示内容包括车辆的模型、车辆的位置信息和车辆型号。
S5、客户端整合车辆数量统计功能、服务器连接状态显示功能和三维场景显示功能，形成一个完整的车流实时展示终端，参见图9所示。
在本实施例中，车辆计数功能可以显示不同类型车辆的数量，在本发明的实施例中，能够显示轿车的数量、卡车的数量和货车的数量。
本发明实施例中三维场景的展示是360度的全方位展示，用户在客户端可以用过拖拽鼠标完成视角的切换，参见图10、图11所示。
需要特别说明的是，在车辆三维可视化展示时，根据处理后的输出数据，能够将车辆的具***置、行驶速度、车辆型号和车牌等信息进行展示，其中，根据输出的车辆型号信息在一个汽车三维模型库里筛选出正确的模型。在本实施例中，模型可以分为轿车模型、摩托车模型、货车模型、卡车模型、客车模型。筛选出的模型会结合输出的位置信息，利用WebGL进行三维可视化。
在本发明的其他实施例中，在道路车流三维重建展示时，WebGL可以使用OpenGL进行代替，但是效果一样。
本发明提供了一种道路车流三维重建方法，能够降低客户端之间直接共享道路车流视频信息带来的巨大通信开销。利用神经网络从摄像头与毫米波雷达的数据估计车辆的实际位置和车辆型号，以文本的方式在服务端存储下来，并被编码为JSON格式的字符串，通过WebSocket发送给多个客户端，客户端对信息进行解码，根据车辆型号信息从所建立的车辆三维模型库中匹配车辆模型，利用车辆的实际位置信息将车辆模型映射到虚拟道路模型上进行展示。本发明使道路上的车流能够在不共享视频流的情况下被客户端三维重建，降低了信号传输的开销，有利于交通信息的共享和交互，有利于智能交通技术的发展。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本发明的一个实施例中，在本发明的实施例中还提供了一种计算机设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的道路车流三维重建方法，该处理器执行指令时实现上述方法。
在本发明的一个实施例中，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述的道路车流三维重建方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机指令表征的计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
非易失性存储器可包括只读存储器、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器或动态随机存取存储器等。
综上所述，本发明提供的道路车流三维重建方法、计算机设备及存储介质，可以用于目前已知的应用领域有道路车流的检测与重建展示，以及现在的智能交通、自动驾驶、道路管控、交通规划领域。
本发明相对于现在的技术而言，优点有两点。第一点是能够在降低车流监测站与用户端之间由于共享道路车辆视频流所造成的巨大通信开销。目前的车流监测站与客户端之间普遍采用直接共享视频数据流的方式来共享道路监测数据，客户端数量的增多会带来巨大的通信开销。本发明利用神经网络对摄像头与毫米波雷达的数据估计车辆的实际位置和车辆型号，并将车辆的实际位置和车辆型号编码为字符串格式的数据，利用网络传输协议WebSocket可靠地传输给客户端，减少了服务端与客户端之间传输数据所带来的通信开销。第二点是道路上的车流能够在客户端被三维重建并展示，这有利于智能交通的发展。目前的道路检测***的检测信息只能以文本的方式进行一个二维的展示，所展示的不够直观。本发明利用第一点所估计的车辆的位置信息，整合车辆的型号，借助车辆三维模型库进行模型的筛选，根据车辆的实际位置将车辆模型映射到道路模型，可以直观地展示道路车辆状况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路车流三维重建方法，其特征在于，包括：
服务器获取毫米波雷达与摄像头的数据；
利用神经网络估计车辆在道路上的实际位置和车辆型号信息；
服务器将所有车辆在道路上的实际位置和车辆型号信息编码成JSON字符串格式的数据，通过网络传输协议将编码后的数据推送给多个客户端；
客户端建立车辆模型数据库，并负责解码所接收的JSON格式的数据包，获取车辆型号和实际位置信息，并建立虚拟道路模型；
客户端根据输出解码所获得的车辆型号在车辆三维模型数据库内匹配所述车辆对应的三维模型，根据车辆的实际位置信息，将车辆三维模型映射到虚拟道路模型上，重新建立道路上车流的实际状况，并全方位地进行展示。
2.如权利要求1所述的道路车流三维重建方法，其特征在于，所述获取毫米波雷达与摄像头的数据的方法为在道路监测站测速龙门架上安装毫米波雷达、摄像头传感器，并分别通过摄像头传感器、毫米波雷达测量获得毫米波雷达数据和摄像头图像数据。
3.如权利要求2所述的道路车流三维重建方法，其特征在于，所述利用神经网络估计车辆在道路上的实际位置和车辆型号信息的方法为：
利用目标检测神经网络生成图像数据中辆车的三维包围框和估计车辆的型号；
将车辆三维包围框投影到二维图像平面，形成目标的二维包围框；
利用所形成的二维包围框对每辆车的毫米波雷达点云图进行筛选，将包含了车辆姿态信息的三维包围框信息与所筛选出来的毫米波雷达点云信息结合估计车辆在现实世界中的实际位置。
4.如权利要求2所述的道路车流三维重建方法，其特征在于，估计车辆在道路上的实际位置和车辆型号信息的方法还包括：将摄像头传感器、毫米波雷达与数据处理服务器连接，在服务器上部署基于神经网络的车辆信息检测器，检测车辆的实际位置与车辆型号信息。
5.如权利要求4所述的道路车流三维重建方法，其特征在于，将检测器的输出编码为JSON格式的字符串，通过网络传输协议WebSocket发送数据到客户端。
6.如权利要求1所述的道路车流三维重建方法，其特征在于，所述服务端将检测出的车辆位置信息和车辆型号信息编码成JSON字符串的形式，并利用WebSocket传输协议向客户端传输数据，所述车辆位置信息和车辆型号信息共享给多个客户端，以使道路车辆的三维显示图像在多个客户端的终端进行显示。
7.如权利要求1所述的道路车流三维重建方法，其特征在于，还包括客户端根据解码出来的数据，统计货车、卡车和轿车的数量并展示；客户端利用3D绘图协议WebGL(WebGraphics Library)，重建道路上车流的三维场景并进行展示，展示内容包括车辆的模型、车辆的位置信息和车辆型号。
8.如权利要求7所述的道路车流三维重建方法，其特征在于，所述客户端还用于整合三维图像显示功能、车辆数目显示功能和客户端与服务端连接状态的显示功能，形成一个车流实时展示终端。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8任一所述的道路车流三维重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-8任一所述的道路车流三维重建方法。
CN202111393942.7A 2021-11-23 2021-11-23 一种道路车流三维重建方法、计算机设备及存储介质 Active CN114120642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111393942.7A CN114120642B (zh) 2021-11-23 2021-11-23 一种道路车流三维重建方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111393942.7A CN114120642B (zh) 2021-11-23 2021-11-23 一种道路车流三维重建方法、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114120642A true CN114120642A (zh) 2022-03-01
CN114120642B CN114120642B (zh) 2022-12-06

Family

ID=80440078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111393942.7A Active CN114120642B (zh) 2021-11-23 2021-11-23 一种道路车流三维重建方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114120642B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492758A (zh) * 2024-01-03 2024-02-02 安徽中科星驰自动驾驶技术有限公司 一种基于WebGL的自动驾驶可视化方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981495A (ja) * 1995-07-11 1997-03-28 Sony Corp ３次元仮想現実空間共有方法、３次元仮想現実空間共有システム、情報記録媒体、情報記録方法、情報伝送媒体、情報伝送方法、情報処理方法、並びに共有サーバ端末
US20040139080A1 (en) * 2002-12-31 2004-07-15 Hauke Schmidt Hierarchical system and method for on-demand loading of data in a navigation system
CN102364523A (zh) * 2011-05-11 2012-02-29 武汉理工大学 基于ria架构的三维虚拟城市***实现方法
CN102929969A (zh) * 2012-10-15 2013-02-13 北京师范大学 一种基于互联网的移动端三维城市模型实时搜索与合成技术
US20130132466A1 (en) * 2011-11-22 2013-05-23 Trimble Navigation Limited 3d modeling system distributed between a client device web browser and a server
US20130293582A1 (en) * 2012-05-07 2013-11-07 Victor Ng-Thow-Hing Method to generate virtual display surfaces from video imagery of road based scenery
US20140125649A1 (en) * 2000-08-22 2014-05-08 Bruce Carlin Network repository of digitalized 3D object models, and networked generation of photorealistic images based upon these models
CN104573326A (zh) * 2014-12-16 2015-04-29 北京中交兴路车联网科技有限公司 一种车辆行驶数据统计分析***
CN105679079A (zh) * 2016-02-26 2016-06-15 同济大学 一种面向车路网协同的车载机***
CN106840178A (zh) * 2017-01-24 2017-06-13 中南大学 一种基于ArcGIS的地图创建与智能车辆自主导航方法及***
CN107959687A (zh) * 2017-12-13 2018-04-24 上海曼恒数字技术股份有限公司 一种数据处理方法、***、设备及存储介质
US20180157455A1 (en) * 2016-09-09 2018-06-07 The Boeing Company Synchronized Side-by-Side Display of Live Video and Corresponding Virtual Environment Images
CN109164764A (zh) * 2018-07-27 2019-01-08 中国兵器装备集团自动化研究所 车间全粒度三维可视化监控***及构建方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
US10636209B1 (en) * 2019-09-13 2020-04-28 Bongfish GmbH Reality-based three-dimensional infrastructure reconstruction
CN111934840A (zh) * 2020-06-29 2020-11-13 北京百度网讯科技有限公司 客户端和服务端的通信方法、网关、电子设备及存储介质
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、***、存储介质和电子设备
CN112669614A (zh) * 2020-11-27 2021-04-16 图达通智能科技(苏州)有限公司 一种实时道路路况信息采集与发布的装置和方法
CN113033412A (zh) * 2021-03-26 2021-06-25 平安国际智慧城市科技股份有限公司 基于实景融合的交通态势监控方法、装置、设备及介质
US20210223062A1 (en) * 2020-06-05 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating offline map, electronic device and storage medium
CN113192182A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的实景重建方法及***
CN113240939A (zh) * 2021-03-31 2021-08-10 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质
CN113421330A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 车路协同的道路三维场景构建方法、装置、设备及介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981495A (ja) * 1995-07-11 1997-03-28 Sony Corp ３次元仮想現実空間共有方法、３次元仮想現実空間共有システム、情報記録媒体、情報記録方法、情報伝送媒体、情報伝送方法、情報処理方法、並びに共有サーバ端末
US20140125649A1 (en) * 2000-08-22 2014-05-08 Bruce Carlin Network repository of digitalized 3D object models, and networked generation of photorealistic images based upon these models
US20040139080A1 (en) * 2002-12-31 2004-07-15 Hauke Schmidt Hierarchical system and method for on-demand loading of data in a navigation system
CN102364523A (zh) * 2011-05-11 2012-02-29 武汉理工大学 基于ria架构的三维虚拟城市***实现方法
US20130132466A1 (en) * 2011-11-22 2013-05-23 Trimble Navigation Limited 3d modeling system distributed between a client device web browser and a server
US20130293582A1 (en) * 2012-05-07 2013-11-07 Victor Ng-Thow-Hing Method to generate virtual display surfaces from video imagery of road based scenery
CN102929969A (zh) * 2012-10-15 2013-02-13 北京师范大学 一种基于互联网的移动端三维城市模型实时搜索与合成技术
CN104573326A (zh) * 2014-12-16 2015-04-29 北京中交兴路车联网科技有限公司 一种车辆行驶数据统计分析***
CN105679079A (zh) * 2016-02-26 2016-06-15 同济大学 一种面向车路网协同的车载机***
US20180157455A1 (en) * 2016-09-09 2018-06-07 The Boeing Company Synchronized Side-by-Side Display of Live Video and Corresponding Virtual Environment Images
CN106840178A (zh) * 2017-01-24 2017-06-13 中南大学 一种基于ArcGIS的地图创建与智能车辆自主导航方法及***
CN107959687A (zh) * 2017-12-13 2018-04-24 上海曼恒数字技术股份有限公司 一种数据处理方法、***、设备及存储介质
CN109164764A (zh) * 2018-07-27 2019-01-08 中国兵器装备集团自动化研究所 车间全粒度三维可视化监控***及构建方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
US10636209B1 (en) * 2019-09-13 2020-04-28 Bongfish GmbH Reality-based three-dimensional infrastructure reconstruction
US20210223062A1 (en) * 2020-06-05 2021-07-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating offline map, electronic device and storage medium
CN111934840A (zh) * 2020-06-29 2020-11-13 北京百度网讯科技有限公司 客户端和服务端的通信方法、网关、电子设备及存储介质
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、***、存储介质和电子设备
CN112669614A (zh) * 2020-11-27 2021-04-16 图达通智能科技(苏州)有限公司 一种实时道路路况信息采集与发布的装置和方法
CN113033412A (zh) * 2021-03-26 2021-06-25 平安国际智慧城市科技股份有限公司 基于实景融合的交通态势监控方法、装置、设备及介质
CN113240939A (zh) * 2021-03-31 2021-08-10 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质
CN113192182A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的实景重建方法及***
CN113421330A (zh) * 2021-06-21 2021-09-21 车路通科技(成都)有限公司 车路协同的道路三维场景构建方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张耀威等: "基于图像与点云的三维障碍物检测", 《计算机工程与设计》 *
陈刚等: "车载移动执法中违规车辆智能检测研究", 《电子科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117492758A (zh) * 2024-01-03 2024-02-02 安徽中科星驰自动驾驶技术有限公司 一种基于WebGL的自动驾驶可视化方法

Also Published As

Publication number Publication date
CN114120642B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
US10567771B2 (en) System and method for compressing video data
CN111179345B (zh) 基于车载机器视觉的前方车辆越线违章行为自动检测方法及***
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、***及设备
US20180300549A1 (en) Road detecting method and apparatus
CN108230437A (zh) 场景重建方法和装置、电子设备、程序和介质
CN115187742B (zh) 自动驾驶仿真测试场景生成方法、***及相关装置
CN113032249B (zh) 交通流量监测***的测试方法、装置及设备
CN114120642B (zh) 一种道路车流三维重建方法、计算机设备及存储介质
WO2022062860A1 (zh) 一种点云媒体的数据处理方法、装置、设备及存储介质
CN110175533A (zh) 高架桥交通状况实时监测方法、装置、终端及存储介质
US11748664B1 (en) Systems for creating training data for determining vehicle following distance
CN116680601A (zh) 边缘交通对象预测方法、装置、设备和存储介质
CN114332809A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN112598668A (zh) 基于三维图像的缺陷识别方法、装置及电子设备
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN114663566A (zh) 一种三维模型的加载渲染处理方法和***
CN112859109A (zh) 无人机全景图像处理方法、装置及电子设备
CN114359857A (zh) 上报信息的处理方法、装置和***
CN112857254B (zh) 基于无人机数据的参数测量方法、装置及电子设备
Ahmed et al. A Joint Perception Scheme For Connected Vehicles
CN117011787B (zh) 应用于加油站的信息处理方法、装置和电子设备
CN112215033B (zh) 车辆全景环视图像的生成方法、装置、***及存储介质
CN114612544A (zh) 图像处理方法、装置、设备和存储介质
CN112948459A (zh) 铁路基础设施巡检装置、方法及***
Mekala et al. Object-aware Multi-criteria Decision-Making Approach using the Heuristic data-driven Theory for Intelligent Transportation Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant