CN115297276B - 一种视野自适应切换的远程驾驶图像处理***和方法 - Google Patents

一种视野自适应切换的远程驾驶图像处理***和方法 Download PDF

Info

Publication number
CN115297276B
CN115297276B CN202211228188.6A CN202211228188A CN115297276B CN 115297276 B CN115297276 B CN 115297276B CN 202211228188 A CN202211228188 A CN 202211228188A CN 115297276 B CN115297276 B CN 115297276B
Authority
CN
China
Prior art keywords
video
module
vehicle
remote
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211228188.6A
Other languages
English (en)
Other versions
CN115297276A (zh
Inventor
张驰
张利
董士琦
邝勇
严君
陈文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Yuexiang Technology Co Ltd
Original Assignee
Dongfeng Yuexiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Yuexiang Technology Co Ltd filed Critical Dongfeng Yuexiang Technology Co Ltd
Priority to CN202211228188.6A priority Critical patent/CN115297276B/zh
Publication of CN115297276A publication Critical patent/CN115297276A/zh
Application granted granted Critical
Publication of CN115297276B publication Critical patent/CN115297276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种视野自适应切换的远程驾驶图像处理***和方法，该***包括环境视频采集模块、视频处理模块、远程通信模块和远程显示模块；环境视频采集模块，用于采集车辆的近距环境视频和远距环境视频；视频处理模块用于对近距和远距环境视频进行视频数据处理，得到视频流信息；远程通信模块用于采集车辆状态信息，并将车辆状态信息和视频流信息发送给远程显示模块；远程显示模块用于根据车辆状态信息和视频流信息，在远程驾驶端显示近距或远距前视视频。本发明能够增加车辆前视环境的识别距离，根据车辆所处的不同工况选择合适的视野在远程驾驶端进行驾驶环境信息的展示，保证了远程驾驶员作业时车辆行车安全。

Description

一种视野自适应切换的远程驾驶图像处理***和方法
技术领域
本发明涉及无人驾驶技术领域，具体涉及一种视野自适应切换的远程驾驶图像处理***和方法。
背景技术
目前，通过基于4G或5G移动通信技术的远程驾驶***远程驾驶车辆，已成为行业内研究热点，且拥有一定的应用领域。目前在园区场景下，远程驾驶***已得了一定应用，如园区远程驾驶清扫车、园区远程驾驶巡逻车、园区远程驾驶快递车，港口远程驾驶集卡等。
现有技术中，远程驾驶***的技术方案为：车辆上采用360度环视摄像头布置方案，四路或六路鱼眼摄像头采集车外环境视频，通过4G或5G无线通信网络传输给后台（远程驾驶舱）驾驶员，远程驾驶员根据车外视频来做出驾驶判断（加速、减速、转向）远程驾驶车辆。环视摄像头布置方案虽然具有无盲区、360度覆盖等优点，但因布置的位置较低、俯角较大、焦距较短等，所采集最后成像的视频，即使在去畸变的情况下，图像中远程驾驶员能清晰识别物体的有效距离为5m左右，存在着“识别距离短”技术缺陷，该技术缺陷在前视视野中表示的尤其突出，会带来远程驾驶行车安全问题。目前平行驾驶主要应用园区场景，运行车速限制在15km/h范围内，处于低速工况。由于驾驶的安全问题，在车速大于15km/h的应用场景会存在推广的局限性。
因此，如何解决平行驾驶***的视频图像成像视野较短以及如何实现车辆在不同工况下远程驾驶端的视野自适应切换问题，对平行驾驶***的应用和推广具有重大的意义。
发明内容
有鉴于此，有必要提供一种视野自适应切换的远程驾驶图像处理***和方法，用以解决现有的平行驾驶***中，视频图像成像视野较短且无法在车辆处于不同工况下进行视野自适应切换的问题。
为了解决上述问题，本发明提供一种视野自适应切换的远程驾驶图像处理***，包括：环境视频采集模块、视频处理模块、远程通信模块和远程显示模块；
所述环境视频采集模块，用于采集车辆的近距环境视频和远距环境视频，并将所述近距和远距环境视频发送给所述视频处理模块；
所述视频处理模块，用于接收所述近距和远距环境视频，对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息，并将所述视频流信息传输给所述远程通信模块；
所述远程通信模块，用于采集车辆状态信息以及接收所述视频流信息，并将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；
所述远程显示模块，用于接收所述车辆状态信息和所述视频流信息，根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频。
进一步的，所述环境视频采集模块包括多个环视摄像头和远距摄像头；多个所述环视摄像头环绕车身设置，所述远距摄像头设置在车辆的前侧；
所述环视摄像头，用于采集车辆四周的近距环境视频；
所述远距摄像头，用于采集车辆前侧的远距环境视频。
进一步的，所述视频处理模块包括图像信号处理模块、编码模块和网络传输模块；
所述图像信号处理模块，用于接收所述近距环境视频和远距环境视频，对所述近距环境视频进行图像拼接、对所述远距环境视频进行去畸变处理，得到优化后的视频数据；
所述编码模块，用于对所述优化后的视频数据进行压缩编码，得到视频流信息，并将所述视频流信息发送给所述网络传输模块；
所述网络传输模块，用于将所述视频流信息传输给所述远程通信模块。
进一步的，所述视频处理模块还包括车道识别模块；
所述车道识别模块用于根据所述远距环境视频进行车道线识别，得到车道识别结果，将所述车道识别结果发送给所述网络传输模块；
所述网络传输模块还用于，将所述车道识别结果发送给所述远程通信模块。
进一步的，所述远程通信模块包括状态采集模块和无线通信模块；
所述状态采集模块，用于采集车辆状态信息；
所述无线通信模块，用于将所述车辆状态信息和所述视频流信息发送给所述远程显示模块。
进一步的，所述远程显示模块包括解码模块、分析模块和显示屏；
所述解码模块，用于对所述视频流信息进行解码，得到近距前视视频和远距前视视频；
所述分析模块，用于根据所述车辆状态信息，确定车辆的运行工况，判断所述运行工况是否触发了视频显示预设切换条件；当没有触发显示切换条件时，将所述近距前视视频发送给所述显示屏；反之，将所述远距前视视频发送给所述显示屏；
所述显示屏，用于在远程驾驶端对所述分析模块发送的视频数据进行显示。
进一步的，所述车辆状态信息至少包括车辆速度信息和车辆制动力信息；所述视频显示预设切换条件包括第一预设切换条件和第二预设切换条件。
进一步的，所述分析模块包括车速分析模块；
所述车速分析模块，用于根据车辆速度信息和预设的速度阈值，判断所述车辆运行工况是否触发了第一预设切换条件。
进一步的，所述分析模块还包括制动力分析模块；
所述制动力分析模块，用于根据车辆制动力信息和预设的制动力阈值，判断所述车辆运行工况是否触发了第二预设切换条件。
本发明还提供一种视野自适应切换的远程驾驶图像处理方法，采用上述技术方案任一所述的视野自适应切换的远程驾驶图像处理***，包括：
通过环境视频采集模块采集车辆的近距环境视频和远距环境视频；
通过视频处理模块对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息；
通过远程通信模块采集车辆状态信息，将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；
通过远程显示模块根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频。
与现有技术相比，本发明的有益效果包括：首先，利用环境视频采集模块采集车辆的近距环境视频和远距环境视频，并通过视频处理模块对视频数据进行处理，得到视频流信息；其次，通过远程通信模块采集车辆状态信息，并将视频流信息和车辆状态信息发送给远程显示模块；最后，通过远程显示模块在远程驾驶端切换合适的显示视野，对环境信息进行显示。本发明通过环境视频采集模块对车辆的近距和远距视频信息均进行采集，能够增加车辆前视环境的识别距离，克服识别距离短的技术缺陷；通过对视频数据进行处理得到视频流信息，能够快速地对视频数据进行传输，在现有的常规网络条件下也能满足远程驾驶端的低时延需求；通过远程通信模块获取车辆状态信息并对数据进行无线传输，远程显示模块根据不同的车辆工况选择合适的视野在远程驾驶端进行驾驶环境信息的展示，保证了远程驾驶员作业时车辆行车安全，有利于平行驾驶技术的应用和推广。
附图说明
图1为本发明提供的一种视野自适应切换的远程驾驶图像处理***一实施例的结构示意图；
图2为本发明提供的环境视频采集模块在车身设置方式一实施例的示意图；
图3为本发明提供的视频处理模块一实施例的结构示意图；
图4为本发明提供的远程显示模块一实施例的结构示意图；
图5为本发明提供的远程驾驶端视频显示界面一实施例的示意图；
图6为本发明提供的一种视野自适应切换的远程驾驶图像处理方法一实施例的流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在实施例描述之前，对相关术语进行释义：
T-BOX：TelematicsBOX无线通讯车载单元。T-BOX全名是远程信息处理，是车联网***四大部分中的其中之一，其它三项分别是主机，手机APP和后台***。车载T-BOX主要运用于和后台***及手机APP通信，进而通过手机APP获得汽车信息以及对车辆进行操纵，实现用户远程对车辆实行定位、查询车况信息，以及车子报警的紧急求助等。当我们通过手机APP发出控制指令之后，后台***便会发出监控申请到车载T-BOX，而车辆在接受下发的指令以后，就可以经过CAN总线发到控制报文，通过主机对车辆进行操纵，操控结果反馈至手机APP上。
鱼眼摄像头：称鱼眼摄像头又称超广角摄像头，水平视角一般大于等于180度。
车载360环视摄像头：360度环视摄像头，一般由四个鱼眼摄像头组成，每个鱼眼摄像头的水平视角为190度，四个摄像头，能够覆盖360度的视角范围。
现有的平行驾驶***中，主要有以下两个改进方向，其一是如何减少图像的数据量，在带宽有限的条件下对视频数据进行传输。但此方法无法解决“识别距离短”的问题；其二是如何提高图像的分辨率和图像分析处理能力，以实现在远程驾驶端对车辆进行精准控制，但此方法实现难度大，即便是在5G网络下，也很难保证远程驾驶端低时延的要求。因此，现有的平行驾驶***都无法解决目前摄像头“识别距离短”的技术缺陷，也无法根据车况对需要显示的视频图像进行自适应切换。
本发明实施例提供了一种视野自适应切换的远程驾驶图像处理***，图1为本发明提供的视野自适应切换的远程驾驶图像处理***一实施例的结构示意图，所述视野自适应切换的远程驾驶图像处理***100包括：环境视频采集模块101、视频处理模块102、远程通信模块103和远程显示模块104；
所述环境视频采集模块101，用于采集车辆的近距环境视频和远距环境视频，并将所述近距和远距环境视频发送给所述视频处理模块；
所述视频处理模块102，用于接收所述近距和远距环境视频，对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息，并将所述视频流信息传输给所述远程通信模块；
所述远程通信模块103，用于采集车辆状态信息以及接收所述视频流信息，并将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；
所述远程显示模块104，用于接收所述车辆状态信息和所述视频流信息，根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频。
本实施例提供的视野自适应切换的远程驾驶图像处理***，首先，利用环境视频采集模块采集车辆的近距环境视频和远距环境视频，并通过视频处理模块对视频数据进行处理，得到视频流信息；其次，通过远程通信模块采集车辆状态信息，并将视频流信息和车辆状态信息发送给远程显示模块；最后，通过远程显示模块在远程驾驶端切换合适的显示视野，对环境信息进行显示。本实施例通过环境视频采集模块对车辆的近距和远距视频信息均进行采集，能够增加车辆前视环境的识别距离，克服识别距离短的技术缺陷；通过对视频数据进行处理得到视频流信息，能够快速地对视频数据进行传输，在现有的常规网络条件下也能满足远程驾驶端的低时延需求；通过远程通信模块获取车辆状态信息并对数据进行无线传输，远程显示模块根据不同的车辆工况选择合适的视野在远程驾驶端进行驾驶环境信息的展示，保证了远程驾驶员作业时车辆行车安全，有利于平行驾驶技术的应用和推广。
作为优选的实施例，如图2所示，所述环境视频采集模块101包括多个环视摄像头和远距摄像头；多个所述环视摄像头环绕车身设置，所述远距摄像头设置在车辆的前侧；
所述环视摄像头，用于采集车辆四周的近距环境视频；
所述远距摄像头，用于采集车辆前侧的远距环境视频。
作为一个具体的实施例，所述环视摄像头为360环视摄像头，在车前、车左、车右、车后布置四路环视摄像头，高度在车体同一水平面上，离地高度不低于0.6m。4路摄像头的分辨率为720P，水平角度为190度，通过内置的串行器将LVDS格式的视频转化为GMSL格式的视频数据，提供给视频处理模块。所述远距摄像头布置在车前，离地高度为1.3m至2.6m，分辨率720P，水平角度80度。采用POC方式供电，内置的串行器将LVDS格式的视频转化为GMSL格式的视频数据，提供给视频处理模块。
作为优选的实施例，如图3所示，所述视频处理模块102包括图像信号处理模块301、编码模块302和网络传输模块303；
所述图像信号处理模块301，用于接收所述近距环境视频和远距环境视频，对所述近距环境视频进行图像拼接、对所述远距环境视频进行去畸变处理，得到优化后的视频数据；
所述编码模块302，用于对所述优化后的视频数据进行压缩编码，得到视频流信息，并将所述视频流信息发送给所述网络传输模块303；
所述网络传输模块303，用于将所述视频流信息传输给所述远程通信模块103。
作为一个具体的实施例，所述图像信号处理模块301为ISP模块，所述ISP模块对近距环境视频进行图像拼接，生成360度全景俯视图，存储在内部DDR中；对远距环境视频进行去畸变处理，存储在内部DDR中。
作为优选的实施例，所述视频处理模块102还包括车道识别模块304；
所述车道识别模块304用于根据所述远距环境视频进行车道线识别，得到车道识别结果，将所述车道识别结果发送给所述网络传输模块；
所述网络传输模块303还用于，将所述车道识别结果发送给所述远程通信模块103。
作为一个具体的实施例，所述编码模块302为SOC主芯片。所述视频处理模块102通过解串器将反映车辆四周环境情况的近距环境视频由GMSL格式转化为LVDS格式，再由mini-csi将视频数据输入到主芯片SOC中。SOC中的编码模块压缩数字图像视频为H265格式视频流，并通过以太网发送至远程通信模块；同时，SOC将接收到的远距环境视频利用图像处理技术，进行车道线识别，将识别结果（车道线图像底部像素点坐标与斜率），通过以太网链接发送至远程通信模块。
作为优选的实施例，所述远程通信模块103包括状态采集模块和无线通信模块；
所述状态采集模块，用于采集车辆状态信息；
所述无线通信模块，用于将所述车辆状态信息和所述视频流信息发送给所述远程显示模块。
作为一个具体的实施例，所述远程通信模块103为4G版Telematics BOX（T-BOX），且支持适配4G专属网络。通过以太网与视频处理模块102连接，接收视频处理模块传输的数据。因远程驾驶车辆的布署环境为4G网络，T-BOX将数据通过基站，经4G公共移动网络，发送给远程显示模块。
作为优选的实施例，如图4所示，所述远程显示模块104包括解码模块401、分析模块402和显示屏403；
所述解码模块401，用于对所述视频流信息进行解码，得到近距前视视频和远距前视视频；
所述分析模块402，用于根据所述车辆状态信息，确定车辆的运行工况，判断所述运行工况是否触发了视频显示预设切换条件；当没有触发显示切换条件时，将所述近距前视视频发送给所述显示屏；反之，将所述远距前视视频发送给所述显示屏；
所述显示屏403，用于在远程驾驶端对所述分析模块发送的视频数据进行显示。
作为优选的实施例，所述车辆状态信息至少包括车辆速度信息和车辆制动力信息；所述视频显示预设切换条件包括第一预设切换条件和第二预设切换条件。
作为一个具体的实施例，所述解码模块401接收经4G网络发送而来的视频信号，将其转化为H265格式视频流，并通过其内置的解码器，将H265格式视频流解码为近距前视视频和远距前视视频。
作为优选的实施例，所述分析模块包括车速分析模块；
所述车速分析模块，用于根据车辆速度信息和预设的速度阈值，判断所述车辆运行工况是否触发了第一预设切换条件。
作为优选的实施例，所述分析模块还包括制动力分析模块；
所述制动力分析模块，用于根据车辆制动力信息和预设的制动力阈值，判断所述车辆运行工况是否触发了第二预设切换条件。
为了从多个角度对车辆状态进行分析，并对远程驾驶端的视角进行合适的切换，本实施例从车速、车辆制动力和车辆转向角度三个维度来判断是否要进行视野画面的切换，下面分别进行说明：
（1）在车速判断方面：
车速分析模块按单位时间1秒，记录车辆实时运行速度，计算
Figure 47705DEST_PATH_IMAGE001
时刻的加速度如下：
Figure 642634DEST_PATH_IMAGE002
采用移动时间窗格法，计算速度累加差阈值。本实施例中，时间窗格选取固定值10s。其中，速度阈值为15km/h，第一预设切换条件为车速是否超过15km/h，当车速超过15km/h时，确定车辆状态为高速工况；当车速不超过15km/h时，确定此时的车辆状态为低速工况。
Figure 310376DEST_PATH_IMAGE003
当
Figure 838309DEST_PATH_IMAGE004
，前视视野按高速工况显示方案，显示远距前视视频图像；
当
Figure 300514DEST_PATH_IMAGE005
前视视野按低速工况显示方案，显示近距前视视频成像视频图像；
（2）在车辆制动力判断方面：
制动力分析模块记录车辆实时制动力，采用移动时间窗格法计算制动力累加差阈值。其中时间窗格选取固定值为3s。本实施例中，制动力阈值为6，第二预设切换条件为制动力是否超过阈值6，当制动力超过阈值6时，确定车辆状态为低速工况；当车速不超过阈值6时，确定此时的车辆状态为高速工况：
Figure 648319DEST_PATH_IMAGE006
当
Figure 119752DEST_PATH_IMAGE007
时，显示近距前视视频图像；
当
Figure 111978DEST_PATH_IMAGE008
时，显示远距前视视频成像视频图像。
（3）在转向角度判断方面：
所述分析模块还包括转向角分析模块，所述转向角分析模块用于根据车辆转向角度和预设的转向角阈值，判断所述车辆运行工况是否触发了第三预设切换条件。
所述转向角分析模块记录车辆实时转向角，采用移动时间窗格法计算转向角累加差阈值。其中时间窗格选取固定值为5s。本实施例中，预设的转向角阈值为3度，第三预设切换条件为当车辆转向角超过角度阈值时，确定车辆状态为低速工况；当车辆转向角没有超过角度阈值时，确定车辆状态为高速工况：
Figure 135298DEST_PATH_IMAGE009
当
Figure 845765DEST_PATH_IMAGE010
时，显示近距前视视频图像；
当
Figure 979943DEST_PATH_IMAGE011
时，显示远距前视视频图像。
作为一个具体的实施例，所述显示屏403按照分析模块402的分析结果，显示当前时刻视频图像结果。所述显示界面如图5所示，图5是本实施例提供的远程驾驶端的视频显示界面示意图。
本实施例还提供一种视野自适应切换的远程驾驶图像处理方法，其结构框图如图6所示，包括：
步骤S601：通过环境视频采集模块采集车辆的近距环境视频和远距环境视频；
步骤S602：通过视频处理模块对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息；
步骤S603：通过远程通信模块采集车辆状态信息，将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；
步骤S604：通过远程显示模块根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频。
本发明公开的一种视野自适应切换的远程驾驶图像处理***和方法，首先，利用环境视频采集模块采集车辆的近距环境视频和远距环境视频，并通过视频处理模块对视频数据进行处理，得到视频流信息；其次，通过远程通信模块采集车辆状态信息，并将视频流信息和车辆状态信息发送给远程显示模块；最后，通过远程显示模块在远程驾驶端切换合适的显示视野，对环境信息进行显示。
本发明通过环境视频采集模块对车辆的近距和远距视频信息均进行采集，能够增加车辆前视环境的识别距离，克服识别距离短的技术缺陷；通过对视频数据进行处理得到视频流信息，能够快速地对视频数据进行传输，在现有的常规网络条件下也能满足远程驾驶端的低时延需求；通过远程通信模块获取车辆状态信息并对数据进行无线传输，远程显示模块根据不同的车辆工况选择合适的视野在远程驾驶端进行驾驶环境信息的展示，保证了远程驾驶员作业时车辆行车安全，有利于平行驾驶技术的应用和推广。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种视野自适应切换的远程驾驶图像处理***，其特征在于，包括：环境视频采集模块、视频处理模块、远程通信模块和远程显示模块；
所述环境视频采集模块，用于采集车辆的近距环境视频和远距环境视频，并将所述近距和远距环境视频发送给所述视频处理模块；所述环境视频采集模块包括多个环视摄像头和远距摄像头；多个所述环视摄像头环绕车身设置，所述远距摄像头设置在车辆的前侧；所述环视摄像头为360环视摄像头，在车前、车左、车右、车后布置四路环视摄像头；
所述环视摄像头，用于采集车辆四周的近距环境视频；
所述远距摄像头，用于采集车辆前侧的远距环境视频；
所述视频处理模块，用于接收所述近距和远距环境视频，对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息，并将所述视频流信息传输给所述远程通信模块；
所述远程通信模块，用于采集车辆状态信息以及接收所述视频流信息，并将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；所述车辆状态信息至少包括车辆速度信息和车辆制动力信息；所述视频显示预设切换条件包括第一预设切换条件和第二预设切换条件；
所述远程显示模块，用于接收所述车辆状态信息和所述视频流信息，根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频；所述远程显示模块包括解码模块、分析模块和显示屏；
所述解码模块，用于对所述视频流信息进行解码，得到近距前视视频和远距前视视频；
所述分析模块，用于根据所述车辆状态信息，确定车辆的运行工况，判断所述运行工况是否触发了视频显示预设切换条件；当没有触发显示切换条件时，将所述近距前视视频发送给所述显示屏；反之，将所述远距前视视频发送给所述显示屏；
所述分析模块包括车速分析模块；
所述车速分析模块，用于根据车辆速度信息和预设的速度阈值，判断所述车辆运行工况是否触发了第一预设切换条件；
车速分析模块按单位时间1秒，记录车辆实时运行速度，计算
Figure 136496DEST_PATH_IMAGE001
时刻的加速度如下：
Figure 349434DEST_PATH_IMAGE002
采用移动时间窗格法，计算速度累加差阈值；
第一预设切换条件为车速是否超过15km/h，当车速超过15km/h时，确定车辆状态为高速工况；当车速不超过15km/h时，确定此时的车辆状态为低速工况；
Figure 572605DEST_PATH_IMAGE003
当
Figure 981721DEST_PATH_IMAGE004
，前视视野按高速工况显示方案，显示远距前视视频图像；
当
Figure 223215DEST_PATH_IMAGE005
前视视野按低速工况显示方案，显示近距前视视频成像视频图像；
所述分析模块还包括制动力分析模块；所述制动力分析模块，用于根据车辆制动力信息和预设的制动力阈值，判断所述车辆运行工况是否触发了第二预设切换条件；制动力分析模块记录车辆实时制动力，采用移动时间窗格法计算制动力累加差阈值；第二预设切换条件为制动力是否超过阈值6；
Figure 121901DEST_PATH_IMAGE006
Figure 832368DEST_PATH_IMAGE007
Figure 576333DEST_PATH_IMAGE008
所述分析模块还包括转向角分析模块，所述转向角分析模块用于根据车辆转向角度和预设的转向角阈值，判断所述车辆运行工况是否触发了第三预设切换条件；第三预设切换条件为当车辆转向角超过角度阈值时，确定车辆状态为低速工况；当车辆转向角没有超过角度阈值时，确定车辆状态为高速工况：
所述显示屏，用于在远程驾驶端对所述分析模块发送的视频数据进行显示。
2.根据权利要求1所述的视野自适应切换的远程驾驶图像处理***，其特征在于，所述视频处理模块包括图像信号处理模块、编码模块和网络传输模块；
所述图像信号处理模块，用于接收所述近距环境视频和远距环境视频，对所述近距环境视频进行图像拼接、对所述远距环境视频进行去畸变处理，得到优化后的视频数据；
所述编码模块，用于对所述优化后的视频数据进行压缩编码，得到视频流信息，并将所述视频流信息发送给所述网络传输模块；
所述网络传输模块，用于将所述视频流信息传输给所述远程通信模块。
3.根据权利要求2所述的视野自适应切换的远程驾驶图像处理***，其特征在于，所述视频处理模块还包括车道识别模块；
所述车道识别模块用于根据所述远距环境视频进行车道线识别，得到车道识别结果，将所述车道识别结果发送给所述网络传输模块；
所述网络传输模块还用于，将所述车道识别结果发送给所述远程通信模块。
4.根据权利要求1所述的视野自适应切换的远程驾驶图像处理***，其特征在于，所述远程通信模块包括状态采集模块和无线通信模块；
所述状态采集模块，用于采集车辆状态信息；
所述无线通信模块，用于将所述车辆状态信息和所述视频流信息发送给所述远程显示模块。
5.一种视野自适应切换的远程驾驶图像处理方法，采用权利要求1-4任一所述的视野自适应切换的远程驾驶图像处理***，其特征在于，包括：
通过环境视频采集模块采集车辆的近距环境视频和远距环境视频；
通过视频处理模块对所述近距和远距环境视频进行拼接、去畸变和压缩处理，得到视频流信息；
通过远程通信模块采集车辆状态信息，将所述车辆状态信息和所述视频流信息发送给所述远程显示模块；
通过远程显示模块根据所述车辆状态信息和所述视频流信息，在远程驾驶端显示近距或远距前视视频。
CN202211228188.6A 2022-10-09 2022-10-09 一种视野自适应切换的远程驾驶图像处理***和方法 Active CN115297276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211228188.6A CN115297276B (zh) 2022-10-09 2022-10-09 一种视野自适应切换的远程驾驶图像处理***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211228188.6A CN115297276B (zh) 2022-10-09 2022-10-09 一种视野自适应切换的远程驾驶图像处理***和方法

Publications (2)

Publication Number Publication Date
CN115297276A CN115297276A (zh) 2022-11-04
CN115297276B true CN115297276B (zh) 2023-01-17

Family

ID=83819423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211228188.6A Active CN115297276B (zh) 2022-10-09 2022-10-09 一种视野自适应切换的远程驾驶图像处理***和方法

Country Status (1)

Country Link
CN (1) CN115297276B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
CN110853185A (zh) * 2019-11-29 2020-02-28 长城汽车股份有限公司 一种车辆全景环视记录***及方法
CN113163156A (zh) * 2020-01-06 2021-07-23 广州汽车集团股份有限公司 一种远程驾驶的车端信息采集与远程显示***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243010A (ja) * 2010-05-19 2011-12-01 Fujitsu General Ltd 運転支援装置
CN208813084U (zh) * 2018-09-21 2019-05-03 上海豫兴电子科技有限公司 一种汽车电子后视镜***
US20220227387A1 (en) * 2019-07-03 2022-07-21 Hitachi Astemo, Ltd. Vehicle control device
EP3937491A1 (en) * 2020-07-07 2022-01-12 Ree Technology GmbH Optimizing video encoding and/or transmission for remote driving applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140318A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 显示控制方法及显示控制装置
CN110853185A (zh) * 2019-11-29 2020-02-28 长城汽车股份有限公司 一种车辆全景环视记录***及方法
CN113163156A (zh) * 2020-01-06 2021-07-23 广州汽车集团股份有限公司 一种远程驾驶的车端信息采集与远程显示***

Also Published As

Publication number Publication date
CN115297276A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN103679838A (zh) 车辆监控***及方法
CN204377046U (zh) 一种移动互联网车载智能高清监视***
CN109089086B (zh) 一种全景摄像***
CN113525234A (zh) 一种辅助驾驶***装置
CN110728770A (zh) 一种车辆行驶监控方法、装置、***及电子设备
CN212305474U (zh) 一种大型车辆全景影像拼接***及汽车
JP2005184395A (ja) 画像処理方法、画像処理システム、画像処理装置および撮影装置
CN113852795B (zh) 视频画面调整方法、装置、电子设备及存储介质
CN103448628A (zh) 一种用于接入车联网的工程车安全装置及***
CN111311942A (zh) 基于v2x技术的路况显示方法、***、v2x终端及v2x服务器
CN110620874B (zh) 一种用于平行驾驶的图像处理方法
CN115376347A (zh) 智驾域控制器以及车辆的控制方法
CN112277802A (zh) 一种基于全景辅助功能的公交车载机
CN109874099B (zh) 一种联网车载设备流量控制***
CN108600703B (zh) 一种适用于重型拖挂商用车的全景环视监控***及方法
CN115297276B (zh) 一种视野自适应切换的远程驾驶图像处理***和方法
CN210745353U (zh) 一种车内摄像单元数据复用的实现装置及汽车
CN201758429U (zh) 基于数字信号处理器的车用后视全景***
CN114827491B (zh) 一种无线传输全景环视拼接技术
CN204095660U (zh) 全景泊车***
CN214959899U (zh) 一种适用于大型车辆的车载全景拼接***
CN102514531A (zh) 车载全景实时监控及记录***
CN205809936U (zh) 一种车辆智能驾驶***
CN202931488U (zh) 一种基于以太网的车载多摄像机***
CN209729055U (zh) 一种无线通信停车场监控装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant