CN112965503A - 多路摄像头融合拼接方法、装置、设备及存储介质 - Google Patents

多路摄像头融合拼接方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112965503A
CN112965503A CN202110487435.3A CN202110487435A CN112965503A CN 112965503 A CN112965503 A CN 112965503A CN 202110487435 A CN202110487435 A CN 202110487435A CN 112965503 A CN112965503 A CN 112965503A
Authority
CN
China
Prior art keywords
video data
fused
driving
vehicle
fusion splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110487435.3A
Other languages
English (en)
Other versions
CN112965503B (zh
Inventor
熊禹
周君武
梁国全
罗文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Liuzhou Motor Co Ltd
Original Assignee
Dongfeng Liuzhou Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Liuzhou Motor Co Ltd filed Critical Dongfeng Liuzhou Motor Co Ltd
Priority to CN202210628630.8A priority Critical patent/CN114911242A/zh
Publication of CN112965503A publication Critical patent/CN112965503A/zh
Application granted granted Critical
Publication of CN112965503B publication Critical patent/CN112965503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

本发明属于无人驾驶技术领域，公开了一种多路摄像头融合拼接方法、装置、设备及存储介质。通过获取多路摄像头采集的若干视频数据，进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。通过对多路摄像头采集的视频数据进行融合拼接处理，为无人驾驶决策提供更准确数据，解决了因视频数据不准确导致决策失误率高的问题。

Description

多路摄像头融合拼接方法、装置、设备及存储介质
本发明要求于2020年05月15日提交中国专利局、申请号为202010416571.9、发明名称为“无人驾驶汽车的控制方法、汽车和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种多路摄像头融合拼接方法、装置、设备及存储介质。
背景技术
在自动驾驶技术中，车辆所处的环境往往十分复杂，周围的车辆、行人和其他障碍物，道路标识、车道线都是车辆环境的重要因素。为了更好的探测环境，现有的自动驾驶中采用多个摄像头采集车辆周围环境数据，根据多个摄像头采集的数据进行无人驾驶的决策判定，在没有对多路摄像头采集的数据进行处理的情况下，无法为无人驾驶的决策提供准确的数据，导致决策失误率高的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种多路摄像头融合拼接方法、装置、设备及存储介质，旨在解决现有技术中多路摄像头无法为无人驾驶的决策提供准确的数据，导致决策失误率高的技术问题。
为实现上述目的，本发明提供了一种多路摄像头融合拼接方法，所述方法包括以下步骤：
获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；
根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；
若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；
若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
可选地，所述获取多路摄像头采集的视频数据，对视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据，包括：
获取多路摄像头采集的若干视频数据，基于多路摄像头的安装位置将若干视频数据转化至目标坐标系，得到若干待处理视频数据；
对所述若干待处理视频数据进行预处理，得到若干待融合视频数据；
分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值；
根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
可选地，所述对所述若干待处理视频数据进行预处理，得到若干待融合视频数据，包括：
获取多路摄像头对应的预设畸变中心以及预设畸变系数，其中，所述预设畸变中心以及所述预设畸变系数为提前根据多路摄像头自身参数，通过直线标定法标定得到的；
根据所述多路摄像头对应的预设畸变中心以及预设畸变系数对所述若干待处理视频数据进行畸变校正，得到若干校正后的视频数据；
对所述若干校正后的视频数据进行裁剪，得到若干待融合视频数据。
可选地，所述分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值，包括：
根据所述若干校正后的视频数据对应的图像分辨率设置网格；
根据所述网格对所述若干待融合视频数据进行区域划分，得到区域划分后的视频数据；
根据所述若干待处理视频数据以及所述若干待融合视频数据确定各区域内视频数据对应的变形程度；
根据所述变形程度赋予所述各区域对应的权重值。
可选地，所述根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据，包括：
确定若干待融合视频数据对应的多个初始重叠区域，并确定各初始重叠区域内各待融合视频数据对应的多个初始区域；
将各初始重叠区域内各待融合视频数据对应的多个初始区域对应的权重值进行比较，选取权重值最大的初始区域作为目标区域；
将多个目标区域进行拼接，得到目标重叠区域；
根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据。
可选地，所述根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据，包括：
对所述若干待融合视频数据以及所述目标重叠区域进行拼接，得到目标图像；
获取各初始重叠区域内各待融合视频数据对应的灰度值均值；
根据所述灰度值均值调整所述目标图像的亮度值，得到调整后的目标图像；
根据所述得到调整后的目标图像得到无人驾驶汽车的车辆驾驶监测数据。
可选地，所述分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值之后，所述方法还包括：
获取多路摄像头对应的抖动数据；
在所述抖动数据超过预设数值时，根据所述抖动数据对所述权重值进行调整，得到调整后的权重值；
根据所述调整后的权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
此外，为实现上述目的，本发明还提出一种多路摄像头融合拼接装置，所述多路摄像头融合拼接装置包括：
获取模块，用于获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；
判断模块，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；
无人驾驶模块，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；
远程驾驶模块，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
此外，为实现上述目的，本发明还提出一种多路摄像头融合拼接设备，所述多路摄像头融合拼接设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多路摄像头融合拼接程序，所述多路摄像头融合拼接程序配置为实现如上文所述的多路摄像头融合拼接方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有多路摄像头融合拼接程序，所述多路摄像头融合拼接程序被处理器执行时实现如上文所述的多路摄像头融合拼接方法。
本发明通过获取多路摄像头采集的若干视频数据，对若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。通过上述方式，对多路摄像头采集的数据进行拼接融合，将拼接融合后的数据传输给决策***，以使决策***根据车辆驾驶监测数据判断所要执行的驾驶动作，为无人驾驶的决策提供更准确的数据，避免了因视频数据不同步导致决策失误率高的情况。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的多路摄像头融合拼接设备的结构示意图；
图2为本发明多路摄像头融合拼接方法第一实施例的流程示意图；
图3为本发明多路摄像头融合拼接方法第二实施例的流程示意图；
图4为本发明多路摄像头融合拼接方法第三实施例的流程示意图；
图5为本发明多路摄像头融合拼接装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的多路摄像头融合拼接设备结构示意图。
如图1所示，该多路摄像头融合拼接设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对多路摄像头融合拼接设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及多路摄像头融合拼接程序。
在图1所示的多路摄像头融合拼接设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明多路摄像头融合拼接设备中的处理器1001、存储器1005可以设置在多路摄像头融合拼接设备中，所述多路摄像头融合拼接设备通过处理器1001调用存储器1005中存储的多路摄像头融合拼接程序，并执行本发明实施例提供的多路摄像头融合拼接方法。
本发明实施例提供了一种多路摄像头融合拼接方法，参照图2，图2为本发明一种多路摄像头融合拼接方法第一实施例的流程示意图。
本实施例中，所述多路摄像头融合拼接方法包括以下步骤：
步骤S10：获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据。
可以理解的是，本实施例的执行主体为多路摄像头融合拼接设备，所述多路摄像头融合拼接设备可以是无人驾驶汽车上安装的计算机，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限制。本实施例以执行主体为无人驾驶汽车上安装的计算机为例进行说明。
易于理解的是，本实施例的步骤S10，包括：获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到路况信息；获取车辆传感器采集的若干传感器信息，根据所述路况信息以及若干传感器信息得到无人驾驶汽车的车辆驾驶监测数据。
需要说明的是，车辆驾驶监测数据包括：通信条件、路况信息、驾驶车速等；所述通信条件包括5G通信、GPS或者北斗卫星信号等；所述路况信息包括车道线、交通标志、交通参与物及障碍物等信息；所述驾驶车速是指车辆设定的驾驶速度，如车辆自动驾驶时的时速不高于10km/h；转弯时时速不高于5km/h。
可以理解的是，本实施例的无人驾驶汽车上安装的计算机至少包括车载感知***以及车载定位规划决策控制***，在启动无人驾驶功能后，通过车载感知***获取无人驾驶汽车当前驾驶的环境状态，并将获取的数据通过车载以太网等通信方式发送至车载定位规划决策控制***，其中，车载单元之间的通信方式除车载以太网外，还可以采用LVDS、USB、CAN总线、WIFI、5G等通信方式。
应当理解的是，本实施例中，所述步骤S10还包括：获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到目标图像，依据所述目标图像得到行驶车辆的前方(Q度视角范围)、前向S范围、侧向W范围以及后向L范围内的清晰视图；将所述清晰视图作为无人驾驶汽车的车辆驾驶监测数据中的路况信息。
需要说明的是，所述车载感知***主要由视觉感知处理***及超声波雷达处理***组成。所述视觉感知处理***由N个高清鱼眼广角摄像头组成的全景环视***、M个高清前视摄像头及视觉处理控制器组成。所述全景环视***及高清前视摄像头拍摄的高清视频图像传输给视觉处理控制器，由视觉处理器将所有图像进行处理，形成行驶车辆的前方(Q度视角范围)、前向S范围、侧向W范围、后向L范围内的清晰视图，并通过5G传输给远端后台。视觉处理器对视频图像进行数据处理，将目标级信息输出给车载定位及规划决策控制***，其中，所述视觉处理器具备车道线识别、交通标志识别、交通参与物及障碍物识别等功能。所述超声波雷达处理***由12个超声波雷达及雷达控制器组成，采集行驶车辆的障碍物距离信息，处理后将目标物的距离位置信息输出给车载定位规划决策控制***。
应当理解的是，本实施例通过视觉感知处理***的视觉处理控制器将N个高清鱼眼广角摄像头以及M个高清前视摄像头采集的数据进行拼接融合，得到全景图像，基于全景图像形成驶车辆的前方(Q度视角范围)、前向S范围、侧向W范围、后向L范围内的清晰视图，从而为车载定位及规划决策控制***提供同步地、准确地视频图像。
需要说明的是，本实施例在进行若干视频图像拼接融合处理时，在N个高清鱼眼广角摄像头以及M个高清前视摄像头对应的坐标系中选取一个作为目标坐标系，将其他摄像头的数据转化至目标坐标系，在具体实现中，由于前方视觉信息更重要，选取高清前视摄像头对应的坐标系作为目标坐标系，对多路摄像头采集的数据进行畸变校正，对图像进行分区，依据变形度对各区域进行权重赋予，根据各区域对应的权重值进行图像拼接融合，得到无人驾驶汽车的车辆驾驶监测数据。在进行权重值赋予时，还考虑了车辆运动过程中颠簸以及车身抖动对视频数据拼接的影响，依据摄像头的抖动数据对权重值进行调整，从而使融合拼接后的数据更准确，为了使视频数据画面更清晰，对融合拼接处理后的图像进行亮度值调整，从而得到清晰地、准确地、同步地视频图像，为无人驾驶的决策提供判定基础数据。
步骤S20：根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作。
需要说明的是，通过车载定位规划决策控制***中的决策单元根据接收到的视觉目标信号、雷达信号、定位信号、路线规划、远程监视及控制***的控制命令等，进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作，例如：根据接收到的信息判断出当前所要执行的动作是前行、左转、右转、换道或者停车等。
步骤S30：若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。
在本实施例中，所述第一驾驶动作是指精确驾驶动作，如方向盘、油门和刹车等动作。当通过决策单元判断出当前所要执行的是精确驾驶动作，则自动接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。例如，当前所要执行的是刹车动作，接收车载定位规划决策控制***自动发送的刹车驾驶操作指令，无人驾驶汽车根据所述刹车驾驶操作指令执行刹车操作。其中，所述车载定位规划决策控制***主要由定位模块、规划决策模块组成；所述定位模块接收高清地图定位信号，作为主定位信息，并接5G基站的定位信号、视觉处理***的周边环境信号，进行综合辅助定位校正。
进一步地，若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作还包括：根据所述第一驾驶操作生成对应的控制命令；响应控制命令，执行无人驾驶汽车的自动驾驶操作。在本实施例中，通过决策单元判断出当前所要执行的是精确驾驶动作，根据所述精确驾驶动作生成对应的控制指令；通过车载执行***响应该控制命令，执行无人驾驶汽车的自动驾驶操作。具体地，执行***接收到车载定位规划决策控制***所发出的目标车速、目标驱动扭矩、目标制动扭矩、目标档位、目标转向角及转向角速度等控制命令，实时响应其控制命令，并回传相关的控制结果。例如：当前所要执行的是降速操作，由车载定位规划决策控制***发出将车速降至9km/h的控制命令，以使无人驾驶汽车调整当前的车速为9km/h。其中，所述执行***由车辆的动力输出及传动控制***、制动控制***、转向控制***等组成。
步骤S40：若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
在本实施例中，所述第二驾驶动作是指非精确驾驶动作，如开、停等动作，其中，所述开、停等动作除了可以由无人驾驶汽车端根据所述驾驶监测数据确定外；还可以通过远程控制平台的远程控制平台客户端或者手机APP等监测当前无人驾驶汽车是否出现危险情况，当出现危险情况时，则生成对应的非精确驾驶动作，例如：当远程控制平台的用户通过手机APP监测到当前无人驾驶汽车的正前方突然出现换道车辆，则需要执行紧急停车操作；又或者是在通过十字路口时，左侧出现闯红灯的车辆，则需要执行紧急停车操作。
由于所述非精确驾驶动作完全由无人驾驶汽车端执行会存在一定的操作难度，且安全性不高；其次，需要在无人驾驶汽车端设置一些高规格和精度的传感器等，使得增加了无人驾驶汽车的成本。因此，当要执行停车等非精确驾驶动作时，则自动接收远程控制平台通过5G发送的驾驶停车操作指令，通过远程控制平台的驾驶人员自身的视觉观测，节约激光雷达等高规格、高精度传感器的使用，避免了完全采用自动驾驶而导致汽车成本过高；无人驾驶汽车根据所述停车操作指令，执行停车操作。其中，远程控制平台对车辆的停止命令具有最高优先级。
进一步地，若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作还包括：接收远程控制平台运用5G发送的第二驾驶动作的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；发送第二驾驶动作的执行结果反馈信息至远程控制平台，以使远程控制平台根据所述执行结果反馈信息确定无人驾驶汽车是否完成所述驾驶操作指令。
在本实施例中，所述远程控制平台主要由车载5G通信模块、5G基站、5G核心网及区域网、远程监控与云计算平台、手机及APP等组成。当远程控制平台监测到当前无人驾驶汽车需要执行非精确驾驶动作时，如停车操作，则由远程控制平台的驾驶人员运用5G发送停车驾驶操作指令至无人驾驶汽车端；无人驾驶汽车根据所述停车操作指令执行停车操作，并将执行结果的反馈信息发送至远程控制平台；远程控制平台的驾驶人员根据所述执行结果的反馈信息判断当前无人驾驶汽车是否完成了停车驾驶操作指令，若没有完成，则重新发送停车指令至无人驾驶汽车端。
本实施例通过获取多路摄像头采集的若干视频数据，对若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。通过上述方式，对多路摄像头采集的数据进行拼接融合，将拼接融合后的数据传输给决策***，以使决策***根据车辆驾驶监测数据判断所要执行的驾驶动作，为无人驾驶的决策提供更准确的数据，避免了因视频数据不同步导致决策失误率高的情况。
参考图3，图3为本发明多路摄像头融合拼接方法第二实施例的流程示意图。
基于上述第一实施例，本实施例多路摄像头融合拼接方法的所述步骤S10，包括：
步骤S101：获取多路摄像头采集的若干视频数据，基于多路摄像头的安装位置将若干视频数据转化至目标坐标系，得到若干待处理视频数据。
可以理解的是，目标坐标系可以为车辆对应的坐标系，以车头中心为坐标原点，也可以为多路摄像头中的一个摄像头对应的坐标系，例如，多路摄像头为4个鱼眼摄像头和1个前视摄像头，4个鱼眼摄像头分别布置在前保、后保、左右后视镜，1个前视摄像头布置在前挡玻璃中央，选取前视摄像头对应的坐标系作为目标坐标系，依据各个摄像头的安装位置以及相机内外参数对坐标系进行转化，得到若干待处理视频数据。
在具体实现中，为了使数据拼接融合更容易进行，摄像头的安装位置可以采用同轴安装，例如，在车顶顶部前方正中设置一个支架，将4个鱼眼摄像头和1个前视摄像头组合布置在支架上，摄像头位置顶端距地面高度不大于2.4m，以使摄像头能在各个角度摄像，优化摄像头画面的视觉范围，选取前视摄像头对应的坐标系作为目标坐标系，将4个鱼眼摄像头采集的视频数据转化至目标坐标系。
步骤S102：对所述若干待处理视频数据进行预处理，得到若干待融合视频数据。
可以理解的是，本实施例的预处理包括畸变校正，畸变校正有两大要素，畸变中心以及畸变系数，在具体实现中，通过对摄像头进行标定，确定其对应的畸变中心以及畸变系数，在采集到视频数据后，依据预设存储区域内存储的畸变中心以及畸变系数对视频数据进行预处理，得到若干待融合视频数据。
具体地，所述步骤S102，包括：获取多路摄像头对应的预设畸变中心以及预设畸变系数，其中，所述预设畸变中心以及所述预设畸变系数为提前根据多路摄像头自身参数，通过直线标定法标定得到的；根据所述多路摄像头对应的预设畸变中心以及预设畸变系数对所述若干待处理视频数据进行畸变校正，得到若干校正后的视频数据；对所述若干校正后的视频数据进行裁剪，得到若干待融合视频数据。
需要说明的是，每个摄像头对应的预设畸变中心以及预设畸变系数不同，在具体实现中，提前对各摄像头进行标定，记录其对应的预设畸变中心以及预设畸变系数。在摄像头采集到视频数据时，通过预设畸变中心以及预设畸变系数对视频数据进行畸变校正，得到校正后的视频数据。
在具体实现中，标定摄像头以确定预设畸变中心的过程可以为：使用摄像头正面拍摄棋盘格平面板，将棋盘格平面板作为基础视角，将拍摄的图像作为拍摄视角，建立基础视角与拍摄视角之间的Fundamental矩阵。在拍摄过程中，棋盘格平面板是正对摄像头的，因此，基于基础视角以及拍摄视角确定对应的光点连线，与各自平面的交点便是基础视角以及拍摄视角之间的极点，也就是畸变中心点。通过拍摄多张棋盘格图像确定多个畸变中心坐标，取平均值得到预设畸变中心。
标定摄像头以确定预设畸变系数的过程可以为：拍摄棋盘格图像，通过特征检测确定在图像中棋盘格交叉点的坐标。基于直线标定法求出摄像头对应的预设畸变系数。
步骤S103：分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值。
可以理解的是，区域划分的过程可以为采用预设密度的网格进行的，网格的预设密度可以由用户提前确定，也可以根据图像分辨率确定，通过对各区域进行权重赋予，从而使图像各个区域都携带有深度信息，为图像数据融合提供数据基础。
具体地，所述步骤S103，包括：根据所述若干校正后的视频数据对应的图像分辨率设置网格；根据所述网格对所述若干待融合视频数据进行区域划分，得到区域划分后的视频数据；根据所述若干待处理视频数据以及所述若干待融合视频数据确定各区域内视频数据对应的变形程度；根据所述变形程度赋予所述各区域对应的权重值。
需要说明的是，不同的摄像头拍摄的图像分辨率不同，对应的网格不同，例如，A摄像头采集到的图像分辨率为704×576，经过矫正得到的图像大小为1840×1570(与预设畸变系数有关)，通过裁剪得到的图像分辨率为704×576。根据图像分辨率设置网格的过程可以是根据预设个数如6400个，将图像划分为6400个8.8×7.2的区域。
可以理解的是，由于原视频数据与校正裁剪后得到的图像的分辨率相同，将各区域校正前后的数据进行比对，确定图像的变形程度，在各网格区域划分得足够细的情况下，离图像中心越远的区域，变形程度越大，在接近边缘的网格区域，图像数据完全不一致，根据变形程度赋予各区域对应的权重值，例如，没有变形的区域权重值为1，预设的最小值为0.3，将图像四角边缘位置的权重值赋予为0.3，在边界中心处，图像变形程度不大，权重值赋予为0.75，以实现根据变形程度赋予所述各区域对应的权重值。
具体地，所述步骤S103之后，所述方法还包括：获取多路摄像头对应的抖动数据；在所述抖动数据超过预设数值时，根据所述抖动数据对所述权重值进行调整，得到调整后的权重值；根据所述调整后的权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
可以理解的是，抖动数据是表征摄像头抖动的数据，可以通过惯性测量单元测量，抖动数据可以为抖动幅度或者抖动频率，预设数值可以根据实际情况设置，在抖动数据超过预设数值时，表征摄像头抖动过大，可能导致采集的数据出现误差，因此，根据抖动数据对权重值进行调整，在摄像头安装位置不同的情况下，抖动情况不一样，抖动数据大的摄像头，权重值下降幅度大，抖动数据小的摄像头，权重值下降幅度小，例如，A摄像头的抖动幅度大于B摄像头，A摄像头采集的A视频数据中各区域对应的权重值均下降0.5，B摄像头采集的B视频数据中各区域对应的权重值均下降0.2。
步骤S104：根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
应当理解的是，在进程拼接时，各摄像头采集的区域存在重合，在将视频数据都转化在一个坐标系后，对视频图像进行了初步融合，但是重叠区域中的数据并没有确定，因此，基于权重值选取权重值最大的区域作为最终图像的组成部分，从而得到拼接融合后的视频数据，将拼接融合后的视频数据作为无人驾驶汽车的车辆驾驶监测数据。
本实施例通过获取多路摄像头采集的若干视频数据，基于多路摄像头的安装位置将若干视频数据转化至目标坐标系，得到若干待处理视频数据；对若干待处理视频数据进行预处理，得到若干待融合视频数据；分别对若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值；根据权重值对若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。通过不同区域的权重值对视频数据进行拼接融合，确保了融合数据的准确性，并且提出了基于抖动数据对权重值进行调整的策略，避免了因抖动数据导致的数据不准确的问题，选取权重值最大的数据作为最终的图像数据，将最终的图像数据传输给决策***，以使决策***根据车辆驾驶监测数据判断所要执行的驾驶动作，为无人驾驶的决策提供更准确的数据，避免了因视频数据精度低导致决策失误率高的情况。
参考图4，图4为本发明多路摄像头融合拼接方法第四实施例的流程示意图。
基于上述第一实施例，本实施例多路摄像头融合拼接方法额所述步骤步骤S104，包括：
步骤S1041：确定若干待融合视频数据对应的多个初始重叠区域，并确定各初始重叠区域内各待融合视频数据对应的多个初始区域。
应当理解的是，本实施例的摄像头的安装位置存在多个重叠区域，在重叠区域内，每个发生重合的待融合视频数据都存在若干初始区域，初始重叠区域是指发生重合的待融合视频数据所重叠的区域，初始区域是指在重叠区域内各融合视频数据提前依据网格划分好的区域，例如A视频数据与B视频数据存在重合，对应的初始重叠区域内包含A1初始区域、A2初始区域、…、A20初始区域，B1初始区域、B2初始区域、…、B20初始区域。
步骤S1042：将各初始重叠区域内各待融合视频数据对应的多个初始区域对应的权重值进行比较，选取权重值最大的初始区域作为目标区域。
需要说明的是，本实施例考虑的是在重叠区域内，发生重合的待融合视频数据的初始区域一一对应且重叠，此时，选取权重值最大的初始区域作为目标区域。根据多个目标区域组成目标重叠区域。
可以理解的是，存在情况各初始区域不是完全对应，此时，步骤S1042包括确定各初始重叠区域下发生重合的待融合视频数据对应的多个初始区域，依据初始区域的权重值赋予该区域各像素点权重值，将各发生重叠的像素点的权重值进行比较，选取权重值最大的像素点作为目标像素点，从而组成目标重叠区域。
步骤S1043：将多个目标区域进行拼接，得到目标重叠区域。
步骤S1044：根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据。
可以理解的是，对于没有发生重叠的区域，车辆驾驶监测数据即为各待融合视频数据，对于发生重叠的区域，车辆驾驶监测数据即为目标重叠区域，通过将若干待融合视频数据以及所述目标重叠区域进行拼接，得到无人驾驶汽车的车辆驾驶监测数据。
具体地，所述步骤S1044，包括：对所述若干待融合视频数据以及所述目标重叠区域进行拼接，得到目标图像；获取各初始重叠区域内各待融合视频数据对应的灰度值均值；根据所述灰度值均值调整所述目标图像的亮度值，得到调整后的目标图像；根据所述得到调整后的目标图像得到无人驾驶汽车的车辆驾驶监测数据。
可以理解的是，本实施例提出一种提升视频图像数据显示质量的方式，通过获取重叠区域内发生重叠的待融合视频数据对应的灰度值均值，根据灰度值均值调整所述目标图像的亮度值，从而得到显示质量提升后的视频图像。
本实施例通过确定若干待融合视频数据对应的多个初始重叠区域，并确定各初始重叠区域内各待融合视频数据对应的多个初始区域；将各初始重叠区域内各待融合视频数据对应的多个初始区域对应的权重值进行比较，选取权重值最大的初始区域作为目标区域；将多个目标区域进行拼接，得到目标重叠区域；根据若干待融合视频数据以及目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据。通过不同区域的权重值对视频数据进行拼接融合，确保了融合数据的准确性，选取权重值最大的数据作为最终的图像数据，并且提出了对图像亮度值进行调整的方式，提升了视频数据的显示质量，将最终的图像数据传输给决策***，以使决策***根据车辆驾驶监测数据判断所要执行的驾驶动作，为无人驾驶的决策提供更准确的数据，避免了因视频数据精度低导致决策失误率高的情况。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有多路摄像头融合拼接程序，所述多路摄像头融合拼接程序被处理器执行时实现如上文所述的多路摄像头融合拼接方法。
参照图5，图5为本发明多路摄像头融合拼接装置第一实施例的结构框图。
如图5所示，本发明实施例提出的多路摄像头融合拼接装置包括：
获取模块10，用于获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；
判断模块20，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；
无人驾驶模块30，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；
远程驾驶模块40，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过获取多路摄像头采集的若干视频数据，对若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。通过上述方式，对多路摄像头采集的数据进行拼接融合，将拼接融合后的数据传输给决策***，以使决策***根据车辆驾驶监测数据判断所要执行的驾驶动作，为无人驾驶的决策提供更准确的数据，避免了因视频数据不同步导致决策失误率高的情况。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的多路摄像头融合拼接方法，此处不再赘述。
在一实施例中，所述获取模块10，还用于获取多路摄像头采集的若干视频数据，基于多路摄像头的安装位置将若干视频数据转化至目标坐标系，得到若干待处理视频数据，对所述若干待处理视频数据进行预处理，得到若干待融合视频数据，分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值，根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
在一实施例中，所述获取模块10，还用于获取多路摄像头对应的预设畸变中心以及预设畸变系数，根据所述多路摄像头对应的预设畸变中心以及预设畸变系数对所述若干待处理视频数据进行畸变校正，得到若干校正后的视频数据，对所述若干校正后的视频数据进行裁剪，得到若干待融合视频数据。
在一实施例中，所述获取模块10，还用于根据所述若干校正后的视频数据对应的图像分辨率设置网格，根据所述网格对所述若干待融合视频数据进行区域划分，得到区域划分后的视频数据，根据所述若干待处理视频数据以及所述若干待融合视频数据确定各区域内视频数据对应的变形程度，根据所述变形程度赋予所述各区域对应的权重值。
在一实施例中，所述获取模块10，还用于确定若干待融合视频数据对应的多个初始重叠区域，并确定各初始重叠区域内各待融合视频数据对应的多个初始区域，将各初始重叠区域内各待融合视频数据对应的多个初始区域对应的权重值进行比较，选取权重值最大的初始区域作为目标区域，将多个目标区域进行拼接，得到目标重叠区域，根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据。
在一实施例中，所述获取模块10，还用于对所述若干待融合视频数据以及所述目标重叠区域进行拼接，得到目标图像，获取各初始重叠区域内各待融合视频数据对应的灰度值均值，根据所述灰度值均值调整所述目标图像的亮度值，得到调整后的目标图像，根据所述得到调整后的目标图像得到无人驾驶汽车的车辆驾驶监测数据。
在一实施例中，所述获取模块10，还用于获取多路摄像头对应的抖动数据，在所述抖动数据超过预设数值时，根据所述抖动数据对所述权重值进行调整，得到调整后的权重值，根据所述调整后的权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多路摄像头融合拼接方法，其特征在于，所述多路摄像头融合拼接方法包括：
获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；
根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；
若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；
若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
2.如权利要求1所述的多路摄像头融合拼接方法，其特征在于，所述获取多路摄像头采集的视频数据，对视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据，包括：
获取多路摄像头采集的若干视频数据，基于多路摄像头的安装位置将若干视频数据转化至目标坐标系，得到若干待处理视频数据；
对所述若干待处理视频数据进行预处理，得到若干待融合视频数据；
分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值；
根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
3.如权利要求2所述的多路摄像头融合拼接方法，其特征在于，所述对所述若干待处理视频数据进行预处理，得到若干待融合视频数据，包括：
获取多路摄像头对应的预设畸变中心以及预设畸变系数，其中，所述预设畸变中心以及所述预设畸变系数为提前根据多路摄像头自身参数，通过直线标定法标定得到的；
根据所述多路摄像头对应的预设畸变中心以及预设畸变系数对所述若干待处理视频数据进行畸变校正，得到若干校正后的视频数据；
对所述若干校正后的视频数据进行裁剪，得到若干待融合视频数据。
4.如权利要求3所述的多路摄像头融合拼接方法，其特征在于，所述分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值，包括：
根据所述若干校正后的视频数据对应的图像分辨率设置网格；
根据所述网格对所述若干待融合视频数据进行区域划分，得到区域划分后的视频数据；
根据所述若干待处理视频数据以及所述若干待融合视频数据确定各区域内视频数据对应的变形程度；
根据所述变形程度赋予所述各区域对应的权重值。
5.如权利要求2所述的多路摄像头融合拼接方法，其特征在于，所述根据所述权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据，包括：
确定若干待融合视频数据对应的多个初始重叠区域，并确定各初始重叠区域内各待融合视频数据对应的多个初始区域；
将各初始重叠区域内各待融合视频数据对应的多个初始区域对应的权重值进行比较，选取权重值最大的初始区域作为目标区域；
将多个目标区域进行拼接，得到目标重叠区域；
根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据。
6.如权利要求5所述的多路摄像头融合拼接方法，其特征在于，所述根据所述若干待融合视频数据以及所述目标重叠区域得到无人驾驶汽车的车辆驾驶监测数据，包括：
对所述若干待融合视频数据以及所述目标重叠区域进行拼接，得到目标图像；
获取各初始重叠区域内各待融合视频数据对应的灰度值均值；
根据所述灰度值均值调整所述目标图像的亮度值，得到调整后的目标图像；
根据所述调整后的目标图像得到无人驾驶汽车的车辆驾驶监测数据。
7.如权利要求2-6中任一项所述的多路摄像头融合拼接方法，其特征在于，所述分别对所述若干待融合视频数据进行区域划分，按照预设赋值策略赋予各区域对应的权重值之后，所述方法还包括：
获取多路摄像头对应的抖动数据；
在所述抖动数据超过预设数值时，根据所述抖动数据对所述权重值进行调整，得到调整后的权重值；
根据所述调整后的权重值对所述若干待融合视频数据进行拼接融合处理，得到无人驾驶汽车的车辆驾驶监测数据。
8.一种多路摄像头融合拼接装置，其特征在于，所述多路摄像头融合拼接装置包括：
获取模块，用于获取多路摄像头采集的若干视频数据，对所述若干视频数据进行融合拼接处理，得到无人驾驶汽车的车辆驾驶监测数据；
判断模块，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；
无人驾驶模块，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；
远程驾驶模块，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。
9.一种多路摄像头融合拼接设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多路摄像头融合拼接程序，所述多路摄像头融合拼接程序配置为实现如权利要求1至7中任一项所述的多路摄像头融合拼接方法。
10.一种存储介质，其特征在于，所述存储介质上存储有多路摄像头融合拼接程序，所述多路摄像头融合拼接程序被处理器执行时实现如权利要求1至7任一项所述的多路摄像头融合拼接方法。
CN202110487435.3A 2020-05-15 2021-04-30 多路摄像头融合拼接方法、装置、设备及存储介质 Active CN112965503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210628630.8A CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010416571.9A CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN2020104165719 2020-05-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210628630.8A Division CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质

Publications (2)

Publication Number Publication Date
CN112965503A true CN112965503A (zh) 2021-06-15
CN112965503B CN112965503B (zh) 2022-09-16

Family

ID=72112845

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202010416571.9A Pending CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487438.7A Active CN112965504B (zh) 2020-05-15 2021-04-30 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN202110487434.9A Active CN112965502B (zh) 2020-05-15 2021-04-30 视觉跟踪确认方法、装置、设备及存储介质
CN202110487466.9A Active CN113031626B (zh) 2020-05-15 2021-04-30 基于自动驾驶的安全认证方法、装置、设备及存储介质
CN202210628630.8A Pending CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487556.8A Active CN112987759B (zh) 2020-05-15 2021-04-30 基于自动驾驶的图像处理方法、装置、设备及存储介质
CN202110487435.3A Active CN112965503B (zh) 2020-05-15 2021-04-30 多路摄像头融合拼接方法、装置、设备及存储介质

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN202010416571.9A Pending CN111580522A (zh) 2020-05-15 2020-05-15 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487438.7A Active CN112965504B (zh) 2020-05-15 2021-04-30 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN202110487434.9A Active CN112965502B (zh) 2020-05-15 2021-04-30 视觉跟踪确认方法、装置、设备及存储介质
CN202110487466.9A Active CN113031626B (zh) 2020-05-15 2021-04-30 基于自动驾驶的安全认证方法、装置、设备及存储介质
CN202210628630.8A Pending CN114911242A (zh) 2020-05-15 2021-04-30 无人驾驶汽车的控制方法、汽车和存储介质
CN202110487556.8A Active CN112987759B (zh) 2020-05-15 2021-04-30 基于自动驾驶的图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (7) CN111580522A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538311A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 基于人眼主观视觉效果车载冗余摄像头的图像融合方法
CN113938617A (zh) * 2021-09-06 2022-01-14 杭州联吉技术有限公司 一种多路视频显示方法、设备、网络摄像机及存储介质
CN116916172A (zh) * 2023-09-11 2023-10-20 腾讯科技（深圳）有限公司 一种远程控制方法和相关装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037553B (zh) * 2020-08-31 2023-09-08 腾讯科技（深圳）有限公司 远程驾驶方法、装置、***、设备及介质
CN112305573A (zh) * 2020-10-23 2021-02-02 上海伯镭智能科技有限公司 一种基于北斗的无人驾驶汽车路线选择***
CN112613482A (zh) * 2021-01-04 2021-04-06 深圳裹动智驾科技有限公司 无人驾驶车辆的监控方法及***、以及计算机设备
CN112896193B (zh) * 2021-03-16 2022-06-24 四川骏驰智行科技有限公司 一种汽车远程辅助驾驶***及方法
CN113189989B (zh) * 2021-04-21 2022-07-01 东风柳州汽车有限公司 车辆意图预测方法、装置、设备及存储介质
CN113467431A (zh) * 2021-08-03 2021-10-01 上海智能新能源汽车科创功能平台有限公司 一种基于5g通讯的远程监控与应急干预管理***
CN113320548A (zh) * 2021-08-04 2021-08-31 新石器慧通（北京）科技有限公司 车辆控制方法、装置、电子设备和存储介质
CN113865603B (zh) * 2021-08-30 2024-06-07 东风柳州汽车有限公司 共享无人车路径规划方法、装置、设备及存储介质
CN113837027B (zh) * 2021-09-03 2024-06-25 东风柳州汽车有限公司 辅助驾驶的感知方法、装置、设备及存储介质
CN113867360A (zh) * 2021-10-19 2021-12-31 北京三快在线科技有限公司 一种基于远程油门控制无人驾驶设备的方法及装置
CN114115206A (zh) * 2021-10-22 2022-03-01 湖南大学无锡智能控制研究院 一种安全的远程驾驶***
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114115207A (zh) * 2021-11-23 2022-03-01 广州小鹏自动驾驶科技有限公司 远程驾驶控制方法、设备及***
CN114153227B (zh) * 2021-11-30 2024-02-20 重庆大学 一种基于gps信号的无人机机群密钥提取与安全认证方法
CN113928283B (zh) * 2021-11-30 2023-08-25 广州文远知行科技有限公司 一种车辆碰撞控制方法、装置、设备和介质
CN114545812A (zh) * 2021-12-15 2022-05-27 株式会社Iat 一种远程驾驶车辆方法以及***
CN114750806A (zh) * 2022-05-11 2022-07-15 南京北路智控科技股份有限公司 一种单轨吊远程驾驶方法及***
CN115390484A (zh) * 2022-06-27 2022-11-25 武汉路特斯科技有限公司 一种车辆远程控制方法、装置、电子设备及存储介质
CN115277788B (zh) * 2022-08-23 2024-04-26 石家庄开发区天远科技有限公司 工程车远程控制***与方法
CN115497318A (zh) * 2022-09-28 2022-12-20 东风悦享科技有限公司 一种适用于公开道路远程驾驶的辅助驾驶平台
CN116931498B (zh) * 2023-09-15 2023-11-21 北京易控智驾科技有限公司 一种人机共驾***、方法及装置
CN118092406B (zh) * 2024-04-25 2024-07-12 安徽中科星驰自动驾驶技术有限公司 一种基于自动驾驶***的远程驾驶方法及远程控制装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166033A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Method and apparatus for detecting driving information of autonomous driving system
CN104202541A (zh) * 2014-09-26 2014-12-10 北京华建纵横科技有限公司 一种图像合成器
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及***
CN107360413A (zh) * 2017-08-25 2017-11-17 秦山 一种多目立体图像信号传输方法和***
WO2018132607A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
CN108428357A (zh) * 2018-03-22 2018-08-21 青岛慧拓智能机器有限公司 一种用于智能网联车的平行遥控驾驶***
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及***
TW201911255A (zh) * 2017-08-08 2019-03-16 洪奇麟 一種能增加行車安全或增加行車之方便的方法及其運用與裝置３
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别***及其识别方法
CN109711349A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 用于生成控制指令的方法和装置
CN109808709A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 车辆行驶保障方法、装置、设备及可读存储介质
CN110300285A (zh) * 2019-07-17 2019-10-01 北京智行者科技有限公司 基于无人驾驶平台的全景视频采集方法及***
CN110443111A (zh) * 2019-06-13 2019-11-12 东风柳州汽车有限公司 自动驾驶目标识别方法
CN110874945A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 基于车路协同的路侧感知***及其车辆控制方法
CN110884428A (zh) * 2019-11-11 2020-03-17 长春理工大学 一种基于折反射全景相机的车载全景驾驶辅助装置及方法
CN110969592A (zh) * 2018-09-29 2020-04-07 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620820B2 (en) * 2002-04-02 2009-11-17 Sony Corporation Content data processing method, recording device, and reproduction device
JP2004081264A (ja) * 2002-08-23 2004-03-18 Hitachi Medical Corp 遠隔医療システム及び制御モダリティーの遠隔操作装置
US7200868B2 (en) * 2002-09-12 2007-04-03 Scientific-Atlanta, Inc. Apparatus for encryption key management
US8146145B2 (en) * 2004-09-30 2012-03-27 Rockstar Bidco Lp Method and apparatus for enabling enhanced control of traffic propagation through a network firewall
JP4971917B2 (ja) * 2007-09-11 2012-07-11 日本放送協会 署名生成装置、署名検証装置、グループ管理装置、およびそれらのプログラム
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN101520832A (zh) * 2008-12-22 2009-09-02 康佳集团股份有限公司 一种文件代码签名验证***及其方法
US9452528B1 (en) * 2012-03-05 2016-09-27 Vecna Technologies, Inc. Controller device and method
CN102867395A (zh) * 2012-10-11 2013-01-09 南京艾酷派物联网有限公司 驾驶员疲劳远程实时监控装置
CN103946856B (zh) * 2013-09-30 2016-11-16 华为技术有限公司 加解密处理方法、装置和设备
CN103594003B (zh) * 2013-11-13 2015-11-25 安徽三联交通应用技术股份有限公司 一种用于驾驶人的远程监控与异常预警的方法
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10613627B2 (en) * 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
CN105791258A (zh) * 2014-12-26 2016-07-20 ***通信集团上海有限公司 一种数据传输方法、终端及开放平台
CN105049213A (zh) * 2015-07-27 2015-11-11 小米科技有限责任公司 文件签名方法及装置
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
CN105979517B (zh) * 2015-11-10 2020-01-03 法法汽车(中国)有限公司 一种基于车辆的网络数据传输方法和装置
US20190087576A1 (en) * 2016-04-14 2019-03-21 Rhombus Systems Group, Inc. System for verification of integrity of unmanned aerial vehicles
CN105704164B (zh) * 2016-04-26 2018-12-07 威马汽车科技集团有限公司 汽车安全监测方法
CN105812129B (zh) * 2016-05-10 2018-12-18 威马汽车科技集团有限公司 车辆运行状态监控方法
US10268844B2 (en) * 2016-08-08 2019-04-23 Data I/O Corporation Embedding foundational root of trust using security algorithms
JP6260067B1 (ja) * 2016-08-09 2018-01-17 Kddi株式会社 管理システム、鍵生成装置、車載コンピュータ、管理方法、及びコンピュータプログラム
WO2018067867A1 (en) * 2016-10-07 2018-04-12 Cyber Physical Systems, Inc. System and method for driving condition detection and notification
CN106394545A (zh) * 2016-10-09 2017-02-15 北京汽车集团有限公司 驾驶***、无人驾驶车辆及车辆远程控制端
US20180205729A1 (en) * 2017-01-13 2018-07-19 GM Global Technology Operations LLC Method and apparatus for encryption, decryption and authentication
JP6938177B2 (ja) * 2017-03-14 2021-09-22 パイオニア株式会社 制御装置、制御方法、及び、プログラム
US10564638B1 (en) * 2017-07-07 2020-02-18 Zoox, Inc. Teleoperator situational awareness
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
CN107465673A (zh) * 2017-07-27 2017-12-12 深圳市易成自动驾驶技术有限公司 车辆的身份认证方法、装置及计算机可读存储介质
US10289114B2 (en) * 2017-08-08 2019-05-14 The Boeing Company Safety controls for network connected autonomous vehicle
US10437247B2 (en) * 2017-08-10 2019-10-08 Udelv Inc. Multi-stage operation of autonomous vehicles
CN109409172B (zh) * 2017-08-18 2021-08-13 安徽三联交通应用技术股份有限公司 驾驶员视线检测方法、***、介质及设备
KR101842009B1 (ko) * 2017-08-31 2018-05-14 영남대학교 산학협력단 자동차 원격 키 시스템 및 자동차 원격 키 시스템에서의 스마트키 인증 방법
JP2019043496A (ja) * 2017-09-07 2019-03-22 株式会社デンソー 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
KR102201757B1 (ko) * 2017-10-12 2021-01-12 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
KR101852791B1 (ko) * 2017-10-16 2018-04-27 (주)케이스마텍 모바일 단말기를 이용한 공인인증서 로그인 서비스 시스템 및 방법
CN108111604B (zh) * 2017-12-21 2020-08-14 广州广电运通金融电子股份有限公司 区块链共识方法、装置和***、标识信息处理方法和装置
CN110070641A (zh) * 2018-01-22 2019-07-30 江苏迪纳数字科技股份有限公司 一种无屏幕的智能行车记录仪
DE102018202738A1 (de) * 2018-02-23 2019-08-29 Bayerische Motoren Werke Aktiengesellschaft Fernbedienbares Parkassistenzsystem mit selbstständiger Entscheidung über das Vorliegen einer Ein- oder Ausparksituation und entsprechendes Parkverfahren
CN110549990A (zh) * 2018-05-30 2019-12-10 郑州宇通客车股份有限公司 一种无人驾驶车辆远程启动控制方法和***
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
US20200041995A1 (en) * 2018-10-10 2020-02-06 Waymo Llc Method for realtime remote-operation of self-driving cars by forward scene prediction.
CN109345836A (zh) * 2018-10-26 2019-02-15 北理慧动（常熟）车辆科技有限公司 一种多模式无人车远程操控***及方法
CN109992953A (zh) * 2019-02-18 2019-07-09 深圳壹账通智能科技有限公司 区块链上的数字证书签发、验证方法、设备、***及介质
CN110032176A (zh) * 2019-05-16 2019-07-19 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN110103221A (zh) * 2019-05-21 2019-08-09 深圳市超时空机器人有限公司 一种远程驾驶方法、设备及其***
CN210405369U (zh) * 2019-05-28 2020-04-24 长安大学 自动驾驶车辆控制器
CN110303884B (zh) * 2019-07-10 2020-11-06 初速度（苏州）科技有限公司 一种防疲劳驾驶方法、***及装置
CN110557738B (zh) * 2019-07-12 2022-06-07 安徽中科美络信息技术有限公司 一种车辆监测信息安全传输方法及***
CN110796763A (zh) * 2019-09-24 2020-02-14 北京汽车集团有限公司 车辆状态数据的处理方法、装置和***
CN110912690A (zh) * 2019-11-01 2020-03-24 中国第一汽车股份有限公司 一种数据加密和解密方法、车辆和存储介质
CN110850855A (zh) * 2019-11-26 2020-02-28 奇瑞汽车股份有限公司 一种无线网络远程控车***和方法
CN111098863B (zh) * 2019-12-12 2022-03-29 长城汽车股份有限公司 自动驾驶车辆的远程驾驶请求方法、装置及用户终端

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166033A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Method and apparatus for detecting driving information of autonomous driving system
CN104202541A (zh) * 2014-09-26 2014-12-10 北京华建纵横科技有限公司 一种图像合成器
CN106056100A (zh) * 2016-06-28 2016-10-26 重庆邮电大学 一种基于车道检测与目标跟踪的车辆辅助定位方法
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及***
WO2018132607A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
TW201911255A (zh) * 2017-08-08 2019-03-16 洪奇麟 一種能增加行車安全或增加行車之方便的方法及其運用與裝置３
CN107360413A (zh) * 2017-08-25 2017-11-17 秦山 一种多目立体图像信号传输方法和***
CN108428357A (zh) * 2018-03-22 2018-08-21 青岛慧拓智能机器有限公司 一种用于智能网联车的平行遥控驾驶***
CN109188932A (zh) * 2018-08-22 2019-01-11 吉林大学 一种面向智能驾驶的多摄像头在环仿真测试方法及***
CN110874945A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 基于车路协同的路侧感知***及其车辆控制方法
CN110969592A (zh) * 2018-09-29 2020-04-07 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
CN109598244A (zh) * 2018-12-07 2019-04-09 吉林大学 一种交通信号灯识别***及其识别方法
CN109711349A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 用于生成控制指令的方法和装置
CN109808709A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 车辆行驶保障方法、装置、设备及可读存储介质
CN110443111A (zh) * 2019-06-13 2019-11-12 东风柳州汽车有限公司 自动驾驶目标识别方法
CN110300285A (zh) * 2019-07-17 2019-10-01 北京智行者科技有限公司 基于无人驾驶平台的全景视频采集方法及***
CN110884428A (zh) * 2019-11-11 2020-03-17 长春理工大学 一种基于折反射全景相机的车载全景驾驶辅助装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
许珂等: "IPv6车联网中视频智能处理***的设计与分析", 《中国教育网络》 *
谷庆广: "基于无人驾驶车辆的图像处理研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538311A (zh) * 2021-07-22 2021-10-22 浙江赫千电子科技有限公司 基于人眼主观视觉效果车载冗余摄像头的图像融合方法
CN113538311B (zh) * 2021-07-22 2024-01-23 浙江赫千电子科技有限公司 基于人眼主观视觉效果车载冗余摄像头的图像融合方法
CN113938617A (zh) * 2021-09-06 2022-01-14 杭州联吉技术有限公司 一种多路视频显示方法、设备、网络摄像机及存储介质
CN116916172A (zh) * 2023-09-11 2023-10-20 腾讯科技（深圳）有限公司 一种远程控制方法和相关装置
CN116916172B (zh) * 2023-09-11 2024-01-09 腾讯科技（深圳）有限公司 一种远程控制方法和相关装置

Also Published As

Publication number Publication date
CN112987759A (zh) 2021-06-18
CN113031626B (zh) 2022-09-06
CN114911242A (zh) 2022-08-16
CN112987759B (zh) 2023-06-30
CN112965504A (zh) 2021-06-15
CN112965502B (zh) 2023-03-10
CN111580522A (zh) 2020-08-25
CN113031626A (zh) 2021-06-25
CN112965502A (zh) 2021-06-15
CN112965504B (zh) 2022-08-09
CN112965503B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112965503B (zh) 多路摄像头融合拼接方法、装置、设备及存储介质
CN109212543B (zh) 用于自主车辆操作的校准验证方法
US10848727B2 (en) Image processing device, information generation device, and information generation method
US8094192B2 (en) Driving support method and driving support apparatus
EP1961613B1 (en) Driving support method and driving support device
KR20200091951A (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
WO2017212927A1 (ja) 撮像制御装置および方法、並びに車両
DE112017005807T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
CN202035096U (zh) 移动机械的移动操作监控***
JP2013535753A (ja) 表示装置に画像を表示する方法、および運転者支援システム
CN110796711B (zh) 全景***标定方法、装置、计算机可读存储介质及车辆
CN110378836B (zh) 获取对象的3d信息的方法、***和设备
KR101776740B1 (ko) Hud 자동 보정방법 및 보정시스템
KR102057021B1 (ko) 패널 변환
JP6471522B2 (ja) カメラパラメータ調整装置
CN112822348B (zh) 交通工具机载成像***
CN115190267B (zh) 自动驾驶的视频数据处理方法、装置、设备及存储介质
CN111169381A (zh) 一种车辆影像显示方法、装置、车辆和存储介质
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN112339771B (zh) 一种泊车过程展示方法、装置及车辆
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
EP4395356A1 (en) Image capturing device, movable apparatus, and storage medium
CN217945043U (zh) 车辆和确定车辆周围的物体的设备
WO2022166308A1 (zh) 一种用于视觉传感器的控制指令生成方法及装置、控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant