CN114454889B - 用于远程驾驶的行驶路面状况反馈方法、装置和无人车 - Google Patents

用于远程驾驶的行驶路面状况反馈方法、装置和无人车 Download PDF

Info

Publication number
CN114454889B
CN114454889B CN202210387115.5A CN202210387115A CN114454889B CN 114454889 B CN114454889 B CN 114454889B CN 202210387115 A CN202210387115 A CN 202210387115A CN 114454889 B CN114454889 B CN 114454889B
Authority
CN
China
Prior art keywords
unmanned vehicle
driving
image
detection signal
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210387115.5A
Other languages
English (en)
Other versions
CN114454889A (zh
Inventor
陈曾进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202210387115.5A priority Critical patent/CN114454889B/zh
Publication of CN114454889A publication Critical patent/CN114454889A/zh
Application granted granted Critical
Publication of CN114454889B publication Critical patent/CN114454889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/35Road bumpiness, e.g. potholes

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及无人车技术领域,提供了一种用于远程驾驶的行驶路面状况反馈方法、装置和无人车。该方法应用于无人车,即无人驾驶设备或自动驾驶设备,包括:在无人车处于远程驾驶模式的情况下,开启无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;检测图像是否满足准确判断行驶路面起伏状况的预设要求;若不满足,获取由设置在无人车上的车身姿态传感器采集到的无人车在行驶路面上的姿态检测信号,并将姿态检测信号传输至远程驾驶端;远程驾驶端基于姿态检测信号模拟驾驶座椅在无人车上的姿态,使驾驶员根据驾驶座椅的姿态来及时且准确地判断行驶路面的起伏状况,从而做出安全的驾驶操作,提高了远程驾驶无人车的安全性。

Description

用于远程驾驶的行驶路面状况反馈方法、装置和无人车
技术领域
本公开涉及无人车技术领域,尤其涉及一种用于远程驾驶的行驶路面状况反馈方法、装置和无人车。
背景技术
无人车在远程驾驶模式下一般需要获取无人车周围的图像作为驾驶画面,驾驶员通过该图像可以清楚地了解无人车行驶路面的状况,以便对无人车进行驾驶操作。不过,由于图像在远程传输过程中存在许多不确定因素,这些不确定因素将导致无法通过观察图片来获取无人车的行驶路面状况。例如,网络信号较差的情况下导致图像传输的分辨率下降,或者图像中有障碍物遮挡路面等情况,都将导致驾驶员无法通过图像来了解行驶路面状况。
因此,如何使远程驾驶员能够及时且准确地获取行驶路面状况是无人车远程驾驶应用中的一个技术问题。
发明内容
有鉴于此,本公开实施例提供了一种用于远程驾驶的行驶路面状况反馈方法、装置和无人车,以解决现有无人车远程驾驶应用中如何使远程驾驶员能够及时且准确地获取行驶路面状况的问题。
本公开实施例的第一方面,提供了一种用于远程驾驶的行驶路面状况反馈方法,包括:在无人车处于远程驾驶模式的情况下,开启该无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;检测该图像是否满足准确判断行驶路面起伏状况的预设要求;当该图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,并将该姿态检测信号传输至远程驾驶端;该远程驾驶端基于该姿态检测信号模拟驾驶座椅在该无人车上的姿态,使驾驶员根据该驾驶座椅的姿态来判断行驶路面的起伏状况。
本公开实施例的第二方面,提供了一种用于远程驾驶的行驶路面状况反馈装置,包括:图像采集模块,被配置为在无人车处于远程驾驶模式的情况下,开启该无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;图像检测模块,被配置为检测该图像是否满足准确判断行驶路面起伏状况的预设要求;信号检测模块,被配置为当该图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,并将该姿态检测信号传输至远程驾驶端;拟真反馈模块,被配置为该远程驾驶端基于该姿态检测信号模拟驾驶座椅在该无人车上的姿态,使驾驶员根据该驾驶座椅的姿态来判断行驶路面的起伏状况。
本公开实施例的第三方面,提供了一种无人车,包括计算机设备,该计算机设备包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:通过在无人车处于远程驾驶模式的情况下,开启该无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;检测该图像是否满足准确判断行驶路面起伏状况的预设要求;当该图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,并将该姿态检测信号传输至远程驾驶端;该远程驾驶端基于该姿态检测信号模拟驾驶座椅在该无人车上的姿态,使驾驶员根据该驾驶座椅的姿态来判断行驶路面的起伏状况,使驾驶员通过该姿态来及时且准确地判断行驶路面起伏状况,从而做出安全的驾驶操作,提高了远程驾驶无人车的安全性。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图;
图2是本公开实施例提供的一种用于远程驾驶的行驶路面状况反馈方法的流程图;
图3是本公开实施例提供的一种用于远程驾驶的行驶路面状况反馈装置的框图;
图4是本公开实施例提供的一种计算机设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种用于远程驾驶的行驶路面状况反馈方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括无人车、远程驾驶端2、服务器3以及网络4。
无人车1可以是无人驾驶设备或自动驾驶设备,或也可以是远程驾驶设备。在本公开应用场景中,无人车1优选为远程驾驶设备,即驾驶员5可以在远程驾驶端2对无人车1进行驾驶控制。具体地,无人车1上可以设有视觉感知***,用于采集无人车1周围的图像信息,以及无人车1上也可以设有车身姿态传感器,用于采集无人车1在行驶路面上的姿态检测信号,无人车1将采集的图像信息或/和姿态检测信号经由网络4发送给远程驾驶端。在实际应用中,无人车可以被应用于自动售卖商品或自动运送物品等场景。
远程驾驶端2可以包括显示屏幕21和驾驶座椅22,并经由网络4与无人车1通信连接,以接收无人车1发送的图像信息和姿态检测信号。具体地,远程驾驶端可以根据接收到的图像信息在显示屏幕21上显示无人车的周围图像,或者远程驾驶端2也可以根据接收到的姿态检测信号来模拟驾驶座椅22在无人车上的姿态,从而使远程的驾驶员能够根据显示屏幕21上的周围图像或驾驶座椅22的姿态在远程驾驶端2上对无人车1作出相应的驾驶操作,并由远程驾驶端2生成与该驾驶操作对应的控制指令,并通过网络4将该控制指令发送给无人车1,实现对无人车1的远程控制。
服务器3可以是提供各种服务的服务器,例如,对与其建立通信连接的无人车1和远程驾驶端2发送的请求进行接收的后台服务器,该后台服务器可以对无人车1或远程驾驶端2发送的信息进行接收并转发给对方,也可以对无人车1或远程驾驶端2发送信息进行接收和分析等处理,并将对应生成的处理结果返回给无人车1或远程驾驶端2,或者将对应生成的处理结果发送给对方。服务器3可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心,本公开实施例对此不作限制。
需要说明的是,服务器3可以是硬件,也可以是软件。当服务器3为硬件时,其可以是为无人车1和远程驾驶端2提供各种服务的各种电子设备。当服务器3为软件时,其可以实现为为无人车1和远程驾驶端2提供各种服务的多个软件或软件模块,也可以实现为为无人车1和远程驾驶端2提供各种服务的单个软件或软件模块,本公开实施例对此不作限制。
网络4可以是采用同轴电缆、双绞线和光纤连接的有线网络,也可以是无需布线就能实现各种通信设备互联的无线网络,例如,蓝牙(Bluetooth)、近场通信(Near FieldCommunication,NFC)、红外(Infrared)等,本公开实施例对此不作限制。
驾驶员5可以通过远程驾驶端2经由网络4与服务器3建立通信连接,以接收无人车1发送的信息,或向无人车1发送信息等。具体地,无人车1将周围环境的感知信息(例如上述图像信息和姿态检测信号)发送给服务器,之后远程驾驶端2通过网络4从服务器3中接收无人车1发送的感知信息,并在显示屏幕21和驾驶座椅22上将该感知信息以能够让驾驶员感知的方式展示给驾驶员5,使驾驶员5在远程驾驶端2也能够清楚地了解无人车1的周围环境,并据此在远程驾驶端2上进行相应的驾驶操作,并由远程驾驶端2将该驾驶操作转换为对应的控制指令,再经由网络4发送给服务器3,使无人车1能够从服务器3中接收到并响应该控制指令,从而实现驾驶员5对无人车1的远程控制。
需要说明的是,无人车、远程驾驶端2、服务器3以及网络4的具体类型、数量和组合可以根据应用场景的实际需求进行调整,本公开实施例对此不作限制。
图2是本公开实施例提供了一种用于远程驾驶的行驶路面状况反馈方法的流程图,图2的用于远程驾驶的行驶路面状况反馈方法可以由图1的无人车1执行。如图2所示,该用于远程驾驶的行驶路面状况反馈方法包括:
S201,在无人车处于远程驾驶模式的情况下,开启该无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;
S202,检测该图像是否满足准确判断行驶路面起伏状况的预设要求;
S203,当该图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,并将该姿态检测信号传输至远程驾驶端;
S204,该远程驾驶端基于该姿态检测信号模拟驾驶座椅在该无人车上的姿态,使驾驶员根据该驾驶座椅的姿态来判断行驶路面的起伏状况。
具体地,无人车可以有多种驾驶模式,包括但不限于自动驾驶模式和远程驾驶模式。在本公开实施例中,无人车具有远程驾驶模式,并可以应用于图1所示场景中,由驾驶员5在远程驾驶端2对无人车1进行驾驶控制。进一步来说,无人车1上可以设有视觉感知***和车身姿态传感器,远程驾驶端2上可以设有显示屏幕21和驾驶座椅22,无人车1上的视觉感知***能够采集无人车周围的图像,并通过网络4将图像发送至远程驾驶端2的显示屏幕21进行显示,作为驾驶员5远程驾驶无人车1的驾驶画面,以便驾驶员能够更好地驾驶与控制无人车1;另外,无人车上的车身姿态传感器能够采集无人车在行驶路面上的姿态检测信号,在视觉感知***采集的图像无法准确判断行驶路面状况的情况下,无人车1还可以通过网络将该姿态检测信号发送给远程驾驶端2,并模拟出驾驶座椅22在无人车1上的姿态,使驾驶员5根据驾驶座椅22的姿态来感知无人车1的行驶路面状况。
根据本公开实施例提供的技术方案,通过无人车1上的视觉感知***和车身姿态传感器来分别采集无人车周围的图像和无人车在行驶路面上的姿态检测信号,并经由网络将该图像发送给远程驾驶端作为驾驶员的驾驶画面,若该驾驶画面不能准确判断行驶路面起伏状况的要求,则再经由网络将姿态检测信号发送给远程驾驶端,并模拟出驾驶座椅在无人车上的姿态,使驾驶员通过该姿态来更加准确地判断行驶路面起伏状况,从而做出安全的驾驶操作,提高了远程驾驶无人车的安全性。
在一些实施例中,图1中的行驶路面状况反馈方法还包括:当该图像满足准确判断行驶路面起伏状况的预设要求时,将该图像传输至远程驾驶端,以使该远程驾驶端显示该图像来作为驾驶员判断行驶路面状况的驾驶画面。
具体地,视觉感知***采集的图像可以包括无人车在前方、后方、左方和右方中至少一个方向的图像。例如,在实际应用中,可以在无人车的前、后、左、右四个方向上分别布置图像拍摄装置来采集在各个方向上的图像,并将采集到的图像通过网络传输至远程驾驶端作为驾驶员的驾驶画面进行显示,以便驾驶员判断无人车的行驶路面状况。
在实际应用中,无人车对采集的图像进行检测,在确定图像满足准确判断行驶路面起伏状况的预设要求的情况下,则可以直接将图像传输至远程驾驶端作为驾驶画面进行显示;在确定图像不满足准确判断行驶路面起伏状况的预设要求的情况下,则再将车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号发送给远程驾驶端,在驾驶座椅上模拟出无人车的车身姿态,使驾驶员能够更为准确地判断出驾驶路面状态。
其中,确定图像是否满足准确判断行驶路面起伏状况的预设要求的实现方式并不唯一,这里将通过以下两个具体实施例来进行举例说明。
在一些实施例中,该检测该图像是否满足准确判断行驶路面起伏状况的预设要求,包括:
利用图像识别算法对该图像进行计算处理,得到对行驶路面起伏状况的第一判断结果;
获取车身姿态传感器在该无人车经过该行驶路面时采集到的姿态检测信号,并根据该姿态检测信号计算得到该行驶路面起伏状况的第二判断结果;
比较该第一判断结果和第二判断结果是否一致:当一致时,判定该图像满足预设要求;当不一致时,判定该图像不满足预设要求。
具体地,第一判断结果和第二判断结果是基于不同检测手段来对于相同行驶路面起伏状况作出的判断结果,因此,可以预先对行驶路面起伏程度进行分级,划分为多个预设等级,并将无人车在每个预设等级的行驶路面上的图像特征和姿态检测信号特征与该预设等级进行关联,从而可以对图像进行计算,得到对应的预设等级(即第一判断结果),以及对姿态检测信号进行计算,也得到对应的预设等级(即第二判断结果)。另外,考虑到利用图像识别算法对图像进行计算的检测手段的可靠性不如利用姿态检测信号进行计算的检测手段,那么,通过获取无人车在行驶路面上的图像和姿态检测信号,分别对图像和姿态检测信号进行计算处理后,得到的计算处理结果(即第一判断结果和第二判断结果)如果不一致,则判定图像不满足预设要求,相反,则判定图像满足预设要求。
根据本公开实施例提供的技术方案,通过同时获取无人车在行驶路面上的图像和姿态检测信号,并分别对图像和姿态检测信号进行计算处理后得到对该行驶路面的判断结果,来判定利用图像识别算法对图像进行计算行驶路面起伏状况的是否满足预设要求,这种利用两种检测手段进行相互佐证的方式可以快速确定图像是否满足预设要求,并能够基于判断结果来选择发送图像或姿态检测信号,而不需要引入其他信号来进行判断。
在一些实施例中,图2中该检测该图像是否满足准确判断行驶路面起伏状况的预设要求,还可以包括:
获取预先训练完成的行驶路面场景识别模型,该行驶路面场景识别模型是利用路面样本图像进行训练所得到的机器模型;
使用该行驶路面场景识别模型识别该图像中是否包含预设路面场景:若该图像包含该预设路面场景,则判定该图像不满足预设要求;若该图像不包含预设路面场景,则判定该图像满足预设要求。
具体地,可以预先收集包含各种路面场景的路面样本图像作为训练集,并利用该训练集进行训练得到能够对无人车的行驶路面图像进行路面场景自动识别的机器模型。例如,在本公开实施例中,可以收集包含有预设路面场景的路面样本图像作为训练集,然后利用包括预设路面场景的路面样本图像的训练集进行训练,得到相应的机器模型,从而利用该机器模型对无人车采集的图像进行自动识别,确定该图像是否包含预设路面场景,若图像含有该预设路面场景,则判定该图像满足预设要求,若图像不含有预设路面场景,则判定该图像不满足预设要求。
根据本公开实施例提供的技术方案,通过利用含有预设路面场景的路面样本图像进行训练来得到机器模型,并使用该机器模型来自动识别图像中是否含有预设路面场景,以确定图像是否满足预设要求,从而能够快速且智能地确定图像是否满足预设要求。
在一些实施例中,该预设路面场景包括以下中的至少一种场景:行驶路面被遮挡、行驶路面分辨率不够和行驶路面有障碍物。
具体地,根据预设路面场景,可以在利用训练集进行训练前,对收集的训练集中所有的路面样本图像进行标注,即将符合预设路面场景的路面样本图像标注为一种标签,对不符合预设路面场景的路面样本图像标注为另一种标签,再利用标注的训练集进行训练,这样得到的机器模型即可实现对图像是否含有预设路面类型进行自动识别,从而提高对图像的判定速度。
在一些实施例中,该获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,包括:
标记该图像中行驶路面的位置;
当该无人车驾驶至该标记的行驶路面上时,开启设置在该无人车上的车身姿态传感器,并使用该车身姿态传感器采集该无人车在该行驶路面上的姿态检测信号。
具体地,考虑到无人车行驶过程中如果实时开启车身姿态传感器需要耗费无人车的电能,影响无人车的续航。因此,标记图像中行驶路面的位置,可以是先前其它无人车经过起伏行驶路面时标记的位置,即先前的其它无人车在地图中相应的位置标记出该经过的起伏行驶路面的位置,基于该地图中标记的位置,后面如果有无人车再经过该标记的位置的起伏行驶路面时,可以在无人车的视觉感知***采集的图像中标记出该地图中标记的位置,以提醒无人车在该标记出的位置开启车身姿态传感器来采集无人车在该行驶路面上的姿态检测信号,以降低对无人车能源的消耗。另外,标记图像中行驶路面的位置,也可以是图像中有起伏行驶路面的位置,例如,利用图像识别算法计算该图像中是否有起伏行驶路面,若有则标记出该起伏行驶路面的位置,其中,这里的图像可以是无人车在行驶路线前方的路面图像。
在上述一些实施例中,图2中的行驶路面状况反馈方法还包括:
根据姿态检测信号预先划分的风险等级,实时确定该姿态检测信号的风险程度;
远程驾驶端在驾驶画面中显示该姿态检测信号对应的风险程度。
具体地,姿态检测信号可以是一种检测信号,也可以是多种检测信号。当姿态检测信号为一种检测信号时,该检测信号可以为车辆倾斜角度或车辆振动角度等,在一些实施例中,可以预先对车辆倾斜角度或车辆振动角度划分为多个风险等级,从而可以实时确定该姿态检测信号的风险程度。当姿态检测信号为多种检测信号时,该检测信号可以包括车辆倾斜角度和车辆振动角度,在一些实施例中,可以预先依据车辆倾斜角度和车辆振动角度来划分多个风险等级,从而可以实时确定该姿态检测信号的风险程度。通过预先划分的风险等级,可以在远程驾驶端中实时显示姿态对应的风险程度,以便醒目地提醒驾驶员。
根据本公开实施例提供的技术方案,通过预先对姿态检测信号划分为多个风险等级,并在远程驾驶端中显示接收到的姿态检测信号对应的风险等级,从而使驾驶员能够清楚地知道行驶路面的风险。
在一些实施例中,在该姿态检测信号包括车辆倾斜角度和车辆振动角度的情况下,远程驾驶端可以基于该车辆倾斜角度和车辆振动角度控制驾驶座椅模拟出在该无人车上的姿态。
具体地,根据车辆倾斜角度和车辆振动角度在驾驶座椅上模拟出在无人车上的姿态的实现方式并不唯一,例如,可以在驾驶座椅上提供倾斜角度自动可调和座椅振动角度可调,然后基于该车辆倾斜角度和车辆振动角度来自动在驾驶座椅上模拟出对应的姿态。需要说明的是,本公开对于驾驶座椅模拟无人车姿态的实现方式并不作限制。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是本公开实施例提供的一种用于远程驾驶的行驶路面状况反馈装置的示意图。如图3所示,该用于远程驾驶的行驶路面状况反馈装置包括:
图像采集模块301,被配置为在无人车处于远程驾驶模式的情况下,开启该无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;
图像检测模块302,被配置为检测该图像是否满足准确判断行驶路面起伏状况的预设要求;
信号检测模块303,被配置为当该图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在该无人车上的车身姿态传感器采集到的该无人车在行驶路面上的姿态检测信号,并将该姿态检测信号传输至远程驾驶端;
拟真反馈模块304,被配置为该远程驾驶端基于该姿态检测信号模拟驾驶座椅在该无人车上的姿态,使驾驶员根据该驾驶座椅的姿态来判断行驶路面的起伏状况。
根据本公开实施例提供的技术方案,无人车上的视觉感知***和车身姿态传感器来分别采集无人车周围的图像和无人车在行驶路面上的姿态检测信号,并经由网络将该图像发送给远程驾驶端作为驾驶员的驾驶画面,若该驾驶画面不能准确判断行驶路面起伏状况的要求,则再经由网络将姿态检测信号发送给远程驾驶端,并模拟出驾驶座椅在无人车上的姿态,使驾驶员通过该姿态来更加准确地判断行驶路面起伏状况,从而做出安全的驾驶操作,提高了远程驾驶无人车的安全性。
在一些实施例中,该用于远程驾驶的行驶路面状况反馈装置还包括:
图像传输模块305,被配置为当该图像满足准确判断行驶路面起伏状况的预设要求时,将该图像传输至远程驾驶端,以使该远程驾驶端显示该图像来作为驾驶员判断行驶路面状况的驾驶画面。
在一些实施例中,图3中的图像检测模块302利用图像识别算法对该图像进行计算处理,得到对行驶路面起伏状况的第一判断结果;获取车身姿态传感器在该无人车经过该行驶路面时采集到的姿态检测信号,并根据该姿态检测信号计算得到该行驶路面起伏状况的第二判断结果;比较该第一判断结果和第二判断结果是否一致:当一致时,判定该图像满足预设要求;当不一致时,判定该图像不满足预设要求。
在一些实施例中,图3中的图像检测模块302获取预先训练完成的行驶路面场景识别模型,该行驶路面场景识别模型是利用路面样本图像进行训练所得到的机器模型;使用该行驶路面场景识别模型识别该图像中是否包含预设路面场景:若该图像包含该预设路面场景,则判定该图像不满足预设要求;若该图像不包含预设路面场景,则判定该图像满足预设要求。
在一些实施例中,该预设路面场景包括以下中的至少一种场景:行驶路面被遮挡、行驶路面分辨率不够和行驶路面有障碍物。
在一些实施例中,图3中的信号检测模块303标记该图像中行驶路面的位置;当该无人车驾驶至该标记的行驶路面上时,开启设置在该无人车上的车身姿态传感器,并使用该车身姿态传感器采集该无人车在该行驶路面上的姿态检测信号。
在一些实施例中,该用于远程驾驶的行驶路面状况反馈装置还包括:
风险确定模块306,被配置为根据姿态检测信号预先划分的风险等级,实时确定该姿态检测信号的风险程度;
风险显示模块307,被配置为远程驾驶端在驾驶画面中显示该姿态检测信号对应的风险程度。
在一些实施例中,该姿态检测信号包括车辆倾斜角度和车辆振动角度;
图3中的拟真反馈模块304用于该远程驾驶端基于该车辆倾斜角度和车辆振动角度控制驾驶座椅模拟出在该无人车上的姿态。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的计算机设备400的示意图。图4中的计算机设备可以应用于图1中的无人车1中,即无人车1包括该计算机设备400,如图4所示,该实施例的计算机设备400包括:处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
结合图1来说,若上述计算机设备400应用图1中的无人车中,那么,该无人车1除了包括该计算机设备400之外,还可以包括视觉感知***和车身姿态传感器。
示例性地,计算机程序403可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器402中,并由处理器401执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在计算机设备400中的执行过程。
计算机设备400可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是计算机设备400的示例,并不构成对计算机设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是计算机设备400的内部存储单元,例如,计算机设备400的硬盘或内存。存储器402也可以是计算机设备400的外部存储设备,例如,计算机设备400上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器402还可以既包括计算机设备400的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。

Claims (9)

1.一种用于远程驾驶的行驶路面状况反馈方法,其特征在于,包括:
在无人车处于远程驾驶模式的情况下,开启所述无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;
检测所述图像是否满足准确判断行驶路面起伏状况的预设要求;
当所述图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在所述无人车上的车身姿态传感器采集到的所述无人车在行驶路面上的姿态检测信号,并将所述姿态检测信号传输至远程驾驶端;
所述远程驾驶端基于所述姿态检测信号模拟驾驶座椅在所述无人车上的姿态,使驾驶员根据所述驾驶座椅的姿态来判断行驶路面的起伏状况;
其中,所述检测所述图像是否满足准确判断行驶路面起伏状况的预设要求,包括:
利用图像识别算法对所述图像进行计算处理,得到对行驶路面起伏状况的第一判断结果;
获取车身姿态传感器在所述无人车经过所述行驶路面时采集到的姿态检测信号,并根据所述姿态检测信号计算得到所述行驶路面起伏状况的第二判断结果;
比较所述第一判断结果和第二判断结果是否一致:当一致时,判定所述图像满足预设要求;当不一致时,判定所述图像不满足预设要求。
2.根据权利要求1所述的方法,其特征在于,还包括:当所述图像满足准确判断行驶路面起伏状况的预设要求时,将所述图像传输至远程驾驶端,以使所述远程驾驶端显示所述图像来作为驾驶员判断行驶路面状况的驾驶画面。
3.根据权利要求1所述的方法,其特征在于,所述检测所述图像是否满足准确判断行驶路面起伏状况的预设要求,包括:
获取预先训练完成的行驶路面场景识别模型,所述行驶路面场景识别模型是利用路面样本图像进行训练所得到的机器模型;
使用所述行驶路面场景识别模型识别所述图像中是否包含预设路面场景:若所述图像包含所述预设路面场景,则判定所述图像不满足预设要求;若所述图像不包含预设路面场景,则判定所述图像满足预设要求。
4.根据权利要求3所述的方法,其特征在于,所述预设路面场景包括以下中的至少一种场景:行驶路面被遮挡、行驶路面分辨率不够和行驶路面有障碍物。
5.根据权利要求1所述的方法,其特征在于,所述获取由设置在所述无人车上的车身姿态传感器采集到的所述无人车在行驶路面上的姿态检测信号,包括:
标记所述图像中行驶路面的位置;
当所述无人车驾驶至所述标记的行驶路面上时,开启设置在所述无人车上的车身姿态传感器,并使用所述车身姿态传感器采集所述无人车在所述行驶路面上的姿态检测信号。
6.根据权利要求1-5任一项所述的方法,其特征在于,还包括:
根据姿态检测信号预先划分的风险等级,实时确定所述姿态检测信号的风险程度;
远程驾驶端在驾驶画面中显示所述姿态检测信号对应的风险程度。
7.根据权利要求6所述的方法,其特征在于,所述姿态检测信号包括车辆倾斜角度和车辆振动角度;
其中,所述远程驾驶端基于所述姿态检测信号模拟驾驶座椅在所述无人车上的姿态,包括:所述远程驾驶端基于所述车辆倾斜角度和车辆振动角度控制驾驶座椅模拟出在所述无人车上的姿态。
8.一种用于远程驾驶的行驶路面状况反馈装置,其特征在于,包括:
图像采集模块,被配置为在无人车处于远程驾驶模式的情况下,开启所述无人车上的视觉感知***来采集用作远程驾驶端的驾驶画面的图像;
图像检测模块,被配置为检测所述图像是否满足准确判断行驶路面起伏状况的预设要求,其中,所述检测所述图像是否满足准确判断行驶路面起伏状况的预设要求,包括:利用图像识别算法对所述图像进行计算处理,得到对行驶路面起伏状况的第一判断结果;获取车身姿态传感器在所述无人车经过所述行驶路面时采集到的姿态检测信号,并根据所述姿态检测信号计算得到所述行驶路面起伏状况的第二判断结果;比较所述第一判断结果和第二判断结果是否一致:当一致时,判定所述图像满足预设要求;当不一致时,判定所述图像不满足预设要求;
信号检测模块,被配置为当所述图像不满足准确判断行驶路面起伏状况的预设要求时,获取由设置在所述无人车上的车身姿态传感器采集到的所述无人车在行驶路面上的姿态检测信号,并将所述姿态检测信号传输至远程驾驶端;
拟真反馈模块,被配置为所述远程驾驶端基于所述姿态检测信号模拟驾驶座椅在所述无人车上的姿态,使驾驶员根据所述驾驶座椅的姿态来判断行驶路面的起伏状况。
9.一种无人车,包括计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
CN202210387115.5A 2022-04-14 2022-04-14 用于远程驾驶的行驶路面状况反馈方法、装置和无人车 Active CN114454889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210387115.5A CN114454889B (zh) 2022-04-14 2022-04-14 用于远程驾驶的行驶路面状况反馈方法、装置和无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210387115.5A CN114454889B (zh) 2022-04-14 2022-04-14 用于远程驾驶的行驶路面状况反馈方法、装置和无人车

Publications (2)

Publication Number Publication Date
CN114454889A CN114454889A (zh) 2022-05-10
CN114454889B true CN114454889B (zh) 2022-06-28

Family

ID=81418548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210387115.5A Active CN114454889B (zh) 2022-04-14 2022-04-14 用于远程驾驶的行驶路面状况反馈方法、装置和无人车

Country Status (1)

Country Link
CN (1) CN114454889B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252024A (ja) * 2003-02-19 2004-09-09 Komatsu Forklift Co Ltd 作業車両の運転操作シミュレーション装置、及びそれを用いた作業車両の運転操作講習方法
CN109677404A (zh) * 2019-01-11 2019-04-26 南京航空航天大学 一种基于驾驶行为的车路协同的汽车主动安全辅助装置及方法
KR20190126258A (ko) * 2019-08-23 2019-11-11 엘지전자 주식회사 차량용 전자 장치 및 그의 동작 방법
CN111409643A (zh) * 2020-04-15 2020-07-14 新石器慧通(北京)科技有限公司 远程驾驶方法、远程驾驶装置及远程驾驶***
CN113835531A (zh) * 2021-11-11 2021-12-24 一汽解放汽车有限公司 一种路面状况感知方法、装置、驾驶模拟器、车辆及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007834A (ja) * 2004-06-22 2006-01-12 Aisin Seiki Co Ltd 車両用シート制御装置
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练***
JP6775134B2 (ja) * 2016-05-20 2020-10-28 マツダ株式会社 ドライバ状態検出装置
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
GB201711409D0 (en) * 2016-12-30 2017-08-30 Maxu Tech Inc Early entry
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
CN107958573A (zh) * 2017-12-25 2018-04-24 芜湖皖江知识产权运营中心有限公司 一种应用于智能车辆中的行车控制方法
CN110893858B (zh) * 2018-09-12 2021-11-09 华为技术有限公司 一种智能驾驶方法及智能驾驶***
EP3703028A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Operation of a vehicle in the event of an emergency
DE112020001642T5 (de) * 2019-03-29 2022-03-10 Intel Corporation Autonomes Fahrzeugsystem
CN111556295A (zh) * 2020-05-12 2020-08-18 新石器慧通(北京)科技有限公司 可移动监控云台的控制方法、装置及无人车
CN212433633U (zh) * 2020-08-10 2021-01-29 中创博利科技控股有限公司 一种5g远程驾驶***
CN113246991B (zh) * 2021-06-29 2021-11-30 新石器慧通(北京)科技有限公司 用于无人车的远程驾驶端的数据传输方法和装置
CN113395495B (zh) * 2021-08-17 2021-11-30 新石器慧通(北京)科技有限公司 基于无人车远程驾驶的视频画面处理方法和装置
CN113607184B (zh) * 2021-09-15 2024-05-24 新石器慧通(北京)科技有限公司 车辆导航方法、装置、电子设备及存储介质
CN114093143A (zh) * 2021-10-27 2022-02-25 广州通达汽车电气股份有限公司 一种车辆驾驶风险感知预警方法及装置
CN216248921U (zh) * 2021-11-29 2022-04-08 内蒙古幸汇国创重工有限公司 远程驾驶车辆仿真室内驾驶装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252024A (ja) * 2003-02-19 2004-09-09 Komatsu Forklift Co Ltd 作業車両の運転操作シミュレーション装置、及びそれを用いた作業車両の運転操作講習方法
CN109677404A (zh) * 2019-01-11 2019-04-26 南京航空航天大学 一种基于驾驶行为的车路协同的汽车主动安全辅助装置及方法
KR20190126258A (ko) * 2019-08-23 2019-11-11 엘지전자 주식회사 차량용 전자 장치 및 그의 동작 방법
CN111409643A (zh) * 2020-04-15 2020-07-14 新石器慧通(北京)科技有限公司 远程驾驶方法、远程驾驶装置及远程驾驶***
CN113835531A (zh) * 2021-11-11 2021-12-24 一汽解放汽车有限公司 一种路面状况感知方法、装置、驾驶模拟器、车辆及介质

Also Published As

Publication number Publication date
CN114454889A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
US11747809B1 (en) System and method for evaluating the perception system of an autonomous vehicle
CN112965504A (zh) 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN109690622A (zh) 多相机***中的相机登记
CN113287073B (zh) 利用网络平台的自动驾驶汽车模拟器
CN111816020A (zh) 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练
CN109977845B (zh) 一种可行驶区域检测方法及车载终端
CN108137096A (zh) 用于停放车辆的***
CN113246991B (zh) 用于无人车的远程驾驶端的数据传输方法和装置
KR20220017987A (ko) 노면 정보 제공 장치 및 방법
CN113525228A (zh) 遮挡信息显示方法、装置、电子设备及存储介质
CN113395495B (zh) 基于无人车远程驾驶的视频画面处理方法和装置
CN116783462A (zh) 一种自动驾驶***的性能测试方法
CN110781779A (zh) 物***置检测方法、装置、可读存储介质及电子设备
CN110210361B (zh) 一种测试场景的创建方法及装置、车载终端
CN115134537A (zh) 一种图像处理方法、装置及车辆
CN114454889B (zh) 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
CN113885483A (zh) 一种车辆远程控制方法及装置
CN116540563A (zh) 一种自动驾驶的仿真测试***
KR100860129B1 (ko) 차량진단 시스템 및 표시방법
CN113432614B (zh) 车辆导航方法、装置、电子设备及计算机可读存储介质
CN109961644A (zh) 空闲车位识别方法、自主泊车方法及装置
CN114523985A (zh) 基于传感器的感知结果的无人车运动决策方法及装置
CN114299161A (zh) 数据处理方法、装置、设备及计算机存储介质
CN113613194A (zh) 应用于车辆间的数据分享方法、装置、介质及电子设备
CN117292360B (zh) 交通信号灯识别方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant