CN115384545A - 控制方法和装置 - Google Patents

控制方法和装置 Download PDF

Info

Publication number
CN115384545A
CN115384545A CN202110574297.2A CN202110574297A CN115384545A CN 115384545 A CN115384545 A CN 115384545A CN 202110574297 A CN202110574297 A CN 202110574297A CN 115384545 A CN115384545 A CN 115384545A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
request information
action
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110574297.2A
Other languages
English (en)
Inventor
刘航
隋琳琳
夏媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110574297.2A priority Critical patent/CN115384545A/zh
Priority to PCT/CN2022/093988 priority patent/WO2022247733A1/zh
Priority to EP22810460.0A priority patent/EP4331938A1/en
Publication of CN115384545A publication Critical patent/CN115384545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种控制方法和装置,应用于自动驾驶技术领域,所述方法包括:控制车辆内的目标设备在目标区域显示第一请求信息,由于第一请求信息用于请求行人执行目标动作,目标动作表达了行人的道路参与意图,因此,通过识别行人做出的动作,根据识别的结果,可以确定车辆的驾驶策略。这样,即使没有驾驶员的参与,车辆也可以通过第一请求信息询问行人的道路参与意图,使得自动驾驶场景中,车辆可以实现与行人的意图交互,从而获得准确的行人的道路参与意图,并得到合适的驾驶策略,从而提高驾驶的安全性。

Description

控制方法和装置
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种控制方法和装置。
背景技术
在车辆驾驶过程中,自动驾驶***对道路参与者的意图判定和预测是自动驾驶***路径规划的基础,同时也是事关道路安全的重要条件。
通常的,在道路参与者包括行人的情况下,自动驾驶***可以基于行人运动的方向等,预测行人的意图。例如,自动驾驶***可以基于行人运动的方向,利用机器学习算法,通过估计行人的运动轨迹,从而预测行人的意图。
但是,上述基于行人运动的预测方法,可能对行人意图的预测结果有偏差,导致驾驶的安全性降低。
发明内容
本申请实施例提供一种控制方法和装置,应用于自动驾驶技术领域,该方法包括:控制车辆内的目标设备在目标区域显示第一请求信息,由于第一请求信息用于请求行人执行目标动作,目标动作表达了行人的道路参与意图,因此,通过识别行人做出的动作,根据识别的结果,可以确定车辆的驾驶策略。这样,即使没有驾驶员的参与,车辆也可以通过第一请求信息询问行人的道路参与意图,使得自动驾驶场景中,车辆可以实现与行人的意图交互,从而获得准确的行人的道路参与意图,并得到合适的驾驶策略,从而提高驾驶的安全性。
第一方面,本申请实施例提供一种控制方法,该方法包括:控制车辆内的目标设备在目标区域显示第一请求信息;其中,第一请求信息用于请求行人执行目标动作,目标动作用于表达行人的道路参与意图,目标区域在行人的可视范围内;识别行人做出的动作;根据识别的结果,确定车辆的驾驶策略。这样,即使没有驾驶员的参与,车辆也可以通过第一请求信息询问行人的道路参与意图,使得自动驾驶场景中,车辆可以实现与行人的意图交互,从而获得准确的行人的道路参与意图,并得到合适的驾驶策略,从而提高驾驶的安全性。
一种可能的实现方式中,第一请求信息用于请求行人执行目标动作,包括:第一请求信息中包括用于指示期望动作的指示信息,期望动作与行人的道路参与意图相关联;根据识别的结果,确定车辆的驾驶策略,包括:根据行人做出的动作为期望动作,确定车辆的驾驶策略。这样,车辆通过指示行人执行期望动作,进而,可以根据行人做出的动作,确定车辆的驾驶策略,从而提高驾驶的安全性。
一种可能的实现方式中,期望动作包括第一期望动作和第二期望动作,第一期望动作与行人的第一道路参与意图相关联,第二期望动作与行人的第二道路参与意图相关联;根据识别的结果,确定车辆的驾驶策略,包括:根据行人做出的动作为第一期望动作或第二期望动作,确定车辆的驾驶策略。这样,可以根据行人做出的动作是第一期望动作还是第二期望动作,从而确定车辆的驾驶策略,进而提高驾驶的安全性。
一种可能的实现方式中,第一请求信息用于请求行人执行目标动作,包括:第一请求信息中包括用于指示多个期望动作的指示信息,多个期望动作与行人的多个道路参与意图相关联;方法还包括:根据行人做出的动作不为多个期望动作中任意一个,控制车辆内的目标设备在目标区域显示第二请求信息,第二请求信息用于指示行人做出第一道路参与行为。这样,通过直接告诉行人需要作出的第一道路参与行为,从而有效节省无效等待时间,提高道路通行效率。
一种可能的实现方式中,根据识别的结果,确定车辆的驾驶策略,包括:根据行人做出第一道路参与行为,确定车辆的驾驶策略。这样,车辆可以实现与行人的意图交互,进而提高驾驶的安全性。
一种可能的实现方式中,第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,第一请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,目标设备为投影***,目标区域为车辆外部的区域。
一种可能的实现方式中,目标区域为地面,控制车辆内的目标设备在目标区域显示第一请求信息,包括:在地面满足投影条件的情况下,控制投影***在地面上投影第一请求信息。这样,车辆通过在地面上投影的第一请求信息,使得行人可以注意到第一请求信息,进而行人可以向车辆表达自己的道路参与意图,从而车辆实现与行人的意图交互,进而提高驾驶的安全性。
一种可能的实现方式中,目标设备为显示设备,目标区域为显示屏,控制车辆内的目标设备在目标区域显示第一请求信息,包括:控制显示设备在显示上屏显示第一请求信息。这样,车辆通过在显示屏显示的第一请求信息,使得行人可以注意到第一请求信息,进而行人可以向车辆表达自己的道路参与意图,从而车辆实现与行人的意图交互,进而提高驾驶的安全性。
第二方面,本申请实施例提供一种控制装置,该装置可以用来执行上述第一方面及第一方面的任意可能的实现方式中的操作。例如,该装置可以包括用于执行上述第一方面或第一方面的任意可能的实现方式中的各个操作的模块或单元。比如包括控制单元、识别单元以及处理单元。
示例性的,控制单元,用于控制车辆内的目标设备在目标区域显示第一请求信息;其中,第一请求信息用于请求行人执行目标动作,目标动作用于表达行人的道路参与意图,目标区域在行人的可视范围内;识别单元,用于识别行人做出的动作;处理单元,用于根据识别的结果,确定车辆的驾驶策略。
一种可能的实现方式中,第一请求信息中包括用于指示期望动作的指示信息,期望动作与道路参与意图相关联;处理单元,具体用于:根据行人做出的动作为期望动作,确定车辆的驾驶策略。
一种可能的实现方式中,期望动作包括第一期望动作和第二期望动作,第一期望动作与行人的第一道路参与意图相关联,第二期望动作与行人的第二道路参与意图相关联;处理单元,具体用于:根据行人做出的动作为第一期望动作或第二期望动作,确定车辆的驾驶策略。
一种可能的实现方式中,第一请求信息中包括用于指示多个期望动作的指示信息,多个期望动作与多个道路参与意图相关联;控制单元,还用于:根据行人做出的动作不为多个期望动作中任意一个,控制车辆内的目标设备在目标区域显示第二请求信息,第二请求信息用于指示行人做出第一道路参与行为。
一种可能的实现方式中,处理单元,具体用于:根据行人做出第一道路参与行为,确定车辆的驾驶策略。
一种可能的实现方式中,第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,第一请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,目标设备为投影***,目标区域为车辆外部的区域。
一种可能的实现方式中,目标区域为地面,控制单元,具体用于:在地面满足投影条件的情况下,控制投影***在地面上投影第一请求信息。
一种可能的实现方式中,目标设备为显示设备,目标区域为显示屏,处理单元,具体用于:控制显示设备在显示屏上显示第一请求信息。
第三方面,本申请实施例提供一种控制装置,该装置包括存储器和处理器,存储器存储计算机程序指令,处理器运行计算机程序指令,以实现如第一方面及第一方面的各种可能的实现方式中描述的方法。
第四方面,本申请实施例提供一种车辆,该车辆包括如权利要求第二方面及第二方面的各种可能的实现方式中描述的装置。
一种可能的实现方式中,该车辆还包括感知***和目标设备,目标设备为投影***或者显示设备。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令在计算机上运行时,使得计算机执行如第一方面及第一方面的各种可能的实现方式中描述的方法。
第六方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在处理器上运行时,使得控制装置执行第一方面及第一方面的各种可能的实现方式中描述的方法。
第七方面,本申请实施例提供一种控制***,该***包括:第二方面及第二方面的各种可能的实现方式中描述的装置。
第八方面,本申请提供一种芯片或者芯片***,该芯片或者芯片***包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以实现第一方面及第一方面的各种可能的实现方式中描述的方法。其中,芯片中的通信接口可以为输入/输出接口、管脚或电路等。
在一种可能的实现中,本申请中上述描述的芯片或者芯片***还包括至少一个存储器,该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元,例如,寄存器、缓存等,也可以是该芯片的存储单元(例如,只读存储器、随机存取存储器等)。
应当理解的是,本申请的第二方面至第八方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例提供的一种行人穿行马路的示意图;
图2为可能的设计中的一种车辆意图提醒的示意图;
图3为可能的设计中的另一种车辆意图提醒的示意图;
图4为本申请实施例提供的一种应用场景的示意图;
图5为本申请实施例提供的一种车载投射交互***的示意图;
图6为本申请实施例提供的一种可能的车辆的功能框图;
图7为本申请实施例提供的一种计算机***的结构示意图;
图8为本申请实施例提供的一种控制方法的流程示意图;
图9为本申请实施例提供的一种第一请求信息的示意图;
图10为本申请实施例提供的一种控制方法的流程示意图;
图11为本申请实施例提供的一种意图交互的示意图;
图12为本申请实施例提供的一种控制方法的流程示意图;
图13为本申请实施例提供的一种第二请求信息的示意图;
图14为本申请实施例提供的一种第二请求信息的示意图;
图15为本申请实施例提供的一种意图交互的示意图;
图16为本申请实施例提供的一种控制方法的流程示意图;
图17为本申请实施例提供的一种控制装置的结构示意图;
图18为本申请实施例提供的另一种控制装置的结构示意图;
图19为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在车辆驾驶过程中,可能会出现道路参与者穿行马路的场景,道路参与者包括行人、自行车等,以道路参与者为行人为例,示例性的,图1为本申请实施例提供的一种行人穿行马路的示意图,如图1所示,在行人穿行马路时,可能会出现两种情况,根据这两种情况可以确定车辆或行人的意图。
情况一:驾驶员停下车辆让行人通行,因此,车辆的意图为停下,行人的意图为通行。
情况二:驾驶员发现了道路上正在穿行马路的行人,驾驶员操作车辆停下,同时,行人也发现了道路上正在行驶的车辆,行人也停下,在车辆或行人同时停下来的情况下,驾驶员或行人可以通过简单的手势或者动作进行意图交互,这样,被礼让一方可以快速通过;例如,行人通过手势指示车辆可以继续前进,则车辆的意图为继续前行,行人的意图为停下。
而在自动驾驶***中,可能没有驾驶员的参与,自动驾驶***与行人之间,也就无法像驾驶员与行人一样,通过手势或者动作进行意图交互。因此,在道路交通参与者的意图判定和预测中,对于行人的意图判定和预测尤为困难。
可能的实现方式中,自动驾驶***可以基于道路参与者运动的方向、速度、道路拓扑等信息,预测道路参与者的意图。例如,自动驾驶***可以基于道路参与者运动的方向、速度、道路拓扑等信息,利用机器学习算法,通过估计道路参与者的运动轨迹,从而预测行人的意图。
但是,上述基于道路参与者运动的预测方法,适用于道路参与者有一定的运动轨迹和运动趋势的情况下,无法对静止的道路参与者的意图进行预测,若采用预测算法对静止的道路参与者进行意图判定,可能使得基于道路参与者运动的预测算法无法得到有效输入,也就不能准确地实现对道路参与者的意图预测和判定;而且,上述基于道路参与者运动的预测方法,可能对行人意图的预测结果有偏差,导致驾驶的安全性降低;而且,对行人意图的预测结果有偏差时,也可能导致误判场景的发生,从而引发危险,甚至导致交通安全事故的发生。
可能的实现方式中,在自动驾驶车辆的倒库移库场景中,自动驾驶***可以基于车灯技术,利用光信号投射装置在地面投射预警信息,实现对道路参与者的提醒;其中,光信号投射装置包括光源、透光镜以及反射镜,光源发散的光束经过反射镜反射,再经过透光镜上设计的不同形状、不同符号、不同图案或不同文字,则可以在地面显示提醒道路参与者的信息。
示例性的,图2为可能的设计中的一种车辆意图提醒的示意图,如图2所示,在车辆倒库场景中,预警信息为倒车指示信息,自动驾驶***利用光信号投射装置将倒车指示信息投射在车辆尾部的倒车区域,实现对车辆后方或者后方穿行的道路参与者的提醒;其中,光信号投射装置可以安装在车辆尾部,倒车区域可以为车辆尾部区域、停车线1和停车线1之间组成的矩形区域,倒车指示信息可以为文字、形状或符号等,该文字、形状或符号用于指示车辆正在进行倒车或即将进行倒车。
示例性的,图3为可能的设计中的另一种车辆意图提醒的示意图,如图3所示,在车辆静止的场景中,例如,车辆停靠道路旁时,预警信息为开门指示信息,自动驾驶***利用光信号投射装置将开门指示信息投射在地面,实现对车辆侧方道路参与者的提醒;其中,光信号投射装置可以安装在车门,开门指示信息可以为文字、符号或形状等,该文字、符号或形状用于指示车门正在打开或车门即将打开。
但是,自动驾驶***基于光信号投射装置,实现的是对道路参与者的单方向的预警提醒,不能保证道路参与者注意到预警信息、道路参与者理解预警信息以及道路参与者根据预警信息进行行动等,这样,自动驾驶***无法准确地确定道路参与者的意图。
基于此,本申请实施例提供一种控制方法和装置,应用于自动驾驶技术领域,该方法包括:控制车辆内的显示设备在目标区域显示第一请求信息,由于第一请求信息用于请求行人执行目标动作,目标动作表达了行人的道路参与意图,因而,通过识别行人做出的动作,根据识别的结果,可以确定车辆的驾驶策略。这样,即使没有驾驶员的参与,车辆也可以通过第一请求信息询问行人的道路参与意图,使得自动驾驶场景中,车辆也可以实现与行人意图交互,并得到合适的驾驶策略,从而提高驾驶的安全性。
本申请实施例的方法可以应用于行人意图穿行马路,或者,行人站在马路边的场景,通过本申请实施例的方法,自动驾驶车辆可以与行人进行意图交互;示例性的,图4为本申请实施例提供的一种应用场景的示意图,如图4所示,车辆识别到行人站在马路边,但是,在下一时刻,车辆无法确定行人是继续站在马路边,还是穿行马路,因此,车辆可以在地面显示第一请求信息,行人可以根据第一请求信息做出动作,这样,即使没有驾驶员的参与,车辆也可以通过识别行人做出的动作理解行人的道路参与意图,从而车辆实现与行人的意图交互。
在图4所示的应用场景的基础上,示例性的,图5为本申请实施例提供的一种车载投射交互***的示意图,如图5所示,该***包括决策***、感知***和投影控制***(后续称为投影***),投影***包括投影装置;其中,在该***中包括决策***和感知***之间的接口、决策***与投影***之间的接口以及投影***和投影装置之间的接口。
如图5所示,决策***可以基于与感知***之间的接口中传递的信息,使得决策***可以激活投影装置,这样,投影***基于与决策***之间的接口中传递的信息,可以指示投影装置投影请求信息,进一步地,投影装置基于与投影***之间的接口中传递的信息,可以在目标区域显示请求信息;其中,请求信息可以包括第一请求信息或第二请求信息。
其中,决策***和感知***之间的接口中传递的信息,一方面,传递的信息可以体现为:决策***指示感知***感知的行人的信息,行人的信息包括但不限于追踪行人、识别行人做出的动作或识别行人做出动作的持续时间等;另一方面,传递的信息可以体现为:感知***为决策***输入的感知动作信息,感知动作信息包括但不限于是否行人做出的动作与期望动作匹配等信息;其中,行人做出的动作与期望动作匹配可以理解为,行人做出的动作为第一期望动作或第二期望动作,行人做出的动作与期望动作不匹配可以理解为,行人做出的动作不为多个期望动作中任意一个,或者,行人未执行动作。
其中,决策***与投影***之间的接口中传递的信息,以及投影***和投影装置之间的接口中传递的信息,通过以下两种情况进行描述:
情况1:在决策***无法识别行人的意图的情况下,决策***与投影***之间的接口中传递的信息可以体现为:决策***确定的请求信息,即决策***确定的第一请求信息,这样,投影***基于决策***确定的第一请求信息,可以指示投影装置;由于投影装置与投影***之间的接口中传递的信息可以体现为在目标区域显示的第一请求信息,因此,投影装置基于与投影***之间的接口中传递的信息可以在目标区域显示第一请求信息;其中,第一请求信息包括投影内容、投影内容的显示位置、投影内容的持续时间、投影内容的显示角度、投影内容的显示亮度或投影内容的显示颜色等内容中的至少一项。
情况2:在行人执行的动作与期望动作不匹配的情况下,即,行人做出的动作不为多个期望动作中的任意一个,决策***和投影***之间的接口中传递的信息可以体现为:决策***确定的切换后的请求信息,即决策***确定的第二请求信息,这样,投影***基于决策***确定的第二请求信息,可以指示投影装置;由于投影装置与投影***之间的接口中传递的信息可以体现为在目标区域显示的第二请求信息,因此,投影装置基于与投影***之间的接口中传递的信息可以在目标区域显示第二请求信息;其中,第二请求信息包括但不限于投影内容的显示位置、投影内容的持续时间、投影内容的显示角度、投影内容的显示亮度或投影内容的显示颜色等内容中的至少一项。
可以理解的是,决策***与感知***之间的接口中传递的信息可以包括指示感知***感知行人的指令,这样,感知***基于该指令可以感知行人的信息;决策***与投影***之间的接口中传递的信息也可以包括激活投影***的指令,这样,投影***基于该指令可以被激活;投影装置与投影***之间的接口中传递的信息可以包括指示投影装置进行投影的指令,这样,投影装置基于该指令可以投影第一请求信息或第二请求信息。
综上所述,车辆通过决策***和感知***之间的接口中传递的信息、决策***与投影***之间的接口中传递的信息,以及投影***和投影装置之间的接口中传递的信息,可以在目标区域显示第一请求信息或第二请求信息,从而感知***可以根据第一请求信息,识别行人做出的动作,或者,感知***可以根据第二请求信息,识别行人做出的道路参与行为,使得决策***可以确定行人的意图,进而,决策***可以确定车辆的驾驶策略。
根据图5所示的车载投射交互***,车辆可以与行人进行双向信息的交互,从而车辆可以明确行人的意图,进而,车辆可以进行安全行车控制和决策。
在图4所示的应用场景的基础上,示例性的,图6为本申请实施例提供的一种可能的车辆600的功能框图,如图6所示,车辆600可以被配置为完全或部分地自动驾驶模式,其中,车辆600可以为轿车、卡车、摩托车、公共汽车、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车或手推车等,本申请实施例不作具体限定。
可能的方式中,当车辆600处于部分地自动驾驶模式时,车辆600确定车辆及其周边环境的当前状态后,用户基于该当前状态操作车辆600。例如,车辆600确定周边环境中的行人的可能行为,车辆可以根据行人的可能行为控制车辆内的目标设备在目标区域显示第一请求信息,行人可以根据第一请求信息做出动作,这样,在识别行人做出的动作后,车辆可以通过语音将行人的道路参与意图通知给用户,从而用户可以对车辆执行与行人的道路参与意图相关的操作。
可能的方式中,在车辆600处于完全地自动驾驶模式中时,车辆600可以自动执行驾驶相关操作。例如,车辆600确定周边环境中的行人的可能行为,并根据行人的可能行人控制车辆内的目标设备在目标区域显示第一请求信息,车辆识别行人做出的动作,并根据识别的结果确定行人的道路参与意图,从而车辆可以自动执行与行人的道路参与意图相关的操作。
如图6所示,车辆600包括:行进***202、传感器***204、控制***206、一个或多个***设备208、计算机***212、电源210以及用户接口216。可选地,车辆600可包括更多或更少的子***,并且每个子***可包括多个元件。其中,车辆600的每个子***和元件可以通过有线或者无线互连。
在图6中,行进***202包括:引擎218、传动装置220、能量源219及车轮221。
可能的方式中,传感器***204包括感测关于车辆600周边的环境的信息的若干个传感器。例如,传感器***204可包括:定位***222、惯性测量单元(inertial measurementunit,IMU)224、毫米波雷达226、激光雷达228以及摄像头230。其中,定位***222可以是全球定位***(global positioning system,GPS),也可以是北斗***或者其他定位***。
可能的方式中,定位***222可用于估计车辆600的地理位置,IMU 224用于基于惯性加速度感测车辆600的位置和朝向变化。在一些实施例中,IMU 224可以是加速度计和陀螺仪的组合。
可选的,传感器***204还可以包括:被监视车辆600的内部***的传感器(例如,车内空气质量监测器、燃油量表和/或机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测和识别对象及其相应特性(例如,位置、形状、方向和/或速度等),这种检测和识别是车辆600进行自主安全操作的关键功能。
可能的方式中,毫米波雷达226可利用无线电信号感测车辆600的周边环境内的物体。例如,车辆可以通过毫米波雷达226追踪行人、识别行人做出的动作或者识别行人做出动作的持续时间等。在一些实施例中,除了感测物体以外,毫米波雷达226还可用于感测物体的速度和/或前进方向。
可能的方式中,激光雷达228可利用激光感测车辆600所位于的环境中的物体。在一些实施例中,激光雷达228可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他***组件。
可能的方式中,摄像头230可用于捕捉车辆600的周边环境的多个图像。例如,摄像头230可以捕捉车辆周围的环境数据或图像数据,车辆基于环境数据或图像数据对行人的道路参与意图进行预测,从而确定是否控制车辆内的目标设备在目标区域显示第一请求信息,其中,摄像头230可以是静态摄像头或视频摄像头。
结合图5所示的***,在图6中,传感器***可以为感知***,这样,通过传感器***中的毫米波雷达226或激光雷达228可以追踪行人,或者,可以识别行人做出的动作,从而获得决策***与感知***之间的接口中传递的信息,即感知动作信息。
在图6中,控制***206为控制车辆600及其组件的操作,控制***206可包括各种元件。例如,控制***206可包括:转向***232、油门234、制动单元236、计算机视觉***240、路线控制***242、障碍规避***244以及投影控制***254中的至少一个。可以理解的是,在一些实例中,控制***206可以增加或替换地包括除了所示出和描述的那些以外的组件,或者也可以减少一部分上述示出的组件。
本申请实施例中,投影控制***254可以指示投影装置,进而,投影装置投影第一请求信息或第二请求信息。
可能的方式中,转向***232可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘***;油门234用于控制引擎218的操作速度并进而控制车辆600的速度;制动单元236用于控制车辆600减速,制动单元236可使用摩擦力来减慢车轮221。在其他实施例中,制动单元236可将车轮221的动能转换为电流,制动单元236也可采取其他形式来减慢车轮221转速从而控制车辆600的速度。
可能的方式中,计算机视觉***240可以处理和分析由摄像头230捕捉的图像,以便计算机视觉***240识别车辆600周边环境中的物体和/或物体的特征。其中,物体和/或物体的特征可包括:交通信号、道路边界或障碍物。计算机视觉***240可使用物体识别算法、运动中恢复结构(structure from motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉***240可以用于为环境绘制地图、跟踪物体、估计物体的速度等。
可能的方式中,路线控制***242可用于确定车辆600的行驶路线,障碍规避***244可用于识别、评估和避开或者以其他方式越过车辆600的环境中的潜在障碍物。
车辆600通过***设备208与外部传感器、其他车辆、其他计算机***或用户之间进行交互。例如,***设备208可包括:无线通信***246、车载电脑248、麦克风250以及扬声器252。可能的方式中,无线通信***246可以直接地或者经由通信网络与一个或多个设备无线通信。
车辆600的部分或所有功能受计算机***212控制。计算机***212可包括至少一个处理器213,处理器213执行存储在数据存储装置214中的指令215。计算机***212还可以是采用分布式方式,控制车辆600的个体组件或子***的多个计算设备。
可能的方式中,处理器213可以是任何常规的处理器,诸如商业可获得的中央处理器(central processing unit,CPU)。替选地,该处理器可以是诸如用于供专门应用的集成电路(application specific integrated circuit,ASIC)或其它基于硬件的处理器的专用设备。在此处所描述的各个方面中,处理器213可以位于远离该车辆且与该车辆进行无线通信的位置。在其它方面中,此处所描述的一些过程可以由布置于车辆内的处理器上执行,而此处所描述的另一些过程可以由远程处理器执行,这些过程包括采取执行单一操纵的必要步骤。
可能的方式中,数据存储装置214可包含指令215(例如,程序逻辑指令),指令215可被处理器213处理,以便处理器213执行车辆600的各种功能,这些功能包括以上所描述的功能。数据存储装置214也可包含额外的指令,包括向推进***202、传感器***204、控制***206和***设备208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外,数据存储装置214还可存储数据,例如道路地图、路线信息、车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算机***212使用。
可能的方式中,用户接口216,用于向车辆600的用户提供信息或从其接收信息。可选地,用户接口216可包括在***设备208的集合内的一个或多个输入/输出设备,例如无线通信***246、车载电脑248、麦克风250和扬声器252。
计算机***212可基于从各种子***(例如,行进***202、传感器***204和控制***206)以及从用户接口226接收的输入来控制车辆600的功能。例如,计算机***212可利用来自控制***206的输入,以便控制转向***232避免由传感器***204和障碍规避***244检测到的障碍物。在一些实施例中,计算机***212可对车辆600及其子***的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆600分开安装或关联。例如,数据存储装置214可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图6不应理解为对本申请实施例的限制。
除了提供调整自动驾驶汽车的速度或行驶路线的指令之外,计算设备还可以提供修改车辆600的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的障碍物(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
为了更好地描述图6中所示的计算机***212,示例性的,图7为本申请实施例提供的一种计算机***212的结构示意图。
如图7所示,计算机***212包括处理器213、显示适配器(video adapter)107、收发器123、摄像头155和通用串行总线(universal serial bus,USB)端口125等中的至少一个。其中,收发器123可以发送和/或接受无线电通信信号,摄像头155可以捕捉静态数字视频图像和动态数字视频图像。
可能的方式中,处理器213和***总线105耦合,***总线105通过总线桥111和输入输出(input/output,I/O)总线耦合,I/O总线和I/O接口115耦合,I/O接口115可以和多种I/O设备进行通信。例如,I/O设备可以为输入设备117(如:键盘,鼠标,触摸屏等)或多媒体盘(media tray)121(例如,紧凑型光盘只读储存器(compact disc read-only memory,CD-ROM)、多媒体接口等)。可选的,和I/O接口115相连接的接口可以是通用串行总线(universal serial bus,USB)接口。
可能的方式中,处理器213可以是一个或者多个处理器,其中每个处理器都可以包括一个或多个处理器核;处理器113可以是任何传统处理器,包括精简指令集计算机(reduced instruction set computing,RISC)、复杂指令集计算机(complex instructionset computing,CISC)或上述的组合。
可选地,处理器可以是诸如专用集成电路(application specific integratedcircuit,ASIC)的专用装置;或者,处理器213可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。
可能的方式中,计算机***212可以通过网络接口129和软件部署服务器149通信。例如,网络接口129可以是硬件网络接口(例如,网卡)。网络127可以是外部网络(例如,因特网),也可以是内部网络(例如,以太网或者虚拟专用网络(virtual private network,VPN))。可选地,网络127还可以是无线网络(例如,无线保真(wireless-fidelity,WiFi)网络,蜂窝网络)。
可能的方式中,应用程序143包括控制汽车自动驾驶相关程序147和投影相关程序148。例如,自动驾驶相关的程序147可以包括管理自动驾驶的汽车和路上障碍物交互的程序、控制自动驾驶汽车路线或者速度的程序、控制自动驾驶汽车和路上其他自动驾驶汽车交互的程序等;例如,投影相关程序148可以包括投影第一请求信息或第二请求信息的程序等。
可以理解的是,当车辆通过投影相关程序148在目标区域显示第一请求信息或第二请求信息后,进一步地,车辆可以通过自动驾驶相关程序147控制车辆的路线或速度等。
应用程序143可以存在于软件部署服务器(deploying server)149的***上。在一些实施例中,在需要执行应用程序143时,计算机***可以从软件部署服务器149下载应用程序143。
传感器153和计算机***212关联,传感器153用于探测计算机***212周围的环境。例如,传感器153可以探测动物、汽车、障碍物或人行横道等物体;进一步地,传感器还可以探测上述动物、汽车、障碍物或人行横道等物体周围的环境,例如,环境可以为动物周围的天气条件、动物周围的环境的光亮度、动物周围出现的其他动物等。可选地,若计算机***212安装在自动驾驶的汽车上,传感器可以是摄像头、红外线感应器、化学检测器或麦克风等。
结合图5所示的***,图7所示的处理器213可以为决策***,或者,处理器213中包括决策***,这样,车辆通过处理器213可以实现与行人的意图交互。
结合图5所示的***,图7所示的传感器153可以为感知***,车辆通过传感器153可以追踪行人、识别行人做出的动作或识别行人做出动作的持续时间等,进而,车辆可以获得处理器213与传感器153之间的接口中传递的信息,即,车辆获得决策***与感知***之间的接口中传递的信息。
下面以具体的实施例对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是,下面所描述的步骤的执行主体可以是车辆、车辆中的芯片或车辆中的模块等,为了便于描述,以执行主体为车辆中的模块(后续称为第一模块)为例对下述具体实施例进行示例性说明;其中,第一模块可以为多域控制器(multi domaincontroller,MDC)等。可以理解,第一模块的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
示例性的,图8为本申请实施例提供的一种控制方法的流程示意图,如图8所示,可以包括以下步骤:
S801:第一模块控制车辆内的目标设备在目标区域显示第一请求信息。
本申请实施例中,目标设备可以为厂商预安装好在车辆内的设备,也可以为用户自己安装在车辆内的设备,第一模块通过控制车辆内的目标设备在目标区域显示第一请求信息,该控制过程可以是自动触发的,也可以是手动触发的,这样,车辆可以基于第一请求信息询问行人的道路参与意图;可以理解,目标设备的安装位置,可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,目标区域在行人的可视范围内,例如,目标区域为车辆与行人之间的地面区域,这样,第一模块控制车辆内的目标设备在目标区域显示第一请求信息,使得行人可以在目标区域知道车辆显示的第一请求信息,从而行人基于第一请求信息可以执行与自己的道路参与意图相关的动作,从而行人表达了自己的道路参与意图;可以理解,目标区域的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,第一请求信息用于请求行人执行目标动作,由于目标动作用于表达行人的道路参与意图,这样,第一模块基于第一请求信息,可以知道行人在下一时刻的道路参与意图,即,行人是继续行走还是停下来;其中,目标动作可以是预先设定的动作,该动作在车辆和行人之间是互相知道,这样,才可以保证在行人做出动作后,车辆可以理解行人做出的动作所表示的道路参与意图。例如,行人举左手,意味着行人在下一时刻行走,行人举右手,意味着行人在下一时刻停下来。
其中,行人可以指的是在道路边行走的行人、意图穿行马路的行人或者骑自行车的行人等;可以理解,目标动作的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,第一请求信息可以包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或多种;可以理解,第一请求信息的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
其中,文字信息,指的是行人走或行人不走的文字,且在行人走或行人不走的文字旁边也显示了用于请求行人需要执行的目标动作,例如,行人走的文字旁边显示的是举左手,行人不走的文字旁边显示的是举右手。
其中,静态的图形信息,指的是行人走或行人不走的静态图形,示例性的,图9为本申请实施例提供的一种第一请求信息的示意图,如图9所示,在行人的正前方,行人走的静态图形为向前方向的箭头符号,行人不走的静态图形为向后方向的箭头符号,且在向前方向的箭头符号或往后走的箭头符号的符号旁边也显示了请求行人需要执行的目标动作,例如,向前方向的箭头符号旁边显示的是举左手,向后方向的箭头符号旁边显示的是举右手。
其中,动态的图形信息,指的是行人走或行人不走的动态图形,例如,在行人的正前方,行人走的动态图形为一步一步向前推进的箭头符号,行人不走的动态图形为一步一步向后推进的箭头符号,且在一步一步向前推进的箭头符号或一步一步向后推进的箭头符号的符号旁边也显示了请求行人执行的目标动作,例如,一步一步向前推进的箭头符号旁边显示的是举左手,一步一步向后推进的箭头符号旁边显示的是举右手。
可以理解的是,静态的图形信息或动态的图形信息可以为交通标志中的通行指示信息,例如,直行标志或向左转弯标志等,通过该通行指示信息,行人可以理解第一请求信息中请求的需要执行的目标动作。
其中,视频信息,指的是行人走或行人不走的视频,例如,在行人的正前方,行人走的视频为动态的画面,行人不走的视频为静止的画面,且在动态的画面或静止的画面的旁边也显示了请求行人需要执行的目标动作,例如,动态的画面旁边显示的是举左手,静止的画面旁边显示的是举右手。
需要说明的是,在文字信息旁边、静态的图形信息旁边、视频信息旁边或动态的图形信息旁边显示的举右手或举左手,可以为举左手或举右手的文字,也可以为举左手或举右手的动态画面,本申请实施例不作限定。
需要说明的是,请求的行人需要执行的目标动作为举左手或举右手是一种示例,也可以为行人向左移动或向右移动,也可以采用其他方式进行设定,本申请实施例不作限定。
需要说明的是,举左手表示行人走和举右手表示行人不走是一种示例,也可以为举左手表示行人不走和举右手表示行人走,也可以采用其他方式进行设定,本申请实施例不作限定。
需要说明的是,第一请求信息里包括的走或不走的文字,也可以YES或NO来表示,其中,YES表示走,NO表示不走,也可以采用其他方式进行设定,本申请实施例不作限定。
本申请实施例中,第一模块控制车辆内的目标设备在目标区域显示第一请求信息,可能的实现方式为:基于一定的触发条件,第一模块可以控制车辆内的目标设备在目标区域显示第一请求信息。
例如,车辆在行驶的过程中,若触发条件为车辆紧急刹车,则第一模块可以控制目标设备在车辆与行人之间的地面区域显示第一请求信息,这样,行人可以基于第一请求信息做出动作,从而第一模块可以根据行人做出的动作知道行人的道路参与意图;可以理解,触发条件的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
S802:第一模块识别行人做出的动作。
本申请实施例中,第一模块识别行人做出的动作的可能的实现方式为:第一模块可以基于传感器,识别行人做出的动作。
示例性的,车辆上的传感器可以通过距离速度二维傅里叶变换的方法,得到行人对应的距离速度图,传感器通过恒虚警算法对距离速度图进行检测得到行人对应的点云目标检测结果,再通过角度傅里叶变换得到行人的点云目标的角度,传感器通过聚类算法将点云目标聚类成目标,从而传感器基于多帧数据,利用跟踪算法追踪到行人,进一步地,传感器通过短时傅里叶变换或小波变换等时频分析方法对行人的多帧数据进行分析,从而可以识别行人做出的动作。
可以理解的是,第一模块识别行人做出的动作的实现方式,也可以根据实际应用场景设定,本申请实施例不作限定。
需要说明的是,基于第一请求信息,行人可能会在一段时间内都在做出动作,因此,车辆上的传感器也需要在该段时间内持续跟踪并识别行人做出的动作。
S803:第一模块根据识别的结果,确定车辆的驾驶策略。
本申请实施例中,识别的结果可以是行人表达了自己的道路参与意图,识别的结果也可以是行人没有表达出自己的道路参与意图,这样,第一模块根据不同的识别的结果,可以确定不同的驾驶策略。
在识别的结果是行人表达了自己的道路参与意图的情况下,第一模块可以基于行人的道路参与意图,确定车辆的驾驶策略。
例如,第一模块识别行人穿行马路时,第一模块可以在目标区域显示第一请求信息,且第一请求信息用于请求行人需要执行目标动作的文字可以为举左手或举右手,且在举左手的文字旁边显示走,在举右手的文字旁边显示不走,走表示的是行人继续穿行马路,不走表示的是行人在马路上停下来,在行人做出的动作为举右手的情况下,第一模块可以确定行人的意图为在马路上停下来,或者可以理解为,第一模块所确定的车辆的驾驶策略为继续行驶;可以理解,第一模块确定车辆的驾驶策略的实现方式,可以根据实际应用场景设定,本申请实施例不作限定。
在识别的结果是行人没有表达出自己的道路参与意图的情况下,由于第一模块不知道行人的道路参与意图,因此,第一模块可以执行预设策略,从而第一模块基于预设策略,可以确定车辆的驾驶策略。
例如,第一模块识别行人穿行马路,第一模块可以在目标区域显示第一请求信息,且第一请求信息用于请求行人执行目标动作的文字可以为举左手或举右手,且在举左手的文字旁边显示走,在举右手的文字旁边显示不走,走表示的是行人继续穿行马路,不走表示的是行人在马路上停下来,但是,行人执行的动作为双手合掌,第一模块无法确定行人的道路参与意图,因此,第一模块可以执行车辆在马路上停下来的预设策略,直到行人穿过马路,车辆才开始继续行驶;可以理解的是,第一模块确定车辆的驾驶策略的实现方式,也可以根据实际应用场景设定,本申请实施例不作限定。
综上所述,在本申请实施例中,第一模块通过控制车辆内的目标设备在目标区域显示第一请求信息,这样,行人可以基于第一请求信息做出动作,从而第一模块通过识别行人做出的动作,可以确定车辆的驾驶策略,使得在自动驾驶***中,即使没有驾驶员的参与,车辆也可以和行人进行意图交互,从而避免交通事故的发生,进而提高驾驶的安全性。
在车辆的自动驾驶场景中,当第一模块无法识别行人的意图时,第一模块可以基于第一请求信息的显示方式,进而控制车辆内的目标设备在目标区域显示第一请求信息。例如,第一请求信息的显示方式包括下述的一种或多种:第一请求信息的显示位置、第一请求信息的显示角度、第一请求信息的显示亮度、第一请求信息的显示颜色或显示第一请求信息的持续时间;可以理解,第一请求信息的显示方式的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
其中,第一请求信息的显示位置指的是显示第一请求信息的具***置,该位置可以为车辆外部的区域,例如,地面、建筑物或车辆的车身等,车辆的车身可以包括前挡风玻璃、后挡风玻璃或车窗中的至少一项等,该车辆可以指的是本车辆,也可以指的是其他车辆;可以理解,第一请求信息的显示位置的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
需要说明的是,由于行人在车辆的前面,因此,车辆在后挡风玻璃显示第一请求信息时,车辆也需要在前挡风玻璃显示第一请求信息,前挡风玻璃显示的第一请求信息用于请求行人做出目标动作,后挡风玻璃显示的第一请求信息可以用于提醒该车辆后面的其他车辆;可以理解,车辆在前挡风玻璃和后挡风玻璃显示第一请求信息的具体实现方式,本申请实施例不作限定。
其中,第一请求信息的显示角度指的是显示第一请求信息的角度,从车辆的角度考虑,第一请求信息的显示角度可以为车辆正前方向右偏60度等,从行人的角度考虑,第一请求信息的显示角度可以为行人的正前方等;可以理解,第一请求信息的显示角度的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
其中,第一请求信息的显示亮度指的是显示第一请求信息的亮度,例如,该亮度数值可以为50,这样,通过该亮度可以突出第一请求信息,从而使得行人可以及时看到第一请求信息;可以理解,第一请求信息的显示亮度的具体值,可以根据实际应用场景设定,本申请实施例不作限定。
其中,第一请求信息的显示颜色指的是显示第一请求信息的颜色,例如,该颜色可以为红色、绿色或黄色等,这样,通过该颜色显示的第一请求信息,可以区别目标区域的颜色,使得行人可以及时看到第一请求信息;可以理解,第一请求信息的显示颜色的具体内容,可以根据实际应用场景设定,本申请实施例不作限定。
其中,显示第一请求信息的持续时间指的是显示第一请求信息的持续时间,例如,持续时间为10秒,这样,在这个持续时间里,即使行人在前5秒没有注意到第一请求信息,行人也可以在后5秒注意到第一请求信息,从而使得车辆实现与行人的意图交互;可以理解,显示第一请求信息的持续时间的具体值,可以根据实际应用场景设定,本申请实施例不作限定。
结合上述描述,在图8所示的实施例的基础上,示例性的,图10为本申请实施例提供的一种控制方法的流程示意图,在本申请实施例中,第一请求信息包括用于指示期望动作的指示信息,期望动作与行人的道路参与意图相关联,因此,第一模块控制车辆内的目标设备在目标区域显示第一请求信息,可以理解为,在目标设备为投影***,目标区域为地面的情况下,第一模块控制投影***在地面上投影第一请求信息;或者,在目标设备为显示设备,目标区域为显示屏的情况下,第一模块控制显示设备在显示屏上显示第一请求信息,这样,第一模块通过识别行人做出的动作,使得第一模块可以知道行人的道路参与意图,从而第一模块可以确定车辆的驾驶策略。
如图10所示,可以包括以下步骤:
S1001:在地面满足投影条件的情况下,第一模块控制投影***在地面上投影第一请求信息。
本申请实施例中,投影条件可以理解为,没有水或雪,这是因为,若地面有水或雪,第一模块控制投影***在地面上显示的第一请求信息是模糊的,这会使得行人看不清第一请求信息,也就使得行人无法表达自己的道路参与意图;可以理解,第一模块确定地面满足投影条件的具体实现方式,可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,投影***可以为厂商预安装好在车辆中的***,也可以为用户自己安装在车辆中的***,第一模块可以通过控制该***在地面上投影第一请求信息,本申请实施例对第一模块控制投影***在地面上投影第一请求信息的实现方式,不作限定。
本申请实施例中,在地面满足投影条件的情况下,第一模块控制投影***在地面上投影第一请求信息,一种可能的实现方式为:第一模块可以基于行人的运动方向,在地面满足投影条件的情况下,控制投影***在地面上投影第一请求信息。
例如,车辆在行驶过程中,第一模块通过行人的运动方向,识别车辆的前进方向与行人的运动方向成直角,从而第一模块判断行人准备穿行马路,因此,在地面没有水的情况下,第一模块可以根据第一请求信息的显示方式,控制投影***在地面上投影第一请求信息,或者理解为,投影***指示投影装置在地面上投影第一请求信息;其中,车辆的前进方向与行人的运动方向之间的角度的具体值,也可以根据实际应用场景设定,本申请实施例不作限定。
可以理解,第一模块控制投影***在地面上投影第一请求信息的实现方式,也可以根据实际应用场景设定,本申请实施例不作限定。
S1002:第一模块控制显示设备在显示屏上显示第一请求信息。
本申请实施例中,显示设备可以为厂商预安装好在车辆中的设备,也可以为用户自己安装在车辆中的设备,例如,显示设备可以为车载显示屏等,显示设备可以控制显示屏,这样,在显示屏上显示第一请求信息后,行人可以注意到第一请求信息,这样,行人可以表达自己的道路参与意图;其中,显示屏可以为厂商预安装好在车辆外部的设备,也可以为用户自己安装在车辆外部的设备,例如,显示屏可以按照在车顶位置等。
可以理解的是,显示设备的安装位置以及显示设备的具体内容,可以根据实际应用场景设定,本申请实施例不作限定;显示屏的尺寸以及显示屏的安装位置,可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,第一模块控制显示设备在显示屏上显示第一请求信息的实现方式可以参考S1001的内容适应描述,在此不再赘述;可以理解,第一模块控制显示设备在显示屏上显示第一请求信息的实现方式,也可以根据实际应用场景设定,本申请实施例不作限定。
S1003:第一模块识别行人做出的动作。
本申请实施例中,S1003的内容可以参考S802的内容适应描述,在此不再赘述;可以理解,第一模块识别行人做出的动作的具体实现方式,也可以根据实际应用场景设定,本申请实施例不作限定。
S1004:根据行人做出的动作为期望动作,第一模块确定车辆的驾驶策略。
本申请实施例中,由于期望动作与行人的道路参与意图相关联,因此,在期望动作包括第一期望动作和第二期望动作时,第一模块可以根据行人做出的动作为第一期望动作或第二期望动作,知道行人的道路参与意图,从而第一模块可以确定车辆的驾驶策略。
其中,第一期望动作与行人的第一道路参与意图相关联,第二期望动作与行人的第二道路参与意图相关联。例如,在行人做出的动作为第一期望动作时,第一道路参与意图为下一时刻行人继续行走,在行人做出的动作为第二期望动作时,第二道路参与意图为下一时刻行人停下来等待;或者,在行人做出的动作为第一期望动作时,第一道路参与意图为下一时刻行人停下来等待,在行人做出的动作为第二期望动作时,第二道路参与意图为下一时刻行人继续行走。
例如,在行人做出的动作为举左手时,举左手与第一期望动作相同,由于第一道路参与意图为下一时刻行人继续行走,因此,第一模块确定的车辆的驾驶策略为下一时刻停下来等待;在行人做出的动作为举右手时,举右手与第二期望动作相同,由于第二道路参与意图为下一时刻行人停下来等待,因此,第一模块确定的车辆的驾驶策略为继续行驶。
可以理解的是,第一期望动作或第二期望动作所指示的行人的道路参与意图的内容,也可以根据实际应用情况进行设定,本申请实施例不作限定。
本申请实施例中,结合图5所示的***,示例性的,图11为本申请实施例提供的一种意图交互的示意图,如图11可知,在决策***无法识别行人的道路参与意图的情况下,决策***可以根据第一请求信息激活投影***,并控制投影***在地面上投影第一请求信息,因此,在行人基于第一请求信息做出动作后,决策***可以指示感知***定向追踪行人以及识别行人做出的动作,感知***判断行人做出的动作为第一期望动作或第二期望动作的情况下,从而决策***可以确定行人的道路参与意图为第一道路参与意图或者第二道路参与意图,这样,决策***可以根据行人的第一道路参与意图或第二道路参与意图进行决策,并将决策结果发送给执行结构,执行机构可以为制动***或转向***等。例如,决策结果为停车等待时,则制动***控制车辆停车。
综上所述,在本申请实施例中,在地面满足投影条件的情况下,第一模块可以控制投影***在地面上投影第一请求信息,或者,第一模块控制显示设备在显示屏上显示第一请求信息,这样,第一模块通过识别行人做出的动作,由于期望动作与行人的道路参与意图相关联,因此,第一模块在行人做出的动作为期望动作的情况下,可以确定车辆的驾驶策略;这样,即使没有驾驶员的参与,行人和自动驾驶车辆也可以做到有效的意图交互,从而使得自动驾驶车辆可以有效理解行人的道路参与意图,进而,自动驾驶车辆可以做出正确的驾驶决策,这对于自动驾驶车辆的道路安全来说尤为重要。
在图8所示的实施例的基础上,示例性的,图12为本申请实施例提供的一种控制方法的流程示意图,在本申请实施例中,第一请求信息中包括用于指示多个期望动作的指示信息,多个期望动作与行人的多个道路参与意图相关联,这样,第一模块通过识别行人做出的动作,使得第一模块可以知道行人的道路参与意图,进而,第一模块可以确定车辆的驾驶策略;如图12所示,可以包括以下步骤:
S1201:第一模块控制车辆内的目标设备在目标区域显示第一请求信息。
本申请实施例中,第一请求信息中包括用于指示多个期望动作的指示信息,其中,多个期望动作与行人的多个道路参与意图相关联,例如,在行人穿行马路时,期望动作为举左手,道路参与意图为下一时刻行人继续穿行马路;期望动作为举右手,道路参与意图为下一时刻行人停下来等待;期望动作为举起双手,道路参与意图为下一时刻行人跑着穿行马路;可以理解,期望动作与道路参与意图的具体对应关系,也可以根据实际应用场景设定,本申请实施例不作限定。
S1202:第一模块识别行人做出的动作。
本申请实施例中,由于第一请求信息中包括多个期望动作,行人做出动作后,第一模块可以通过识别行人做出的动作,在判断行人做出的动作与多个期望动作任意一个不相同时,第一模块可以执行S1203。
其中,第一模块识别行人做出的动作的具体实现方式,可以参考S802的内容适应描述,在此不再赘述。
S1203:根据行人做出的动作不为多个期望动作中任意一个,第一模块控制车辆内的目标设备在目标区域显示第二请求信息。
本申请实施例中,由于车辆在显示第一请求信息后,第一模块通过识别行人做出的动作,发现行人做出的动作不为多个期望动作中的任一个,或者,行人未执行动作,这使得第一模块无法获取行人的道路参与意图,为了避免无效地等待,车辆上的决策***可以指示投影***切换投影内容,即第一模块可以控制车辆内的目标设备在目标区域显示第二请求信息,由于第二请求信息用于指示行人做出第一道路参与行为,因此,第一模块通过显示的第二请求信,可以直接告诉行人下一时刻需要做出的动作,即行人下一时刻做出的第一道路参与行为,这样,可以有效节省无效等待时间,提高道路通行效率。
其中,第一道路参与行为可以为停下来等待,继续行走,走着穿行马路,或者,跑着穿行马路等;可以理解,第一道路参与行为的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
可以理解的是,在显示行人在下一时刻需要做出第一道路参与行为的同时,第一模块也可以显示行人需要执行的动作,第一模块通过识别该动作,从而可以进一步地确定行人在下一时刻的道路参与行为,这样,第一模块也就可以确定车辆的驾驶意图。
本申请实施例中,第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息;可以理解,第二请求信息的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
本申请实施例中,第一模块可以基于第二请求信息的显示方式,控制车辆内的目标设备在目标区域显示第二请求信息。其中,第二请求信息的显示方式包括下述的一种或多种:第二请求信息的显示位置、第二请求信息的显示角度、第二请求信息的显示亮度、第二请求信息的显示颜色或显示第二请求信息的持续时间,第二请求信息的显示方式的内容可以参考第一请求信息的显示方式的内容适应描述,在此不再赘述;可以理解,第二请求信息的显示方式的具体内容,也可以根据实际应用场景设定,本申请实施例不作限定。
可能的实现方式中,第二请求信息的显示方式里还可以包括倒计时,在车辆的驾驶策略为停车等待时,该倒计时为用于提醒行人快速通过车辆的时间,在车辆的驾驶策略为继续行驶时,该倒计时为车辆通过行人的时间,也即行人需要等待的时间。
可以理解的是,静态的图形信息或动态的图形信息也可以为警示标识,该警示标识用于表明车辆即将执行的驾驶策略,例如,警示标识为直行的交通标识,用于表明车辆即将行驶;其中,警示标识的具体内容,可以根据实际应用场景设定,本申请实施例不作限定。
示例性的,图13为本申请实施例提供的一种第二请求信息的示意图,在本申请实施例中,第一道路参与行为是走,如图13所示,在行人的正前方,车辆控制投影***投影的是向前方向的箭头符号,该符号旁边显示了行人走的文字,无论是向前方向的箭头符号或者行人走的文字,都表明车辆告知行人需要在下一时刻行走,这样,车辆将在下一时刻停止行驶;其中,向前方向的箭头符号旁边显示的5,可以理解为,行人通过车辆的时间为5秒,或者用于告知行人,在这个5秒的时间里,行人需要快速通过车辆,这样,在5秒后,车辆才可以继续行驶。
可以理解的是,在图13中,车辆除了投影向前方向的箭头符号或行人走的文字,还可以投影举左手的动作,举左手的动作表明行人需要在下一时刻行走,这样,车辆通过识别行人举左手的动作,可以进一步地确定行人在下一时刻行走的意图,从而车辆将在下一时刻停止行驶。
示例性的,图14为本申请实施例提供的一种第二请求信息的示意图,在本申请实施例中,第一道路参与行为是不走,如图14所示,在行人的正前方,车辆控制投影***投影的是STOP的英文符号,该符号旁边显示行人不走的文字,无论是STOP的英文符号或者行人不走的文字,都表明行人在下一时刻需要停下来,这样,车辆将在下一时刻继续行驶;其中,STOP的符号旁边显示的10,可以理解为,行人停下来的时间为10秒,或者用于告知行人,在这个10秒的时间里,车辆可以快速通过行人,这样,在10秒后,行人才可以继续行走。
可以理解的是,在图14中,车辆除了投影STOP的英文符号或行人不走的文字,还可以投影举右手的动作,举右手的动作表明行人需要在下一时刻停下来,这样,车辆通过识别行人举右手的动作,可以进一步地确定行人在下一时刻停下来的意图,从而车辆将在下一时刻继续行驶。
需要说明的是,在地面满足投影条件,目标设备为投影***,目标区域为地面时,第一模块可以控制投影***在地面上投影第二请求信息;或者,在目标设备为显示设备,目标区域为显示屏时,第一模块可以控制显示设备在显示屏上显示第二请求信息。
S1204:根据行人做出第一道路参与行为,第一模块确定车辆的驾驶策略。
本申请实施例中,第一模块显示第二请求信息后,行人注意到第二请求信息,因而,行人可以基于第二请求信息做出第一道路参与行为,这样,第一模块可以确定车辆的驾驶策略。
可以理解的是,在显示第二请求信息的同时,目标区域中也可以显示行人需要做出的动作,这样,第一模块通过持续识别行人做出的动作,从而可以进一步确定行人的道路参与行为,例如,在前一时刻,车辆的驾驶策略为停车等待,在目标区域里显示的行人需要执行的动作为举左手,举左手反映的是行人在下一时刻停下来等待,因此,当车辆识别行人举左手和/或行人停下来等待时,车辆可以从停车等待状态变为行驶状态。
本申请实施例中,结合图5所示的***,示例性的,图15为本申请实施例提供的一种意图交互的示意图,如图15可知,在行人做出的动作不为多个期望动作中任意一个的情况下,决策***可以指示投影***切换投影内容,该投影内容为第二请求信息,由于第二请求信息用于指示行人做出第一道路参与行为,感知***基于第二请求信息,可以重新追踪行人以及重新识别行人的动作,从而使得决策***可以确定行人的道路参与意图,因此,决策***可以根据行人的道路参与意图进行决策,并将决策结果发送给执行结构,执行机构可以为制动***或转向***等。例如,决策结果为停车等待时,制动***控制车辆停车。
需要说明的是,若车辆显示第二请求信息后,路边的多个行人做出了动作,在车辆无法确定行人的道路参与意图的情况下,车辆可以通过执行S1201-S1204,直到车辆确定行人的道路参与意图。
结合图8-图15所示的实施例,示例性的,图16为本申请实施例提供的一种控制方法的流程示意图,如图16所示,在决策***识别行人的意图的情况下,决策***可以根据行人的意图进行路径规划,在决策***没有识别行人的意图,且地面满足投影条件的情况下,决策***确定交互投影的内容、位置,进一步地,决策***控制投影***确定投影颜色、光照强度等信息,进一步地,投影***指示投影装置调节灯光进行投影;同时,决策***指示感知***追踪行人以及识别行人的动作,在感知***识别行人的动作与期望动作匹配的情况下,感知***可以将匹配结果发送给决策***,从而决策***根据匹配结果进行路径规划,在感知***识别行人的动作与期望动作不匹配的情况下,感知***可以通知决策***切换投影内容,即,决策***重新确定交互投影的内容、位置,投影***重新确定投影颜色、光照强度等信息,投影装置重新调节灯光,从而进行投影,这样,根据重新确定的投影内容,感知***重新追踪行人以及识别行人的动作,进而,在感知***识别行人做出的动作与期望动作匹配的情况下,感知***将匹配结果发送给决策***,从而决策***根据匹配结果进行路径规划。
需要说明的是,图16所示的调节灯光、确定交互投影的内容、位置以及确定投影颜色、光照强度等信息的内容,可以参考上述实施例所描述的第一请求信息的显示方式的内容,图16所示的重新调节灯光、重新确定交互投影的内容、位置以及重新确定投影颜色、光照强度等信息的内容,可以参考上述实施例所描述的第二请求信息的显示方式的内容,在此不再赘述。
上面结合图8-图16,对本申请实施例的方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。本领域技术人员可以理解,方法和装置可以相互结合和引用,本申请实施例提供的一种控制装置可以执行上述控制方法。
下面以采用对应各个功能划分各个功能模块为例进行说明:
示例性的,如图17为本申请实施例提供的一种控制装置的结构示意图,如图17所示,该装置包括处理器1700、存储器1701和收发机1702。
处理器1700负责管理总线架构和通常的处理,存储器1701可以存储处理器1700在执行操作时所使用的数据,收发机1702用于在处理器1700的控制下接收和发送数据与存储器1701进行数据通信。
总线架构可以包括任意数量的互联的总线和桥,具体由处理器1700代表的一个或多个处理器和存储器1701代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器1700负责管理总线架构和通常的处理,存储器1701可以存储处理器1700在执行操作时所使用的数据。
本申请实施例揭示的流程,可以应用于处理器1700中,或者由处理器1700实现。在实现过程中,控制的流程的各步骤可以通过处理器1700中的硬件的集成逻辑电路或者软件形式的指令完成。处理器1700可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1701,处理器1700读取存储器1701中的信息,结合其硬件完成信号处理流程的步骤。
本申请实施例中,处理器1700用于读取存储器1701中的程序并以执行上述实施例所描述的方法流程。
示例性的,图18为本申请实施例提供的另一种控制装置的结构示意图,本申请实施例提供的控制装置可以在车辆中,如图18所示,控制装置1800可以用于通信设备、电路、硬件组件或者芯片中,控制装置1800可以包括:控制单元1801、识别单元1802以及处理单元1803,其中,控制单元1801用于支持控制装置执行信息控制的步骤,识别单元1802用于支持控制装置执行信息识别的步骤,处理单元1803用于支持控制装置执行信息处理的步骤。
示例性的,控制单元1801,用于控制车辆内的目标设备在目标区域显示第一请求信息;其中,第一请求信息用于请求行人执行目标动作,目标动作用于表达行人的道路参与意图,目标区域在行人的可视范围内;识别单元1802,用于识别行人做出的动作;处理单元1803,用于根据识别的结果,确定车辆的驾驶策略。
一种可能的实现方式中,第一请求信息中包括用于指示期望动作的指示信息,期望动作与道路参与意图相关联;处理单元1803,具体用于:根据行人做出的动作为期望动作,确定车辆的驾驶策略。
一种可能的实现方式中,期望动作包括第一期望动作和第二期望动作,第一期望动作与行人的第一道路参与意图相关联,第二期望动作与行人的第二道路参与意图相关联;处理单元1803,具体用于:根据行人做出的动作为第一期望动作或第二期望动作,确定车辆的驾驶策略。
一种可能的实现方式中,第一请求信息中包括用于指示多个期望动作的指示信息,多个期望动作与多个道路参与意图相关联;控制单元1801,还用于:根据行人做出的动作不为多个期望动作中任意一个,控制车辆内的目标设备在目标区域显示第二请求信息,第二请求信息用于指示行人做出第一道路参与行为。
一种可能的实现方式中,处理单元1803,具体用于:根据行人做出第一道路参与行为,确定车辆的驾驶策略。
一种可能的实现方式中,第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,第一请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
一种可能的实现方式中,目标设备为投影***,目标区域为车辆外部的区域。
一种可能的实现方式中,目标区域为地面,处理单元1803,具体用于:在地面满足投影条件的情况下,控制投影***在地面上投影第一请求信息。
一种可能的实现方式中,目标设备为显示设备,目标区域为显示屏,处理单元1803,具体用于:控制显示设备在显示屏上显示第一请求信息。
在一种可能的实施例中,控制装置还可以包括:存储单元1804。控制单元1801、识别单元1802、处理单元1803以及存储单元1804通过通信总线相连。
存储单元1804可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。
存储单元1804可以独立存在,通过通信总线与控制装置具有的处理单元1804相连;存储单元1804也可以和控制单元1801、识别单元1802以及处理单元1804集成在一起。
示例性的,图19为本申请实施例提供的一种芯片的结构示意图。芯片190包括至少一个处理器1910和通信接口1930。通信接口1930用于从外部向芯片190输入数据,或者从芯片190向外部输出数据。处理器1910用于运行计算机程序或指令,以实现上述各方法实施例。
可选地,芯片190包括存储器1940。在一些实施方式中,存储器1940存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
本申请实施例中,存储器1940可以包括只读存储器和随机存取存储器,并向处理器1910提供指令和数据。存储器1940的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
本申请实施例中,处理器1910可以通过调用存储器1940存储的操作指令,控制决策***、感知***、投影***或投影装置执行上述方法实施例中相应的操作。
例如,结合图5,存储器1940存储的操作指令可以为控制决策***的指令,这样,处理器1910通过从存储器1940调取该指令,从而处理器1910可以控制决策***,进而,决策***可以指示感知***感知行人的信息,或者,决策***可以激活投影***,进一步地,投影***控制投影装置投影第一请求信息或第二请求信息。
本申请实施例中,存储器1940、通信接口1930以及存储器1940通过总线***1919耦合在一起。其中,总线***1919除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。为了便于描述,在图19中将各种总线都标为总线***1919。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1940,处理器1910读取存储器1940中的信息,结合其硬件完成上述方法的步骤。
在上述实施例中,存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中,计算机程序产品可以是事先写入在存储器中,也可以是以软件形式下载并安装在存储器中。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (25)

1.一种控制方法,其特征在于,所述方法包括:
控制车辆内的目标设备在目标区域显示第一请求信息;其中,所述第一请求信息用于请求行人执行目标动作,所述目标动作用于表达所述行人的道路参与意图,所述目标区域在所述行人的可视范围内;
识别所述行人做出的动作;
根据所述识别的结果,确定所述车辆的驾驶策略。
2.根据权利要求1所述的方法,其特征在于,所述第一请求信息用于请求行人执行目标动作,包括:
所述第一请求信息中包括用于指示期望动作的指示信息,所述期望动作与道路参与意图相关联;
所述根据所述识别的结果,确定所述车辆的驾驶策略,包括:
根据所述行人做出的动作为所述期望动作,确定所述车辆的驾驶策略。
3.根据权利要求2所述的方法,其特征在于,所述期望动作包括第一期望动作和第二期望动作,所述第一期望动作与所述行人的第一道路参与意图相关联,所述第二期望动作与所述行人的第二道路参与意图相关联;
所述根据所述识别的结果,确定所述车辆的驾驶策略,包括:
根据所述行人做出的动作为所述第一期望动作或所述第二期望动作,确定所述车辆的驾驶策略。
4.根据权利要求1所述的方法,其特征在于,所述第一请求信息用于请求行人执行目标动作,包括:
所述第一请求信息中包括用于指示多个期望动作的指示信息,所述多个期望动作与多个道路参与意图相关联;
所述方法还包括:
根据所述行人做出的动作不为所述多个期望动作中任意一个,控制车辆内的目标设备在目标区域显示第二请求信息,所述第二请求信息用于指示所述行人做出第一道路参与行为。
5.根据权利要求4所述的方法,其特征在于,根据所述识别的结果,确定所述车辆的驾驶策略,包括:
根据所述行人做出第一道路参与行为,确定所述车辆的驾驶策略。
6.根据权利要求4或5所述的方法,其特征在于,所述第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述第一请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
8.根据权利要求7所述的方法,其特征在于,所述目标设备为投影***,所述目标区域为所述车辆外部的区域。
9.根据权利要求8所述的方法,其特征在于,所述目标区域为地面,所述控制车辆内的目标设备在目标区域显示第一请求信息,包括:
在所述地面满足投影条件的情况下,控制所述投影***在所述地面上投影所述第一请求信息。
10.根据权利要求7所述的方法,其特征在于,所述目标设备为显示设备,所述目标区域为显示屏,所述控制车辆内的目标设备在目标区域显示第一请求信息,包括:
控制所述显示设备在所述显示屏上显示所述第一请求信息。
11.一种控制装置,其特征在于,所述装置包括控制单元、识别单元和处理单元;
所述控制单元,用于控制车辆内的目标设备在目标区域显示第一请求信息;其中,所述第一请求信息用于请求行人执行目标动作,所述目标动作用于表达所述行人的道路参与意图,所述目标区域在所述行人的可视范围内;
所述识别单元,用于识别所述行人做出的动作;
所述处理单元,用于根据所述识别的结果,确定所述车辆的驾驶策略。
12.根据权利要求11所述的装置,其特征在于,所述第一请求信息中包括用于指示期望动作的指示信息,所述期望动作与所述道路参与意图相关联;所述处理单元,具体用于:根据所述行人做出的动作为所述期望动作,确定所述车辆的驾驶策略。
13.根据权利要求12所述的装置,其特征在于,所述期望动作包括第一期望动作和第二期望动作,所述第一期望动作与所述行人的第一道路参与意图相关联,所述第二期望动作与所述行人的第二道路参与意图相关联;所述处理单元,具体用于:根据所述行人做出的动作为所述第一期望动作或所述第二期望动作,确定所述车辆的驾驶策略。
14.根据权利要求11所述的装置,其特征在于,所述第一请求信息中包括用于指示多个期望动作的指示信息,所述多个期望动作与多个道路参与意图相关联;所述控制单元,还用于:根据所述行人做出的动作不为所述多个期望动作中任意一个,控制车辆内的目标设备在目标区域显示第二请求信息,所述第二请求信息用于指示所述行人做出第一道路参与行为。
15.根据权利要求14所述的装置,其特征在于,所述处理单元,具体用于:根据所述行人做出第一道路参与行为,确定所述车辆的驾驶策略。
16.根据权利要求14或15所述的装置,其特征在于,所述第二请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
17.根据权利要求11-16任一项所述的装置,其特征在于,所述第一请求信息包括文字信息、静态的图形信息、视频信息或动态的图形信息中的一种或者多种。
18.根据权利要求17所述的装置,其特征在于,所述目标设备为投影***,所述目标区域为所述车辆外部的区域。
19.根据权利要求18所述的装置,其特征在于,所述目标区域为地面,所述控制单元,具体用于:在所述地面满足投影条件的情况下,控制所述投影***在所述地面上显示所述第一请求信息。
20.根据权利要求17所述的装置,其特征在于,所述目标设备为显示设备,所述目标区域为显示屏,所述控制单元,具体用于:控制所述显示设备在所述显示屏上显示所述第一请求信息。
21.一种控制装置,其特征在于,包括存储器和处理器,所述存储器存储计算机程序指令,所述处理器运行所述计算机程序指令以执行权利要求1-10中任一项所述的方法。
22.一种车辆,其特征在于,包括如权利要求11-20中任一项所述的装置。
23.根据权利要求22所述的车辆,其特征在于,还包括感知***、目标设备,所述目标设备为投影***或者显示设备。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令被运行时,实现如权利要求1-10中任一项所述的方法。
25.一种计算机程序产品,其特征在于,当所述计算机程序产品在处理器上运行时,使得处理器执行权利要求1-10中任一项所述的方法。
CN202110574297.2A 2021-05-25 2021-05-25 控制方法和装置 Pending CN115384545A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110574297.2A CN115384545A (zh) 2021-05-25 2021-05-25 控制方法和装置
PCT/CN2022/093988 WO2022247733A1 (zh) 2021-05-25 2022-05-19 控制方法和装置
EP22810460.0A EP4331938A1 (en) 2021-05-25 2022-05-19 Control method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110574297.2A CN115384545A (zh) 2021-05-25 2021-05-25 控制方法和装置

Publications (1)

Publication Number Publication Date
CN115384545A true CN115384545A (zh) 2022-11-25

Family

ID=84113846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110574297.2A Pending CN115384545A (zh) 2021-05-25 2021-05-25 控制方法和装置

Country Status (3)

Country Link
EP (1) EP4331938A1 (zh)
CN (1) CN115384545A (zh)
WO (1) WO2022247733A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9902311B2 (en) * 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法
JP6515125B2 (ja) * 2017-03-10 2019-05-15 株式会社Subaru 画像表示装置
CN111527533A (zh) * 2018-01-29 2020-08-11 京瓷株式会社 图像处理装置、拍摄装置、移动体以及图像处理方法
CN109455180B (zh) * 2018-11-09 2020-10-16 百度在线网络技术(北京)有限公司 用于控制无人车的方法和装置
CN110077314B (zh) * 2019-04-03 2024-06-11 浙江吉利控股集团有限公司 一种无人驾驶车辆的信息交互方法、***及电子设备
DE102019134048A1 (de) * 2019-12-11 2020-03-26 FEV Group GmbH Verfahren zur Vorhersage eines Verhaltens von Fußgängern
CN111540222A (zh) * 2020-04-17 2020-08-14 新石器慧通(北京)科技有限公司 基于无人车的智能交互方法、装置及无人车

Also Published As

Publication number Publication date
WO2022247733A1 (zh) 2022-12-01
EP4331938A1 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US11709490B1 (en) Behavior and intent estimations of road users for autonomous vehicles
US10852153B2 (en) Autonomous vehicle and method of controlling the same
KR102222323B1 (ko) 자율 차량들을 위한 동적 라우팅
US11619940B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
WO2021057352A1 (zh) 一种车载设备的信息显示方法、装置及车辆
US9829889B1 (en) Autonomous vehicle advanced notification system and method of use
US10077007B2 (en) Sidepod stereo camera system for an autonomous vehicle
US8954252B1 (en) Pedestrian notifications
US20210078598A1 (en) Autonomous vehicle and pedestrian guidance system and method using the same
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
JP6792704B2 (ja) 自動運転車の制御のための車両制御装置及び方法
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
JP7176098B2 (ja) 自律型車両のための行列の検出および行列に対する応答
EP3995379B1 (en) Behavior prediction for railway agents for autonomous driving system
EP4001044A2 (en) Increasing awareness of passengers during pullovers and drop offs for autonomous vehicles
CN115593429A (zh) 自动驾驶车辆对紧急车辆的响应
US20210291736A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
US11226626B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
CN117416344A (zh) 自主驾驶***中校车的状态估计
CN115384545A (zh) 控制方法和装置
CN112789205B (zh) 针对自动驾驶车辆检测队列并对队列进行响应
WO2024122303A1 (ja) 車両制御装置、車両制御方法
US20230368663A1 (en) System, method and application for lead vehicle to trailing vehicle distance estimation
JP2024082998A (ja) 車両制御装置、車両制御方法
CN117341695A (zh) 辅助驾驶引导方法、增强现实设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination