CN113002535A - 驾驶员辅助设备和驾驶员辅助方法 - Google Patents

驾驶员辅助设备和驾驶员辅助方法 Download PDF

Info

Publication number
CN113002535A
CN113002535A CN202011505968.1A CN202011505968A CN113002535A CN 113002535 A CN113002535 A CN 113002535A CN 202011505968 A CN202011505968 A CN 202011505968A CN 113002535 A CN113002535 A CN 113002535A
Authority
CN
China
Prior art keywords
vehicle
host vehicle
host
image data
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011505968.1A
Other languages
English (en)
Inventor
金德珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Halla Creedong Electronics Co ltd
Original Assignee
Mando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Corp filed Critical Mando Corp
Publication of CN113002535A publication Critical patent/CN113002535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/803—Relative lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

驾驶员辅助设备和驾驶员辅助方法。一种辅助本车的驾驶的设备包括：摄像头，该摄像头被安装于本车并具有在本车外部的视场，所述摄像头被配置为获得图像数据；以及控制器，该控制器被配置为处理所述图像数据，基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象，预测与所述至少一个对象的碰撞，基于所述图像数据来识别所述本车正在向前还是向后移动，并且控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动本车。

Description

驾驶员辅助设备和驾驶员辅助方法
技术领域
本公开涉及驾驶员辅助设备，并且更具体地，涉及能够避免与对象碰撞的驾驶员辅助设备。
背景技术
通常，车辆是指被设计为使用化石燃料、电力等作为动力源在道路或铁路上行驶的移动装置或运输装置。车辆可以主要使用安装在车身上的一个或更多个车轮移动到各种位置。这样的车辆可以包括三轮或四轮车辆、诸如摩托车这样的二轮车辆、建筑机械、自行车和在布置在轨道上的铁路上行驶的火车。
车辆是现代社会中最常见的运输工具，并且使用它们的人数正在增长。由于车辆技术的发展，长距离移动容易并且生活更容易。然而，在人口密度高的地方，道路交通状况恶化并且经常发生交通拥堵。
近年来，对配备有高级驾驶员辅助***(ADAS)的车辆进行了积极的研究，ADAS主动提供了关于车辆状态、驾驶员状态和周围环境的信息，以减轻驾驶员的负担同时增强驾驶员的便利性。
安装在车辆上的高级驾驶员辅助设备的示例包括前向碰撞避免(FCA)、自主紧急制动(AEB)和驾驶员注意警告(DAW)。这样的***是用于确定在车辆的行驶情形下与对象碰撞的风险并且在碰撞情形下通过紧急制动提供碰撞避免和警告的***。
驾驶员辅助设备依赖于与车辆的行驶相关的从车辆中所包括的发动机、变速器、制动装置和转向装置接收的信息。然而，当从发动机、变速器、制动装置和转向装置接收到错误信息时，驾驶员辅助设备可能发生故障。
发明内容
出于以上原因，本公开的一方面是提供能够基于图像数据来识别车辆的向前移动或向后移动的驾驶员辅助设备和驾驶员辅助方法。
因此，本公开的一方面是提供一种辅助本车驾驶的设备，该设备包括：摄像头，该摄像头被安装于所述本车并具有在所述本车外部的视场，所述摄像头被配置为获得图像数据；以及控制器，该控制器被配置为处理所述图像数据，基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象，预测与所述至少一个对象的碰撞，基于所述图像数据来识别所述本车正在向前还是向后移动，并且控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
所述控制器可以被配置为控制所述本车的所述制动装置以响应于所述本车的向前移动而制动所述本车。
所述控制器可以被配置为响应于所述本车的向后移动而控制所述本车的显示器、音频和方向盘中的至少一个警告所述本车的碰撞。
所述控制器可以被配置为通过所述图像数据来识别图像帧内的静止对象，并且基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动。
所述控制器可以被配置为通过所述图像数据来识别图像帧内的车道标记和标志中的至少一个，并且基于所述车道标记和所述标志中的至少一个的随时间的移动来识别所述本车正在向前还是向后移动。
所述控制器可以被配置为响应于所述静止对象在从所述图像帧的中心朝向所述边缘的方向上移动而识别出所述本车正在向前移动。
所述控制器可以被配置为响应于所述静止对象在从所述图像帧的边缘朝向所述中心的方向上移动而识别出所述本车正在向后移动。
本公开的另一方面是提供一种辅助本车驾驶的方法，该方法包括以下步骤：处理由安装于所述本车并且具有在所述本车外部的视场、具有车辆的前方视场的摄像头获得的图像数据；基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象；预测与所述至少一个对象的碰撞；基于所述图像数据来识别所述本车正在向前还是向后移动；以及控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
控制所述本车的制动装置以制动所述本车可以包括：控制所述本车的所述制动装置以响应于所述本车的向前移动而制动所述本车。
所述驾驶员辅助方法还可以包括以下步骤：响应于所述本车的向后移动而控制所述本车的显示器、音频和方向盘中的至少一个警告所述本车的碰撞。
识别所述本车正在向前还是向后移动可以包括：基于所述图像数据来识别图像帧内的静止对象；以及基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动。
通过所述图像数据识别图像帧内的静止对象可以包括：通过所述图像数据来识别图像帧内的车道标记和标志中的至少一个。
基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动可以包括：响应于所述静止对象在从所述图像帧的中心朝向边缘的方向上移动而识别出所述本车正在向前移动。
基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动可以包括：响应于所述静止对象在从所述图像帧的边缘朝向所述中心的方向上移动而识别出所述本车正在向后移动。
预测与所述至少一个对象的碰撞可以包括：通过包括雷达传感器和激光雷达传感器的组中的安装在所述本车中的、具有所述本车的前方和侧面中的至少一个的检测视场的传感器来获得检测数据；以及基于所述检测数据来预测与所述至少一个对象的碰撞。
本公开的另一方面是提供一种辅助本车驾驶的设备，该设备包括：图像传感器，该图像传感器被安装于所述本车并具有在所述本车外部的视场，所述图像传感器被配置为获得图像数据；雷达传感器，该雷达传感器被安装于所述本车并具有在所述本车的前方和侧面中的至少一个的检测视场，并且被配置为获得检测数据；以及控制器，该控制器被配置为处理所述图像数据和所述检测数据，基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象，基于所述检测数据来预测与所述至少一个对象的碰撞，基于所述图像数据来识别所述本车正在向前还是向后移动，并且控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
附图说明
根据以下结合附图对实施方式的描述，本公开的这些和/或其它方面将变得显而易见并且更容易理解，在附图中：
图1是例示了根据实施方式的车辆的配置的框图；
图2是例示了根据实施方式的驾驶员辅助设备的配置的框图；
图3是例示了根据实施方式的驾驶员辅助设备中所包括的摄像头和雷达的视场的示图；
图4是例示了根据示例性实施方式的确定驾驶员辅助设备的驾驶的方法的示图。
图5是例示了根据实施方式的由驾驶员辅助设备中所包括的摄像头所捕获的图像的示图。
图6是例示了根据实施方式的驾驶员辅助设备的紧急制动方法的示图。
图7是例示了根据实施方式的车辆向前行驶的示图。
图8是例示了当图7中示出的车辆行驶时由摄像头所捕获的图像的示图。
图9是例示了根据实施方式的车辆向后行驶的示图。
图10是例示了当图9中示出的车辆行驶时由摄像头所捕获的图像的示图。
具体实施方式
提供以下详细描述以帮助读者获得对本文描述的方法、设备和/或***的全面理解。因此，将向本领域的普通技术人员建议本文描述的方法、设备和/或***的各种改变形式、修改形式和等同形式。所描述的处理操作的进程是示例；然而，操作的顺序不限于本文中阐述的顺序，可以按照本领域已知地进行改变，除了必须以特定顺序发生的操作之外。另外，为了更加清楚和简洁起见，可以省略对已知功能和构造的相应描述。
另外，现在在下文中将参照附图更充分地描述示例性实施方式。然而，示例性实施方式可以按照许多不同形式来实施并且不应该被理解为限于本文中阐述的实施方式。提供这些实施方式，使得本公开将是彻底和完全的，并且将把示例性实施方式充分传达给本领域的普通技术人员。类似的标号始终表示类似的元件。
应该理解，尽管在本文中可以使用术语第一、第二等来描述各种元件，但这些元件不应该受这些术语限制。这些术语只是用于将一个元件与另一个区分开。如本文中使用的，术语“和/或”包括关联所列项中的一个或更多个中的任一个和全部组合。
应该理解，当元件被称为“连接”或“联接”到另一元件时，它可以直接连接或联接到另一元件或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接联接”到另一个元件时，不存在中间元件。
本文中使用的术语是仅出于描述特定实施方式的目的，而不旨在限制。如本文中使用的，单数形式“一”、“一个”和“所述”也旨在包括复数形式，除非上下文另外清楚指示。
现在，将详细参照其示例在附图中例示的本公开的示例性实施方式，其中，类似的附图标记始终表示类似的元件。
表述“a、b和c中的至少一个”应该被理解为包括仅a、仅b、仅c、a和b二者、a和c二者、b和c二者或a、b和c全部。
下文中，将参照附图描述本公开的原理和实施方式。
图1是例示了根据实施方式的车辆的配置的框图。
如图1中所示，车辆1可以包括驾驶***10、制动***30和转向***40。
驾驶***10使车辆1移动，并且包括发动机管理***(EMS)11、发动机12、变速器控制单元(TCU)21和变速器22。
发动机12可以包括汽缸和活塞，并且产生车辆1行驶所需的动力。变速器22可以包括多个齿轮，并且将发动机12所产生的动力传输到车轮。
EMS 11可以响应于驾驶员通过加速器踏板的加速意图或驾驶员辅助设备100的请求而控制发动机12。例如，EMS 11可以控制发动机12的转矩。
TCU 21可以响应于驾驶员通过换挡杆的换挡命令和/或车辆1的行驶速度而控制变速器22。例如，TCU 21可以调整发动机12与车轮的传动比。
制动***30使车辆1停止并且可以包括电子制动控制模块(EBCM)31和制动装置32。
制动装置32可以通过与车轮的摩擦使车辆1减速或者使车辆1停止。
EBCM 31可以响应于驾驶员通过制动踏板的制动意图和/或车轮的打滑而控制制动装置32。例如，EBCM 31可以响应于在制动车辆1时感测到的车轮打滑而控制制动装置32暂时释放车轮的制动(防抱死制动***：ABS)。EBCM 31可以响应于在使车辆1转向时感测到的转向过度和/或转向不足而控制制动装置32选择性释放车轮的制动(电子稳定性控制：ESC)。另外，EBCM 31可以响应于在驾驶车辆1时感测到的车轮打滑而控制制动装置32暂时制动车轮(牵引力控制***：TCS)。
另外，EBCM 31可以响应于来自驾驶员辅助设备100的请求而控制制动装置32。例如，EBCM 31可以从驾驶员辅助设备100接收包括减速速率的减速请求，并且控制制动装置32使得车辆1根据所请求的减速速率而减速。
转向***40可以包括电子动力转向控制模块(EPS)41和转向装置40。
转向装置42可以改变车辆1的行驶方向。
EPS 41可以响应于驾驶员通过方向盘的转向意图而辅助转向装置42的操作，使得驾驶员可以容易地操作方向盘。例如，EPS 41可以辅助转向装置42的操作，使得在低速驾驶或停车期间转向力减小并且在高速驾驶期间转向力增大。
另外，EPS 41可以响应于来自驾驶员辅助设备100的请求而控制转向设备42。例如，电子转向控制模块41可以从驾驶员辅助设备100接收包括转向转矩的转向请求，并且控制制动装置42使车辆1根据所请求的转向转矩而转向。
车辆1还包括车身控制模块(BCM)51和驾驶员辅助设备100，以求驾驶员的安全和便利性。
BCM 51可以控制为驾驶员提供便利性或者确保驾驶员的安全性的机械零件的操作。例如，BCM 51可以控制前照灯、雨刷、仪表板、多功能开关、方向指示器灯等。
驾驶员辅助设备100可以辅助驾驶员对车辆1进行操纵(驾驶、制动和转向)。例如，驾驶员辅助设备100可以感测车辆1的周围环境(例如，其它车辆、行人、骑行人、车道、道路标志等)，并且响应于感测到的环境而控制车辆1的驾驶和/或制动和/或转向。
驾驶员辅助设备100可以为驾驶员提供各种功能。例如，DAS 100可以包括车道偏离警告(LDW)、车道保持辅助(LKA)、远光灯辅助(HBA)、自动紧急制动(AEB)、交通标志识别(TSR)、智能巡航控制(SCC)、盲点检测(BSD)等。
驾驶员辅助设备100包括获取车辆1的周围的图像数据的摄像头模块101和获取车辆1的周围的对象数据的雷达模块102。摄像头模块101可以包括摄像头101a和电子控制单元(ECU)101b，并且拍摄车辆1的正面或侧面中的至少一个，并且识别其它车辆、行人、骑行人、车道、道路标志等。雷达模块102可以包括雷达102a和ECU 102b，并且获取车辆1的周围的对象(例如，其它车辆、行人、骑行人等)的相对位置、相对速率等。
驾驶员辅助设备100不限于图1中示出的那个，并且还可以包括在车辆1周围扫描并检测对象的LiDAR。
上述的电子部件可以通过车辆通信网络NT彼此通信。例如，机械零件可以通过以太网(Ethernet)、面向媒体的***传输(MOST)、Flexray、控制器区域网络(CAN)、本地互连网络(LIN)等发送数据。例如，驾驶员辅助设备100可以分别将驾驶信号、制动信号和转向信号发送到EMS 11、TCU 21、EBCM 31和EPS 41。
图2是例示了根据实施方式的驾驶员辅助设备的配置的框图。图3是例示了根据实施方式的驾驶员辅助设备中所包括的摄像头和雷达的视场的示图。
如图2中所示，车辆1可以包括驾驶***10、制动***30、转向***40和驾驶员辅助设备100。
驾驶***10、制动***30和转向***40可以与图1中示出的驾驶***10、制动***30和转向***40相同。
驾驶员辅助设备100可以包括前置摄像头110、前置雷达120和控制器140。
前置摄像头110可以具有面向车辆1前方的视场110a，如图3中所示。前置摄像头110可以例如被安装在车辆1的前挡风玻璃上。
前置摄像头110可以拍摄车辆1的前方并且获取车辆1前方的图像数据。车辆1前方的图像数据可以包括存在于车辆1前方的其它车辆、行人、骑行人或车道的位置信息。
前置摄像头110可以包括多个镜头和图像传感器。图像传感器可以包括多个用于将光转换成电信号的光电二极管，并且这多个光电二极管可以被布置成二维矩阵。
前置摄像头110可以电连接到控制器140。例如，前置摄像头110可以通过车辆通信网络NT连接到控制器140，可以通过硬布线连接到控制器140，或者可以通过印刷电路板(PCB)连接到控制器140。
前置摄像头110可以将车辆1前方的图像数据发送到控制器140。
前置雷达120可以具有面对车辆1前方的感测场120a，如图3中所示。前置雷达120可以被安装在例如车辆1的格栅或保险杠上。
前置雷达120可以包括向车辆1前方辐射发射无线电波的发射天线(或发射天线阵列)以及接收从对象反射的反射无线电波的接收天线(或接收天线阵列)。前置雷达120可以从由发射天线所发送的发射无线电波和接收天线所接收的反射无线电波获取前置雷达数据。前置雷达数据可以包括关于存在于车辆1前方的其它车辆、行人或骑行人的距离信息和速率信息。前置雷达120可以基于发射无线电波与反射无线电波之间的相位差(或时间差)来计算到对象的相对距离，并且基于发射无线电波与反射无线电波之间的频率差来计算对象的相对速率。
前置雷达120可以通过车辆通信网络NT、硬布线或印刷电路板连接到控制器140。前置雷达120可以将前置雷达数据发送到控制器140。
控制器140可以包括摄像头模块(图1中的101)的ECU(图1中的101b)和/或雷达模块(图1中的102)的ECU(图1中的102b)和/或集成的ECU。
控制器140可以电连接到前置摄像头110和前置雷达120。另外，控制器140可以通过车辆通信网络NT连接到驾驶***10、制动***30和转向***40。
控制器140包括处理器141和存储器142。
处理器141可以处理前置摄像头110的前方图像数据和前置雷达120的检测数据，并且生成用于控制驾驶***10、制动***32和转向***42的驾驶信号、制动信号和转向信号。例如，处理器141可以包括：图像信号处理器，该图像信号处理器用于处理前置摄像头110的前方图像数据；和/或数字信号处理器，该数字信号处理器用于处理雷达120、130的雷达数据；和/或微控制单元(MCU)，该MCU用于生成驾驶信号、制动信号和转向信号。
处理器141可以基于前置摄像头110的前方图像数据和前置雷达120的检测数据来感测车辆1前方的对象(例如，其它车辆、行人、骑行人等)。
处理器141可以基于前置摄像头110的图像数据来获得车辆1前方的对象的位置(方向)和分类(例如，对象是其它车辆、行人还是骑车人)。处理器141可以基于前置雷达120的检测数据来获得车辆1前方的对象的位置(距离和方向)和相对速率。另外，处理器141可以将通过图像数据检测到的对象与通过检测数据检测到的对象进行匹配，并且基于匹配结果来获得车辆1前方对象的分类、相对位置和相对速率。
处理器141可以基于前方对象的相对位置和相对速率来生成驾驶信号、制动信号和转向信号。例如，处理器141可以将驾驶信号发送到驾驶***10，使得与前车的距离(或到达前车的位置为止的时间)成为由驾驶员设置的距离。另外，处理器141基于前方对象的位置(距离)和相对速率来计算车辆1与前方对象之间的碰撞时间(TTC)或碰撞距离(DTC)，并且基于TTC与参考值的比较结果来警告驾驶员碰撞或者向制动***32发送制动信号。另外，当确定与前方对象的碰撞是基于碰撞时间或碰撞距离时，处理器141可以向转向***40发送转向信号，以便避免与前方对象碰撞。
处理器141可以基于前置摄像头110的图像数据来选择前方对象当中有碰撞风险的目标。例如，处理器141可以选择在与车辆1相同的车道中行驶的其它车辆作为目标。
处理器141可以基于前置摄像头110的图像数据来识别除了目标之外的对象(下文中被称为“另一对象”)的移动，并且可以基于该另一对象的移动来识别车辆1正在向前还是向后移动。例如，处理器141可以基于固定对象(例如，车道或标志)的移动来识别车辆1是正在向前还是向后移动。
处理器141可以基于车辆1向前移动来输出用于避免与目标碰撞的制动信号和/或转向信号。另外，处理器141可以基于车辆1向后移动来输出用于避免与目标碰撞的驾驶信号。
存储器142存储用于由处理器141处理图像数据的程序和/或数据、用于由处理器141处理雷达数据的程序和/或数据以及用于由处理器141生成驾驶信号和/或制动信号和/或转向信号的程序和/或数据。
存储器142可以暂时存储从前置摄像头110接收的图像数据和/或从雷达120和130接收的雷达数据，并且可以暂时存储处理器141处理图像数据和/或检测数据的结果。
存储器142可以包括诸如S-RAM、D-RAM等这样的易失性存储器以及诸如闪存存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)等这样的非易失性存储器。
如此，控制器140可以基于是否预测到要发生与前方对象的碰撞来将制动信号发送到制动***30。另外，控制器140可以将转向信号发送到转向***40，以避免与前方对象碰撞。
另外，当预测到与目标碰撞时，控制器140可以基于另一对象的移动来识别车辆1正在向前还是向后笔直移动。当车辆1正在笔直移动时，控制器140可以输出制动信号和/或转向信号以避免与目标的碰撞，并且当车辆1正在向后移动时，控制器140可以不输出制动信号和/或转向信号。
驾驶员辅助设备100不限于图2中示出的那个，并且还可以包括在车辆1周围扫描并检测对象的LiDAR。
图4是例示了根据示例性实施方式的确定驾驶员辅助设备的驾驶的方法的示图。图5是例示了根据实施方式的由驾驶员辅助设备中所包括的摄像头所捕获的图像的示图。
将参照图4和图5来描述确定驾驶员辅助设备的驾驶的方法1000。
驾驶员辅助设备100对车辆1周围的对象进行识别和分类(1010)。
在车辆1正在行驶或停止时，驾驶员辅助设备100的前置摄像头110可以获取车辆1前方和/或周围的图像数据。驾驶员辅助设备100的控制器140可以从前置摄像头110获取图像数据。控制器140可以基于图像数据对位于车辆1前方和/或周围的对象进行识别和分类。例如，控制器140可以识别位于车辆1前方和/或周围的包括车道标记、标志、其它车辆、行人、骑行人、道路边界、动物、交通信号灯的对象。另外，控制器140可以将所识别的对象分类为车道标记、标志、其它车辆、行人、自行车、道路边界、动物、交通信号灯等。
在车辆1正在行驶或停止时，驾驶员辅助设备100的前置雷达120可以获取车辆1前方和/或周围的检测数据。控制器140可以从前置雷达120获取检测数据。控制器140可以基于检测数据对车辆1前方和/或周围的对象进行识别。
控制器140可以仅根据前置摄像头110的图像数据来识别位于车辆1前方和/或周围的对象，或者可以仅根据前置雷达120的检测数据来识别位于车辆1前方和/或周围的对象。
另外，控制器140可以基于前置摄像头110的图像数据和前置雷达120的检测数据来识别位于车辆1前方和/或周围的对象。例如，控制器140可以识别基于前置摄像头110的图像数据而识别的对象与基于前置雷达120的检测数据而识别的对象之间的共同对象。
驾驶员辅助设备100可以识别车辆1的周围对象的相对位置和相对速率(1020)。
控制器140可以基于图像数据来识别位于车辆1前方和/或周围的对象的相对位置，并且可以基于多个连续图像数据来识别位于车辆1前方和/或周围的对象的相对速率。例如，控制器140可以通过图像数据基于图像中的对象位置(图像帧中的对象所占据的像素的坐标)和对象大小(图像帧中的对象所占据的像素的数目)来识别对象的相对位置。另外，控制器140可以通过多个连续图像数据基于图像中的对象位置(图像帧中的对象所占据的像素的坐标)的变化来识别的对象的横向相对速率，并且可以基于对象大小(图像帧中的对象所占据的像素的数目)的变化来识别对象的纵向相对速率。
另外，控制器140可以基于检测数据来识别位于车辆1前方和/或周围的对象的相对位置和相对速率。例如，控制器140可以基于接收到从对象反射的无线电波为止的时间和无线电波被接收的角度来识别位于车辆1前方和/或周围的对象的相对位置。另外，控制器140可以基于从对象反射的无线电波的频率变化(多普勒效应)来识别位于车辆1前方和/或周围的对象的相对速率。
另外，基于前置摄像头110的图像数据和前置雷达120的检测数据，控制器140可以识别位于车辆1前方和/或周围的对象的相对位置和相对速率。例如，控制器140可以基于前置摄像头110的图像数据来确定对象的横向相对位置和横向相对速率，并且可以基于前置雷达120的检测数据来确定对象的纵向相对位置和纵向相对速率。这里，横方向指示与车辆1的行驶方向垂直的方向，纵方向可以指示与车辆1的行驶方向平行的方向。
驾驶员辅助设备100基于静止对象的移动来识别车辆1正在向前还是向后移动(1030)。
通常，驾驶员辅助设备100可以从驾驶***20接收包括向前和向后移动的驾驶状态信息。例如，驾驶员辅助设备100可以从变速器控制单元21接收关于换挡杆的位置的信息或关于变速器22的操作的信息(下文中被称为“换挡信息”)。然而，由于变速器控制单元21的故障，驾驶员辅助设备100可能从变速器控制单元21接收不正确的换挡信息。
为了防止驾驶员辅助设备100由于从变速器控制单元21接收到不正确的换档信息而执行错误操作，控制器140可以基于前置摄像头110所获取的图像数据来确定换档状态(例如，车辆的向前移动或向后移动)。
为了确定车辆1的换挡状态(例如，车辆的向前移动或向后移动)，控制器140可以识别诸如道路上的车道标记或标志这样的具有固定位置的对象。例如，控制器140可以使用边缘检测算法等从图像数据中检测具有虚线形状的车道标记，并且使用机器学习技术从图像数据中检测符号。
控制器140可以基于图像帧内静止对象的移动来识别车辆1正在向前还是向后移动。
例如，控制器140可以从前置摄像头110接收如图5中所示的图像帧200的图像数据。图像帧200可以包括前车图像2a、车道标记图像3a和标志图像4a。
控制器140可以将前车图像2a、车道标记图像3a和标志图像4a识别为图像帧200中的对象，并且可以分别识别前车图像2a、车道标记图像3a和标志图像4a的相对位置和相对速率。
基于图像帧200，控制器140可以确定前车是移动对象，并且确定车道标记和显示面板是静止对象。另外，控制器140可以识别车道标记图像3a和标志图像4a在帧中的位置(或像素坐标)。控制器140可以在图5例示的图像帧200的时间上的下一个图像帧中识别车道标记图像和标志图像的位置(或像素坐标)。另外，控制器140可以基于图像帧200与下一个图像帧的比较结果来识别该帧中车道标记图像3a和标志图像4a的位置(或像素坐标)的变化。
控制器140可以基于车道标记图像3a和标志图像4a的帧内的位置(或像素坐标)的变化来识别车辆1正在向前还是向后移动。
例如，当车道标记图像3a和标志图像4a在车道标记图像3a和标志图像4a从图像帧200的中心面向图像帧200的边缘的第一方向D1上移动时，控制器140可以识别出车辆1正在向前移动。换句话说，当位于图5中的图像帧200的右半部中的标志图像4a进一步向右移动时，控制器140可以确定该标志正在背离车辆1移动并且还可以识别出车辆1正在向前移动。另外，当位于图5中的图像帧200的左下方的车道标记图像3a进一步向左下方移动时，控制器140可以确定车道标记正在背离车辆1移动并且还可以识别出车辆1正在向前移动。
另外，当标志图像4a的大小(标志图像所占据的像素的数目)增加时，控制器140可以识别出车辆1正在向前移动。
作为另一示例，当车道标记图像3a和标志图像4a在车道标记图像3a和标志图像4a从图像帧200的边缘面向图像帧200的中心的第二方向D2上移动时，控制器140可以识别出车辆1正在向后移动。换句话说，当位于图5中的图像帧200的右半部中的标志图像4a向左移动时，控制器140可以确定该标志靠近车辆1并且还可以识别出车辆1正在向后移动。另外，当位于图5中的图像帧200的左下方的车道标记图像3a向右下方移动时，控制器140可以确定车道标记靠近车辆1并且还可以识别出车辆1正在向后移动。
另外，当标志图像4a的大小(标志图像所占据的像素的数目)减少时，控制器140可以识别出车辆1正在向后移动。
如上所述，驾驶员辅助设备100可以基于前置摄像头110所获取的图像数据来识别车辆1正在向前还是向后移动。
由此，尽管变速器控制装置21发生故障，驾驶员辅助设备100也可以识别车辆1正在向前还是向后移动。
图6是例示了根据实施方式的驾驶员辅助设备的紧急制动方法的示图。图7是例示了根据实施方式的车辆向前行驶的示图。图8是例示了当图7中示出的车辆行驶时摄像头所捕获的图像的示图。图9是例示了根据实施方式的车辆向后行驶的示图。图10是例示了当图9中示出的车辆行驶时由摄像头所捕获的图像的示图。
连同图6、图7、图8、图9和图10一起，将描述驾驶员辅助设备的紧急制动方法1100。
驾驶员辅助设备100对车辆1周围的对象进行识别和分类(1110)。驾驶员辅助设备100识别车辆1的周围对象的相对位置和相对速率(1120)。
操作1110和1120可以与图4中示出的操作1010和1020相同。
驾驶员辅助设备100在对象当中选择目标(1130)。
控制器140可以基于前置摄像头110所获取的图像数据来选择与车辆1有碰撞风险的目标。
例如，控制器140可以基于前置摄像头110的图像数据来识别车道标记和其它车辆。控制器140可以基于车道标记和其它车辆的位置来识别其它车辆当中的在与车辆1相同的车道中行驶的前车。控制器140可以基于车道标记的位置来识别车辆1在其中行驶的车道，并且可以基于其它车辆的位置来识别在与车辆1相同的车道中行驶的前车。另外，控制器140可以选择前车作为目标。
作为另一示例，控制器140可以基于对象的相对位置和相对速率来确定预计要与车辆1碰撞的对象(例如，前车、行人、自行车或动物)。控制器140可以选择预计要与车辆1碰撞的对象作为目标。
驾驶员辅助设备100确定与目标碰撞为止的时间是否小于参考时间(1140)。
控制器140可以基于对象的相对位置和相对速率来预测车辆1与目标之间的碰撞时间(TTC)。例如，控制器140可以基于与前车的距离和前车的相对速率来计算车辆1与前车之间的剩余碰撞时间(TTC)。控制器140还可以将与目标的剩余碰撞时间(TTC)与参考时间进行比较，并且确定与目标的剩余碰撞时间(TTC)是否小于参考时间。
然而，可以将操作1140替换为取决于距离的操作。
例如，控制器140可以基于对象的相对位置和相对速率来预测车辆1与目标之间的碰撞距离(DTC)。控制器140可以基于车辆1的行驶速度和与目标的剩余碰撞时间(TTC)的乘积来计算与目标的碰撞距离(DTC)。控制器140还可以将与目标的剩余碰撞距离(DTC)与参考距离进行比较，并且确定与目标的剩余碰撞距离(DTC)是否小于参考距离。
当与目标的碰撞时间不小于参考时间时(1140中的“否”)，驾驶员辅助设备100可以重新识别周围对象并且重新识别对象的相对位置和相对速率。另外，驾驶员辅助设备100可重新选择目标，并确定与目标的碰撞时间是否小于参考时间。
当与目标的碰撞时间小于参考时间时(1140中为“是”)，驾驶员辅助设备100确定车辆1正在向前还是向后移动(1150)。
如以上参照图4描述的，控制器140可以基于前置摄像头110的图像数据来确定车辆1正在向前还是向后移动。例如，控制器140可以基于表示前置摄像头110所捕获的图像帧内的静止对象的图像的移动来确定车辆1正在向前还是向后移动。具体地，当图像帧中的静止对象的图像从图像帧的中心朝向边缘移动时，控制器140可以确定车辆1向前移动。此外，当图像帧中的静止对象的图像从图像帧的边缘朝向中心移动时，控制器140可以确定车辆1向后移动。
当确定车辆1正在向前移动时(1150中的“向前移动”)，驾驶员辅助设备100执行紧急制动(1160)。
当预计车辆1与目标之间的碰撞并且车辆1向前移动时，可以确定车辆1朝向目标(例如，前车)移动。
例如，如图7中所示，前车2可以位于车辆1的前方。另外，车道标记3可以位于车辆1的左侧，并且标志4可以位于车辆1的右前侧。
在这种情况下，前置摄像头110可以捕获如图8中所示的图像帧210。图像帧210可以包括表示前车2的前车图像2a、表示车道标记3的车道标记图像3a以及表示标志4的标志图像4a。
当前车2停止并且车辆1向前行驶时，在前置摄像头110所捕获的图像帧210中，前车图像2a增大，并且车辆1与前车2之间的剩余碰撞时间(TTC)可以减少。控制器140可以预测车辆1与前车2之间的碰撞。另外，如图8中所示，图像帧210中的车道标记图像3a和/或标志图像4a可以从图像帧210的中心朝向边缘移动。
控制器140可以基于车道标记图像3a和/或标志图像4a的移动来确定车辆1正在朝向前方行驶。另外，控制器140可以确定因为车辆1朝向前车2前进而预计车辆1与前车2之间发生碰撞。
因此，控制器140可以制动车辆1，以便避免车辆1与前车2之间的碰撞。例如，基于车辆1与前车2之间的剩余碰撞时间(TTC)，控制器140准备制动，然后以第一制动力制动车辆1，然后可以将制动信号发送到制动***30，从而以比第一制动力大的第二制动力制动车辆1。
当确定车辆1正在向后移动时(1150中的“向后移动”)，驾驶员辅助设备100警告碰撞(1170)。
当预计车辆1与目标之间的碰撞并且车辆1向后移动时，可以确定目标(例如，前车)朝向车辆1移动。
例如，如图9中所示，车辆1可以向后行驶，并且前车2还可以在车辆1前方向后行驶。另外，车道标记3可以位于车辆1的左侧，并且标志4可以位于车辆(1)的右前侧。
在这种情况下，前置摄像头110可以捕获如图10中所示的图像帧220。图像帧220可以包括表示前车2的前车图像2a、表示车道标记3的车道标记图像3a以及表示标志4的标志图像4a。
当车辆1向后行驶并且前车2以更快的速度向后行驶时，在前置摄像头110所捕获的图像帧210中，前车图像2a增大，并且车辆1与前车2之间的剩余碰撞时间(TTC)可以减少。控制器140可以预测车辆1与前车2之间的碰撞。另外，如图10中例示的，图像帧220中的车道标记图像3a和/或标志图像4a可以从图像帧220的边缘朝向中心移动。
控制器140可以基于车道标记图像3a和/或标志图像4a的移动来确定车辆1正在朝向后方行驶。另外，控制器140可以因为前车2朝向车辆1向后移动而确定预计车辆1与前车2之间发生碰撞。
如果确定预计车辆1与前车2之间发生碰撞并因此车辆1被制动，则可能造成车辆1与前车2之间的碰撞。
因此，控制器140可以向驾驶员提供警告消息以避免车辆1与前车2之间的碰撞。例如，基于车辆1与前车2之间的剩余碰撞时间(TTC)，控制器140可以将图像警告消息显示在车辆1的显示器(例如，仪表板、AVN等)上，或者可以通过车辆1的音频(例如，AVN)输出声学警告消息或者通过车辆1的方向盘输出触觉警告消息。
如上所述，驾驶员辅助设备100可以预测与目标(例如，前车)的碰撞，并且可以基于前置摄像头110所获取的图像数据来识别车辆1正在向前还是向后移动。另外，驾驶员辅助设备100可以在车辆1向前移动时紧急地制动车辆1，并且在车辆1向后移动时警告车辆1的碰撞。
由此，由于在车辆1向后移动时车辆1的紧急制动，可以防止与前车2的碰撞。
本公开的一方面是提供能够基于图像数据来识别车辆的向前移动或向后移动的驾驶员辅助设备和驾驶员辅助方法。
以上已经描述了本公开的示例性实施方式。在上述的示例性实施方式中，一些组件可以被实现为“模块”。这里，术语“模块”意指但不限于执行某些任务的诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)这样的软件和/或硬件部件。模块可以有利地被配置为驻留在可寻址存储介质上并且被配置为在一个或更多个处理器上执行。
因此，举例来说，模块可以包括诸如软件部件、面向对象的软件部件、类部件和任务部件、处理、功能、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量这样的部件。所述部件和模块中提供的操作可以被组合成更少的部件和模块，或者进一步被分成附加的部件和模块。另外，部件和模块可被实现为使得它们执行装置中的一个或更多个CPU。
话虽如此，并且除了上述的示例性实施方式之外，可以通过在介质(例如，计算机可读介质)中/上的计算机可读代码/指令来实现实施方式，以控制至少一个处理元件来实现任何上述的示例性实施方式。介质可以对应于允许存储和/或传输计算机可读代码的任意介质/媒介。
计算机可读代码可以被记录在介质上或者通过互联网传输。介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光学记录介质。另外，介质可以是非暂态计算机可读介质。介质也可以是分布式网络，使得以分布式方式存储或传递并执行计算机可读代码。更进一步，仅作为示例，处理元件可以包括至少一个处理器或至少一个计算机处理器，并且处理元件可以被分布和/或包括在单个装置中。
虽然已经相对于有限数目的实施方式描述了示例性实施方式，但得益于本公开的本领域的技术人员应该理解，可以设计出没有脱离本文中公开的范围的其它实施方式。因此，该范围应该仅受随附权利要求书限制。
相关申请的交叉引用
本申请基于2019年12月20日向韩国知识产权局提交的韩国专利申请No.2019-0172319并要求其优先权，该韩国专利申请的公开内容通过引用合并于此。

Claims (20)

1.一种辅助本车的驾驶的设备，该设备包括：
摄像头，该摄像头被安装于所述本车并具有在所述本车外部的视场，所述摄像头被配置为获得图像数据；以及
控制器，该控制器被配置为：
处理所述图像数据，
基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象，
预测与所述至少一个对象的碰撞，
基于所述图像数据来识别所述本车正在向前还是向后移动，并且
控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
2.根据权利要求1所述的设备，其中，所述控制器被配置为控制所述本车的所述制动装置以响应于所述本车的向前移动来制动所述本车。
3.根据权利要求1所述的设备，其中，所述控制器被配置为响应于所述本车的向后移动而控制所述本车的显示器、音频和方向盘中的至少一个来警告所述本车的碰撞。
4.根据权利要求1所述的设备，其中，所述控制器被配置为通过所述图像数据来识别图像帧内的静止对象，并且基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动。
5.根据权利要求4所述的设备，其中，所述控制器被配置为通过所述图像数据来识别图像帧内的车道标记和标志中的至少一个，并且基于所述车道标记和所述标志中的至少一个的随时间的移动来识别所述本车正在向前还是向后移动。
6.根据权利要求4所述的设备，其中，所述控制器被配置为响应于所述静止对象在从所述图像帧的中心朝向边缘的方向上移动而识别出所述本车正在向前移动。
7.根据权利要求4所述的设备，其中，所述控制器被配置为响应于所述静止对象在从所述图像帧的边缘朝向中心的方向上移动而识别出所述本车正在向后移动。
8.一种辅助本车的驾驶的方法，该方法包括以下步骤：
处理由安装于所述本车并且具有在所述本车外部的视场的摄像头获得的图像数据；
基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象；
预测与所述至少一个对象的碰撞；
基于所述图像数据来识别所述本车正在向前还是向后移动；以及
控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
9.根据权利要求8所述的方法，其中，控制所述本车的制动装置以制动所述本车的步骤包括：
控制所述本车的所述制动装置以响应于所述本车的向前移动来制动所述本车。
10.根据权利要求8所述的方法，所述方法还包括以下步骤：
响应于所述本车的向后移动而控制所述本车的显示器、音频和方向盘中的至少一个来警告所述本车的碰撞。
11.根据权利要求8所述的方法，其中，识别所述本车正在向前还是向后移动的步骤包括以下步骤：
基于所述图像数据来识别图像帧内的静止对象；以及
基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动。
12.根据权利要求11所述的方法，其中，通过所述图像数据识别图像帧内的静止对象的步骤包括：
通过所述图像数据来识别图像帧内的车道标记和标志中的至少一个。
13.根据权利要求11所述的方法，其中，基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动的步骤包括：
响应于所述静止对象在从所述图像帧的中心朝向边缘的方向上移动而识别出所述本车正在向前移动。
14.根据权利要求11所述的方法，其中，基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动的步骤包括：
响应于所述静止对象在从所述图像帧的边缘朝向中心的方向上移动而识别出所述本车正在向后移动。
15.根据权利要求8所述的方法，其中，预测与所述至少一个对象的碰撞的步骤包括以下步骤：
通过包括雷达传感器和激光雷达传感器的组中的安装在所述本车中的、具有所述本车的前方和侧面中的至少一个的检测视场的传感器来获得检测数据；以及
基于所述检测数据来预测与所述至少一个对象的碰撞。
16.一种辅助本车的驾驶的设备，该设备包括：
图像传感器，该图像传感器被安装于所述本车并具有在所述本车外部的视场，所述图像传感器被配置为获得图像数据；
雷达传感器，该雷达传感器被安装于所述本车并具有在所述本车的前方和侧面中的至少一个的检测视场，所述雷达传感器被配置为获得检测数据；以及
控制器，该控制器被配置为：
处理所述图像数据和所述检测数据，
基于所述图像数据来识别阻碍所述本车的行驶的至少一个对象，
基于所述检测数据来预测与所述至少一个对象的碰撞，
基于所述图像数据来识别所述本车正在向前还是向后移动，以及
控制所述本车的制动装置，以根据所述本车正在向前还是向后移动来制动所述本车。
17.根据权利要求16所述的设备，其中，所述控制器被配置为通过所述图像数据来识别图像帧内的静止对象，并且基于所述静止对象随时间的移动来识别所述本车正在向前还是向后移动。
18.根据权利要求17所述的设备，其中，所述控制器被配置为通过所述图像数据来识别图像帧内的车道标记和标志中的至少一个，并且基于所述车道标记和所述标志中的至少一个的随时间的移动来识别所述本车正在向前还是向后移动。
19.根据权利要求17所述的设备，其中，所述控制器被配置为响应于所述静止对象在从所述图像帧的中心朝向边缘的方向上移动而识别出所述本车正在向前移动。
20.根据权利要求17所述的设备，其中，所述控制器被配置为响应于所述静止对象在从所述图像帧的边缘朝向中心的方向上移动而识别出所述本车正在向后移动。
CN202011505968.1A 2019-12-20 2020-12-18 驾驶员辅助设备和驾驶员辅助方法 Pending CN113002535A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190172319A KR20210080717A (ko) 2019-12-20 2019-12-20 운전자 보조 장치 및 운전자 보조 방법
KR10-2019-0172319 2019-12-20

Publications (1)

Publication Number Publication Date
CN113002535A true CN113002535A (zh) 2021-06-22

Family

ID=76206038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505968.1A Pending CN113002535A (zh) 2019-12-20 2020-12-18 驾驶员辅助设备和驾驶员辅助方法

Country Status (4)

Country Link
US (1) US20210188259A1 (zh)
KR (1) KR20210080717A (zh)
CN (1) CN113002535A (zh)
DE (1) DE102020133520A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021174436A (ja) * 2020-04-30 2021-11-01 株式会社デンソー 制御装置
JP7283461B2 (ja) * 2020-11-19 2023-05-30 トヨタ自動車株式会社 車両制御装置
US11915590B2 (en) * 2021-05-11 2024-02-27 Gentex Corporation “A” pillar detection system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886585B (zh) * 2017-01-25 2022-01-11 松下知识产权经营株式会社 驾驶控制***以及驾驶控制方法
WO2019178548A1 (en) * 2018-03-15 2019-09-19 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US11501461B2 (en) * 2018-03-29 2022-11-15 Sony Corporation Controller, control method, and program
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
JP2022028092A (ja) * 2018-12-20 2022-02-15 ソニーグループ株式会社 車両制御装置、車両制御方法、プログラム、及び、車両
JP7247851B2 (ja) * 2019-10-11 2023-03-29 トヨタ自動車株式会社 運転者支援装置

Also Published As

Publication number Publication date
DE102020133520A1 (de) 2021-06-24
KR20210080717A (ko) 2021-07-01
US20210188259A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN112061120B (zh) 高级驾驶员辅助***、具有该***的车辆及车辆控制方法
KR102572784B1 (ko) 운전자 보조 시스템 및 그 제어방법
KR102673147B1 (ko) 운전자 보조 시스템 및 그 제어방법
US11840223B2 (en) Driver assistant system and method of controlling the same
CN113060141A (zh) 高级驾驶员辅助***、具有其的车辆及控制车辆的方法
US20210188259A1 (en) Driver assistance apparatus and driver assisting method
KR102572785B1 (ko) 운전자 보조 시스템
KR20200139443A (ko) 운전자 보조 시스템 및 그 제어 방법
US20210380102A1 (en) Driver assistance system and control method thereof
US12030486B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
KR20210084713A (ko) 운전자 보조 시스템 및 운전자 보조 방법
CN111098854B (zh) 驾驶员辅助***和方法
KR20200094629A (ko) 운전자 보조 시스템 및 그 제어 방법
US11977147B2 (en) Apparatus for assisting driving and method thereof
US11945468B2 (en) Driver assistance apparatus and method thereof
CN115871655A (zh) 车辆及其控制方法
US20210387524A1 (en) Apparatus for assisting driving
KR20210088117A (ko) 운전자 보조 시스템 및 그 방법
US11840220B2 (en) Driver assistance system and control method thereof
US20240042972A1 (en) Apparatus for traveling assistance and control method thereof
US20220410879A1 (en) Vehicle and control method thereof
CN115923828A (zh) 用于辅助驾驶车辆的装置及方法
KR20220085084A (ko) 운전자 보조 시스템 및 그 제어 방법
KR20220145971A (ko) 운전자 보조 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20211203

Address after: Gyeonggi Do, South Korea

Applicant after: Wandu Mobile System Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: MANDO Corp.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221011

Address after: Inchon, Korea

Applicant after: Halla Creedong Electronics Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: Wandu Mobile System Co.,Ltd.

TA01 Transfer of patent application right