CN114572206A - 用于自主车辆控制的日光处理 - Google Patents
用于自主车辆控制的日光处理 Download PDFInfo
- Publication number
- CN114572206A CN114572206A CN202111446579.0A CN202111446579A CN114572206A CN 114572206 A CN114572206 A CN 114572206A CN 202111446579 A CN202111446579 A CN 202111446579A CN 114572206 A CN114572206 A CN 114572206A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- sensor
- mode
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 87
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 230000005855 radiation Effects 0.000 claims abstract description 11
- 230000010287 polarization Effects 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 46
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 12
- 238000002329 infrared spectrum Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000001429 visible spectrum Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 86
- 230000003044 adaptive effect Effects 0.000 abstract description 33
- 150000001875 compounds Chemical class 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 42
- 238000010801 machine learning Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/006—Filter holders
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本申请案涉及用于自主车辆控制的日光处理。与用于车辆的传感器数据处理有关的***、方法和设备,用以在日光或其它亮光进入所述车辆的传感器时改进操作。在一种方法中,可调整滤波经配置以用于车辆的传感器。在一个实例中,光学滤波器定位在到达相机的图像传感器的光的路径上。举例来说,当在日落时行驶到阳光直射中时,滤波改进保持在自适应巡航控制中的能力。所述光学滤波器可具有例如偏振等可控特性。在一个实例中,所述车辆的控制器经配置以自动调整所述光学滤波器的所述特性以改进图像质量,从而改进对象辨识。在另一实例中,相机配置有使用不同辐射光谱(例如,可见光和红外光)中的传感器的复合视觉。所述复合视觉可为在太阳的方向上行驶的自主车辆提供增强的视觉能力。
Description
技术领域
本文所公开的至少一些实施例大体上涉及用于车辆的电子控制***,且更明确地说但不限于,涉及用于响应于由外部光源(例如,到相机中的直接日光照射)引起的不准确性而调整用于控制车辆的传感器数据的处理的计算***。
背景技术
先进驾驶员辅助***(ADAS)是在驾驶时辅助车辆的驾驶员的电子***。ADAS提供汽车安全性和道路安全性的提高。ADAS***使用例如电子控制单元和功率半导体装置等电子技术。大多数道路事故由于人为差错而发生。使车辆的一些控制自动化的ADAS可减少人为差错和道路事故。ADAS通常经设计以使车辆***自动化、调适并增强车辆***以实现安全性和改进的驾驶。
ADAS的安全特征被设计成通过提供警示驾驶员潜在问题的技术来避免碰撞和事故,或通过实施保障措施和获得车辆的控制来避免碰撞。自适应特征可使照明自动化,提供自适应巡航控制和碰撞避免,提供行人碰撞避免缓解(PCAM),警示驾驶员其它汽车或危险,提供车道偏离警告***,提供自动车道居中,在盲区展示视野,或连接到导航***。
除汽车和卡车之外,ADAS或类似***一般可在车辆中实施。此类车辆可包含船和飞机以及用于军事、建筑、农学或休闲用途的车辆或车用装备。车辆可经由车辆电子件和ADAS定制或个性化。
车辆电子件可包含车辆中使用的各种电子***。车辆电子件可包含用于车辆的传动***、车辆的主体或内部特征、车辆中的娱乐***和车辆的其它部分的电子件。点火、发动机和传动电子件可见于具有内燃动力机械的车辆中。用于控制电动车辆***的相关元件还见于例如混动或电动汽车的混动和电动车辆中。举例来说,电动汽车可依赖于电力电子件用于主推进马达控制且管理电池***。
对于ADAS和其它类型的车辆***,车辆电子件可为分布式***。车辆中的分布式***可包含动力系控制模块和动力系电子件、主体控制模块和主体电子件、内部电子件和底盘电子件、安全性和娱乐电子件,以及用于乘客和驾驶员舒适性***的电子件。而且,车辆电子件可包含用于车辆自动化的电子件。此类电子件可包含机械电子、人工智能和分布式***或配合其进行操作。
使用自动化用于复杂任务(包含导航)的车辆有时称为半自主的。美国汽车工程师学会(SAE)已如下将车辆自主性分类为六个层级:0级或无自动化。1级或驾驶员辅助,其中车辆可在特定情形中自主地控制转向或速度以辅助驾驶员。2级或部分自动化,其中车辆可在特定情形中自主地控制转向和速度两者以辅助驾驶员。3级或条件性自动化,其中车辆可在正常环境条件下自主地控制转向和速度,但需要驾驶员监管。4级或高自动化,其中车辆可在正常环境条件下自主地行进,不需要驾驶员监管。5级或全自主性,其中车辆可在任何环境条件下自主地行进。
发明内容
本公开的一方面提供一种***,其包括:至少一个处理装置;以及至少一个存储器,其含有指令,所述指令经配置以指示所述至少一个处理装置:基于由车辆的相机捕获的场景的图像接收第一数据;确定所述第一数据的特性,所述特性指示测量到所述场景中的对象的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源发出的光引起;响应于确定所述第一数据的所述特性,启动滤波以基于由所述相机捕获的所述场景的图像接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动的数据。
本公开的另一方面提供一种***,其包括:车辆的第一传感器,其经配置以收集第一光谱中的数据;所述车辆的第二传感器,其经配置以收集第二光谱中的数据;以及至少一个处理装置,其经配置以:基于由所述第一传感器收集的场景的数据接收第一数据;确定所述第一数据的特性,所述特性指示测量到所述场景中的对象的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源发出的光引起;响应于确定所述第一数据的所述特性,基于由所述第二传感器收集的所述场景的数据接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动的数据。
本公开的另一方面提供一种存储指令的非暂时性计算机可读媒体,所述指令在至少一个计算装置上执行时致使所述至少一个计算装置:在第一模式中操作车辆以基于由所述车辆的至少一个传感器捕获的数据接收第一数据;确定所述第一数据的特性,所述特性指示测量到对象的距离的不准确性,且所述不准确性至少部分地由从光源发出的光引起;响应于确定所述第一数据的所述特性,在第二模式中操作所述车辆以基于由所述至少一个传感器捕获的数据接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动的数据。
附图说明
实施例是借助于实例而非限制在附图的图中来说明的,在附图中相似参考指示类似元件。
图1展示根据一些实施例的包含在至少两个模式中操作的巡航控制***的车辆。
图2展示根据一些实施例的使用由传感器提供的数据用于控制车辆的各种功能的车辆。
图3展示根据一些实施例的使用从除车辆外的一或多个对象(例如,另一车辆或移动装置)收集的数据来控制其操作的车辆。
图4展示根据一些实施例的用于以两个或更多个模式操作巡航控制***的方法。
图5展示根据一些实施例的用于基于来自用以操作车辆的传感器的评估数据而切换巡航控制模式的方法。
图6展示根据一些实施例的用于基于确定传感器数据不符合准则而切换巡航控制模式的方法。
图7展示根据一些实施例的响应于由日光或另一外部光源引起的距离测量不准确性而调整对用以控制车辆的移动的数据的处理的车辆。
图8展示根据一些实施例的用于响应于确定距离测量不准确性而对来自一或多个传感器的数据进行滤波的方法。
图9展示根据一些实施例的用于使用光学滤波器对来自传感器的图像数据进行滤波的方法,其中所述图像数据用于控制车辆的移动。
图10展示根据一些实施例的用于从第一辐射光谱中的第一传感器收集数据且响应于确定所收集的数据引起不准确性而从第二辐射光谱中的第二传感器收集数据的方法。
具体实施方式
以下公开内容描述如车辆中所使用的双模或多模巡航或速度控制***的各种实施例。本文中的至少一些实施例涉及一种基于从车辆的一或多个传感器(例如,安装在车辆的前部上的相机)提供的数据的质量和/或实用性而在用于巡航控制***的操作模式之间改变的计算装置。在一个实例中,自主车辆的计算装置切换到替代操作模式以用于在处于初始模式的传感器数据劣化(例如,归因于传感器故障),且因为所述传感器数据不可用于测量到其它车辆的距离而无法用于安全地控制车辆的速度时控制车辆的速度。
以下公开内容还描述用于基于确定车辆外部的光源(例如,日光)正干扰用于控制移动的数据(例如,基于由相机捕获的传感器数据的对象检测)的处理而控制车辆的移动的其它实施例。本文中的至少一些实施例涉及响应于由日光和/或另一外部光源引起的不准确性(例如,由于行驶到落日或迎面而来的车辆的头灯中的干扰造成无法可靠地识别对象)而调整用于控制车辆的传感器数据的处理。下文描述关于传感器数据的处理以改进车辆控制和/或传感器数据处理的准确性的各种实施例。
常规车辆提供一种巡航控制机构,所述巡航控制机构可自动地维持车辆的速度以补偿例如小山、风等的干扰。然而,常规巡航控制机构不能够进行调整以避免与在其前方行进的另一车辆碰撞。
先进驾驶员辅助***(ADAS)的最近发展提供例如自适应巡航控制(ACC)等功能性,所述自适应巡航控制自动调整车辆速度以维持距前方车辆的安全距离。然而,当使用ACC的车辆正行进(例如,面对日光的方向)时,由ACC***使用的相机中所接收的阳光直射可降低ACC维持距前方车辆的安全距离的能力。当前,ACC***简单地停用巡航控制,且将车辆的控制返回给驾驶员。这甚至在使用常规巡航控制安全的情境中也会发生。以此方式完全停用巡航控制对于驾驶员可能是不方便的。在其它情况下,其可能由于致使车辆突然减速而产生安全危险。结果,在后方跟随过近的车辆可能与减速车辆碰撞。
本公开的各种实施例提供针对以上技术问题中的一或多个的技术解决方案。在一个实施例中,为了克服现有自适应巡航控制(ACC)的不足,改进的***经配置以在常规巡航控制模式与自动自适应巡航控制模式之间切换。在一个实例中,车辆取决于当前车辆和/或环境条件(例如,直接或杂散日光是否正照射车辆的传感器)而在此类模式之间来回切换。当***确定通过相机和/或其它传感器进行的感测/测量被损害(例如,归因于到相机的直接日光)时,***改变到常规巡航控制模式,且要求驾驶员保持距前方车辆的安全距离。因此,驾驶员仍可享用常规巡航控制功能(例如,甚至当向着太阳的方向行驶时)。车辆在改变到常规巡航控制模式之前会提醒驾驶员,且在改变模式之前需要驾驶员确认。在一个实例中,提醒驾驶员,且驾驶员可选择改变到常规巡航控制,或返回到驾驶员的完全手动控制。
在一个实施例中,在第一模式中使用来自至少一个传感器的数据控制第一车辆的速度。控制第一模式中的速度以至少维持与第二车辆的最小距离(例如,使用ACC)。确定(例如,通过第一车辆的控制器)来自传感器的数据不足(例如,不可充分地用于确定距离)以控制第一车辆的速度(例如,传感器数据不准许车辆以可接受的准确性确定到第二车辆的距离)。响应于确定来自传感器的数据不足,第一车辆将操作从第一模式改变为用于控制速度的第二模式。控制第二模式中的速度包含维持速度(例如,使用常规巡航控制)。
在一个实施例中,在第一模式中使用来自一或多个传感器的数据操作第一车辆以控制第一车辆的速度,同时至少维持距第二车辆的最小距离。确定来自传感器的数据不可用于测量从第一车辆到第二车辆的距离(例如,归因于照射在相机透镜上的日光)。响应于确定来自传感器的数据不可用于测量所述距离,第一车辆在第二模式中操作以维持第一车辆的恒定速度。提醒驾驶员且需要驾驶员批准第二模式,且第二模式包含继续维持恒定速度(例如,对速度设定点的控制),但不使用如ACC中的距离控制。当处于第二模式时,驾驶员负责观看第二车辆且按需要手动地制动第一车辆以用于安全操作。在一个实例中,在维持相同速度时,驾驶员将不能够辨别第一车辆是在第二模式中操作。因此,需要如本文中所描述的对驾驶员的提醒和驾驶员的批准以避免引起车辆操作安全性风险。
在一个实例中,车辆从第一模式中的正常ACC操作改变为第二模式中的操作,其中车辆保持在恒定速度且不需要到第二车辆的距离是足够可测量的。需要驾驶员在车辆继续维持速度之前经由用户接口提供确认。在一个实例中,所维持的速度是当确定传感器数据不足以测量从第一车辆到第二车辆的距离时的第一车辆的速度。在一个实例中,所维持的速度为当处于第一模式时用以控制速度的设定点速度。
在一个实例中,车辆在第一模式中使用ACC。在第二模式中,ACC继续操作,但处理器归因于传感器数据不足而暂时忽略测量从第一车辆到第二车辆的距离的不可能性(例如,相机由于直接或杂散日光或来自头灯或街灯的光而停用,使得在存在使车辆减速以避免碰撞的实际应急需要的情况下,到第二车辆的距离不能够被测量)。暂时忽略需要驾驶员提供准许在第二模式中操作的肯定确认。这是为了使车辆的操作更安全。当传感器数据再次准许测量到第二车辆的距离时,车辆返回到第一模式。通过用户接口指示(例如,视觉和/或声音指示)向驾驶员提醒返回到第一模式。
在一个实例中,第一车辆在第一模式中在ACC中操作。操作与常规巡航控制相同或类似,因为维持恒定速度。第一车辆进一步监测到其它对象的距离(例如,后方的第二车辆)。当第一车辆的操作改变到第二模式时,维持恒定速度,但距离测量能力已丢失或低于可接受标准(例如,准确性或精度阈值)。在从第一模式改变到第二模式之前,需要驾驶员批准在第二模式中操作。
在一个实例中,当处于第一模式时,第一车辆类似于常规ACC***而操作。ACC***由第一车辆实施以在不会过于紧密地接近于前方的第二车辆的安全性要求(例如,维持安全最小距离)下维持所选速度。在第二车辆速度可能超过第一车辆的速度,使得第二车辆速度比由第一车辆的操作者设定的巡航速度快的情况下,那么ACC***将不致使第一车辆加速以追逐前方的第二车辆。在前方不存在第二车辆的情况下,ACC以与当处于第一模式时常规巡航控制操作相同或类似的方式操作。
在第一模式中,如果确定到前方的第二车辆的距离小于最小安全距离,那么ACC***使第一车辆的速度减缓。在一些情况下,例如,在一些情况下,安全距离可改变,但ACC***避免冲突。如果ACC***失去维持用于碰撞避免的安全距离的能力,那么第一车辆可在执行切换之前要求操作者确认切换到第二模式。这是因为,在一些情况下,使第一车辆保持在由操作者设定的第一模式的巡航速度下运行可能并不安全。在一些情况下,可能存在ACC***不能够自动地避免碰撞第二车辆(例如,归因于由于日光而暂时停用传感器)的风险。
在一个实例中,数据由于如上文所提及的阳光直射而不足以用于提供车辆的安全控制。在其它实例中,透镜或其它传感器组件可能变脏和/或被遮挡(例如,由泥浆)。在一个实例中,改变的降水或其它天气条件会改变数据的充分性。在一个实例中,外部光源致使传感器数据劣化,例如来自另一车辆或对象的杂散头灯。
在一些实施例中,在巡航控制操作期间控制巡航控制模式的改变(例如,切换或转换)以保持最小安全距离。车辆经配置以执行自适应巡航控制或常规巡航控制中的任一者。常规巡航控制维持车辆的速度,而无需驾驶员人工控制加速踏板。自适应巡航控制维持距前方的一或多个车辆的安全距离(且还在可能时维持恒定速度)。
在一个实施例中,当车辆切换到常规巡航控制时,车辆经配置以主动地将控制转移到驾驶员以用于保持距前方车辆的安全距离。举例来说,车辆可经配置以停用自适应巡航控制,且向驾驶员提供车辆暂时不能够在自主模式中维持安全距离的指示。因此,车辆需要驾驶员接通(例如,使用与ACC用户接口分离的用户接口)常规巡航控制。
在一个实例中,车辆经配置以从自适应巡航控制自动切换到常规巡航控制,其中语音提示提醒驾驶员控制距离。在一个实例中,车辆具有当车辆处于常规巡航控制模式时自动接通的警示灯。在一个实例中,车辆需要驾驶员/用户确认以便进入常规巡航控制模式。
在一个实施例中,使用来自第一车辆的一或多个传感器(例如,相机和/或激光雷达传感器)的数据在第一模式中控制第一车辆的速度。控制速度以维持与第二车辆(例如,第一车辆在相同道路上或在高速公路的相同车道中在第二车辆之后)的最小距离(例如,用户选择的或动态确定的安全距离)。评估(例如,使用人工神经网络)来自传感器的数据。基于评估来自传感器的数据,将第一车辆从第一模式切换到第二模式以用于控制速度(例如,基于评估,发现传感器数据噪声过大和/或降级,且现在不可用)。
在第二模式中,从新来源(例如,另一车辆或位于第一车辆外部的计算装置)收集额外数据。额外数据接着用于维持最小距离(例如,使得第一车辆可继续操作由操作者(例如,驾驶员)早先接通的自适应巡航控制)。
在一个实施例中,另一车辆的相机用于提供数据以继续使用自适应巡航控制(ACC)。在一个实例中,自主车辆经由通信链路暂时使用来自另一车辆的相机的相机视觉/图像数据以促进ACC。当确定驾驶员(或在自主车辆的情况下,乘客)的当前车辆的传感器数据恢复到可用质量(例如,由于太阳已落山导致阳光直射消失,或由于太阳已上升到天空中足够高而导致阳光直射消失),相机的使用结束。
在一个实例中,当车辆的相机归因于阳光直射而停用时,所述车辆从邻近车辆(例如,10到50米或更小内的车辆)、沿着正行进的道路配置的监控相机和/或移动装置(例如,手机)获得图像。所获得的图像用于测量驾驶员的当前车辆距前方的一或多个车辆的距离。当前车辆可测量来自另一车辆的暂时使用的相机的图像的位置和/或定向。使用此数据,当前车辆可基于如使用暂时相机所确定的前方车辆之间的距离而转换为当前车辆与其它车辆之间的距离。在一些实施例中,额外使用来自一或多个其它传感器的数据或来自另一车辆的其它输入,而不仅仅使用来自另一车辆的相机的数据。
在一个实施例中,来自移动装置的数据用于辅助操作自适应巡航控制(ACC)。在移动装置上运行的移动应用程序经配置以识别由其相机捕获的车辆,且测量到所述车辆的距离。当ACC所使用的相机由于例如阳光直射而盲化时,移动装置(例如,智能电话)可放置于车辆中,使得其具有前方道路的清晰视图(例如,不会由于阳光直射而盲化)。移动应用程序将距离信息(例如,使用标准化协议)发射到操作ACC的当前车辆的处理装置。接着,ACC能够继续以其正常的完整功能性操作。
在一个实施例中,在具有数据基础设施的城市(例如,智能城市)中驾驶操作者(例如,驾驶员或乘客)的当前车辆,且通过远程信息处理(例如,卫星通信)或用于实施或辅助自适应巡航控制(ACC)的其它无线通信(例如,蜂窝式)将额外数据提供到车辆。在一个实例中,自主车辆与基础设施通信以获得关于车辆到障碍物距离的数据。通信可例如使用通信信道(例如,与4G或5G蜂窝站的通信)进行。在一个实例中,当由ACC使用的相机由于阳光直射而盲化或因其它原因被遮挡时,当前车辆可从基础设施请求距离信息以继续其操作(例如,维持距前方车辆的安全距离)。
图1展示根据一些实施例的包含在至少两个模式中操作的巡航控制***140的车辆102。在一个实施例中,第一模式使用自适应巡航控制,且第二模式使用常规巡航控制。出于说明的目的,下文描述第一模式和第二模式。在其它实施例中,可使用三个或更多个模式(例如,作为本文所描述的各种模式的组合)。
在一个实例中,车辆102确定从传感器108获得且由巡航控制***140用于自适应巡航控制的数据已变得不足以恰当地控制车辆102的速度。在一个实例中,车辆102不能够安全地使用来自相机的数据以维持距车辆102跟随的另一车辆的最小安全距离。响应于确定传感器数据不足,处理器104将巡航控制***140的操作从第一模式切换为第二模式。在第二模式中,如果车辆102太过接近于另一车辆或对象,那么要求驾驶员人工地制动车辆102和/或停用巡航控制***140。
在一个实施例中,巡航控制***140的第一模式和第二模式各自使用自适应巡航控制。在第一模式中,巡航控制***140仅使用传感器108和/或其它传感器或车辆102的数据源提供的数据。在第二模式中,巡航控制***140从除车辆102自身之外的新来源(例如,位于车辆102外部的传感器、计算装置和/或数据源,例如作为智能城市交通控制基础设施的组件)获得额外数据。
在一个实例中,新来源是车辆130。车辆102使用通信接口112与车辆130通信。在一个实例中,车辆130在同一多车道高速公路上在紧邻车辆102的车道中行进。
在一个实例中,新来源为服务器132(例如,通信网络中的边缘服务器)。车辆102使用通信接口112与服务器132通信。在一些情况下,车辆130和/或服务器132提供用以更新数字地图122的数据,所述数字地图存储在存储器114中。存储器114是例如易失性存储器和/或非易失性存储器。在一个实例中,存储器114为车辆102的存储器模块(未展示)的NAND快闪存储器。
在一个实施例中,在保持于自适应巡航控制中时从第一模式切换到第二模式的决策是基于评估来自传感器108的数据。在一个实例中,机器学习模型110用于评估传感器数据。在一个实例中,来自传感器108的数据是到机器学习模型110的输入。到机器学习模型110的另一输入可包含关于车辆102的当前和/或先前操作背景的背景数据118。来自机器学习模型110的输出可用于确定来自传感器108的数据是否被视为足够用于当在由巡航控制***140进行的第一操作模式中时对车辆102的安全控制。
处理器104基于来自机器学习模型110的一或多个输出而控制从传感器108接收数据且控制巡航控制***140的信令。处理器104还管理从传感器108获得的传感器数据116到存储器114中的存储。
处理器104将关于对象124的数据提供到巡航控制***140。对象124包含机器学习模型110已识别的对象(例如,对象的类型、对象的位置,等)。关于对象124的数据由巡航控制***140使用以辅助确定车辆102是否正维持远离其它车辆或对象的最小安全距离。
处理器104管理用于从车辆102的操作者接收关于在实施自适应巡航控制时使用的设定的输入的用户接口142。在一个实例中,所述设定为待维持的所要速度的设定点。在一个实例中,所述设定替代地和/或另外包含当跟随另一车辆时使用的所要最小距离。在一个实例中,机器学习模型110基于背景数据118产生设定点。
在一个实例中,当使用巡航控制操作模式时,处理器104基于车辆的背景(例如,速度、天气、交通等)动态地确定在车辆操作期间实时维持的最小距离。在一个实例中,至少每1到30秒确定最小距离。在一个实例中,由用户选择最小距离。在一个实例中,最小距离是当接通巡航控制时和/或当存在巡航控制的操作模式的改变时由车辆的控制器选择的固定值。
巡航控制***140在用户接口142上将数据提供到操作者。在一个实例中,此所提供数据包含所实施的任何当前巡航控制的操作状态。在一个实例中,所提供数据指示巡航控制***140正在操作的模式。在一个实例中,所提供数据向操作者提供巡航控制***140将从第一模式切换到第二模式的指示。在一个实例中,巡航控制***140要求操作者在切换到第二模式之前在用户接口142中提供确认。
在一个实例中,当在第一模式中操作时,巡航控制***140维持所选速度,但需要维持距另一车辆的最小距离。在一个实例中,当在第一模式中操作时,巡航控制***140维持距另一车辆的所选距离,但需要维持最大速度。在一个实例中,所选距离为在另一车辆后方的设定点目标距离上方及下方的范围。举例来说,设定点为100米,且范围为加或减30米。在一个实例中,基于车辆的背景(例如速度、天气、交通等)实时地动态地确定所选距离。
在一个实施例中,基于确定由一或多个传感器108提供的数据不满足准则,巡航控制***140致使从第一模式切换到第二模式。在一个实例中,准则是来自机器学习模型110的输出,如上文所论述。在一个实例中,所述准则是在来自传感器108的数据中所接受的最大噪声的所选或目标(例如,固定或动态确定的阈值极限)测量。在一个实例中,所述准则是车辆102对来自巡航控制***140的命令信号的响应性(例如,与基于先前操作历史对从传感器108接收的数据的预期响应性相比)。
在一个实例中,所述准则是由巡航控制***140使用背景数据118、来自机器学习模型110的输出和/或从车辆130和/或服务器132接收的数据确定的得分。在一个实例中,所述准则是基于来自传感器108的数据的图像处理所实现的分辨率和/或对象识别的程度。在一个实例中,所述准则是前述准则的任何组合。在一个实例中,当车辆102在运动中时,通过巡航控制***140动态地确定所述准则。
图2展示根据一些实施例的使用由一或多个传感器206提供的数据用于控制车辆202的各种功能的车辆202。在一个实例中,所述功能可由车辆电子件控制,所述车辆电子件包含耦合到一或多个存储器模块的一或多个计算装置。举例来说,所述功能可包含对以下各者中的一或多者的控制和/或信令或其它通信:动力系控制模块和动力系电子件、主体控制模块和主体电子件、内部电子件、底盘电子件、安全性和娱乐电子件、用于乘客和驾驶员舒适性***的电子件和/或车辆自动化。计算装置可使用机械电子、人工智能(例如,包含人工神经网络的机器学习模型)或分布式***(例如,包含由控制器局域网(CAN)总线连接的电子组件的***)中的一或多者来实施所述功能。在一个实例中,所述功能包含确定路线和/或控制车辆的导航。
在一个实例中,传感器206为包含集成处理器和存储器装置的感测装置(例如,经囊封封装中的感测装置)的部分。处理器执行在本地处理由传感器206收集的数据以用作到人工神经网络(ANN)的输入的ANN。将来自人工神经网络的输出发送到处理装置(未展示)(见例如图1的处理器104)以用于控制车辆202的功能。
从传感器206接收的数据存储于存储器模块208中。在一个实例中,此所存储数据用于控制马达204。在一个实例中,马达204是自主车辆的电动马达。在一个实例中,马达204为汽油动力发动机。
车辆202可在各种操作模式中操作。在第一模式中,来自传感器206的数据用于经由用信号通知电机204的电子件来控制车辆202的速度。在第一模式中,车辆202使用自适应巡航控制来操作。当外部光源226发出的光照射传感器206且在解译由传感器206提供的数据以用于自适应巡航控制的操作时造成失真时,处理装置(未展示)(见例如图1的处理器104)确定来自传感器206的数据不足以控制车辆202的速度。
在一个实例中,光源226为太阳或迎面而来的车辆的头灯。例如在日出或日落时直接照射在车辆202前方的日光可致使现有的巡航控制***功能失常或停止工作。在一个实例中,阳光直射可针对在第一巡航控制模式中使用速度和距离监测两者的汽车停用巡航控制。在一个实例中,巡航控制***140确定此类日光干扰巡航控制操作。响应于此确定,巡航控制***140从当前的第一操作模式切换到第二操作模式,例如本文中所描述。在一个实例中,车辆202通过从位于另一对象(例如,不同车辆、车辆202外部的计算装置和/或运输通信基础设施(例如,智能城市基础设施)的一部分)中的传感器获得信息来避免日光问题。在一个实例中,另一对象不遭受阳光直射失真问题。
响应于杂散光引起失真或另一问题的确定,处理装置切换车辆202以用于在第二模式中操作(例如,使用常规巡航控制)。在第二模式中,处理装置维持车辆202的所选速度。在一个实例中,所选速度为当于第一模式中操作时用以确定车辆202的最大速度的设定点。
座舱214是车辆202的内部的一部分。座舱214包含显示器212和扬声器210。显示器212和/或扬声器210可用于向操作者216提供车辆202将和/或当前正从巡航控制的第一模式切换到第二模式的提醒,如上文所描述。在一个实例中,当在第二模式中操作时,所述提醒向操作者216呈现一或多个选择选项以用于定制车辆202的操作。在一个实例中,操作者216在显示器212上和/或使用语音命令或其它用户输入或位于座舱214中的控制装置对所要选项进行选择。座舱214进一步包含供操作者216坐的驾驶员座椅220、用于座舱214前部的乘客的前部座椅222,以及用于座舱214后部的额外乘客的后部座椅224。
在一个实例中,操作者216使用呈现于显示器212上的用户接口选择用以控制车辆202的速度的设定点,所述用户接口提供操作者216能够看到用户接口的视场218。在一个实例中,由操作者216使用作为输入提供到座舱214中的麦克风(未展示)的语音命令(或到与车辆202通信的操作者216的移动装置的语音命令)来选择设定点。在一个实例中,语音命令由上文所描述的车辆202的处理装置处理。
在一个实施例中,存储器模块208在处于第一操作模式(例如,自适应巡航控制)时存储关于马达204的操作特性的数据。在一个实例中,这些所存储的特性为背景数据118的部分。在一个实例中,机器学习模型110使用存储器模块208中所存储的这些特性来确定来自传感器206的数据是否足以控制车辆202的速度。
在一个实施例中,存储器模块208在处于第一操作模式时存储关于马达204的操作特性的数据。在一个实例中,当针对充分性评估来自传感器206和/或其它传感器的数据(例如,噪声或误差低于阈值)时,机器学习模型110将这些所存储的操作特性用作输入。在一个实例中,基于来自机器学习模型110的输出,车辆202从第一操作模式切换到第二操作模式。
在一个实施例中,车辆202在第一模式和第二模式两者中保持处于自适应巡航控制,但车辆202从新来源获得额外数据以用于控制车辆202的速度(例如,以便维持距车辆202跟随的另一车辆的最小距离)。在一个实例中,车辆202使用通信接口112从车辆130和/或服务器132获得额外数据。在一个实例中,从车辆202中的乘客的移动装置(未展示)、车辆202正使用的道路上的行人的移动装置和/或另一车辆的乘客获得额外数据。
图3展示根据一些实施例的使用从例如另一车辆或移动装置的一或多个其它对象收集的数据来控制其操作的车辆310。举例来说,车辆310正跟随另一车辆312。在一个实例中,车辆310正在第一模式(例如,正常或默认操作模式)中使用自适应巡航控制跟随。车辆310是车辆102或车辆202的实例。
在一个实例中,车辆310控制其速度以维持在车辆312后方的所选距离(例如,距离设定点)。在一个实例中,基于来自机器学习模型110的输出确定所选距离,所述机器学习模型是基于来自背景数据118的输入、数字地图122和/或传感器数据116。
在一个实施例中,车辆310确定由车辆310的一或多个传感器(例如,传感器108)提供的数据不满足准则。在一个实例中,此确定是通过机器学习模型110进行。在一个实例中,所述准则是对应于所提供的传感器数据中的噪声程度的测量或值。响应于确定来自一或多个传感器的数据不满足准则,车辆310从第一模式切换到第二模式以用于控制车辆310(例如,速度、马达控制、制动和/或方向控制)。
在一个实施例中,车辆310在处于第二模式时保持在自适应巡航控制中操作,但从一或多个新数据来源获得额外数据。新来源可包含移动装置304、移动装置306、车辆312、车辆318、车辆320和/或固定相机316中的一或多者。在一个实例中,车辆310使用通信接口112与一或多个新来源通信。在一个实例中,新来源可包含服务器132。
在一个实例中,移动装置304的相机302收集关于车辆312的图像数据。移动装置304可由车辆202中的乘客操作或握持。在一个实例中,图像数据由处理器104处理,且用于控制巡航控制***140。举例来说,图像数据可用于确定移动装置304与车辆312之间的距离332。当控制车辆310的速度时,距离332可由巡航控制***140使用。
在一个实例中,移动装置306由在车辆310正行进的道路的人行道上的行人握持或操作。相机308将由移动装置306发射的图像数据提供到车辆310(例如,使用通信接口112)。在一个实例中,移动装置306将图像数据发射到服务器132,所述服务器将图像数据重新发射到通信接口112。图像数据可由移动装置306使用以确定移动装置306与车辆312之间的距离330。
在一个实例中,移动装置306将距离330和关于移动装置306的位置的数据发射到车辆310。车辆310使用此数据连同车辆310对其当前位置的确定来确定从车辆310到车辆312的距离。在一个实例中,使用GPS传感器确定移动装置306和车辆310的位置。
在一个实例中,车辆312包含传感器314。车辆310可使用通信接口112与车辆312通信。在一个实例中,车辆312包含类似于通信接口112的通信接口。从传感器314提供的数据从车辆312发射到车辆310。车辆310接收所发射数据,且将其用于控制车辆310的速度。在一个实例中,来自传感器314的所接收数据是车辆310与车辆312之间的距离,如由车辆312的处理装置(未展示)所确定。
在一个实例中,车辆310可从例如车辆318和/或车辆320等其它车辆接收数据。从车辆318、320接收的数据可类似于由车辆312提供的数据。
在一个实例中,车辆310从固定相机316接收数据。此数据可由车辆310使用以确定固定相机316与车辆312之间的距离334。在一个实例中,固定相机316确定距离334。在一个实例中,车辆310确定距离334。车辆310使用其位置、固定相机316的位置和距离334来确定在车辆312后方的跟随距离。在一个实例中,固定相机316将其位置(例如,GPS坐标)发射到车辆310。在一个实例中,固定相机316是对象124中的一者。在一个实例中,由巡航控制***140使用数字地图122确定固定相机316的位置。
在一个实例中,车辆310使用包含车辆和计算装置的联网***与新数据来源通信。联网***可经由一或多个通信网络(无线和/或有线)联网。所述通信网络可至少包含例如蓝牙等本地到装置网络、广域网(WAN)、局域网(LAN)、内联网、例如4G或5G(或所提出的6G)等移动无线网络、外联网、因特网(例如,传统、卫星或高速度星联因特网)和/或其任何组合。联网***的节点可各自为对等网络、客户端-服务器网络、云计算环境等等的一部分。而且,在联网***中使用的设备、计算装置、车辆、传感器或相机中的任一者可包含某种类型的计算***。所述计算***可包含到LAN、内联网、外联网和/或因特网中的其它装置的网络接口。计算机***还可作为对等(或分布式)网络环境中的对等机器或作为云计算基础设施或环境中的服务器或客户端机器在客户端-服务器网络环境中的服务器或客户端机器的容量中操作。
在一些实施例中,车辆310可作为云***的部分处理数据(例如,传感器或其它数据)。在一个实例中,云计算环境结合本公开的实施例操作。可使用硬件和软件组件的任何所要组合来实施云计算环境的组件。
示范性计算环境可包含客户端计算装置、提供者服务器、认证服务器和/或云组件,其经由网络(例如,经由通信接口112)彼此通信。
客户端计算装置(例如,移动装置304、308)可为任何计算装置,例如台式计算机、笔记本电脑、平板电脑、PDA、智能电话、移动电话、智能家电、可穿戴装置、IoT装置、车载装置等。根据各种实施例,客户端计算装置存取提供者服务器(例如,服务器132或处理器104)处的服务。
客户端计算装置可包含用于客户端计算装置的用户的一或多个输入装置或接口。举例来说,所述一或多个输入装置或接口可包含以下各者中的一或多者:键盘、鼠标、轨迹垫、轨迹球、手写笔、触摸屏、客户端计算装置的硬件按钮,等等。客户端计算装置可经配置以执行各种应用程序(例如,网络浏览器应用程序)以接入网络。
提供者服务器可为经配置以托管一或多个应用程序/服务的任何计算装置。在一些实施例中,提供者服务器可能在授权访问其上提供的服务和/或资源之前需要安全性验证。在一些实施例中,应用程序/服务可包含可在装置已认证其存取后接通的在线服务。在一些实施例中,提供者服务器可经配置以具有认证服务器,用于认证用户和/或装置。在其它实施例中,可从提供者服务器远程和/或独立于提供者服务器配置认证服务器。
所述网络可为经配置以提供云***的组件之间的通信的任何类型的网络。举例来说,网络可为提供通信、交换信息和/或促进信息的交换的任何类型的网络(包含基础设施),例如因特网、局域网、广域网、个域网、蜂窝网络、近场通信(NFC)、光学代码扫描器或使得能够在云***的组件之间发送和接收信息的其它合适的连接。在其它实施例中,云***的一或多个组件可通过专用通信链路直接通信。
在各种实施例中,云***还可包含一或多个云组件。云组件可包含一或多个云服务,例如软件应用程序(例如,队列等)、一或多个云平台(例如,网页前端等)、云基础设施(例如,虚拟机等)和/或云存储装置(例如,云数据库等)。在一些实施例中,提供者服务器和认证服务器中的一个或两个可经配置以在云计算/架构中或与云计算/架构一起操作,例如:基础设施即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。
图4展示根据一些实施例的用于以两个或更多个模式操作巡航控制***的方法。举例来说,图4的方法可实施于图1的***中。在一个实例中,巡航控制***140在自适应巡航控制模式或常规巡航控制模式中控制车辆102,且响应于各种评估和/或确定在两个模式(或在其它实施例中,大于两个模式)之间来回切换。在一个实例中,巡航控制***140响应于确定传感器数据再次足以控制车辆102的速度(例如,在太阳已经落下或上升之后,或以其它方式离开传感器的视场,且因此杂散光失真消失)而从常规巡航控制模式切换回到自适应巡航控制模式。
在一个实例中,巡航控制***140响应于确定由一或多个传感器提供的数据满足准则而从常规巡航控制模式切换回到自适应巡航控制模式。在一个实例中,当确定传感器数据不足时,巡航控制***140从第一模式切换到第二模式,在所述第二模式中,从用于控制车辆102的速度的新来源获得额外数据。在一个实例中,第二模式包含在常规巡航控制模式中操作和/或从一或多个新来源获得额外数据。
图4的方法可由处理逻辑来执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专用逻辑、可编程逻辑、微代码、装置的硬件、集成电路等)、软件(例如,在处理装置上运行或执行的指令)或其组合。在一些实施例中,图4的方法可至少部分地由一或多个处理装置(例如,图1的处理器104)来执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框401处,使用来自一或多个传感器的数据来控制第一车辆的速度。举例来说,使用来自传感器206的数据来控制马达204。在一个实例中,来自传感器108的数据用作到机器学习模型110的输入。
在框403处,使用传感器数据来执行对象检测。在一个实例中,使用机器学习模型110来检测来自一或多个相机的图像数据中的对象。
在框405处,在第一模式中控制第一车辆的速度,以维持距第二车辆的所选距离(例如,至少所要或目标距离)。在一个实例中,巡航控制***140将速度控制到所要的设定点值,但需要维持距正在跟随的另一车辆的最小距离。在一个实例中,最小距离是基于来自机器学习模型110的输出。在一个实例中,最小距离至少部分地基于第一车辆的当前速度和/或第二车辆的当前速度。在一个实例中,基于车辆中的至少一者的背景(例如,速度和/或分离距离)动态地选择距离。
在框407处,确定传感器数据不足以控制第一车辆的速度。举例来说,处理器104确定来自巡航控制***140的控制输出未充分地或恰当地响应于来自传感器108和/或其它数据来源的输入数据。
在框409处,响应于确定数据不足,将第一车辆的操作从第一模式切换到第二模式以用于控制第一车辆的速度。在一个实例中,车辆102从自适应巡航控制模式切换到常规巡航控制模式。
在框411处,通过维持所选速度而在第二模式中控制第一车辆的速度。在一个实例中,所选速度是由操作者216请求的值或设定点。
图5展示根据一些实施例的用于基于来自用以操作车辆的传感器的评估数据而切换巡航控制模式的方法。举例来说,图5的方法可实施于图1到3的***中。在一个实例中,车辆310基于评估来自传感器108的数据而从第一操作模式切换到第二操作模式。在第二操作模式中,从例如移动装置304、移动装置306和/或车辆312、318、320等其它对象获得额外数据以用于在第二模式中控制车辆310。响应于确定来自传感器108的数据足以控制车辆310的操作,车辆310返回到第一模式。
图5的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专门逻辑、可编程逻辑、微码、装置的硬件、集成电路,等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图5的方法至少部分地由一或多个处理装置(例如,图1的处理器104)执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框501处,使用来自一或多个传感器的数据在第一模式中控制第一车辆的速度。控制所述速度以维持距第二车辆的所选距离。在一个实例中,所选距离为最小距离。在一个实例中,所选距离为最大距离。在一个实例中,所选距离为范围,例如最小距离与最大距离的组合。在一个实例中,所选距离包含所要设定点距离、最小距离及最大距离。在一个实例中,基于车辆速度(例如,如基于由第一车辆的处理器所接收或收集的数据所测量或估计)和/或车辆的其它驾驶或操作条件来确定前述距离。
在框503处,评估来自一或多个传感器的数据。在一个实例中,仅或额外从传感器302、314和/或相机302、308获得数据。
在框505处,基于所述评估,第一车辆切换到第二模式以用于控制第一车辆的速度。在一个实例中,取决于车辆接着在给定操作背景(例如,不同天气、交通和/或道路条件)中控制到的当前距离设定点(例如,对应于所要距离、最小距离或最大距离中的每一者的不同设定点),车辆在多个模式之间切换。
在框507处,从新来源获得额外数据。额外数据用于维持所选距离。获得额外数据作为在第二模式中操作的部分而执行。在一个实例中,从车辆312和固定相机316获得额外数据。
在框509处,基于额外数据测量第一车辆与第二车辆之间的距离。在一个实例中,巡航控制***140使用所测量的距离来控制车辆102、202或310的速度。
图6展示根据一些实施例的用于基于确定传感器数据不符合准则而切换巡航控制模式的方法。举例来说,图6的方法可实施于图1到3的***中。在一个实例中,车辆310基于从车辆310的传感器接收的传感器数据未能符合数据特性准则而从第一模式切换到第二模式。在一个实例中,当确定传感器数据符合数据特性准则和/或符合不同数据特性准则时,车辆310从第二模式切换到第一模式。
图6的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专门逻辑、可编程逻辑、微码、装置的硬件、集成电路,等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图6的方法至少部分地由一或多个处理装置(例如,图1的处理器104)执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框601处,在第一模式中控制第一车辆的速度以至少维持距第二车辆的最小距离。在一个实例中,基于由移动装置304确定的距离332来维持最小距离。
在框603处,确定由一或多个传感器提供的数据不满足准则。在一个实例中,由处理器104确定来自传感器206的数据含有超过阈值的噪声和/或误差。
在框605处,基于所述确定,第一车辆切换到第二模式以用于控制第一车辆的一或多个功能。在一个实例中,第一车辆在第一模式中仅从第一车辆的传感器收集数据,且在第二模式中另外和/或替代地从其它车辆和/或对象(例如,车辆318、移动装置306)的传感器收集数据。
在框607处,基于从第一模式中的第一车辆的操作确定的设定点来控制第一车辆的速度。至少部分地使用从上述其它车辆/对象收集的数据来控制速度。在一个实例中,设定点为由车辆202的操作者216所请求的所要速度。在一个实例中,设定点是基于来自机器学习模型110的输出。在一个实例中,设定点是基于传感器数据、背景数据或存储于存储器114和/或存储器模块208中的其它操作数据。
在一个实施例中,一种***包含:至少一个处理装置(例如,处理器104);以及至少一个存储器(例如,存储器114、存储器模块208),其含有经配置以指示所述至少一个处理装置进行以下操作的指令:在第一模式中且使用来自至少一个传感器(例如,传感器108、206)的数据控制第一车辆(例如,车辆102、202、310)的速度,其中在所述第一模式中控制所述速度包含控制所述速度以至少维持距第二车辆的最小距离;确定来自所述传感器的所述数据不足以控制所述第一车辆的所述速度;以及响应于确定来自所述传感器的所述数据不足以控制所述速度,从所述第一模式切换到第二模式以用于控制所述第一车辆的所述速度,其中在所述第二模式中控制所述速度包含维持所选速度(例如,当处于所述第一模式时由所述第一车辆的操作者选择的设定点)。
在一个实施例中,独立于所述第一车辆与所述第二车辆之间的距离而执行维持所述所选速度。举例来说,常规巡航控制模式用于控制速度,且到所述第二车辆的所述距离不用作用于所述控制的输入。
在一个实施例中,维持所述所选速度包含使用用于巡航控制***的设定点,其中所述设定点为所述所选速度。
在一个实施例中,在所述第一模式中控制所述速度进一步包含使用来自所述传感器的所述数据执行对象检测,且所述对象检测包含检测所述第二车辆。在一个实例中,所述对象检测是在用于控制车辆102的方向和/或路线的导航***中执行的处理的部分。在一个实例中,导航***使用机器学习模型110用于利用来自激光雷达传感器和/或相机的图像数据作为输入来进行对象检测。
在一个实施例中,至少一个传感器包含扫描传感器、相机、全球定位***(GPS)传感器、激光雷达传感器、麦克风、雷达传感器、车轮速度传感器或红外传感器中的至少一者。
在一个实施例中,所述***进一步包含安装于所述第一车辆中的存储器模块(例如,存储器模块208),其中所述存储器模块包含所述处理装置和经配置以存储来自所述传感器的所述数据的至少一个存储器装置,且其中所述存储器装置包含集成在同一硅裸片或同一封装上的以下各者中的至少一者:DRAM装置、NAND快闪存储器装置、NOR快闪存储器装置或多芯片封装(MCP)或包含快闪存储器的嵌入式多媒体控制器(eMMC)封装和快闪存储器控制器。
在一个实施例中,所述***进一步包含所述第一车辆的通信接口(例如,通信接口112),其中所述通信接口经配置以与至少一个其它对象无线地通信。
在一个实施例中,所述至少一个其它对象包含所述第一车辆中的移动装置(例如,移动装置304)、在所述第一车辆外部的移动装置(例如,移动装置306)、所述第二车辆(例如,车辆312)、与所述第一车辆在同一道路上行进的车辆(例如,车辆320),或在所述第一车辆500米内的移动车辆(例如,车辆318)。
在一个实施例中,所述通信接口经配置以用于包含以下各者中的至少一者的车联万物(V2X)通信:V2I(车辆到基础设施)通信、V2N(车辆到网络)通信、V2V(车辆到车辆)通信、V2P(车辆到行人)通信、V2D(车辆到装置)通信或V2G(车辆到电网)通信。
在一个实施例中,所述通信接口为5G蜂窝网络接口。
在一个实施例中,其它对象包含所述第二车辆;且所述指令进一步经配置以指示至少一个处理装置接收关于所述第二车辆的速度或位置中的至少一者的数据。确定来自所述传感器的所述数据不足以控制所述第一车辆的所述速度包含评估关于所述第二车辆的所述速度或位置的所述所接收数据。
在一个实施例中,所述***进一步包含用户接口(例如,由显示器212和/或扬声器210提供的用户接口),其中所述指令进一步经配置以在切换到所述第二模式之前指示所述至少一个处理装置:向所述第一车辆的操作者提供提醒;以及响应于所述提醒,从所述操作者接收切换到所述第二模式的确认。
在一个实施例中,一种方法包含:在第一模式中且使用来自至少一个传感器的数据控制第一车辆的速度,其中在所述第一模式中控制所述速度包含控制所述速度以至少维持距第二车辆的最小距离;评估来自所述传感器的所述数据;以及基于评估来自所述传感器的所述数据,通过从新来源获得额外数据且使用所述额外数据维持所述最小距离而从所述第一模式切换到第二模式以用于控制所述第一车辆的所述速度。
在一个实施例中,评估来自所述传感器的所述数据包含确定来自所述传感器的所述数据归因于由照射在所述传感器上的光源引起的失真而不足以控制所述第一车辆;切换到所述第二模式包含响应于确定所述光源正引起失真而从所述新来源的相机(例如,相机302、308)获得所述额外数据;且所述新来源为除所述第一车辆之外的车辆、移动装置或固定相机(例如,316)中的至少一者。
在一个实施例中,通过自适应巡航控制(ACC)***(例如,巡航控制***140)在所述第一模式中控制所述速度;从所述新来源获得额外数据包含从在所述第一车辆外部的至少一个对象获得数据;且使用所述额外数据来维持所述最小距离包含基于所述额外数据测量到所述第二车辆的距离。
在一个实施例中,评估来自所述传感器的所述数据包含确定在所述第一车辆外部的光源(例如,226)妨碍对来自所述传感器的所述数据的充分处理;从所述新来源获得额外数据包含从接近性类型传感器获得数据和/或从处于所述第一车辆内部的移动装置的相机获得图像数据;且使用所述额外数据来维持所述最小距离包含基于所述图像数据和/或接近性数据测量到所述第二车辆的距离。
在一个实施例中,所述方法进一步包含向所述第一车辆的操作者提供所述第一车辆将切换到所述第二模式或当前正在所述第二模式中控制速度的指示。
在一个实施例中,所述方法进一步包含:当在所述第一模式中控制所述速度时,将关于所述第一车辆的操作状态的第一用户接口(例如,显示器212)提供到所述第一车辆的操作者;以及在切换到所述第二模式之前,经由第二用户接口(例如,用以接收语音命令的麦克风)中的输入从所述操作者接收切换到所述第二模式的确认。
在一个实施例中,一种非暂时性计算机可读媒体(例如,存储器模块208的存储媒体)存储指令,所述指令在至少一个计算装置上执行时致使所述至少一个计算装置:在第一模式中控制第一车辆的速度,其中在所述第一模式中控制所述速度包含控制所述速度以至少维持距第二车辆的最小距离;确定由所述第一车辆的至少一个传感器提供的数据不满足准则;以及响应于确定来自所述传感器的所述数据不满足所述准则,从所述第一模式切换到第二模式以用于控制所述第一车辆,其中在所述第二模式中控制所述第一车辆包含基于所选速度控制所述速度。
在一个实施例中,所述所选速度为当在所述第一模式中控制所述速度时使用的设定点。
现在下文描述与响应于由日光和/或另一外部光源引起的对象辨识、距离测量和/或其它传感器数据处理的不准确性而调整用于控制车辆的传感器数据的处理相关的各种实施例。在一个实例中,不准确性是当使用例如上文所描述的巡航控制时无法准确地或安全地测量到正在跟随的车辆的距离。以下描述的一般性不受上文描述的各种实施例的限制。
当日光直接照射到用作控制车辆移动(例如,转向、加速、巡航控制和/或制动控制)的部分的相机的透镜时,可产生各种技术问题。举例来说,日光可能会致使车辆无法测量到其它车辆和/或对象的距离。在一个实例中,日光妨碍由车辆的相机捕获的数据的恰当图像处理。在一个实例中,无法以对于安全车辆操作的足够准确性来确定到在日光照射车辆的方向上的一或多个对象的距离和/或其识别。
结果,可能迫使车辆从自动控制模式(例如,如上文所论述的自适应巡航控制)退出。在一些情况下,这需要驾驶员接管车辆的控制。在其它情况下,自主车辆可能无法在承载乘客时恰当地和/或安全地操作。在一个实例中,可能迫使自主车辆显著减缓其速度和/或完全停止运动。
在一个实例中,自主车辆使用一或多个相机来检测周围环境中的障碍物,以避免碰撞且保持距障碍物的安全距离。然而,当阳光直射进入到相机中时,来自相机的图像质量降低。当由于日光而使图像质量降低时,可迫使自主车辆将控制返回到驾驶员。举例来说,当车辆正朝向日光的方向行进时,可停用自适应巡航控制(例如,如上文所描述的ACC)。
在一个实例中,自主车辆或驾驶员操作的车辆使用相机检测其周围环境中的障碍物,以避免碰撞和/或保持距障碍物的安全距离。然而,当直接来自一或多个光源(例如,头灯、太阳、聚光灯、闪光灯等)的强光进入相机时,相机可能无法恰当地看到周围环境。
在一个实例中,车辆使用相机检测其它车辆以保持距其它车辆的安全距离。然而,当直接来自光源(例如,头灯或太阳)的强光进入相机的透镜时,相机可能不能够检测到其它车辆和/或测量到其它车辆的距离,使得可维持ACC(例如,在日出或日落时)。
下文描述的各种实施例提供了一种解决上述技术问题中的一或多者的技术方案。在一个实施例中,可调整滤波(例如,光学滤波器和/或数字软件滤波)经配置以用于车辆的相机。在一个实例中,光学滤波器定位在到达相机的图像传感器的光的路径上。所述滤波改进车辆操作(例如,自适应巡航控制)。光学滤波器可具有可控滤波特性(例如,阈值、偏振等)。车辆的控制器经配置以自动调整光学滤波器的特性以改进来自相机的图像质量(例如,以改进对象辨识)。在一个实施例中,调整传感器数据收集以用于智能日光处理,以改进自主车辆的巡航控制的操作。
在一个实施例中,相机可替代地和/或另外配置有使用不同辐射光谱中的传感器(例如,人眼可见的光、红外光和/或激光光谱)的复合视觉。由不同光谱提供的视觉的组合可为自主车辆提供增强的视觉能力。在一个实例中,当视觉在一个光谱中减弱时,相机的总体视觉仍可操作。
在一个实施例中,来自相机的图像经处理以用于智能日光移除,以减少或消除使车辆的控制返回到驾驶员或其他操作者的需要。在一个实例中,通过图像处理对日光的移除增强图像质量。当所得图像具有足够质量来识别周围障碍物时,车辆可维持对其操作的自动控制。在一个实例中,图像处理器(例如,车辆的控制器)评估来自相机的图像的质量水平。当质量水平低于阈值持续长于所界定或所选择的时间段时,车辆提示驾驶员准备控制控制(例如,从先进驾驶员辅助***(ADAS)接管)。
在一个实施例中,一或多个可调整光学滤波器配置在光的路径上的相机中以到达相机的图像传感器。光学滤波器具有可控滤波特性(例如,阈值、偏振等)。在一个实例中,车辆的控制器基于来自使用相机和/或其它传感器数据作为输入的人工神经网络的输出而自动地调整滤波。
在一个实施例中,相机或车辆配置有具有不同光谱(例如,可见光、红外光和/或激光)中的传感器的复合视觉。不同光谱中的视觉的组合为自主车辆提供增强的视觉。当视觉在一个光谱中减弱时,相机的总体视觉仍可使用来自另一光谱的数据操作。举例来说,当阳光直射进入相机时,相机仍经由红外光看到周围环境。而且,车辆可投射具有经界定特性的光(例如,以在黑暗中使用头灯的方式),使得车辆可至少在所述光谱中的一者中清楚地看到周围环境。
图7展示根据一些实施例的响应于由日光或另一外部光源717引起的距离测量不准确性而调整对用以控制车辆702的移动的数据的处理的车辆702。在一个实例中,车辆702使用各种传感器来检测对象706。在一个实例中,对象706为车辆702所跟随的车辆。车辆702使用来自传感器中的一或多者的数据确定距离704。举例来说,当在巡航控制模式中时,车辆702至少维持与对象706的最小距离704。
在一个实例中,相机720的图像传感器727用于捕获与对象706相关联的数据。相机720将图像数据发送到处理器707以用于各种用途,例如操作巡航控制***714。在一些情况下,光源717以损害从相机720提供到处理器707的数据的使用的方式发出进入图像传感器727的光。举例来说,光源717可为照射到图像传感器727的透镜中的阳光直射。光源717可具有足够的亮度,使得来自相机720的数据不足以以足够准确性确定用于车辆702的安全操作的距离704。
处理器707基于从相机720提供的数据来监测图像质量和/或对象辨识能力。如果质量和/或能力降到低于阈值,那么相机720启动使用光学滤波器721的滤波。在一个实例中,光学滤波器721为在来自光源717的光到达图像传感器727之前对所述光进行滤波的玻璃偏振滤波器。在一个实例中,相机720使用致动器722来旋转或以其它方式调整光学滤波器721以便调整来自光源717的光的偏振程度。处理器707响应于偏振程度而监测处理来自相机720的数据的质量和/或能力。在一个实例中,处理器707控制偏振以改进图像质量和/或对象辨识能力。在一个实施例中,光学滤波器721为具有自动调整的阈值(如由处理器707控制)的物理偏振器。处理器707可使用物理偏振器与数字滤波件730组合。
另外和/或替代地,关于车辆702周围的对象(例如,对象706)的数据可由传感器703和传感器705捕获。传感器703收集第一光谱(例如,可见光)中的数据。传感器705收集第二光谱(例如,红外光)中的数据。处理器707从传感器703接收数据。在一个实例中,数据为包含对象706和光源717的场景的图像数据。
处理器707确定来自传感器703的数据的特性。所述特性指示距离704不能够以足够的准确性测量以用于车辆702的安全操作(例如,数据特性未能符合阈值)。处理器707基于来自传感器703和/或其它传感器的数据确定至少部分地由从光源717发出的光引起不准确性。
响应于确定来自传感器703的数据归因于光源717而不足以用于准确距离测量,处理器707从传感器705接收数据,所述接收包含与对象706相关联的数据。使用来自传感器705的数据,处理器707产生数据以控制车辆702的移动。在一个实例中,来自传感器705的数据用于控制巡航控制***714。
在一个实施例中,另外和/或替代地,来自传感器703和/或传感器705的数据可使用数字滤波件730和/或类似于光学滤波器721的滤波器进行滤波。在一个实例中,数字滤波件730通过由处理器707执行的软件实施以改进图像质量。
在一个实施例中,处理器707确定从例如传感器705等红外传感器获得的数据不足以用于准确地测量距离704。响应于所述确定,处理器707启动头灯719和/或其它光源以在对象706的方向上发出辐射725。在一个实例中,传感器705和头灯719在红外光谱中操作。
在一个实施例中,处理器707启动光学滤波器721,且使用数字滤波件730来处理来自相机720的数据。在一个实施例中,处理器707使用来自机器学习模型713的输出来确定从相机720、传感器703和/或传感器705接收的数据的特性。在一个实施例中,基于不能准确地测量距离704(例如,具有充分的安全裕度),由用户接口712向车辆702的驾驶员通知处理器707将停用巡航控制***714。
在一个实施例中,存储器716存储传感器数据708。在一个实例中,传感器数据708包含来自相机720、传感器703和/或传感器705的数据。传感器数据708可用作到机器学习模型713的输入以用于确定数据的特性。
在一个实施例中,由处理器707执行的对象辨识产生对象数据710。在一个实例中,对象数据710用于由处理器707产生用于导航车辆702的地图。举例来说,地图用于控制车辆702的转向。
图8展示根据一些实施例的用于响应于确定距离测量不准确性而对来自一或多个传感器的数据进行滤波的方法。举例来说,图8的方法可在图7的***中实施。在一个实例中,处理器707确定来自相机720的数据具有指示测量距离704的不准确性的特性。
图8的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专门逻辑、可编程逻辑、微码、装置的硬件、集成电路,等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图8的方法至少部分地由一或多个处理装置(例如,图7的处理器707)执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框801处,基于由车辆的相机捕获的场景的图像接收第一数据。在一个实例中,从相机720接收图像数据。图像数据由相机720基于由图像传感器727收集的数据而处理。光学滤波器721尚未被启动。
在框803处,确定指示测量到场景中的对象的距离的不准确性的第一数据的特性。在一个实例中,处理器707使用来自机器学习模型713的输出来确定来自传感器703的数据的特性。
在框805处,响应于确定第一数据的特性,启动滤波以基于由相机捕获的场景的图像接收第二数据。在一个实例中,处理器707致使相机720调整光学滤波器721以调整由图像传感器727接收到的光的偏振。
在框807处,调整实施滤波的软件的参数。在一个实例中,通过处理器707调整数字滤波件730的参数。
在框809处,使用第二数据产生用以控制车辆的移动的数据。在一个实例中,处理器707使用来自数字滤波件730的经滤波数据来控制车辆702的制动。
图9展示根据一些实施例的用于使用光学滤波器对来自传感器的图像数据进行滤波的方法,其中所述图像数据用于控制车辆的移动。举例来说,图9的方法可在图7的***中实施。在一个实例中,光学滤波器721在来自光源717的光到达图像传感器727之前对所述光进行滤波。
图9的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专门逻辑、可编程逻辑、微码、装置的硬件、集成电路,等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图9的方法至少部分地由一或多个处理装置(例如,图7的处理器707)执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框901处,确定由车辆的传感器捕获的第一数据的特性。所述特性指示由日光或另一明亮光源(例如,高于阈值的光强度)引起的距离测量的不准确性。在一个实例中,处理器707确定光源717引起距离704的测量的不准确性,和/或光强度高于阈值(例如,由机器学习模型713动态确定的阈值)。
在框903处,响应于确定不准确性,启动滤波以接收由传感器捕获的第二数据。在一个实例中,引发或重新配置数字滤波件730和/或光学滤波器721的调整。
在框905处,通过定位光学滤波器以对传感器所接收到的光进行滤波来启动滤波。在一个实例中,相机720调整光学滤波器721的阈值。
在框907处,使用致动器(例如,机械伺服、臂或齿轮)调整光学滤波器的位置。在一个实例中,致动器722调整光学滤波器721的位置。
在框909处,执行使用第二数据的对象检测以控制车辆的移动。在一个实例中,检测对象706,且基于此检测而控制巡航控制***714。
图10展示根据一些实施例的用于从第一辐射光谱中的第一传感器收集数据且响应于确定所收集的数据引起不准确性而从第二辐射光谱中的第二传感器收集数据的方法。举例来说,图10的方法可实施于图7的***中。在一个实例中,处理器707确定通过传感器703收集的数据引起距离704的测量的不准确性。响应于此确定,处理器707从传感器705收集用于控制车辆操作的数据(例如,发送到巡航控制***714的数据信号)。
图10的方法可由处理逻辑执行,所述处理逻辑可包含硬件(例如,处理装置、电路***、专门逻辑、可编程逻辑、微码、装置的硬件、集成电路,等)、软件(例如,在处理装置上运行或执行的指令),或其组合。在一些实施例中,图10的方法至少部分地由一或多个处理装置(例如,图7的处理器707)执行。
虽然以特定顺序或次序来展示,但是除非另有指定,否则可修改过程的次序。因此,应理解,所说明实施例仅为实例,且所说明过程可以不同次序进行,且一些过程可并行地执行。另外,在各个实施例中可省略一或多个过程。因此,在每个实施例中并不需要所有过程。其它处理流程也是可能的。
在框1001处,接收基于由车辆的第一传感器收集的场景的数据的第一数据。第一传感器收集第一光谱的数据。在一个实例中,第一传感器为传感器703。
在框1003处,确定第一数据的特性。所述特性指示归因于光源的测量到对象的距离的不准确性。
在框1005处,响应于确定测量距离的不准确性,接收基于场景的数据的第二数据。第二数据由第二传感器收集,所述第二传感器经配置以收集不同于第一光谱的第二光谱的数据。在一个实例中,第二传感器为传感器705。
在框1007中,使用第二数据产生用以控制车辆的移动的数据。在一个实例中,来自红外传感器的数据用于产生用于巡航控制***714的控制信号。
在框1009处,在车辆的行进方向上投射第二光谱中的辐射。在一个实例中,辐射通过头灯719投射。
在框1011处,启动对于由第一传感器收集的数据的滤波以提供滤波数据。使用第二数据和滤波数据两者来控制车辆的移动。在一个实例中,数字滤波件730对来自传感器703的数据进行滤波。
在一个实施例中,车辆在巡航控制***中使用双重巡航控制模式。当在正常巡航控制模式中时,***监测来自车辆的传感器的数据的可用性。举例来说,执行传感器数据的特性的确定以确定是否可准确地执行到对象的距离。基于评估传感器数据可用性而选择车辆的替代操作模式。在一些情况下,车辆的相机控制可调整物理光学滤波器以改进传感器数据的可用性,和/或通过改变所使用的图像数据或传感器的类型而使用复合相机视觉,以便改进传感器数据可用性以实现可靠车辆控制。
在一个实施例中,基于评估传感器数据可用性而选择用于巡航控制***的替代操作模式。可调整软件滤波器经配置以用于车辆以用于处理来自传感器的图像数据。滤波器可具有可控滤波特性,例如阈值等。车辆配置有在不同光谱中的传感器(例如,激光雷达、雷达、超声波)。不同光谱中的传感器的组合可为自主车辆提供增强的可控性,使得当数据在一个光谱中减弱时,来自另一光谱的数据可用于控制车辆。
在一个实施例中,自主车辆使用相机,且基于评估来自相机的图像传感器的传感器数据而选择用于控制***的替代操作模式。在一种方法中,车辆的处理装置控制来自传感器的数据的滤波。在一个实例中,通过改变用于测量到另一车辆的距离的传感器的类型来操作巡航控制***。
在一个实施例中,一种***包含:至少一个处理装置(例如,处理器707);以及至少一个存储器(例如,存储器716),其含有经配置以指示所述至少一个处理装置进行以下操作的指令:基于由车辆的相机(例如,相机720)捕获的场景的图像接收第一数据;确定所述第一数据的特性,所述特性指示测量到所述场景中的对象(例如,对象706)的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源(例如,光源717)发出的光引起;响应于确定所述第一数据的所述特性,启动滤波(例如,光学滤波器721、数字滤波件730)以基于由所述相机捕获的所述场景的图像接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动(例如,将信令发送到巡航控制***714)的数据。
在一个实施例中,通过在来自所述场景的光照射在所述相机的图像传感器上之前在所述光的路径上定位光学滤波器来启动所述滤波。
在一个实施例中,所述***进一步包含致动器(例如,致动器722)。所述至少一个处理装置进一步经配置以指示所述致动器调整所述光学滤波器的位置。
在一个实施例中,所述滤波由软件以可由所述至少一个处理装置调整的参数实施。
在一个实施例中,所述至少一个处理装置进一步经配置以使用所述第二数据执行对象检测,且基于所述对象检测而控制所述车辆的所述移动。
在一个实施例中,所述至少一个处理装置进一步经配置以测量到所述第二数据中辨识的第一对象的距离(例如,距离704),以产生用于所述车辆的控制信号以至少维持距所述第一对象的最小距离。
在一个实施例中,产生所述控制信号以至少控制所述车辆的速度。
在一个实施例中,所述光源是当所述车辆正朝向日光行驶时进入所述相机的传感器的日光。
在一个实施例中,一种***包含:车辆的第一传感器(例如,传感器703),其经配置以收集第一光谱中的数据;所述车辆的第二传感器(例如,传感器705),其经配置以收集第二光谱中的数据;以及至少一个处理装置,其经配置以:基于由所述第一传感器收集的场景的数据接收第一数据;确定所述第一数据的特性,所述特性指示测量到所述场景中的对象的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源发出的光引起;响应于确定所述第一数据的所述特性,基于由所述第二传感器收集的所述场景的数据接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动的数据。
在一个实施例中,所述第一传感器为可见光传感器,且所述第二传感器为红外传感器、雷达传感器、激光雷达传感器或超声波扫描器。
在一个实施例中,所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,在所述车辆的行进方向上投射所述第二光谱中的辐射(例如,从头灯719投射的红外光)。
在一个实施例中,所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,启动滤波以提供所述第二数据。
在一个实施例中,所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,启动对由所述第一传感器收集的数据的滤波以提供第三数据。
在一个实施例中,使用所述第二数据和所述第三数据控制所述车辆的所述移动。
在一个实施例中,所述至少一个处理装置进一步经配置以调整光学滤波器的偏振;且所述光学滤波器在来自所述场景的光由所述第一传感器收集之前定位在所述光的路径上。
在一个实施例中,一种非暂时性计算机可读媒体存储指令,所述指令在至少一个计算装置上执行时致使所述至少一个计算装置:在第一模式中操作车辆以基于由所述车辆的至少一个传感器捕获的数据接收第一数据;确定所述第一数据的特性,所述特性指示测量到对象的距离的不准确性,且所述不准确性至少部分地由从光源发出的光引起;响应于确定所述第一数据的所述特性,在第二模式中操作所述车辆以基于由所述至少一个传感器捕获的数据接收第二数据;以及使用所述第二数据产生用以控制所述车辆的移动的数据。
在一个实施例中,确定所述第一数据的特性包含评估由所述传感器捕获的图像的至少一个特性,且确定所述至少一个特性不满足准则(例如,关于距离测量的准确性的阈值、关于图像分辨率的阈值和/或关于图像质量的阈值)。
在一个实施例中,确定所述第一数据的特性包含基于所述特性产生得分(例如,来自机器学习模型713的输出),且将所述得分与阈值进行比较,且确定所述得分在至少所选时间段(例如,在5到60秒范围内的预定时间)内低于所述阈值。所述指令进一步致使所述至少一个计算装置响应于确定所述得分在所述所选时间段内低于所述阈值而将关于车辆控制的指示提供到所述车辆的操作者。
在一个实施例中,所述第一数据是在可见光光谱中;所述第二数据是在红外光谱中;且在所述第二模式中操作所述车辆包含在远离所述车辆的向前方向上投射红外光。
在一个实施例中,在所述第二模式中操作所述车辆包含启动对由所述至少一个传感器(例如,数字滤波件730、光学滤波器721)捕获的数据的滤波。
本公开包含进行所述方法且实施上文所描述的***的各种装置,包含进行这些方法的数据处理***,和含有指令的计算机可读媒体,所述指令在数据处理***上执行时使得***进行这些方法。
描述和图式是说明性的且不应理解为限制性。描述许多具体细节以提供透彻理解。然而,在某些情况下,未对公知的或常规的细节进行描述,以避免混模糊描述。本公开中对一个或一实施例的提及未必是指同一实施例;且此类提及意味着至少一个。
如本文所使用,“耦合到”或“与...耦合”通常是指组件之间的连接,其可为间接通信连接或直接通信连接(例如,没有中间组件),无论是有线还是无线的,包含例如电连接、光学连接、磁连接等的连接。
在本说明书中对“一个实施例”或“一实施例”的参考意味着结合实施例描述的特定特征、结构或特性包含在本公开的至少一个实施例中。在本说明书中各个地方出现的短语“在一个实施例中”不一定全部指代同一个实施例,也不是与其它实施例相互排斥的单独实施例或替代性实施例。此外,描述了可由一些实施例而不是由其它实施例呈现的各种特征。类似地,描述了各种要求,这些要求可能是一些实施例的要求而不是其它实施例的要求。
在本说明书中,各种功能和/或操作可描述为由软件代码执行或由软件代码引起以简化描述。然而,本领域的技术人员将认识到,这种表达的意思是所述功能和/或操作由一或多个处理装置来执行代码所引起,所述处理装置例如微处理器、专用集成电路(ASIC)、图形处理器和/或现场可编程门阵列(FPGA)。替代地或组合地,可使用专用电路***(例如逻辑电路***)在有或没有软件指令的情况下实施功能和操作。可使用并无软件指令的固线式电路或结合软件指令实施实施例。因此,所述技术既不限于硬件电路和软件的任何特定组合,也不限于由计算装置执行的指令的任何特定来源。
虽然一些实施例可在完全功能的计算机和计算机***中实施,但各种实施例能够以各种形式分布为计算产品且能够应用,而无关于实际上实现分布的特定类型的计算机可读媒体。
所公开的至少一些方面可至少部分体现于软件中。也就是说,所述技术可响应于其处理装置(例如,微处理器)执行存储器(例如,ROM、易失性RAM、非易失性存储器、高速缓存或远程存储装置)中所含有的指令序列而在计算装置或另一***中进行。
经执行以实施所述实施例的例程可实施为操作***、中间件、业务交付平台、软件开发工具包(SDK)组件、网络服务或其它特定应用程序、组件、程序、对象、模块或指令序列(有时称为计算机程序)的一部分。这些例程的调用接口可作为应用程序编程接口(API)暴露给软件开发团体。计算机程序通常包含计算机中的各种存储器及存储装置中在各种时间处的一或多个指令集,且所述指令集在由计算机中的一或多个处理器读取及执行时导致计算机执行必需操作以执行涉及各种方面的元件。
计算机可读媒体可用于存储软件和数据,所述软件和数据当由计算装置执行时使所述装置执行各种方法。可执行软件和数据可存储于包含例如ROM、易失性RAM、非易失性存储器和/或高速缓冲存储器的各处。此软件和/或数据的部分可存储在这些存储装置中的任何一个中。此外,数据和指令可从集中式服务器或对等网络获得。数据和指令的不同部分可在不同时间且在不同通信会话中或同一通信会话中从不同集中式服务器和/或对等网络获得。可在执行应用程序之前获得全部数据和指令。或者,可动态地、及时地在需要执行时获得数据和指令的部分。因此,并不要求数据和指令在特定时刻处全部在计算机可读媒体上。
计算机可读媒体的实例包含但不限于可记录和不可记录型的媒体,例如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、固态驱动器存储媒体、可移动磁盘、磁盘存储媒体、光学存储媒体(例如,光盘只读存储器(CDROM)、数字多功能磁盘(DVD)等)以及其它。计算机可读媒体可存储指令。计算机可读媒体的其它实例包含但不限于使用NOR快闪存储器或NAND快闪存储器架构的非易失性嵌入式装置。在这些架构中使用的媒体可包含未管理的NAND装置和/或受管理NAND装置,包含例如eMMC、SD、CF、UFS和SSD。
一般来说,非暂时性计算机可读媒体包含以可由计算装置(例如计算机、移动装置、网络装置、个人数字助理、具有控制器的制造工具、具有一或多个处理器的集合的任何装置等)存取的形式提供(例如存储)信息的任何机构。如本文所使用,“计算机可读媒体”可包含单个媒体或多个媒体(例如,其存储一组或多组指令)。
在各种实施例中,硬接线电路***可与软件和固件指令组合使用以实施所述技术。因此,所述技术既不限于硬件电路和软件的任何特定组合,也不限于由计算装置执行的指令的任何特定来源。
可使用广泛多种不同类型的计算装置来实施本文中阐述的各种实施例。如本文中所使用,“计算装置”的实例包含但不限于服务器、集中式计算平台、多个计算处理器和/或组件的***、移动装置、用户终端、车辆、个人通信装置、可佩戴数字装置、电子自助服务终端、通用计算机、电子文档阅读器、平板计算机、手提式计算机、智能电话、数码相机、住宅家庭设备、电视或数字音乐播放器。计算装置的额外实例包含被称为“物联网”(IOT)的装置的部分。这类“事物”可与其拥有者或管理员偶然交互,所述拥有者或管理员可监控所述事物或修改对这些物的设定。在一些情况下,这类拥有者或管理员扮演关于“物”装置的用户的角色。在一些实例中,用户的主要移动装置(例如,苹果iPhone(Apple iPhone))可为关于由用户佩戴的配对的“物”装置(例如,苹果手表(Apple watch))的管理员服务器。
在一些实施例中,计算装置可为计算机或主机***,其例如实施为台式计算机、手提式计算机、网络服务器、移动装置,或包含存储器和处理装置的另一计算装置。主机***可包含或耦合到存储器子***,使得主机***可从存储器子***读取数据或将数据写入所述存储器子***。主机***可经由物理主机接口耦合到存储器子***。一般来说,主机***可经由同一通信连接、多个单独通信连接和/或通信连接的组合存取多个存储器子***。
在一些实施例中,计算装置为包含一或多个处理装置的***。处理装置的实例可包含微控制器、中央处理单元(CPU)、专用逻辑电路***(例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)、芯片上***(SoC)或另一合适的处理器。
在一个实例中,计算装置是存储器***的控制器。控制器包含处理装置和存储器,所述存储器含有由处理装置执行以控制存储器***的各种操作的指令。
虽然附图中的一些以特定次序说明数个操作,但可将非次序相依性操作重新排序且可组合或分解其它操作。虽然具体提及了一些重新排序或其它分组,但是其它重新排序或分组对于本领域的普通技术人员来说是显而易见的,因此不提供详尽的替代方案列表。此外,应认识到,阶段可用硬件、固件、软件或其任何组合来实施。
在前述说明书中,已参考本公开的具体示范性实施例描述了本发明。将显而易见的是,可在不脱离如所附权利要求书中阐述的更广精神和范围的情况下进行各种修改。因此,应在说明性意义上而非限制性意义上看待说明书及图式。
Claims (20)
1.一种***,其包括:
至少一个处理装置;以及
至少一个存储器,其含有指令,所述指令经配置以指示所述至少一个处理装置:
基于由车辆的相机捕获的场景的图像接收第一数据;
确定所述第一数据的特性,所述特性指示测量到所述场景中的对象的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源发出的光引起;
响应于确定所述第一数据的所述特性,启动滤波以基于由所述相机捕获的所述场景的图像接收第二数据;以及
使用所述第二数据产生用以控制所述车辆的移动的数据。
2.根据权利要求1所述的***,其中所述滤波是通过在来自所述场景的光照射在所述相机的图像传感器上之前在所述光的路径上定位光学滤波器来启动。
3.根据权利要求2所述的***,其进一步包括致动器,其中所述至少一个处理装置进一步经配置以指示所述致动器调整所述光学滤波器的位置。
4.根据权利要求1所述的***,其中所述滤波是由软件以可由所述至少一个处理装置调整的参数实施。
5.根据权利要求1所述的***,其中所述至少一个处理装置进一步经配置以使用所述第二数据执行对象检测,且所述车辆的所述移动是基于所述对象检测而控制。
6.根据权利要求5所述的***,其中所述至少一个处理装置进一步经配置以测量到在所述第二数据中辨识的第一对象的距离,以产生用于所述车辆的控制信号以至少维持距所述第一对象的最小距离。
7.根据权利要求6所述的***,其中所述控制信号经产生以至少控制所述车辆的速度。
8.根据权利要求1所述的***,其中所述光源是当所述车辆正朝向日光行驶时进入所述相机的传感器的所述日光。
9.一种***,其包括:
车辆的第一传感器,其经配置以收集第一光谱中的数据;
所述车辆的第二传感器,其经配置以收集第二光谱中的数据;以及
至少一个处理装置,其经配置以:
基于由所述第一传感器收集的场景的数据接收第一数据;
确定所述第一数据的特性,所述特性指示测量到所述场景中的对象的距离的不准确性,其中所述不准确性至少部分地由从所述车辆正行驶朝向的光源发出的光引起;
响应于确定所述第一数据的所述特性,基于由所述第二传感器收集的所述场景的数据接收第二数据;以及
使用所述第二数据产生用以控制所述车辆的移动的数据。
10.根据权利要求9所述的***,其中所述第一传感器是可见光传感器,且所述第二传感器是红外传感器、雷达传感器、激光雷达传感器或超声波扫描器。
11.根据权利要求9所述的***,其中所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,在所述车辆的行进方向上投射所述第二光谱中的辐射。
12.根据权利要求9所述的***,其中所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,启动滤波以提供所述第二数据。
13.根据权利要求9所述的***,其中所述至少一个处理装置进一步经配置以响应于确定所述第一数据的所述特性,启动对由所述第一传感器收集的数据的滤波以提供第三数据。
14.根据权利要求13所述的***,其中所述车辆的所述移动是使用所述第二数据和所述第三数据控制。
15.根据权利要求9所述的***,其中:
所述至少一个处理装置进一步经配置以调整光学滤波器的偏振;且
所述光学滤波器在来自所述场景的光由所述第一传感器收集之前定位在所述光的路径上。
16.一种存储指令的非暂时性计算机可读媒体,所述指令在至少一个计算装置上执行时致使所述至少一个计算装置:
在第一模式中操作车辆以基于由所述车辆的至少一个传感器捕获的数据接收第一数据;
确定所述第一数据的特性,所述特性指示测量到对象的距离的不准确性,且所述不准确性至少部分地由从光源发出的光引起;
响应于确定所述第一数据的所述特性,在第二模式中操作所述车辆以基于由所述至少一个传感器捕获的数据接收第二数据;以及
使用所述第二数据产生用以控制所述车辆的移动的数据。
17.根据权利要求16所述的非暂时性计算机可读媒体,其中确定所述第一数据的特性包括评估由所述传感器捕获的图像的至少一个特性,且确定所述至少一个特性不满足准则。
18.根据权利要求16所述的非暂时性计算机可读媒体,其中:
确定所述第一数据的特性包括基于所述特性产生得分,将所述得分与阈值进行比较,且确定所述得分在至少所选时间段内低于所述阈值;以及
所述指令进一步致使所述至少一个计算装置响应于确定所述得分在所述所选时间段内低于所述阈值而将关于车辆控制的指示提供到所述车辆的操作者。
19.根据权利要求16所述的非暂时性计算机可读媒体,其中:
所述第一数据是在可见光光谱中;
所述第二数据是在红外光谱中;且
在所述第二模式中操作所述车辆包括在远离所述车辆的向前方向上投射红外光。
20.根据权利要求16所述的非暂时性计算机可读媒体,其中在所述第二模式中操作所述车辆包括启动对由所述至少一个传感器捕获的数据的滤波。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/109,508 | 2020-12-02 | ||
US17/109,508 US20220169279A1 (en) | 2020-12-02 | 2020-12-02 | Sunlight processing for autonomous vehicle control |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114572206A true CN114572206A (zh) | 2022-06-03 |
Family
ID=81752270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111446579.0A Pending CN114572206A (zh) | 2020-12-02 | 2021-11-30 | 用于自主车辆控制的日光处理 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220169279A1 (zh) |
CN (1) | CN114572206A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6939376B2 (ja) * | 2017-10-10 | 2021-09-22 | トヨタ自動車株式会社 | 自動運転システム |
US20220371588A1 (en) * | 2021-05-21 | 2022-11-24 | Ford Global Technologies, Llc | Intelligent adaptive cruise control for light-compromised conditions |
US11924527B2 (en) * | 2022-05-10 | 2024-03-05 | GM Global Technology Operations LLC | Optical sensor activation and fusion |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69122374T2 (de) * | 1991-02-08 | 1997-04-30 | Alberto Agostini | Aktive Antiblendvorrichtung für Autofahrer oder andere Kraftfahrzeuge |
JP2001313850A (ja) * | 2000-05-01 | 2001-11-09 | Sony Corp | 車載用近赤外線照射撮影装置 |
US8121772B2 (en) * | 2007-10-23 | 2012-02-21 | Nissan Motor Co., Ltd. | Headway distance maintenance supporting device and method |
DE102012018121A1 (de) * | 2012-09-13 | 2013-04-04 | Daimler Ag | Bilderfassungsvorrichtung |
CN105517872B (zh) * | 2013-09-11 | 2019-05-31 | 罗伯特·博世有限公司 | 修改自适应巡航控制以缓解追尾碰撞 |
WO2015174178A1 (ja) * | 2014-05-15 | 2015-11-19 | 本田技研工業株式会社 | 移動支援装置 |
CN107003785B (zh) * | 2014-12-09 | 2020-09-22 | 巴斯夫欧洲公司 | 光学检测器 |
US11458970B2 (en) * | 2015-06-29 | 2022-10-04 | Hyundai Motor Company | Cooperative adaptive cruise control system based on driving pattern of target vehicle |
US9927816B2 (en) * | 2016-05-13 | 2018-03-27 | Macau University Of Science And Technology | System and method for operating a follower vehicle in a vehicle platoon |
US10880293B2 (en) * | 2017-08-25 | 2020-12-29 | Ford Global Technologies, Llc | Authentication of vehicle-to-vehicle communications |
EP3695666B1 (en) * | 2017-10-12 | 2023-11-29 | Netradyne, Inc. | Detection of driving actions that mitigate risk |
JP2021513087A (ja) * | 2018-02-13 | 2021-05-20 | センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. | 高分解能長距離フラッシュlidar用の方法及びシステム |
JP7163589B2 (ja) * | 2018-02-14 | 2022-11-01 | 株式会社デンソー | 運転支援装置 |
US10814799B1 (en) * | 2019-11-25 | 2020-10-27 | GM Global Technology Operations LLC | Mitigation of errant signal effects on an image sensor of a vehicle |
-
2020
- 2020-12-02 US US17/109,508 patent/US20220169279A1/en active Pending
-
2021
- 2021-11-30 CN CN202111446579.0A patent/CN114572206A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220169279A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10719084B2 (en) | Method for platooning of vehicles and vehicle using same | |
US10737689B2 (en) | Parking assistance apparatus and vehicle having the same | |
KR102498091B1 (ko) | 운전 제어 장치 및 운전 제어 방법, 그리고 프로그램 | |
US11273826B2 (en) | Vehicle control system, vehicle control method, and storage medium | |
US10748428B2 (en) | Vehicle and control method therefor | |
KR102267331B1 (ko) | 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 | |
US20200189618A1 (en) | Vehicle and control device and control method of the vehicle | |
US20200298876A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
JP6489084B2 (ja) | 自動運転システム | |
US20220169279A1 (en) | Sunlight processing for autonomous vehicle control | |
US11873007B2 (en) | Information processing apparatus, information processing method, and program | |
CN111629944B (zh) | 车辆控制装置、车辆以及车辆控制方法 | |
US11755022B2 (en) | Vehicle control device | |
CN109987099A (zh) | 车辆控制***、车辆控制方法及存储介质 | |
US20240109560A1 (en) | Dual-mode cruise control | |
US11815887B2 (en) | Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program | |
US20220017093A1 (en) | Vehicle control device, vehicle control method, program, and vehicle | |
WO2018220851A1 (ja) | 自動運転車の制御のための車両制御装置及び方法 | |
US20220383749A1 (en) | Signal processing device, signal processing method, program, and mobile device | |
JP6906175B2 (ja) | 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム | |
US20210300401A1 (en) | Information processing device, moving body, information processing method, and program | |
CN111587206A (zh) | 车辆控制装置、具有该车辆控制装置的车辆以及控制方法 | |
US11279376B2 (en) | Vehicle control device and vehicle control method | |
US20190308636A1 (en) | Autonomous vehicle control device | |
KR102024093B1 (ko) | 차량의 운행 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |