CN115307853A - 用于抑制车辆振动的***、方法和计算机程序 - Google Patents
用于抑制车辆振动的***、方法和计算机程序 Download PDFInfo
- Publication number
- CN115307853A CN115307853A CN202210260375.6A CN202210260375A CN115307853A CN 115307853 A CN115307853 A CN 115307853A CN 202210260375 A CN202210260375 A CN 202210260375A CN 115307853 A CN115307853 A CN 115307853A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- vibration
- actuator
- electronic system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004590 computer program Methods 0.000 title abstract description 8
- 238000010801 machine learning Methods 0.000 claims abstract description 43
- 230000007613 environmental effect Effects 0.000 claims abstract description 39
- 238000004891 communication Methods 0.000 claims description 93
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 description 29
- 238000001514 detection method Methods 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000006073 displacement reaction Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 241000282485 Vulpes vulpes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000011456 concrete brick Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- -1 for example Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000004154 testing of material Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M7/00—Vibration-testing of structures; Shock-testing of structures
- G01M7/02—Vibration-testing by means of a shake table
- G01M7/025—Measuring arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D19/00—Control of mechanical oscillations, e.g. of amplitude, of frequency, of phase
- G05D19/02—Control of mechanical oscillations, e.g. of amplitude, of frequency, of phase characterised by the use of electric means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
- B60W40/13—Load or weight
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/10—Transducer, e.g. piezoelectric elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/35—Road bumpiness, e.g. potholes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Vibration Prevention Devices (AREA)
Abstract
本公开涉及用于抑制车辆振动的***、方法和计算机程序。电子***,用于控制在运行车辆内的多个受关注区域处发生的振动和/或惯性力,电子设备包括电路,电路被配置为:从一个或多个环境传感器(12)和/或一个或多个内部传感器(14)接收包括传感器数据的输入数据;通过机器学习***(18)将输入数据转换为致动器设置;以及将致动器设置传送到一个或多个致动器(20)以控制在车辆内的多个受关注区域的每一处发生的振动和/或惯性力。
Description
技术领域
本公开总体上涉及振动抑制领域(vibration suppression),尤其涉及用于抑制车辆振动的设备、方法和计算机程序。
背景技术
车辆驾驶期间的振动会造成不适和疲劳。由于机械摩擦,它还限制了车辆的耐用性。振动的内部因素是主要由发动机产生的噪音、振动和粗糙度(称为NVH)。对于电动发动机,这些振动不太严重。外部因素包括轮胎摩擦、路面不平、路面颠簸和其他障碍物。即使是一次性的力效应,例如,当在道路上的坑洼处行驶时,也会产生汽车的谐波振动,其中,振动频率取决于材料和测量位置。
减轻机械振动的传统解决方案侧重于改进材料(刚度、粗糙度)及其构造方法。例如,可以使用阻尼器(吸收器)来吸收这种能量。大多数方法都是静态的,不适应当前的情况。
从Deigmoeller,J.,Einecke,N.,Fuchs,O.和Janssen,H.的“Road SurfaceScanning using Stereo Cameras for Motorcycles”,DOI:10.5220/0006614805490554,在Proceedings of the 13th International Joint Conference on Computer Vision,Imaging and Computer Graphics Theory and Applications(VISIGRAPP2018)——第5卷:VISAPP,549-554页ISBN:978-989-758-290-5,已知一种基于立体相机的用于预测悬架自适应的道路扫描***。
另一种解决方案包括使用麦克风测量声学以预测振动,并通过致动器生成要输出的反循环振动以消除或抵消振动的影响。这需要分别对每个频率进行滤波,以180°的相位差生成相同的频率和幅度,然后将其添加到原始频率。
然而,现有的方法并没有充分利用现代车辆传感***的全部潜力,这些***无论何种方式都安装在车辆中。此外,大多数现有方法仅考虑基于测量的振动,一旦它们发生(例如,通过麦克风),并且专注于车辆中的一般振动校正。
尽管存在用于振动抑制的技术,但通常希望改进用于振动抑制的设备和方法。
发明内容
根据第一方面,本公开提供了一种用于控制在运行车辆内的多个受关注区域发生的振动和/或惯性力的电子***,电子设备包括电路,电路被配置为:从一个或多个环境传感器和/或一个或多个内部传感器接收包括传感器数据的输入数据;通过机器学习***将输入数据转换为致动器设置;将致动器设置传送到一个或多个致动器以控制在车辆内的多个受关注区域的每一处发生的振动和/或惯性力。
根据第二方面,本公开提供一种用于控制在运行车辆内的多个受关注区域内发生的振动和/或惯性力的计算机实现的方法,方法包括:从一个或多个环境传感器和/或一个或多个内部传感器接收包括传感器数据的输入数据;通过机器学习***将输入数据转换为致动器设置;将致动器设置传送到一个或多个致动器以控制在车辆内的多个受关注区域中每一处发生的振动和/或惯性力。
在从属权利要求、以下描述和附图阐述了进一步的方面。
附图说明
实施例通过示例的方式参照附图进行解释,其中:
图1是示出根据本发明的实施例的振动消除***的示图;
图2a、图2b和图2c示出根据图1所示实施例的提供给神经网络的输入数据的示例;
图3a、图3b和图3c示出根据图1所示实施例的从神经网络提供的输出数据的示例;
图4示出控制致动器来以振动形式产生物理输出的致动器电流;
图5示出使用如图1所示的振动消除***所执行的机器学习来消除振动的过程的流程图;
图6示意性示出基于“强化学习”作为即时训练/细化技术的机器学习的示例;
图7示出根据本发明的替代实施例的振动消除***的示意图,其中确定了振动分布;
图8示出使用如由图7所示的振动消除***执行的机器学习来消除振动的过程的流程图;
图9示出根据本发明的替代实施例的振动消除***的示意图,其中执行传感器融合;
图10是表示车辆控制***的概略结构的示例框图;
图11示出环境传感器的安装位置的示例。
具体实施方式
在参考图1至图11详细描述之前,先进行一般性解释。
实施例公开了一种用于控制在运行车辆内的多个受关注区域发生的振动和/或惯性力的电子***,该***包括电路,电路被配置为:从一个或多个环境传感器和/或一个或多个内部传感器接收包括传感器数据的输入数据;通过机器学习***将输入数据转换为致动器设置;将致动器设置传送到一个或多个致动器以控制在车辆内的多个受关注区域的每一处发生的振动。
车辆可以是运输人员或货物的任何种类的陆地车辆,例如小汽车,自动驾驶汽车,卡车,公共汽车等。
电路可以包括处理器(CPU、GPU)、存储器(RAM、ROM等)、存储设备、输入装置(鼠标、键盘、相机等)、输出装置(显示器(例如液晶、(有机)发光二极管等)、扬声器等、(无线)接口等,因为它通常用于电子设备(计算机、智能手机等)。此外,它可能包括传感器。更进一步,电路可以包括机器学习处理器,例如用于机器学习技术的处理的专用硬件,例如神经形态硬件架构、图形处理单元(GPU)或类似架构。
术语“机器学习”可以指代用于通过例如构建概率模型(称为机器学习模型)以自动化方式从训练数据中提取有用信息的任何计算机算法。可以使用分类算法和强化算法中的至少一种来生成机器学习模型(其中强化学习是可选的)。根据实施例,机器学习***可以是人工神经网络(ANN)并且优选地是深度神经网络(DNN),具体是递归神经网络RNN,例如长短期记忆(LSTM)类型的RNN。LSTM是用于深度学习的人工循环神经网络(RNN)架构。与标准的前馈神经网络不同,LSTM具有反馈连接。它不仅可以处理(逐块)单个数据点(例如图像),还可以(连续地)处理整个数据序列(例如音频流或视频)。
通过控制(例如减少)在运行车辆内的多个受关注区域内发生的振动,车辆的乘客在驾驶期间应该感觉到尽可能少的运动。这改善了幸福感,减少了驾驶过程中的疲劳影响,允许乘客从事其他任务,例如、绘画、写作、阅读(较小的恶心影响)、吃/喝。
该***可以利用集成在现代车辆中的传感器,例如LiDAR/RADAR、相机、超声波、IMU、里程计,集成它们的输出以进行传感器融合,并应用机器学习来预测振动。此外,IMU还可用于预测惯性力以减轻其影响。
输入数据可以包括经由通信接口接收的外部数据。通信接口可以被配置为从通信网络接收外部数据并将该数据提供给机器学习***。通信接口可以例如包括被配置为能够通过诸如UMTS或LTE的移动电话网络进行通信的电路。
该电路可以被配置为通过机器学习***将传感器数据转换成在车辆内产生的多个受关注区域中每个处发生的振动的振动分布。
该电路可以被配置为通过机器学习***将传感器数据方向转换为致动器设置。
该电路可以被配置为基于振动分布确定致动器设置。
多个受关注区域位于以下至少之一:车辆的座椅、靠背、头枕、脚踏板和仪表板。
接收到的传感器数据可以包括通过RGB相机、红外相机、RADAR传感器、LiDAR传感器、超声波传感器和麦克风中的一种或多种获得的车辆前方道路的路况数据。
路况数据可以包括道路带的脉冲响应。脉冲响应可以是通过汽车到基础设施通信(C2I)或汽车到汽车通信(C2C)从其他车辆获得的多个脉冲响应的平均值。
外部数据可以包括地图数据。
接收到的传感器数据可以包括车辆内的里程计数据和/或重量分布,其可以优先考虑不同的受关注区域,例如,通过更加强调驾驶员座椅。
该电路可以进一步被配置为对传感器数据执行传感器融合。
机器学习***可以通过强化学习来训练。机器学习可以例如使用一种或多种学习算法来执行,例如线性回归、K-means、分类算法、强化算法等。机器学习***可以通过选自由以下组成的组的方法进行训练:监督学习,半监督学习、无监督学习、强化学习和主动学习。
该电路可以实现致动器的物理模型,其基于致动器设置来预测振动分布。例如,“模型”可以是等式或一组规则,可以根据其他已知值预测未测量值。或者,这个模型也可以通过机器学习来学习。
该电路还可以被配置为从振动传感器接收数据并根据接收到的数据确定振动分布。振动传感器可以例如包括基于微机电***(MEMS)的惯性测量单元(IMU)或检测微小振动的麦克风。
致动器可以是被配置为控制机构或***的任何设备,例如通过移动***的一部分/组件或通过控制***的特性。
例如,致动器可以是被配置为将信号(例如电子、电、磁、电磁等)转换成具有频率、幅度和相位的物理振动输出的任何致动器。例如,致动器可以是压电元件的形式。或者,振动发生器可以是电动机驱动的振动发生器(偏置质量电动机,传统发动机/电动机)的形式。更进一步的替代方案是可行的。
致动器可以通过应用移动座椅(或其元件,例如靠背或甚至更小的部件作为靠背的左上区域),或车辆的较大部件,或车辆的底盘来实现。例如,座椅本身可以快速小范围移动以减轻惯性力。
振动和/或惯性力也可以通过调整车辆设备的特性来控制,例如车辆设备的材料的刚度。车辆的设备例如可以是座椅靠背或座椅安全带。
实施例还公开了一种用于控制在运行车辆内的多个受关注区域内发生的振动和/或惯性力的计算机实现的方法,该电子设备包括电路,该方法包括:从一个或多个环境传感器和/或一个或多个内部传感器接收包括传感器数据的输入数据;通过机器学习***将输入数据转换为致动器设置;以及将致动器设置传输到一个或多个致动器以控制在车辆内的多个受关注区域中每一处发生的振动和/或惯性力。
根据另一方面,本公开提供了一种包括指令的计算机程序,指令在处理器上执行时使处理器执行在此描述的计算机实现的方法。
现在通过参考附图来描述实施例。
使用机器学习***预测致动器设置
作为汽车的复杂***的力学不是纯线性的。需要考虑非线性行为,例如金属或复合材料的滞后效应、温度、湿度和压力相关特性等。在现实世界中,行为将取决于许多无法直接测量的参数,例如汽车内的重量分布、轮胎参数等。由于如此大量的感测信息,直接或间接测量这些参数,导致使用经典力学的解决方案不可行,并且精确建模变得非常复杂,即使对于有限数量的传感器,本发明的总体思路是应用机器学习(ML)。
汽车内的大多数振动都是低频的,且可以通过这种消除设备进行校正。然而,对一个位置(例如驾驶员座椅)的任何修正都会在其他区域产生额外的振动模式,从而产生混乱/高度非线性的***。因此,机器学习对汽车内的完整振动分布进行操作,如在下面的实施例更详细地揭示,也许能够应对这些影响。
图1是示出根据本发明实施例的振动消除(vibration cancellation)***的示图。
如图1所示的振动消除***被配置为抵消在运行车辆内的多个受关注区域中每一个处发生的振动。振动消除***包括:被配置为从车辆的环境捕获传感器数据的环境传感器12、被配置为从车辆内捕获传感器数据的内部传感器14、以及被配置为从通信网络接收数据的通信接口16。振动消除***还包括作为机器学习***的DNN 18,以及被配置成产生振动以抵消在运行车辆内的多个受关注区域的每一处发生的振动的致动器20。当车辆受到由来自环境传感器12的数据、来自内部传感器14的数据和通过通信接口16接收的数据所限定的一组预定条件时,DNN 18被训练为直接确定适当的致动器设置,以输出到分布在各个受关注区域(振动消除区域)的每个致动器20。也就是说,DNN 18已被训练(在部署之前和/或在操作期间执行/运行期间改进),以将由收集的环境传感器数据、车辆运行数据和外部数据(地图信息、位置信息等)限定的一组条件与要控制的多个致动器20的每个致动器设置相关联。预定的一组条件可以包括路况、运行条件、天气条件、座椅上的给定重量分布等。在训练之后,环境传感器12捕获的传感器数据、内部传感器14捕获的传感器数据和通信接口16获取的数据被提供给DNN 18,DNN 18被训练以将数据转换为致动器设置以控制致动器20。
振动消除***可以包括单个致动器20或多个致动器20,他们分布在车辆内部的预定受关注区域处,例如,在每个乘客座椅下方、在每个靠背、头枕、脚踏板中或在仪表板中。此外,在一些实施例中,单个组件可以同时作为传感器(内部传感器14)和致动器操作。在图1的实施例中,训练的DNN 18的输出信号是用于控制这些致动器20的致动器设置。训练DNN18的最终目标是控制在车辆内的预定受关注区域处提供的致动器20,以便最佳地控制(减少或消除)在每个预定受关注区域处发生的振动。以这种方式,可以例如为每个乘客单独地校正振动。例如,振动消除***10可以消除惯性效应,例如加速(身体被压入座椅)、减速/制动(身体被向前推,仅由座椅安全带保护)和离心力(当驾驶弯道时)。致动器20也可以通过应用移动座椅,或者甚至移动汽车的较大部件(如底盘本身)来实现。后者是从倾斜列车中得知的,其中列车倾斜/滚动其角度朝向曲线的弯曲。如图1中所述,如果DNN ***这些组件的致动器设置,则可以消除离心力。至于加速/减速,可以应用其他方法,例如轻轻调整材料的刚度,例如座椅靠背或座椅安全带。此外,座椅本身可以快速小范围移动以减轻惯性力。
如图1所示,训练的DNN 18接收从环境传感器12检测到的传感器数据、从内部传感器14检测到的传感器数据和外部数据,并基于这些数据确定多个输出信号以控制车辆中发生的振动,如关于图2a-图2c和图8更详细地描述的。
环境传感器12(也参见图10中的成像部分7410和车外信息检测部分7420)被配置为感知外部世界并提供描述车辆附近环境的传感器数据。传感器12可以包括相机(RGB、红外线)、雷达传感器、LiDAR(光检测和测距)传感器、超声波传感器、麦克风等。此外,环境传感器12可以包括温度计、风速计等。相机可以位于车辆内部或车辆外部的适当位置,以获取车辆前方道路的图像(参见图11和相应的描述)。例如,相机可以位于靠近面向前方的后视镜。相机可以是单色相机、立体相机、环视监控(AVM)相机或360度相机。相机可以利用各种图像处理算法来获取例如检测到的物体的位置信息、关于到物体的距离的信息以及关于相对于物体的速度的信息。例如,相机可以基于在所获取的图像中物体的尺寸随时间的变化或者基于关于通过立体相机获取的立体图像之间的视差的信息,来获取关于到物体的距离的信息和关于相对于物体的速度的信息。雷达和相机可以连续检测车辆前方即将出现的路况(道路质量、道路轮廓、道路不平整)。例如,可以预测诸如道路颠簸的障碍,也可以预测道路质量的微小变化。环境传感器12实时测量车辆的周围环境并将获取的信息连续地传送给DNN 18以相应地调整振动控制。
内部传感器14(也参见图10中的车辆状态检测部分7110和车载信息检测单元7500)被配置为测量车辆的各种运行数据。允许DNN ***振动的感测信息是例如里程计数据,例如车轮位置、制动/加速踏板位置、当前速度、IMU等。为此,内部传感器14可以包括被配置为检测车轮位置的车轮传感器,被配置为检测加速踏板的接合量的加速踏板位置传感器、被配置为检测制动踏板的接合量的制动踏板位置传感器、被配置为检测当前速度的速度传感器、被配置为检测车辆运动数据(线性加速度、角速率)的惯性测量单元(IMU)、安装在座椅上的被配置为检测座椅乘员的重量的重量传感器、被配置为检测轮胎压力的轮胎压力传感器等。内部传感器14测量车辆的运行数据并将关于车辆运行数据的信息连续地传送到DNN 18以相应地处理和调整振动控制。
内部传感器14还可以包括全球定位***单元(GPS)(也参见图10中的定位部分7640)。应当注意,在本发明的上下文中,GPS代表所有全球导航卫星***(GNSS),例如GPS、A-GPS、伽利略、GLONASS(俄罗斯)、指南针(中国)、IRNSS(印度)等。与来自环境传感器12(相机/雷达和其他传感器)的数据一起,来自内部传感器14的此类数据可以允许DNN ***即将到来的行动过程,例如,以相当高的速度驶向急转弯,该急转弯的信息可以从高清地图或相机中提取,***可以准备初始化对抗措施以消除振动/惯性力。同样,由于前方可能发生事故,驾驶员需要更大程度地减速,这可能由DNN预测。
通信接口16(也参见图10中的通用通信I/F 7620和专用通信I/F 7630)被配置为从一个或多个通信网络接收外部数据并将该数据提供给DNN 18。通信接口16可以例如包括被配置为能够通过诸如UMTS或LTE的移动电话网络进行通信的电路。例如,通信接口可以实现与云服务的通信。
通信接口16可以例如包括接口电路,接口电路被配置为与作为无线车辆到环境通信的一部分的另一车辆(C2C)或与安装的基础设施(C2I)交换道路相关数据。车对环境通信(C2X或V2X通信)是指可以作为车对基础设施通信(C2I)或车对车通信(C2C)进行的无线通信。C2C和C2I通信例如可以通过蜂窝移动网络(例如LTE或5G通信网络)来执行。可以利用C2I或C2C通信来提前向车辆发出与特定路段相关的即将到来的驾驶条件的信号。例如,交通信号灯可以存储道路状况,具体是观察到的来自其他车辆的脉冲响应(见下文),可以在滑动时间窗口内对它们进行平均,然后将平均脉冲响应信号发送给下一辆车,以便它可以调整其振动消除参数。
通信接口16还可被配置为从导航服务接收高清地图。通过通信接口16接收的数字地图也可以在安装在车辆中的导航***中使用。数字地图可以例如包含与路线的一部分有关的信息,并且当车辆在路线的那一部分上行驶时,可以使所述信息对DNN 18可用。高清地图(HD地图)可用于识别路段的特征,包括车道位置、道路边界、弯道的严重程度、路面坡度、路面特性(例如粗糙度、抓地力或摩擦力)等。高清地图可能会认为这提供准确的信息。高清地图具有高精度,分辨率可能低至几厘米。例如,路段的这些特性可能在一天中的不同时间发生变化。因此,高清地图可以是动态的,并且可以通过通信接口16更新或者可以基于来自沿着道路网络的路段行驶的车辆的传感器数据以众包数据的形式新生成。因此,通信接口16可以被配置为将街道质量上传到云,例如,道路现场事故,可以提前警告其他车辆或以C2C方式将信息直接发送给附近的车辆。
对于自动驾驶汽车(完全自动驾驶或仅限有限),可以使用额外的消除方法:自动驾驶***本身提前一段时间知道其行动过程。因此,可以在整个***内计算抗振动/抗惯性力方法,即,优化汽车本身的驾驶条件(就像自动驾驶一样)以及内部振动分布。
在图1的实施例中,***被配置为接收包括来自一个或多个环境传感器和一个或多个内部传感器的传感器数据的输入数据。然而,在替代实施例中,***可能仅包括一个或多个环境传感器但不包括内部传感器,并且在又一替代实施例中,***可能仅包括一个或多个内部传感器但不包括环境传感器。
输入到DNN的传感器数据的示例
图2a、图2b和图2c示出了根据图1中表示的实施例的提供给DNN 18的输入数据的示例。
参考图2a、图2b和图2c,在车辆运行期间从环境传感器获得的传感器数据和从内部传感器获得的传感器数据可以作为一组传感器数据提供给训练的DNN。在简化示例中,传感器数据可以例如包括路面高度的变化、温度、车速、风速和每个座椅处的乘客重量的测量。然而,对于本领域技术人员来说显而易见的是,本发明不限于提到的传感器数据,并且可以收集各种其他传感器数据并将其提供给训练的DNN。此外,来自其他车辆的诸如高清地图和道路相关数据的外部数据可能会被馈送到DNN。
图2a示出了提供给训练的DNN的一组传感器数据的第一示例。由适当的环境传感器(图1中的12)捕获6mm的路面的变化、84°F的温度和28mph的风速,并提供给训练的DNN。此外,适当的内部传感器(图1中的14)捕获的50mph的车速、占据第一座椅S1的第一乘客的重量为165磅和占据第二座椅S2的第二乘客的体重为150磅,并提供给训练的DNN。在上面的示例中,6mm的路面变化作为简化的示例给出。在实践中,DNN可能会考虑更复杂的信息,例如有关变化发生位置的信息:例如到更高的水平的一个垂直台阶,这会影响所有车轮,或者一个保险杠,再次影响所有车轮,但首先将前轮向上抬起,然后再次向下,然后是后轮,或者小障碍物,如混凝土砖/石头,这可能只影响一个或两个车轮。
图2b示出了提供给训练的DNN的一组传感器数据的第二示例。由适当的环境传感器(图1中的12)捕获12mm的路面的变化、82°F的温度和54mph的风速,并提供给训练的DNN。此外,适当的内部传感器(图1中的14)捕获的54mph的车速、占据第一座椅S1的第一乘客的重量为165磅和占据第二座椅S2的第二乘客的体重为150磅,并提供给训练的DNN。
图2c示出了提供给训练的DNN的一组传感器数据的第三示例。由适当的环境传感器(图1中的12)捕获8mm的路面的变化、78°F的温度和60mph的风速,并提供给训练的DNN。此外,适当的内部传感器(图1中的14)捕获的35mph的车速、占据第一座椅S1的第一乘客的重量为175磅和占据第二座椅S2的第二乘客的体重为155磅,并提供给训练的DNN。
脉冲响应(IR)
配备有图1的振动消除***的车辆还可以被配置为通过通信接口(图1中的16)与云服务(使用例如如上所述的V2I技术)或与其他车辆(使用如上文所述的V2V技术)交换脉冲响应(IR)。例如,道路带的脉冲响应(IR),例如,基于某些材料,例如可能会引入沥青。这在材料的振动测试是众所周知的。IR是描述狄拉克脉冲如何影响***的函数。例如,IR可以模拟在特定道路段上行驶时车轮如何吸收能量。它可能是取决于经度和纬度的平面函数,但不取决于高度。汽车本身不会直接测量这种脉冲函数,但需要对其特定的输入特征进行反卷积(由汽车本身以及其他属性决定,例如重量分布、速度等)。仅假设线性行为,由此产生的振动分布可能是脉冲函数和汽车动作的卷积。对于非线性***,Volterra级数可以以类似的方式描述行为。除了使用时域IR,还可以使用频域传递函数(IR的傅里叶变换)。
使用图1的振动消除(或至少振动检测)技术的车辆可以通过无线通信(比如5G)上传到云来用信号通知那些IR/传递函数。上传的信息可以作为元信息而包括在云服务器内,例如在诸如导航***的地图***中(例如,这些信息可以作为元数据集成到云服务器上的高清地图中),或直接通过传输到边缘/路边基础设施(例如,在十字路口本地安装的服务器,等)。随着时间的推移,可能会收集到更精确的信息。此外,可以提取/预测与时间/天气相关的行为,例如,当与白天行为相比,温度下降时,街道材料可能会在夜间改变其行为,也取决于阳光水平等。此外,DNN可以使用这些脉冲响应作为输入数据来预测振动。例如,如果汽车接近有IR信息可用的位置或区域,DNN可以提前推断其反应将是什么(基本上,从先前汽车的反应中学习)。与线性***一样,***的响应可以通过IR来描述,消除了特定的输入(这里是汽车特性)。如上所述的IR通常用于线性***,但也可以对使用Volterra级数等的非线性***进行扩展。
致动器设置
图3a、图3b和图3c示出了根据图1所示实施例的从神经网络提供的输出数据的示例。
在图3a、图3b和图3c中表示的示例中,训练的神经网络确定获取的传感器数据组(例如图2a、图2b和图2c中表示的传感器数据组)与用于定位的致动器的一组致动器设置(例如,在座椅S1和座椅S2)之间的匹配。
在下文中,它区分了瞬时(瞬态)致动器设置(例如加速度和速度)和周期性设置(例如,由具有特定幅度和频率和相位的正弦载波描述)。瞬时(瞬态)致动器设置被预见以校正瞬时预测的位移(例如在道路颠簸上行驶)。通常,此类事件会在汽车内产生振动,即使它们在某个位置(例如致动器S1位置)的影响已被致动器完全抵消。这种振动,连同其他原因(摩擦,……)引起的任何其他振动,应通过反循环周期性致动器运动来消除。在这里,幅度、频率和相位应该由DNN估计。对于反循环消除,使用相同的幅度,并且相位偏移π。
图3a示出了第一组致动器设置的输出示例,其中,安装在第一座椅S1上的第一致动器的设置包括2,600m/s2的加速度、0.5mm/s的速度、0.5mm的位移(幅度),0.7kHz的频率,以及0.2π的相位,并且安装在第二座S2上的第二致动器的设置包括2,800m/s2的加速度,0.5mm/s的速度,0.9mm的位移,1kHz的频率,以及0.5π的相位。
图3b示出了第二组致动器设置的输出示例,其中,安装在第一座椅S1上的第一致动器的设置包括2,600m/s2的加速度、0.5mm/s的速度、0.5mm的位移(幅度),0.7kHz的频率,以及0.7π的相位,并且安装在第二座S2上的第二致动器的设置包括2,200m/s2的加速度,0.5mm/s的速度,1mm的位移,0.9kHz的频率,以及1π的相位。
图3c示出了第三组致动器设置的输出示例,其中,安装在第一座椅S1上的第一致动器的设置包括2,100m/s2的加速度、0.8mm/s的速度、与0.9kHz的基频和1.2π的相位相关的0.5mm的位移,与1.8kHz的基频和1.4π的相位相关的0.3mm的位移(幅度),以及与2.7kHz的基频和-0.3π的相位相关的0.1mm的位移(幅度),并且安装在第二座椅S2上的第二致动器的设置包括2,200m/s2的加速度,0.5mm/s的速度,与0.7kHz的基频和1.5π的相位相关的1.2mm的位移(幅度),与1.4kHz的基频和1.2π的相位相关的1.0mm的位移(幅度),与2.1kHz的基频和-0.5π的相位相关的0.8mm的位移(幅度)。在图3c的输出示例中,来自基频0.9kHz的两个额外的高阶谐波,即1.8kHz和2.7kHz用于第一致动器设置,以及来自基频0.7kHz的两个额外的高阶谐波,即1.4kHz和2.1kHz用于第二致动器设置。
出于说明的目的给出图3a、图3b和图3c的示例。在实践中,DNN不仅可以输出加速度、速度、位移和频率/相位,还可以包括方向(矢量):例如,将座椅S1向下推为第一预设方向,以及将座椅S1向上推为第二预设方向。在实施例中,每个方向(例如,沿方向D移动的座椅位置X)可以由单独的致动器控制,每个致动器仅允许在一个方向上运动(例如,相对于相应致动器的相应方向D_制动器向上或向下)。更进一步,在此上下文中的致动器可以以叠加方式物理地移动所有目标位移,或者,可替代地,致动器可以被视为致动器子元件的阵列,每个子元件控制一个特定位移。
致动器可以是被配置为将电信号转换成具有频率、幅度和相位的物理振动输出的任何致动器。例如,致动器可以是压电元件。压电元件由最常见的是陶瓷类型的材料组成,该材料在某个方向(极化方向)上压缩或应变时,会在该方向上产生电场。为了将压电元件作为致动器进行操作,诸如电压的输入被施加到压电元件的极,这导致材料压缩或伸长,从而产生与施加的输入成比例的输出力。这可用于主动振动控制(减少振动、消除振动),通过选择施加电压的极性,使致动器的机械应力产生机械振动,从而有效地控制每个受关注区域上发生的振动。
在优选实施例中,可以控制致动器以完全消除在预定的一组驾驶条件下预期的振动。在这种情况下,致动器设置可以是使致动器产生相对于预测振动(如下所述)具有180度相移的振动的设置,使得振动与预测振动相反,即所谓的反相位振动。致动器的控制可通过例如向参考信号反相位施加时变电流(诱发时变振动)来执行,以减少振动。
图4示出了控制致动器以产生振动形式的物理输出的致动器电流。根据图1的实施例,致动器(图1中的20)被配置为基于由DNN(图1中的18)确定的致动器设置来输出振动。例如,可以将DNN的输出值转换为如图4所示的电信号。图4示出了由DNN(图1中的18)输出的致动器设置被转换为馈送到安装在第一座椅S1上的第一致动器的电流的情况,第一致动器根据电流,产生由2600米/秒2的加速度、0.5毫米/秒的速度、0.5毫米的位移和0.7赫兹的频率限定的振动。馈送到安装在第二座椅S2上的第二致动器的电流引起由2,800m/s2的加速度,0.5mm/s的速度,0.9mm的位移和1Hz的频率限定的振动。
根据致动器技术(例如液压),可能需要一些时间以全力运行致动器20(例如产生液压)。可以在DNN(图1中的20)内考虑和学习这种加速时间。
图5示出使用如图1所示的振动消除***所执行的机器学习来消除振动的过程的流程图。
该处理例如由处理单元(也参见图10中的微型计算机7610)执行,具体是由处理器或处理单元的专用集成电路(未示出)执行。该处理可以包括用于处理机器学习技术的专用硬件。该处理发生在包括如图1中描述的振动消除***的车辆运行时。
在500,当车辆运行时,接收来自环境传感器12的数据、来自内部传感器14的数据以及通过通信接口16获得的外部数据。在510,在500中接收的数据被馈送到(以块方式,通过滑动窗口在某个时间范围内或连续地)输入到深度神经网络(DNN)中,该网络被训练以根据输入数据确定要传输到致动器(提供用于控制车辆中预定受关注区域上发生的振动)的致动器设置。也就是说,所收集的数据,例如环境传感器数据、运行数据、地图数据和来自服务提供商的数据,被连续输入到训练的DNN 18。在520,DNN基于所提供的输入信息确定要传送到提供用于控制车辆振动的致动器的预测致动器设置。在530,确定的致动器设置被传送到要被控制的致动器20。然后,致动器基于接收到的致动器设置输出振动,具体是反相位振动,以便修改(减少或消除)发生在车辆中预定受关注区域处的振动。
强化学习
如上面关于图1所描述的,根据实施例的振动消除***使用机器学习***来抵消在运行车辆内的多个受关注区域的每个处发生的振动。机器学习***被训练以将由收集的环境传感器数据、车辆的运行数据和外部数据(地图信息、位置信息等)限定的一组条件与要控制的多个致动器中每一个的致动器设置相关联。
图6示出了基于“强化学***均,或者可以使用一些优先权加权(例如,最小化比其他区域更重要的驾驶员座椅振动)。振动传感器24可以例如包括基于微机电***(MEMS)的惯性测量单元(IMU)或检测微小振动的麦克风。此外,诸如基于石墨烯弹性体的新材料的柔性传感器也可用于检测微小运动。
强化学习方法可以即时应用,即在车辆运行期间。例如,DNN是预先训练的,但会即时更新。在这种方法中,神经网络的输出(例如,期望的输出是汽车内的无振动环境,可能包括优先级,例如,具有高优先级的驾驶员座椅位置)被反馈到优化问题本身,从而在运行过程中微调参数。
DNN通常在受控环境(例如试驾)和/或软件模拟中进行离线训练。受控环境中的感测设备可能比后来部署在道路上使用的传感设备更精确。例如,汽车(在测试环境中)正在穿越一些障碍物,并且以高精度测量反应(即受关注区域的振动分布)。使用感测输入数据(例如该测试情况的LiDAR、雷达、相机等),DNN需要预测振动分布或致动器设置,这将(理论上)最小化振动。即,在训练期间,理想的(和已知的)输出应该由DNN实现。当预训练的DNN稍后用于受控环境之外的正常操作时,DNN可能需要进一步微调。一个原因可能是输入传感器内部的缺陷。另一个原因是使用真实致动器的物理限制,这进一步受到老化、温度变化等的影响。例如,通过使用致动器的物理模型,DNN预测的理想致动器设置可以转化为部署的致动器的受限致动器设置。这有助于更准确地预测惯性力并减轻预期的振动。
输出致动器设置的优点是DNN可以使用简单的目标函数进行优化/训练:目标是最小化在受关注区域内产生的振动(vcancelled_measured(x,y,z,t)或vcancelled(x,y,z,t)))。
训练阶段
所提出的机器学习方法可以考虑神经网络(或相关的神经形态硬件架构)的先前训练阶段,例如,具有广泛的训练数据,其中,振动分布vcancelled_measured(x,y,z,t)在不同的位置(例如在每个乘客座椅上,在每个靠背或头枕内)都被测量为基础真值。
关于这个训练过程,技术人员可以使用任何已知的技术,例如Gers等人2002年在Journal of Machine Learning Research 3(2002)中的“Learning Precise Timing withLSTM Recurrent Networks”中描述的LSTM的原始训练机制,115-143,它基于梯度方法,通过该方法调整LSTM单元的权重。在此训练过程中,优选向神经网络呈现大量示例(训练数据)。以这种方式,针对车辆内部(由内部传感器捕获)和车辆外部(由环境传感器捕获)的一组特定条件的传感器输出信号特征被分配给预定受关注区域处的相应振动分布。这些分配由神经网络学习,并且然后可以在神经网络的确定过程中使用。或者,可以使用“扩张卷积神经网络”或“transformers”。通常,可以使用任何Seq2Seq(序列到序列架构)。
预测振动分布
在图1的实施例中,训练神经网络以将检测到的环境数据、检测到的运行数据和外部信息直接转换成致动器设置以传输到致动器(图1中的20)。
图7描述了替代实施例,其中,当车辆经受预定的一组条件时,训练DNN 18以预测发生在车辆内的预定受关注区域(x,y,z)处(例如座椅、靠背、头枕等)的时变振动的振动分布v(x,y,z,t)。如在图1的实施例中,由环境传感器12捕获的传感器数据、由内部传感器14捕获的传感器数据和由通信接口16获取的数据被提供给机器学习***。根据本实施例的振动消除***与图1中描述的振动消除***的不同之处在于它还包括致动器设置确定单元22。
图7的DNN 18被训练以将传感器数据转换成车辆内预定受关注区域处的预测振动分布v(x,y,z,t)。然后将预定受关注区域处的预测振动分布输出到致动器设置确定单元22,其基于预测的振动分布v(x,y,z,t)确定要传输到致动器20的致动器设置,以抵消在车辆的预定受关注区域发生的振动。DNN的目标是预测振动分布v(x,y,z,t),最好只针对感兴趣区域(x,y,z),例如乘客座椅、脚部空间,可能是仪表板。不需要消除汽车所有区域内的所有振动。
致动器20可以例如涉及振动消除设备。汽车内的大多数振动都是低频的,且可以通过这种消除设备进行校正。然而,对一个位置(例如驾驶员座椅)的任何校正都会在其他区域产生额外的振动模式,从而产生混乱/高度非线性的***。因此,机器学习对汽车内的完整振动分布的操作应该能够应对这些影响。
图8示出了根据实施例的使用人工智能的振动消除过程的流程图,其中确定了预测的振动分布v(x,y,z,t)。
当包括振动消除***的车辆运行时,示例过程运行。
在800,当车辆运行时,接收来自环境传感器12的数据、来自内部传感器14的数据和经由通信接口16接收的外部数据。环境传感器12和内部传感器14的数据可以包括以下至少一项:图像数据、距离、温度、里程计数据,例如车轮位置、制动踏板位置、加速踏板位置、当前方向、当前速度、车辆运动数据(线性加速度、角速率)、座椅乘员的重量、重量分布和轮胎压力。除了由环境传感器12和内部传感器14提供的传感信息和位置数据之外,还可以从导航***获得地图数据。进一步信息(例如对车辆位置和行驶时间的天气预报),可以通过无线通信从服务提供商处接收。在810,在800中接收的数据被馈送到深度神经网络(DNN)18,该网络18被训练以基于输入数据确定在车辆内预定受关注区域处发生的振动的预测振动分布v(x,y,z,t)。也就是说,收集的环境传感器数据、运行数据、地图数据和来自服务提供商的数据连续上传到训练的深度神经网络。在820,DNN基于提供的输入信息确定车辆内预定受关注区域处发生的振动的预测振动分布v(x,y,z,t),并将确定的振动分布v(x,y,z,t)输出到致动器设置确定单元。在830,DNN 18将预测的振动分布输出到致动器设置确定单元。在840,致动器设置确定单元22基于预测的振动分布v(x,y,z,t)确定要传送到致动器的致动器设置。在850,确定的致动器设置被传送到要控制的致动器。然后,致动器基于接收到的致动器设置输出振动,具体是反相振动,以便抵消(减少或消除)在预定受关注区域处可感知的振动。
传感器融合
根据实施例的另一方面,通过传感器融合技术组合由环境传感器或内部传感器获得的感测结果。
图9示出了说明根据本发明的替代实施例的振动消除***的示图,其中执行传感器融合。根据图9的实施例,传感器融合28技术在环境传感器12和内部传感器14(例如LiDAR、雷达、相机、超声波传感器、麦克风、IMU、里程计和通过通信接口16接收的数据)的输出上执行。然后将融合的传感器数据馈送到训练的神经网络18。在图9所示的实施例中,DNN18已经预先训练以基于融合的传感器数据确定要输出到分布在各个受关注区域的每个致动器20的适当致动器设置。
传感器融合28可以融合从不同来源获得的原始数据,例如GPS传感器、惯性传感器、图像传感器、LIDAR、超声波传感器、麦克风等。此外,传感器融合可用于组合不同类型的感测数据,例如绝对测量数据(例如,相对于全球坐标系提供的数据,例如GPS数据)和相对测量数据(例如,相对于局部坐标系提供的数据,例如图像数据、LIDAR数据或超声波感测数据)。传感器融合可用于补偿与单个传感器类型相关的限制或不准确性,从而提高最终感测结果的准确性和可靠性。大多数情况下,传感器融合用于通过减少输入参数的数量来限制DNN的复杂性。
可以使用各种技术来执行传感器融合,例如卡尔曼滤波(例如,卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器)、粒子滤波或本领域技术人员已知的其他滤波技术。可以根据所使用的传感器的具体组合和类型来选择该方法。传感器融合可以利用来自所有传感器或仅来自传感器子集的感测数据。为了省略不充分或不可靠的传感器数据,后一种方法可能是有利的。然后,融合的传感器数据可以馈送到经过训练的神经网络中,该网络基于这些数据确定多个数据,以控制车辆中发生的振动。
在图9的实施例中,融合了所有传感器数据。然而,传感器融合28可能不一定融合所有数据。根据替代示例,仅融合传感器数据的子集。传感器融合也可能发生在后续块中,并且每个融合本身可能包含DNN。此外,可能会提供压缩单元,消除所有不必要的数据(例如来自视频的蓝天或汽车可能行驶区域之外的雷达数据)。
图9示出了根据实施例的振动消除***(参见图1和相应的描述),其中一组致动器设置是基于融合的传感器数据来确定的。然而,传感器融合技术也可以应用在其他实施例中。如上面关于图7所描述的那样,例如,融合的传感器数据也可以提供给训练的DNN 18,以预测发生在车辆内预定受关注区域(例如座椅、靠背、头枕等)处的振动分布v(x,y,z,t)。
振动警告
当如上述实施例描述的振动消除***安装在汽车内时,可能会发生驾驶员无法识别紧急情况,例如道路遭受恶劣状况的情况,或轮胎/减震器受到物理影响的情况。此外,当消除去除此类影响时,可能无法识别汽车固有的问题。因此,可以使用其他形式来表示这些状况,例如警报声音或仪表板中的信号/视觉。例如,当预测的(产生的)振动太大或当预测的振动分布不能被致动器减轻(降低到可接受的阈值)时,可以发出警告。
实施
根据本公开的实施例的技术适用于各种产品。例如,根据本公开的实施例的技术可以实现为包括在移动体中的设备,该移动体是汽车、电动汽车、混合动力电动汽车、工程机械、农业机械(拖拉机)等的任意类型。
图10是示出车辆控制***7000(作为可以应用根据本公开的实施例的技术的移动体控制***的示例)的示意性配置示例的框图。车辆控制***7000包括经由通信网络7010彼此连接的多个电子控制单元。在图10所示的示例中,车辆控制***7000包括驱动***控制单元7100、车身控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如,将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络,例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等。
每个控制单元包括:微型计算机,其根据各种程序执行算术处理;以及存储部分,其存储由微计算机执行的程序、用于各种操作的参数等;以及驱动各种控制目标设备的驱动电路。每个控制单元还包括:网络接口(I/F),用于经由通信网络7010与其他控制单元进行通信;以及通信I/F,用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信。图10所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部分7640、信标接收部分7650、车载设备接口7660、声音/图像输出部分7670、车载网络I/F 7680和存储部分7690。类似地,其他控制单元包括微型计算机、通信I/F、存储部分等。
驱动***控制单元7100根据各种程序来控制与车辆的驾驶***有关的设备的运行。例如,驱动***控制单元7100用作驱动力产生设备的控制设备,该驱动力产生设备用于产生车辆的驱动力(例如内燃机、驱动电机等),用于将驱动力传递至车轮的驱动力传递机构,用于调节车辆的转向角的转向机构,用于产生车辆的制动力的制动设备等。驱动***控制单元7100可以具有作为防抱死制动***(ABS),电子稳定性控制(ESC)等的控制设备的功能。
驱动***控制单元7100与车辆状态检测部分7110连接。车辆状态检测部分7110例如包括检测车身的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器、以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动***控制单元7100使用从车辆状态检测部分7110输入的信号执行算术处理,并且控制内燃机、驱动电机、电动助力转向设备、制动设备等。
车身***控制单元7200根据各种程序控制设置在车身上的各种设备的操作。例如,车身***控制单元7200用作用于无钥匙进入***、智能钥匙***、电动车窗设备或诸如前照灯,倒车灯,制动灯,转向灯,雾灯等的各种灯的控制设备。在这种情况下,可以将代替钥匙的从移动设备发送的无线电波或各种开关的信号输入到车身***控制单元7200。车身***控制单元7200接收这些输入的无线电波或信号,并控制车辆的门锁设备、电动窗设备、灯等。
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如,从包括二次电池7310的电池设备向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理,并且执行用于调节二次电池7310的温度的控制或控制设置到电池设备等的冷却设备。
车外信息检测单元7400检测关于包括车辆控制***7000的车辆的外部的信息。例如,车外信息检测单元7400与成像部分7410和车外信息检测部分7420中的至少一个连接。成像部分7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机和其他相机中的至少一个。车外信息检测部分7420例如包括以下的至少一个:用于检测当前大气状况或天气状况的环境传感器以及用于检测包括车辆控制***7000的车辆周围的另一车辆、障碍物、行人等的***信息检测传感器。
环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一种。***信息检测传感器可以是超声传感器、雷达设备和LIDAR设备(光检测和测距设备,或激光成像检测和测距设备)中的至少一个。成像部分7410和车外信息检测部分7420中的每一个可以被提供为独立的传感器或设备,或者可以被提供为集成有多个传感器或设备的设备。
图11示出了成像部分7410和车外信息检测部分7420的安装位置的示例。成像部分7910、7912、7914、7916和7918例如布置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及在车辆内部的挡风玻璃的上部中的位置中的至少一个。设置前鼻的成像部分7910和设置在车辆内部的挡风玻璃的上部的成像部分7918主要获得车辆7900的前部的图像。设置到侧视镜的成像部分7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门上的成像部分7916主要获得车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部分7918主要用于检测在前车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及,图11示出了各个成像部分7910、7912、7914和7916的成像范围的示例。成像范围a表示设置到前鼻的成像部分7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部分7912和7914的成像范围。成像范围d表示设置在后保险杠或后门上的成像部分7916的成像范围。例如,通过叠加由成像部分7910、7912、7914和7916成像的图像数据,可以获得从上方观看的车辆7900的鸟瞰图像。
设置在车辆7900的前、后、侧面和角落以及车辆内部的挡风玻璃的上部的车外信息检测部分7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。设置在车辆7900的前鼻、车辆的后保险杠、车辆7900的后门、以及在车辆内部的挡风玻璃的上部的车外信息检测部分7920、7926和7930可以是例如LIDAR设备。这些车外信息检测部分7920至7930主要用于检测前方车辆、行人、障碍物等。
返回图10,将继续描述。车外信息检测单元7400使成像部分7410对车辆外部的图像成像,并接收成像的图像数据。另外,车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部分7420接收检测信息。在车外信息检测部分7420是超声波传感器、雷达设备或LIDAR设备的情况下,车外信息检测单元7400发送超声波、电磁波等,并接收接收到的反射波的信息。基于接收到的信息,车外信息检测单元7400可以执行检测诸如人、车辆,障碍物、标志、道路上的字符等的对象的处理,或者检测到其距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的对象的距离。
另外,基于接收到的图像数据,车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、道路上的字符等的图像识别处理,或者检测到其距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正、对准等的处理,并且组合由多个不同的成像部分7410成像的图像数据,以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部分的成像部分7410成像的图像数据执行视点转换处理。
车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部分7510连接。驾驶员状态检测部分7510可以包括对驾驶员进行成像的相机,检测驾驶员的生物信息的生物传感器,在车辆内部收集声音的麦克风等。生物传感器例如布置在座椅表面、方向盘等中,并且检测坐在座椅中的乘员或保持方向盘的驾驶员的生物信息。车内信息检测单元7500基于从驾驶员状态检测部分7510输入的检测信息,可以计算出驾驶员的疲劳度或驾驶员的集中度,或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过收集声音获得的音频信号进行诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序控制车辆控制***7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘员进行输入操作的设备来实现,例如触摸面板、按钮、麦克风、开关、操纵杆等。集成控制单元7600可以被提供有通过对通过麦克风输入的语音进行语音识别而获得的数据。输入部分7800可以是例如使用红外线或其他无线电波的远程控制设备,或者是支持车辆控制***7000的操作的外部连接设备,例如移动电话、个人数字助理(PDA)等。输入部分7800可以是例如相机。在这种情况下,乘员可以通过手势输入信息。或者,可以输入通过检测乘员穿戴的可穿戴设备的运动而获得的数据。另外,输入部分7800例如可以包括输入控制电路等,其使用上述输入部分7800,根据乘员等输入的信息生成输入信号,并将生成的输入信号输出至集成控制单元7600。乘员等通过操作输入部分7800,向车辆控制***7000输入各种数据或对处理操作进行指示。
存储部分7690可以包括:只读存储器(ROM),其存储由微计算机执行的各种程序,以及随机存取存储器(RAM),其存储各种参数、操作结果、传感器值等。另外,存储部分7690可以由诸如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。
通用通信I/F 7620是被广泛使用的通信I/F,该通信I/F促成与外部环境7750中存在的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议,例如全球移动通信***(GSM)(注册商标)、全球微波访问互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、高级LTE(LTE-A)等,或其他无线通信协议,例如无线LAN(也称为无线保真(Wi-Fi)(注册商标)、Bluetooth(注册商标)等)。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如,互联网、云网络或公司特定的网络)上的设备(例如,应用服务器或控制服务器)。另外,例如,通用通信I/F 7620可以使用点对点(P2P)技术连接到存在于车辆附近的终端(例如,该终端是驾驶员、行人或商店的终端,或机器类型通信(MTC)终端)。
专用通信I/F 7630是支持为车辆使用开发的通信协议的通信I/F。专用通信I/F7630可以实现标准协议,例如车辆环境中的无线访问(WAVE),它是作为较低层的电气和电子工程师协会(IEEE)802.11p以及作为较高层的IEEE1609、专用短程通信(DSRC)或蜂窝通信协议的组合。专用通信I/F 7630通常执行V2X通信,其概念包括车辆与车辆之间的通信(车辆到车辆)、道路与车辆之间的通信(车辆到基础设施)、车辆与房屋之间的通信(车辆到房屋)、以及行人和车辆之间的通信(车辆到行人)中的一项或多项。
定位部分7640例如通过接收来自GNSS卫星的全球导航卫星***(GNSS)信号(例如,来自全球定位***(GPS)卫星的GPS信号)来执行定位,并生成包括车辆的纬度、经度和高度的位置信息。顺便提及,定位部分7640可以通过与无线接入点交换信号来识别当前位置,或者可以从诸如移动电话、个人手持电话***(PHS)或具有定位功能的智能电话的终端获得位置信息。
信标接收部分7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波,并从而获得关于当前位置、拥堵、封闭道路、所需时间等的信息。顺便提及,信标接收部分7650的功能可以包括在上述专用通信I/F 7630中。
车载设备接口7660是促成微型计算机7610与车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备I/F 7660可以使用诸如无线LAN、Bluetooth(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外,车载设备I/F 7660可以经由图中未示出的连接端子(如有必要,还可以使用电缆),通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等来建立有线连接。车载设备7760可以例如包括乘员拥有的移动设备和可穿戴设备以及车辆中携带或附接的信息设备中的至少一个。车载设备7760还可以包括导航设备,该导航设备搜索到任意目的地的路径。车载设备I/F 7660与这些车载设备7760交换控制信号或数据信号。
车载网络I/F 7680是促成微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部分7640、信标接收部分7650、车载设备I/F 7660以及车载网络I/F 7680中的至少一个获得的信息,根据各种程序来控制车辆控制***7000。例如微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值,并且将控制命令输出至驱动***控制单元7100。例如,微型计算机7610可以执行旨在实现根据本发明的振动消除***的功能的协同控制。微型计算机7610还可以执行旨在实现高级驾驶员辅助***(ADAS)功能的协作控制,该功能包括为车辆避免碰撞或减轻冲击,基于跟随距离的驾驶,保持车速的驾驶,车辆碰撞的警告,车辆偏离车道的警告等。另外,微型计算机7610可以基于所获得的关于车辆周围环境的信息,通过控制驱动力产生设备、转向机构、制动设备等来执行旨在用于自动驾驶的协同控制,该协同控制使车辆不依赖于驾驶员的操作而自主地行驶。
声音/图像输出部分7670将声音和图像中的至少一个的输出信号发送到能够以视觉或听觉方式将信息通知给车辆的乘员或车辆的外部的输出设备。在图10的示例中,音频扬声器7710、显示部分7720和仪表板7730被示出为输出设备。显示部分7720可以例如包括车载显示器和平视显示器中的至少一个。显示部分7720可以具有增强现实(AR)显示功能。输出设备可以是这些设备以外的设备,并且可以是其他设备,例如耳机、可穿戴设备(例如由乘员等佩戴的眼镜型显示器)、投影仪、灯等。在输出设备是显示设备的情况下,显示设备以文本、图像、表格、图表等的各种形式可视地显示通过微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。另外,在输出设备是音频输出设备的情况下,音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号,并在听觉上输出该模拟信号。
顺便提及,在图10所示的示例中,经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。可替代地,每个单独的控制单元可以包括多个控制单元。此外,车辆控制***7000可以包括图中未示出的另一个控制单元。另外,可以将上述描述中的一个控制单元执行的部分或全部功能分配给另一个控制单元。即,只要经由通信网络7010发送和接收信息,就可以由任何控制单元执行预定的算术处理。类似地,连接到一个控制单元的传感器或设备可以连接到另一控制单元,并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
顺便提及,用于实现根据本发明的振动消除***的功能的计算机程序可以在控制单元之一等中实现。此外,还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外,上述的计算机程序例如可以不使用记录介质而通过网络进行分发。
在上述车辆控制***7000中,根据本发明的振动消除***可以应用于图10所示的应用示例中的集成控制单元7600。例如,振动消除***的DNN(图1中的18)和通信接口(图1中的16)分别对应于微型计算机7610、集成控制单元7600的通用通信接口7620和专用通信接口7630。
此外,参考图1描述的振动消除***的构成元件的至少一部分可以在用于图10所示的集成控制单元7600的模块(例如,由单个管芯形成的集成电路模块)中实现。或者,参考图1描述的振动消除***可以通过图10中描绘的车辆控制***7000的多个控制单元来实现。
参考符号
10 振动消除***
12 环境传感器
14 内部传感器
16 通信接口
18 训练的机器学习***
20 致动器
22 致动器设置确定单元
24 振动传感器
28 传感器融合。
Claims (20)
1.一种电子***,用于控制在运行车辆内的多个受关注区域处发生的振动和/或惯性力,所述电子***包括电路,所述电路被配置为:
从一个或多个环境传感器(12)和/或一个或多个内部传感器(14)接收包括传感器数据的输入数据;
通过机器学习***(18)将所述输入数据转换为致动器设置;
将所述致动器设置传送到一个或多个致动器(20)以控制在所述车辆内的所述多个受关注区域的每一处发生的所述振动和/或惯性力。
2.根据权利要求1所述的电子***,其中,所述输入数据还包括通过通信接口(16)接收的外部数据。
3.根据权利要求1所述的电子***,其中,所述电路被配置为通过所述机器学习***将所述传感器数据直接转换为所述致动器设置。
4.根据权利要求1所述的电子***,其中,所述电路被配置为通过所述机器学习***将所述传感器数据转换成所述车辆内的所述多个受关注区域中的每一处发生的振动的振动分布。
5.根据权利要求1所述的电子***,其中,所述电路还被配置为基于振动分布来确定致动器设置(22)。
6.根据权利要求1所述的电子***,其中,所述多个受关注区域至少位于以下之一:所述车辆的座椅、靠背、头枕、脚踏板和仪表板。
7.根据权利要求1所述的电子***,其中,接收的所述传感器数据包括所述车辆的前方道路的路况数据,所述路况数据通过以下中的一者或多者获得:RGB相机、红外相机、雷达传感器、LiDAR传感器、超声波传感器和麦克风。
8.根据权利要求7所述的电子***,其中,所述路况数据包括道路带的脉冲响应。
9.根据权利要求8所述的电子***,其中,所述脉冲响应是通过车对基础设施通信C2I或车对车通信C2C从其他车辆获得的多个脉冲响应的平均值。
10.根据权利要求2所述的电子***,其中,所述外部数据包括地图数据。
11.根据权利要求1所述的电子***,其中,接收的所述传感器数据包括里程计数据和/或所述车辆内的重量分布。
12.根据权利要求1所述的电子***,其中,所述电路还被配置为对所述传感器数据执行传感器融合(28)。
13.根据权利要求1所述的电子***,其中,所述机器学习***(18)是深度神经网络DNN。
14.根据权利要求1所述的电子***,其中,所述机器学习***(18)通过强化学习来训练。
15.根据权利要求1所述的电子***,其中,所述电路还被配置为从振动传感器(24)接收数据并根据所述接收的数据确定残余振动分布。
16.根据权利要求1所述的电子***,其中,所述致动器(20)是压电元件。
17.根据权利要求1所述的电子***,其中,所述致动器(20)通过应用移动座椅或车辆的较大部件或所述车辆的底盘来实现。
18.根据权利要求1所述的电子***,其中,所述致动器(20)通过应用调整所述车辆的设备的材料的刚度来实现。
19.根据权利要求1所述的电子***,其中,所述致动器设置通过施加反相时变信号来控制所述致动器,以减少振动。
20.一种计算机实现的方法,用于控制在运行车辆内的多个受关注区域处发生的振动和/或惯性力,所述方法包括:
从一个或多个环境传感器(12)和/或一个或多个内部传感器(14)接收包括传感器数据的输入数据;
通过机器学习***(18)将所述输入数据转换为致动器设置;
将所述致动器设置传送到一个或多个致动器(20)以控制在所述车辆内的所述多个受关注区域的每一处发生的所述振动和/或惯性力。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21164429.9 | 2021-03-23 | ||
EP21164429 | 2021-03-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115307853A true CN115307853A (zh) | 2022-11-08 |
Family
ID=75362324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210260375.6A Pending CN115307853A (zh) | 2021-03-23 | 2022-03-16 | 用于抑制车辆振动的***、方法和计算机程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220306130A1 (zh) |
EP (1) | EP4063994A1 (zh) |
CN (1) | CN115307853A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220306130A1 (en) * | 2021-03-23 | 2022-09-29 | Sony Group Corporation | System, method and computer program to suppress vibrations in a vehicle |
CN115714915A (zh) * | 2021-08-12 | 2023-02-24 | 蒂普爱可斯有限公司 | 基于人工智能的图像稳定化方法及其相机模块 |
US20230217858A1 (en) * | 2022-01-11 | 2023-07-13 | Deere & Company | Predictive response map generation and control system |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6032552A (en) * | 1995-08-07 | 2000-03-07 | Quality Research Development & Consulting, Inc. | Vibration control by confinement of vibration energy |
US20060106500A1 (en) * | 1995-08-07 | 2006-05-18 | Quality Research, Development & Consulting, Inc. | Vibration control by confinement of vibration energy |
JP3342864B2 (ja) * | 2000-09-13 | 2002-11-11 | 株式会社エントロピーソフトウェア研究所 | 音声の類似度検出方法及びその検出値を用いた音声認識方法、並びに、振動波の類似度検出方法及びその検出値を用いた機械の異常判定方法、並びに、画像の類似度検出方法及びその検出値を用いた画像認識方法、並びに、立体の類似度検出方法及びその検出値を用いた立体認識方法、並びに、動画像の類似度検出方法及びその検出値を用いた動画像認識方法 |
CN101438078B (zh) * | 2006-05-08 | 2012-07-11 | 神钢电机株式会社 | 降低汽车车身的振动的汽车用减振装置 |
WO2012086282A1 (ja) * | 2010-12-21 | 2012-06-28 | 本田技研工業株式会社 | 能動型振動騒音制御装置 |
US8565052B2 (en) * | 2011-06-20 | 2013-10-22 | Optical Devices, Llc | Methods, systems, and computer program products for correcting repeatable runout |
US9702349B2 (en) * | 2013-03-15 | 2017-07-11 | ClearMotion, Inc. | Active vehicle suspension system |
US9964966B1 (en) * | 2015-09-28 | 2018-05-08 | Amazon Technologies, Inc. | Controlling mechanical vibrations |
DE102016220810A1 (de) * | 2016-10-24 | 2018-04-26 | Jungheinrich Aktiengesellschaft | Proaktives Verringern von Schwingungen in einem Flurförderzeug |
CN110741422A (zh) * | 2017-06-16 | 2020-01-31 | 本田技研工业株式会社 | 车辆及服务管理装置 |
KR102356289B1 (ko) * | 2017-09-27 | 2022-02-08 | 히다치 아스테모 가부시키가이샤 | 차량 제어 장치 |
US11270201B2 (en) * | 2017-12-29 | 2022-03-08 | Intel Corporation | Communication optimizations for distributed machine learning |
CN114206665A (zh) * | 2019-08-13 | 2022-03-18 | 深圳市大疆创新科技有限公司 | 用于载运工具的预测控制*** |
JP2021134022A (ja) * | 2020-02-25 | 2021-09-13 | 三菱重工業株式会社 | 荷役車両の振動防止システム及び荷役車両 |
JP7252521B2 (ja) * | 2020-06-29 | 2023-04-05 | トヨタ自動車株式会社 | 車両用制振制御装置及び方法 |
WO2022014357A1 (ja) * | 2020-07-14 | 2022-01-20 | 本田技研工業株式会社 | 路面評価装置および路面評価方法 |
US20220306130A1 (en) * | 2021-03-23 | 2022-09-29 | Sony Group Corporation | System, method and computer program to suppress vibrations in a vehicle |
DE112022004484T5 (de) * | 2021-09-20 | 2024-07-18 | Sony Group Corporation | Audiosignalschaltung und audiosignalverfahren |
KR20230130209A (ko) * | 2022-03-02 | 2023-09-12 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
CN115419556A (zh) * | 2022-08-29 | 2022-12-02 | 华能国际电力开发公司吉林通榆风电分公司 | 陆上风机的缺陷检测***及其方法 |
CN115801145B (zh) * | 2023-01-29 | 2023-05-12 | 清华大学 | 一种混合信号的时延估计方法、装置和电子设备 |
CN116699270A (zh) * | 2023-03-24 | 2023-09-05 | 国网浙江省电力有限公司超高压分公司 | 一种故障分析方法和相关装置 |
-
2022
- 2022-03-16 US US17/695,853 patent/US20220306130A1/en active Pending
- 2022-03-16 CN CN202210260375.6A patent/CN115307853A/zh active Pending
- 2022-03-23 EP EP22163820.8A patent/EP4063994A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220306130A1 (en) | 2022-09-29 |
EP4063994A1 (en) | 2022-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6834964B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20220306130A1 (en) | System, method and computer program to suppress vibrations in a vehicle | |
JP7294148B2 (ja) | キャリブレーション装置とキャリブレーション方法およびプログラム | |
JP6764573B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20200189459A1 (en) | Method and system for assessing errant threat detection | |
CN110574357B (zh) | 成像控制设备、用于控制成像控制设备的方法以及移动体 | |
JP7170637B2 (ja) | 車両制御システム、車両制御方法、およびプログラム | |
JP2019046277A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN111532254A (zh) | 用于控制自主车辆的***和方法 | |
WO2020203240A1 (ja) | 情報処理装置および情報処理方法 | |
JP2020124994A (ja) | 車両運動制御方法及び車両運動制御装置 | |
JP7409309B2 (ja) | 情報処理装置と情報処理方法とプログラム | |
CN111868778B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
WO2020085101A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP2020124993A (ja) | 車両運動制御方法及び車両運動制御装置 | |
WO2020195965A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020036044A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
WO2022059489A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7371679B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7173056B2 (ja) | 認識装置と認識方法およびプログラム | |
CN115115707B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
WO2022097470A1 (ja) | 信号処理装置、撮像装置及び信号処理方法 | |
WO2022075039A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
WO2022196316A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020195969A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |