JP7316394B2 - 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング - Google Patents
自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング Download PDFInfo
- Publication number
- JP7316394B2 JP7316394B2 JP2022002306A JP2022002306A JP7316394B2 JP 7316394 B2 JP7316394 B2 JP 7316394B2 JP 2022002306 A JP2022002306 A JP 2022002306A JP 2022002306 A JP2022002306 A JP 2022002306A JP 7316394 B2 JP7316394 B2 JP 7316394B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- adv
- labeled
- audio samples
- obstacles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title description 3
- 238000010200 validation analysis Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 40
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000007670 refining Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001568 sexual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012517 data analytics Methods 0.000 description 4
- 238000002379 ultrasonic velocimetry Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/005—Sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4044—Direction of movement, e.g. backwards
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- Pure & Applied Mathematics (AREA)
- Emergency Management (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本開示の様々な実施形態及び態様は、以下で論じられる詳細を参照して説明され、添付図面は、これらの様々な実施形態を示す。以下の説明及び図面は、本開示の例示であって、本開示を限定するものと解釈されるべきではない。多くの具体的な詳細が、本開示の様々な実施形態の十分な理解を提供するために記載される。しかし、特定の例において、本開示の実施形態の簡潔な議論を提供するために、周知の又は従来の詳細は記載しない。
本開示の実施形態は、コンピュータ上で動作しているときに、前述した図面に示されるプロセス又は方法を前記コンピュータに実行させるためのコンピュータプログラムに更に関する。
本明細書に記載される開示の実施形態の教示を実行するために、各種プログラミング言語を使用できることが理解される。
Claims (18)
- 自律走行車両(ADV)が走行環境内を動作している間、前記ADVを利用して、ラベル付けされたオーディオデータと、前記ラベル付けされたオーディオデータの車中検証とを生成する方法であって、前記方法は、コンピュータによって実行され、
前記ADVの前記走行環境内の物体によって発せられた音を記録し、記録された前記音をオーディオサンプルに変換すること、
前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングして、前記ADVの自律走行中に音源を認識する機械学習アルゴリズムを、後に訓練するために利用されるリファイニングされたラベル付け後のオーディオデータを作成し、前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされることと、
少なくとも前記オーディオサンプル並びに前記ADVの感知システムによってそれぞれ決定される前記物体の位置及び前記物体の相対方向に基づいて、前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することと
を含むことを特徴とする方法。 - 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記物体の前記位置、及び前記物体の前記相対方向に対してプロファイリングすることを含む請求項1に記載の方法。
- 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、更に、前記ADVの視覚センサによって提供される検知データに基づいて、前記物体の前記位置及び前記物体の前記相対方向を決定することを含み、前記視覚センサが前記感知システムに接続されている請求項2に記載の方法。
- 前記オーディオサンプルをラベル付けすることが、前記オーディオサンプルを、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向でタグを付けることを含む請求項1に記載の方法。
- 前記物体が緊急車両であり、発せられた前記音がサイレン音である請求項1に記載の方法。
- 自律走行車両(ADV)が走行環境内を動作している間、前記ADVを利用するラベル付けされたオーディオデータの車中検証のためのコンピュータで実行される方法であって、
前記ADVの前記走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供される検知データに基づいて、前記障害物の位置と、前記障害物の相対方向とを決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされることを特徴とする方法。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項6に記載の方法。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項6に記載の方法。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項6に記載の方法。
- ラベル付けされたオーディオデータの車中検証のためのシステムであって、
プロセッサと、
前記プロセッサに接続され、前記プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令を記憶するメモリとを含み、前記オペレーションが、
自律走行車両(ADV)の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされることを特徴とするシステム。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項10に記載のシステム。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項10に記載のシステム。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項10に記載のシステム。
- プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令が記憶された非一過性のマシン可読媒体であって、前記オペレーションが、
自律走行車両(ADV)の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用され、前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされることを特徴とする非一過性のマシン可読媒体。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項14に記載の非一過性のマシン可読媒体。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項14に記載の非一過性のマシン可読媒体。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項14に記載の非一過性のマシン可読媒体。
- コンピュータ上で動作しているときに、請求項1~9のいずれかに記載の方法を前記コンピュータに実行させるためのコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/248,172 | 2021-01-12 | ||
US17/248,172 US11735205B2 (en) | 2021-01-12 | 2021-01-12 | Audio logging for model training and onboard validation utilizing autonomous driving vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022058556A JP2022058556A (ja) | 2022-04-12 |
JP7316394B2 true JP7316394B2 (ja) | 2023-07-27 |
Family
ID=80035068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002306A Active JP7316394B2 (ja) | 2021-01-12 | 2022-01-11 | 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11735205B2 (ja) |
EP (1) | EP4024365B1 (ja) |
JP (1) | JP7316394B2 (ja) |
KR (1) | KR102599790B1 (ja) |
CN (1) | CN114764523A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893978B2 (en) * | 2021-08-12 | 2024-02-06 | Ford Global Technologies, Llc | Speech recognition in a vehicle |
JP2023149797A (ja) | 2022-03-31 | 2023-10-16 | セイコーエプソン株式会社 | 液体吐出装置、及び配線基板 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352993A (ja) | 1999-06-14 | 2000-12-19 | Oki Electric Ind Co Ltd | 音声認識システム及びヒドン・マルコフ・モデルの学習方法 |
US20190228305A1 (en) | 2018-01-19 | 2019-07-25 | Zf Friedrichshafen Ag | Vehicle system for identifying and localizing non-automobile road users by means of sound |
JP2019182412A (ja) | 2018-04-13 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車に用いられる自動データラベリング |
JP2020521660A (ja) | 2018-03-28 | 2020-07-27 | ボン ウォン,キン | 車両ロック状態検出器、検出システム及び検出方法 |
JP2020525885A (ja) | 2017-06-27 | 2020-08-27 | ウェイモ エルエルシー | サイレンの検出およびサイレンに対する対応 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020131497A1 (en) * | 2018-12-21 | 2020-06-25 | Navio International, Inc. | Edge intelligence powered security solutions and other applications for a smart city |
US11351988B2 (en) * | 2018-07-26 | 2022-06-07 | Byton North America Corporation | Use of sound with assisted or autonomous driving |
JP7048465B2 (ja) | 2018-09-18 | 2022-04-05 | 株式会社東芝 | 移動体制御装置、方法及びプログラム |
US10996680B2 (en) * | 2018-12-31 | 2021-05-04 | Siemens Industry Software Inc. | Environmental perception in autonomous driving using captured audio |
US11567510B2 (en) * | 2019-01-24 | 2023-01-31 | Motional Ad Llc | Using classified sounds and localized sound sources to operate an autonomous vehicle |
KR102176098B1 (ko) * | 2019-01-28 | 2020-11-10 | 김영언 | 음원 인식 방법 및 장치 |
US20210027629A1 (en) * | 2019-07-25 | 2021-01-28 | Baidu Usa Llc | Blind area processing for autonomous driving vehicles |
US11609576B2 (en) * | 2019-12-05 | 2023-03-21 | Baidu Usa Llc | Emergency vehicle audio detection |
US11485308B2 (en) * | 2020-06-29 | 2022-11-01 | Nvidia Corporation | In-cabin hazard prevention and safety control system for autonomous machine applications |
US11958505B2 (en) * | 2020-07-21 | 2024-04-16 | Waymo Llc | Identifying the position of a horn honk or other acoustical information using multiple autonomous vehicles |
KR20220026004A (ko) * | 2020-08-24 | 2022-03-04 | 현대자동차주식회사 | 자율 주행 제어 장치 및 방법 |
US11816987B2 (en) * | 2020-11-18 | 2023-11-14 | Nvidia Corporation | Emergency response vehicle detection for autonomous driving applications |
DE102021205466A1 (de) * | 2021-05-28 | 2022-12-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung zur Detektion von Schall in der Umgebung eines Automobils |
US11705141B2 (en) * | 2021-05-28 | 2023-07-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods to reduce audio distraction for a vehicle driver |
-
2021
- 2021-01-12 US US17/248,172 patent/US11735205B2/en active Active
- 2021-12-29 CN CN202111642930.3A patent/CN114764523A/zh active Pending
-
2022
- 2022-01-11 JP JP2022002306A patent/JP7316394B2/ja active Active
- 2022-01-11 EP EP22150954.0A patent/EP4024365B1/en active Active
- 2022-01-12 KR KR1020220004653A patent/KR102599790B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352993A (ja) | 1999-06-14 | 2000-12-19 | Oki Electric Ind Co Ltd | 音声認識システム及びヒドン・マルコフ・モデルの学習方法 |
JP2020525885A (ja) | 2017-06-27 | 2020-08-27 | ウェイモ エルエルシー | サイレンの検出およびサイレンに対する対応 |
US20190228305A1 (en) | 2018-01-19 | 2019-07-25 | Zf Friedrichshafen Ag | Vehicle system for identifying and localizing non-automobile road users by means of sound |
JP2020521660A (ja) | 2018-03-28 | 2020-07-27 | ボン ウォン,キン | 車両ロック状態検出器、検出システム及び検出方法 |
JP2019182412A (ja) | 2018-04-13 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車に用いられる自動データラベリング |
Also Published As
Publication number | Publication date |
---|---|
KR20220012955A (ko) | 2022-02-04 |
US20220223169A1 (en) | 2022-07-14 |
US11735205B2 (en) | 2023-08-22 |
KR102599790B1 (ko) | 2023-11-09 |
EP4024365A1 (en) | 2022-07-06 |
JP2022058556A (ja) | 2022-04-12 |
EP4024365B1 (en) | 2024-07-03 |
CN114764523A (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10915766B2 (en) | Method for detecting closest in-path object (CIPO) for autonomous driving | |
EP3965066B1 (en) | Machine learning model to detect emergency vehicles fusing audio and visual signals | |
JP7316394B2 (ja) | 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング | |
CN114379590B (zh) | 紧急车辆音频和视觉检测后融合 | |
US11479265B2 (en) | Incremental lateral control system using feedbacks for autonomous driving vehicles | |
EP3998609A2 (en) | Automatic audio data labelling utilizing autonomous driving vehicle | |
US11491976B2 (en) | Collision warning system for safety operators of autonomous vehicles | |
US12017681B2 (en) | Obstacle prediction system for autonomous driving vehicles | |
US20210188257A1 (en) | Post collision, damage reduction brake system | |
KR102597917B1 (ko) | 자율 주행 차량을 위한 음원 검출 및 위치 측정 | |
US11325529B2 (en) | Early brake light warning system for autonomous driving vehicle | |
US11288528B2 (en) | Differentiation-based traffic light detection | |
US20210370941A1 (en) | Precautionary slowdown speed planning | |
CN113525510B (zh) | 自动将自主驾驶车辆的转向返回至中心位置的***和方法 | |
CN113799789B (zh) | 融合紧急车辆音频和视觉检测的机器学习模型 | |
US20240218911A1 (en) | Brake pad wear detection and warning for autonomous driving vehicles | |
US20230202516A1 (en) | Planning under prediction with confidence region for an autonomous driving vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220112 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7316394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |