JP7513841B2 - ナビゲーションセッション中の運転イベント音の検出と処理 - Google Patents
ナビゲーションセッション中の運転イベント音の検出と処理 Download PDFInfo
- Publication number
- JP7513841B2 JP7513841B2 JP2023522874A JP2023522874A JP7513841B2 JP 7513841 B2 JP7513841 B2 JP 7513841B2 JP 2023522874 A JP2023522874 A JP 2023522874A JP 2023522874 A JP2023522874 A JP 2023522874A JP 7513841 B2 JP7513841 B2 JP 7513841B2
- Authority
- JP
- Japan
- Prior art keywords
- driving event
- audio
- event sound
- sound
- processors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title description 5
- 238000010801 machine learning Methods 0.000 claims description 104
- 238000000034 method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 19
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 25
- 230000000007 visual effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 241000269400 Sirenidae Species 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
一般的に言えば、運転イベント音を識別するための技法は、1つまたはいくつかのクライアントデバイス、車両ヘッドユニット、1つまたはいくつかのネットワークサーバ、あるいはこれらのデバイスの組合せを含むシステムにおいて実装することができる。しかしながら、明確にするために、以下の例は主に、マッピングアプリケーションを実行するクライアントデバイスが、クライアントデバイス上で実行されている別のアプリケーションから、またはクライアントデバイスに通信可能に接続されたデバイスからオーディオ再生データを取得する実施形態に焦点を当てている。クライアントデバイスは、クライアントデバイス上で実行されている他のアプリケーションと(たとえば、APIを介して)、あるいは車両ヘッドユニットまたは他のクライアントデバイスなどの、クライアントデバイスの近傍内の他のデバイス(たとえば、短距離通信リンク)と通信し得る。クライアントデバイスはまた、エリア内のオーディオの周囲のオーディオ(ambient audio)フィンガプリントを取得または計算し得る。いずれにせよ、クライアントデバイスは、オーディオ再生データまたは周囲のオーディオフィンガプリントからのオーディオが運転イベント音を含むかどうかを決定する。より具体的には、クライアントデバイスは、オーディオ再生データに含まれるオーディオストリームからの周囲のオーディオフィンガプリントまたはオーディオフィンガプリントを、あらかじめ定められた運転イベント音のオーディオフィンガプリントと比較し得る。一致する場合、クライアントデバイスは、オーディオが運転イベント音を含むと決定し得る。
図1を参照すると、上で概説した技法を実装することができる例示的な環境1は、ポータブルデバイス10と、ヘッドユニット14を備えた車両12とを含む。ポータブルデバイス10は、たとえば、スマートフォン、タブレットコンピュータ、または車載ナビゲーションシステムである。ポータブルデバイス10は、ワイヤード(たとえば、ユニバーサルシリアルバス(USB))またはワイヤレス(たとえば、Bluetooth、Wi-Fi Direct)であり得る通信リンク16を介して、車両12のヘッドユニット14と通信する。ポータブルデバイス10はまた、第4世代または第3世代のセルラーネットワーク(それぞれ4Gまたは3G)などのワイヤレス通信ネットワークを介して、様々なコンテンツプロバイダ、サーバなどと通信することができる。
図6は、ナビゲーションセッション中に運転イベント音を識別するための例示的な方法600の流れ図を示している。本方法は、コンピュータ可読メモリに記憶され、車両12内のクライアントデバイス10の1つまたは複数のプロセッサにおいて実行可能な命令のセットにおいて実装することができる。たとえば、本方法は、運転イベント音検出器134および/またはマッピングアプリケーション122によって実装することができる。
以下の追加の考慮事項は、前述の説明に適用される。本明細書を通じて、複数のインスタンスは、単一のインスタンスとして記述された構成要素、動作、または構造を実装する場合がある。1つまたは複数の方法の個々の動作が別個の動作として示され、説明されているが、個々の動作のうちの1つまたは複数は同時に実施されてもよく、動作が図示された順序で実施される必要はない。例示的な構成において別個の構成要素として提示された構造および機能は、組み合わされた構造または構成要素として実装されてもよい。同様に、単一の構成要素として提示された構造と機能は、別個の構成要素として実装される場合がある。これらおよび他の変形、修正、追加、および改良は、本開示の主題の範囲内に入る。
10 クライアントデバイス
12 車両
14 車両ヘッドユニット
16 通信リンク
18 ディスプレイ
19 センサ
20 ハードウェア入力コントロール
22 ハードウェア入力コントロール
24 マイクロフォン
26 スピーカ
30 通信ネットワーク
32 ユーザインターフェース(UI)
34 ナビゲーションデータサーバ
50 マップデータサーバ
60 サーバデバイス
62 プロセッサ
64 メモリ
68 運転イベント音機械学習(ML)モデル生成器
80 データベース
92 他のコンピューティングデバイス
100 通信システム
112 グラフィック処理ユニット(GPU)
114 I/Oモジュール
116 プロセッサ(CPU)
120 メモリ
122 マッピングアプリケーション
122 地理アプリケーション
126 オペレーティングシステム(OS)
132 他のクライアントアプリケーション
134 運転イベント音検出器
302a 第1のオーディオストリーム
302b 第2のオーディオストリーム
302c 第3のオーディオストリーム
302n 第nのオーディオストリーム
304a オーディオ特性の第1のセット
304b オーディオ特性の第2のセット
304c オーディオ特性の第3のセット
304n オーディオ特性の第nのセット
306a 運転イベント音
306b 運転イベント音
306c 運転イベント音
306n 運転イベント音
310 第1の機械学習モデル
314 オーディオストリーム
318 運転イベント音
402a 第1の運転イベント音
402b 第2の運転イベント音
402c 第3の運転イベント音
402n 第nの運転イベント音
404a 運転イベント音特性の第1のセット
404b 運転イベント音特性の第2のセット
404c 運転イベント音特性の第3のセット
404n 運転イベント音特性の第nのセット
406a 実際のものであるか人工的なものであるかの第1の表示
406b 実際のものであるか人工的なものであるかの第2の表示
406c 実際のものであるか人工的なものであるかの第3の表示
406n 実際のものであるか人工的なものであるかの第nの表示
410 第2の機械学習モデル
414 運転イベント音
418 実際のものであるか人工的なものであるか
500~560 ナビゲーションディスプレイ
500 ナビゲーションディスプレイ
510 ビジュアル通知
512 オーディオ通知
532 オーディオ通知
530 ナビゲーションディスプレイ
560 ナビゲーションディスプレイ
570 ビジュアル通知
572 オーディオ通知
600 方法
Claims (20)
- ナビゲーションセッション中に運転イベント音を識別するための方法であって、
車両内の1つまたは複数のプロセッサによって、ルートに沿って出発地から目的地まで移動するためのナビゲーション指示のセットを提供するステップと、
前記目的地へのナビゲーション中、
前記1つまたは複数のプロセッサによって、前記車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別するステップと、
前記オーディオが前記運転イベント音を含むとの決定に応答して、前記1つまたは複数のプロセッサによって、前記運転イベント音の特性に基づいて、前記運転イベント音が前記車両内の電子デバイスによって人工的に生成されたものであるかどうかを決定するステップと、
前記運転イベント音が人工的に生成されたものであるとの決定に応答して、
前記1つまたは複数のプロセッサによって、前記運転イベント音が人工的に生成されたものであることを示す通知を運転者に提示するステップ、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングするステップと
を備える、方法。 - 運転イベント音を含むオーディオを識別するステップが、
前記1つまたは複数のプロセッサによって、クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得するステップ、
前記1つまたは複数のプロセッサによって、前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得するステップ、または
前記1つまたは複数のプロセッサによって、周囲のオーディオを取得するステップ
を含む、請求項1に記載の方法。 - 前記1つまたは複数のプロセッサによって、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントと比較するステップをさらに備える、請求項2に記載の方法。
- (i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部が運転イベント音を含むかどうかの表示とを含むトレーニングデータを使用して、機械学習モデルをトレーニングするステップと、
前記1つまたは複数のプロセッサによって、前記オーディオが運転イベント音を含むかどうかを決定するために、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオを前記機械学習モデルに適用するステップと
をさらに備える、請求項2に記載の方法。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するステップが、
前記1つまたは複数のプロセッサによって、前記アプリケーションまたは前記デバイスからの前記オーディオ再生データに前記運転イベント音が含まれているとの決定に応答して、前記運転イベント音が人工的に生成されたものであると決定するステップを含む、請求項2から4のいずれか一項に記載の方法。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するステップが、
(i)運転イベント音に対応するオーディオストリームのセットと、オーディオストリームの前記セット内のオーディオストリームごとに、(ii)前記運転イベント音が実際のソースからのものか人工的なソースからのものかの表示とを含むトレーニングデータを使用して機械学習モデルをトレーニングするステップと、
前記1つまたは複数のプロセッサによって、前記オーディオ内の運転イベント音が人工的に生成されたものであるかどうかを決定するために、前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオを前記機械学習モデルに適用するステップと
を含む、請求項2から4のいずれか一項に記載の方法。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するステップが、
前記1つまたは複数のプロセッサによって、前記運転イベント音のオーディオ特性と地域に関係するオーディオ特性とを比較することによって前記運転イベント音の地理的ソースを決定するステップと、
前記1つまたは複数のプロセッサによって、前記運転イベント音の前記地理的ソースを前記車両の現在位置と比較するステップと、
前記1つまたは複数のプロセッサによって、前記運転イベント音の前記地理的ソースが前記車両の前記現在位置と異なる場合、前記運転イベント音が人工的に生成されたものであると決定するステップと
を含む、請求項2から4のいずれか一項に記載の方法。 - 前記運転イベント音をマスキングするステップが、
前記1つまたは複数のプロセッサによって、前記アプリケーションまたは前記デバイスからの前記オーディオ再生データからの前記運転イベント音をフィルタリングするステップを含む、請求項2から7のいずれか一項に記載の方法。 - 前記運転イベント音が、緊急車両のサイレン、車両の衝突音、車両の故障警報、または車両のクラクションのうちの少なくとも1つを含む、請求項1から8のいずれか一項に記載の方法。
- 運転イベント音を識別するためのクライアントデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに結合され、命令を記憶する非一時的コンピュータ可読メモリであって、前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記クライアントデバイスに、
車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別することと、
前記オーディオが前記運転イベント音を含むとの決定に応答して、前記運転イベント音の特性に基づいて、前記運転イベント音が前記車両内の電子デバイスによって人工的に生成されたものであるかどうかを決定することと、
前記運転イベント音が人工的に生成されたものであるとの決定に応答して、
前記運転イベント音が人工的に生成されたものであることを示す通知を運転者に提示すること、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングすることと
を行わせる、非一時的コンピュータ可読メモリと
を備える、クライアントデバイス。 - 運転イベント音を含むオーディオを識別するために、前記命令が前記クライアントデバイスに、
前記クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得すること、
前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得すること、または
周囲のオーディオを取得すること
を行わせる、請求項10に記載のクライアントデバイス。 - 前記命令が前記クライアントデバイスに、
前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントとさらに比較させる、請求項11に記載のクライアントデバイス。 - 前記命令が前記クライアントデバイスに、
前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルにさらに適用させ、前記トレーニングされた機械学習モデルが、オーディオが運転イベント音を含むかどうかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部が運転イベント音を含むかどうかの表示とを含むトレーニングデータを使用してトレーニングされている、請求項11に記載のクライアントデバイス。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
前記アプリケーションまたは前記デバイスからの前記オーディオ再生データに前記運転イベント音が含まれているとの決定に応答して、前記運転イベント音が人工的に生成されたものであると決定させる、請求項11から13のいずれか一項に記載のクライアントデバイス。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルに適用させ、前記トレーニングされた機械学習モデルが、オーディオ内の運転イベント音が実際のソースからのものか人工的なソースからのものかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)運転イベント音に対応するオーディオストリームのセットと、オーディオストリームの前記セット内のオーディオストリームごとに、(ii)前記運転イベント音が実際のソースからのものか人工的なソースからのものかの表示とを含むトレーニングデータを使用してトレーニングされている、請求項11から13のいずれか一項に記載のクライアントデバイス。 - 前記運転イベント音が人工的に生成されたものであるかどうかを決定するために、前記命令が前記クライアントデバイスに、
前記運転イベント音のオーディオ特性と地域に関係するオーディオ特性とを比較することによって前記運転イベント音の地理的ソースを決定することと、
前記運転イベント音の前記地理的ソースを前記車両の現在位置と比較することと、
前記運転イベント音の前記地理的ソースが前記車両の前記現在位置と異なる場合、前記運転イベント音が人工的に生成されたものであると決定することと
を行わせる、請求項11から13のいずれか一項に記載のクライアントデバイス。 - 1つまたは複数のプロセッサに結合され、命令を記憶する非一時的コンピュータ可読メモリであって、前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
車両内または前記車両の周囲の領域からの運転イベント音を含むオーディオを識別することと、
前記オーディオが前記運転イベント音を含むとの決定に応答して、前記運転イベント音の特性に基づいて、前記運転イベント音が前記車両内の電子デバイスによって人工的に生成されたものであるかどうかを決定することと、
前記運転イベント音が人工的に生成されたものであるとの決定に応答して、
前記運転イベント音が人工的に生成されたものであることを示す通知を運転者に提示すること、または、前記運転イベント音が前記運転者に聞こえないように前記運転イベント音をマスキングすることと
を行わせる、非一時的コンピュータ可読メモリ。 - 運転イベント音を含むオーディオを識別するために、前記命令が前記1つまたは複数のプロセッサに、
クライアントデバイス上で実行されているアプリケーションからオーディオ再生データを取得すること、
前記クライアントデバイスに通信可能に結合されたデバイスからオーディオ再生データを取得すること、または
周囲のオーディオを取得すること
を行わせる、請求項17に記載の非一時的コンピュータ可読メモリ。 - 前記命令が前記1つまたは複数のプロセッサに、
前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオに含まれるオーディオフィンガプリントを、あらかじめ定められた運転イベント音の1つまたは複数のオーディオフィンガプリントとさらに比較させる、請求項18に記載の非一時的コンピュータ可読メモリ。 - 前記命令が前記1つまたは複数のプロセッサに、
前記アプリケーションもしくは前記デバイスからの前記オーディオ再生データ、または前記周囲のオーディオをトレーニングされた機械学習モデルにさらに適用させ、前記トレーニングされた機械学習モデルが、オーディオが運転イベント音を含むかどうかを決定するためにトレーニングされており、前記トレーニングされた機械学習が、(i)オーディオストリームのセットと、(ii)オーディオストリームの前記セット内の前記オーディオストリームの少なくとも一部が運転イベント音を含むかどうかの表示とを含むトレーニングデータを使用してトレーニングされている、請求項18に記載の非一時的コンピュータ可読メモリ。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2020/060984 WO2022108580A1 (en) | 2020-11-18 | 2020-11-18 | Detecting and handling driving event sounds during a navigation session |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023548675A JP2023548675A (ja) | 2023-11-20 |
JP7513841B2 true JP7513841B2 (ja) | 2024-07-09 |
Family
ID=73790300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023522874A Active JP7513841B2 (ja) | 2020-11-18 | 2020-11-18 | ナビゲーションセッション中の運転イベント音の検出と処理 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11814062B2 (ja) |
EP (1) | EP4204767A1 (ja) |
JP (1) | JP7513841B2 (ja) |
KR (1) | KR20230107306A (ja) |
CN (1) | CN116391216A (ja) |
WO (1) | WO2022108580A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220219736A1 (en) * | 2021-01-14 | 2022-07-14 | Baidu Usa Llc | Emergency vehicle audio and visual detection post fusion |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056676A (ja) | 1998-08-03 | 2000-02-25 | Yamaha Corp | 情報告知装置及び情報告知端末装置 |
JP2003004521A (ja) | 2001-06-27 | 2003-01-08 | Kenwood Corp | 車外音の識別装置 |
JP2019530061A (ja) | 2016-08-10 | 2019-10-17 | ジーボ インコーポレーテッドXevo Inc. | 推測注意モデルを用いて収集され格納されたメタデータを通して情報を提供する方法及び装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6778073B2 (en) | 2001-06-26 | 2004-08-17 | Medius, Inc. | Method and apparatus for managing audio devices |
US7937118B2 (en) | 2001-10-30 | 2011-05-03 | Unwired Technology Llc | Wireless audio distribution system with range based slow muting |
US7437290B2 (en) | 2004-10-28 | 2008-10-14 | Microsoft Corporation | Automatic censorship of audio data for broadcast |
US8140255B2 (en) | 2008-01-17 | 2012-03-20 | Mitsubishi Electric Corporation | On-vehicle guidance apparatus |
US8893169B2 (en) | 2009-12-30 | 2014-11-18 | United Video Properties, Inc. | Systems and methods for selectively obscuring portions of media content using a widget |
US8863165B2 (en) | 2010-11-01 | 2014-10-14 | Gracenote, Inc. | Method and system for presenting additional content at a media system |
ES2383538B1 (es) * | 2010-11-25 | 2013-04-26 | Advantaria, S.L | Sistema de reconocimiento de señales sonoras relevantes para la practica de la conduccion de vehiculos de automocion |
US9401153B2 (en) | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
US9305559B2 (en) | 2012-10-15 | 2016-04-05 | Digimarc Corporation | Audio watermark encoding with reversing polarity and pairwise embedding |
US9413322B2 (en) | 2012-11-19 | 2016-08-09 | Harman International Industries, Incorporated | Audio loudness control system |
US20150070516A1 (en) | 2012-12-14 | 2015-03-12 | Biscotti Inc. | Automatic Content Filtering |
US9227566B2 (en) * | 2013-06-27 | 2016-01-05 | GM Global Technology Operations LLC | Pseudo-tach signal system for a motor vehicle |
US9663031B2 (en) * | 2013-10-21 | 2017-05-30 | Harman International Industries, Inc. | Modifying an audio panorama to indicate the presence of danger or other events of interest |
US9469247B2 (en) * | 2013-11-21 | 2016-10-18 | Harman International Industries, Incorporated | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
US9836962B1 (en) * | 2015-01-20 | 2017-12-05 | State Farm Mutual Automobile Insurance Company | Determining abnormal traffic conditions from a broadcast of telematics data originating from another vehicle |
DE102015106400B4 (de) | 2015-04-27 | 2023-11-02 | Valeo Schalter Und Sensoren Gmbh | Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren |
DE102017200961A1 (de) | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Akustische Warnsignaldetektion für Kraftfahrzeuge |
US11244564B2 (en) * | 2017-01-26 | 2022-02-08 | Magna Electronics Inc. | Vehicle acoustic-based emergency vehicle detection |
US10755691B1 (en) * | 2019-05-21 | 2020-08-25 | Ford Global Technologies, Llc | Systems and methods for acoustic control of a vehicle's interior |
JP7264122B2 (ja) * | 2020-07-01 | 2023-04-25 | トヨタ自動車株式会社 | 音声出力制御システム |
US11816987B2 (en) * | 2020-11-18 | 2023-11-14 | Nvidia Corporation | Emergency response vehicle detection for autonomous driving applications |
-
2020
- 2020-11-18 US US17/273,673 patent/US11814062B2/en active Active
- 2020-11-18 EP EP20821559.0A patent/EP4204767A1/en active Pending
- 2020-11-18 KR KR1020237019596A patent/KR20230107306A/ko unknown
- 2020-11-18 JP JP2023522874A patent/JP7513841B2/ja active Active
- 2020-11-18 CN CN202080107094.6A patent/CN116391216A/zh active Pending
- 2020-11-18 WO PCT/US2020/060984 patent/WO2022108580A1/en active Application Filing
-
2023
- 2023-10-05 US US18/377,211 patent/US20240034344A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000056676A (ja) | 1998-08-03 | 2000-02-25 | Yamaha Corp | 情報告知装置及び情報告知端末装置 |
JP2003004521A (ja) | 2001-06-27 | 2003-01-08 | Kenwood Corp | 車外音の識別装置 |
JP2019530061A (ja) | 2016-08-10 | 2019-10-17 | ジーボ インコーポレーテッドXevo Inc. | 推測注意モデルを用いて収集され格納されたメタデータを通して情報を提供する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023548675A (ja) | 2023-11-20 |
US20240034344A1 (en) | 2024-02-01 |
EP4204767A1 (en) | 2023-07-05 |
US20220355814A1 (en) | 2022-11-10 |
CN116391216A (zh) | 2023-07-04 |
US11814062B2 (en) | 2023-11-14 |
KR20230107306A (ko) | 2023-07-14 |
WO2022108580A1 (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11003414B2 (en) | Acoustic control system, apparatus and method | |
JP6639444B2 (ja) | 情報提供装置及び情報提供方法 | |
US10235128B2 (en) | Contextual sound filter | |
US20200169630A1 (en) | Technologies for user notification suppression | |
US10310808B2 (en) | Systems and methods for simultaneously receiving voice instructions on onboard and offboard devices | |
KR102419007B1 (ko) | 위험상황 알림 장치 및 방법 | |
JP7079069B2 (ja) | 情報提示制御装置、自動運転車、及び自動運転車運転支援システム | |
US20180096699A1 (en) | Information-providing device | |
US10054921B2 (en) | Apparatus and method for adaptively controlling a target system according to operating environment | |
US20240034344A1 (en) | Detecting and handling driving event sounds during a navigation session | |
CN111051171A (zh) | 对自主车辆的内部的异常的检测 | |
WO2020091806A1 (en) | Context aware navigation voice assistant | |
US20220415321A1 (en) | Electronic device mounted in vehicle, and method of operating the same | |
JP2018200192A (ja) | 地点提案装置及び地点提案方法 | |
US10757248B1 (en) | Identifying location of mobile phones in a vehicle | |
WO2018079527A1 (ja) | 制御装置、出力方法及びプログラム | |
US20210155262A1 (en) | Electronic apparatus and operation method thereof | |
JP6596771B2 (ja) | 情報提供装置および情報提供方法 | |
US20220207081A1 (en) | In-vehicle music system and method | |
US20230404456A1 (en) | Adjustment device, adjustment system, and adjustment method | |
US11912267B2 (en) | Collision avoidance system for vehicle interactions | |
JP2023510470A (ja) | ユーザがナビゲーション中に誤りを犯す可能性が高いときにあらかじめ生成される代替のナビゲーション進路 | |
JP2020091647A (ja) | 情報処理装置及び情報処理プログラム | |
US20240025416A1 (en) | In-vehicle soundscape and melody generation system and method using continuously interpreted spatial contextualized information | |
US20230394966A1 (en) | Adaptive sound generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7513841 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |