JP7153759B2 - 音声ノイズ除去方法及びシステム - Google Patents

音声ノイズ除去方法及びシステム Download PDF

Info

Publication number
JP7153759B2
JP7153759B2 JP2021069324A JP2021069324A JP7153759B2 JP 7153759 B2 JP7153759 B2 JP 7153759B2 JP 2021069324 A JP2021069324 A JP 2021069324A JP 2021069324 A JP2021069324 A JP 2021069324A JP 7153759 B2 JP7153759 B2 JP 7153759B2
Authority
JP
Japan
Prior art keywords
vehicle
noise
target
algorithm
model library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021069324A
Other languages
English (en)
Other versions
JP2022093229A (ja
Inventor
趙瑞文
趙帥
劉詩曼
王贇芝
▲タク▼洋
陳超
周博林
孫航
Original Assignee
中国汽車技術研究中心有限公司
中汽数据(天津)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国汽車技術研究中心有限公司, 中汽数据(天津)有限公司 filed Critical 中国汽車技術研究中心有限公司
Publication of JP2022093229A publication Critical patent/JP2022093229A/ja
Application granted granted Critical
Publication of JP7153759B2 publication Critical patent/JP7153759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本願の実施例は車のインターネット及び音声処理技術に関し、特に音声ノイズ除去方法及びシステムに関する。
自動運転車技術の発展に伴い、運転者は運転任務から徐々に解放され始めている。マンマシンインタラクション方式はこれまでに大きく変化し、音声インタラクションはその特有の利便性により、広く応用されている。
自動運転車両の走行シーンは複雑で、環境ノイズが走行シーンによって大きく異なるため、現在の音声インタラクションには認識率が低く、ハードウェアコストが高く、自動運転車両の環境ノイズ除去効果が悪いなどの一連の問題があり、車両が乗客の音声指令を正確に理解できない恐れがある。
本願の実施例は、車内と車外のシーンによって、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消の効果を高める音声ノイズ除去方法及びシステムを提供する。
第1の態様において、本願の実施例は、車載端末に適用される音声ノイズ除去方法であって、
自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出することと、
自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含み、
前記モデルライブラリに、前記特徴情報と前記目標ノイズカットアルゴリズムとの対応関係が記憶されている、音声ノイズ除去方法を提供する。
第2の態様において、本願の実施例は、自車、目標車両及びクラウドを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、音声ノイズ除去システムをさらに提供する。
第3の態様において、本願の実施例は、自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の走行環境及び車内環境を取得し、前記候補車両から走行環境及び車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に走行環境及び車内環境と、前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、音声ノイズ除去システムをさらに提供する。
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって、既存のアルゴリズムを直接に呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際、ノイズも類似するという特徴に基づいて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
本願の実施例に係る第1種の音声ノイズ除去方法のフローチャートである。 本願の実施例に係る音声ノイズ除去システムの構造模式図である。 本願の実施例に係る他の音声ノイズ除去システムの構造模式図である。
以下、図面と実施例を参照しながら本願を詳細に説明する。理解されるように、ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本発明に対する限定ではない。なお、説明の便宜上、図面においては、本発明に関連する一部のみを示しており、全ての構造を示すものではない。
本願の実施例は、第1種の音声ノイズ除去方法を提供し、そのフローチャートは図1に示すように、車両走行中に車内のユーザの音声をノイズ除去する場合に適用できる。当該方法は音声ノイズ除去デバイスによって実行されてもよく、当該装置はソフトウェア及び/又はハードウェアで構成されてもよく、かつ一般的に車載端末に集積される。
図1に示すように、本実施例に係る方法は具体的に以下のステップを含む。
S110、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出する。
具体的には、シーンノイズ集音設備により車両の走行中のノイズを採集する。ノイズは走行環境によってもたらされる可能性があり、車内環境によってもたらされる可能性もある。
その後、採集されたノイズに対してデータ処理を行い、当該ノイズの特徴情報、例えばスペクトル特徴を抽出する。
好ましくは、シーンノイズ集音設備によって、車載ネットワーク又はブルートゥース(登録商標)モジュールを介してノイズを特徴抽出モジュールに伝送することで、特徴抽出モジュールによって、前記ノイズの特徴情報を抽出する。
S120、自車のモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断し、存在する場合、S130に移行し、存在しない場合、S140に移行する。
ここで、自車も目標車両もモデルライブラリを有し、モデルライブラリには特徴情報とノイズカットアルゴリズムとの対応関係が記憶されている。以下、モデルライブラリにおける構築プロセスを詳細に説明する。
ステップ1:シーンノイズ集音設備により異なる走行環境と車内環境でのノイズを採集する。
シーンノイズ集音設備は具体的には車載ノイズ採集モジュールであり、採集したノイズをシーンノイズ採集記憶モジュールに記憶して、シーンノイズデータ管理システムの原始シーン記憶モジュールにアップロードする。
ステップ2:採集された各ノイズに対してデータ処理を行って特徴情報を抽出する。好ましくは、ウェーブレット変換を連続に行うことにより、当該ノイズの特徴情報を得る。
ステップ3:抽出したノイズの特徴情報を分類してシーンノイズライブラリを構築し、各種類の特徴情報に対応するノイズカットアルゴリズムをノイズカットアルゴリズムライブラリに記憶する。すなわち、シーンノイズライブラリとノイズカットアルゴリズムライブラリは共同でモデルライブラリを構成する。
好ましくは、自車のモデルライブラリに特徴情報とマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断することは、特徴情報をシーンノイズライブラリにおいて比較することを含む。シーンノイズライブラリにマッチングする特徴情報がある場合、対応するノイズカットアルゴリズムにより自車ユーザの音声に対してノイズ除去処理を行う。その後、ノイズ除去処理後の音声に応答することにより、ユーザ指令を実行する。
S130、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行う。今回の操作を終了する。
S140、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。S150を実行し続ける。
具体的に、走行環境は、位置する情報ポイント(Point of Information,POI)、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
ここで、自車は駐車場、病院、学校、公園などの異なるPOIにある場合にノイズが異なり、渋滞、ピッチング、順調などの道路状況でノイズが異なり、高速、農村小路、国道などの異なる道路セクションでノイズが異なり、車速が異なる場合にノイズも異なる。一方、自車のエンジン型番、コールドスタート状態、ウィンドウの開閉、音声映像が再生するかどうか及び音量等の違いでノイズも顕著に異なる。しかしながら、同じ走行環境と車内環境にある車両のノイズは類似し、そこで、走行環境と車内環境に応じて適切な目標車両を選択することができる。目標車両では、目標ノイズカットモデルを用いてノイズカットを行われている確率が高い、又はノイズカットを行わなくても、そのモデルライブラリに目標ノイズカットアルゴリズムを含む可能性が高い。
前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する具体的な実施形態を下述の実施例で説明する。
S150、前記目標車両のモデルライブラリにおける目標ノイズカットアルゴリズムを受信したかどうかを判断する。YESであれば、S160に移行し、NOであれば、S170に移行する。
S160、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加する。今回の操作を終了する。
目標車両のモデルライブラリに目標ノイズカットアルゴリズムが存在する場合、自車は目標車両から送信された目標ノイズカットアルゴリズムを受信する。さらに、ノイズ除去処理と同時にモデルライブラリを更新する。
S170、クラウドに前記目標ノイズカットアルゴリズムを要求する。ここで、目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドを介して前記ノイズの特徴情報をノイズ解消して得る。
目標車両のモデルライブラリに目標ノイズカットアルゴリズムが存在しない場合、目標車両のモデルライブラリにおける目標ノイズカットアルゴリズムを受信しない。そこで、ノイズカット処理が円滑に進行されることを保証するために、自車はクラウドのアップロードモジュールを介して、採集したノイズの特徴情報と定位情報をクラウドにアップロードする。さらに、自車は目標車両の定位情報を要求して、目標車両の定位情報をクラウドに一括でアップロードする。
クラウドは採集されたノイズの特徴情報をクラウドシーンノイズライブラリで比較し、ここで、クラウドシーンノイズライブラリに複数の種類のノイズの特徴情報が記憶される。マッチングする特徴情報が存在する場合、自車と目標車両の定位情報によって、対応する目標ノイズカットアルゴリズムを自車と目標車両のモデルライブラリにリターンする。マッチングする特徴情報が存在しない場合、クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、自車と目標車両の定位情報によって、前記目標ノイズカットアルゴリズムを前記自車と目標車両のモデルライブラリにリターンする。
S180、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドによって前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のモデルライブラリに追加する。
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって既存のアルゴリズムを直接呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際に、ノイズも類似するという特徴に応じて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
上述の実施例及び下述の実施例では、自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することには、以下の2種類の選択可能な実施形態を含む。
第1種の選択可能な実施形態(クラウドを介して特定する)は以下のとおりである。センサの採集情報及び道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンする。
ここで、センサはカメラ、車載レーダ及び慣性航法システムを含むが、それらに限定されない。渋滞、ピッチング、順調などの道路状況情報は車載の高精細な地図を介して得られる。採集情報及び道路状況情報を統合して自車の走行環境を得る。車内環境はCAN(Controller Area Network)バスから対応する信号を読み込んで得られる。
クラウドは全ての車両の走行環境及び車内環境をリアルタイムに取得し、自車の走行環境と車内環境にマッチングする目標車両を特定し、且つ前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンする。
第2種の選択可能な実施形態(ポイントツーポイント特定)は以下のとおりである。前記自車とは設定距離範囲内にある少なくとも1台の候補車両を探索し、各前記候補車両と通信接続を確立し、前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
設定距離範囲は通信接続の距離範囲によって特定することができ、通信接続はWIFIとブルートゥースに限定されず、設定距離範囲は例えば10メートル又は20メートルである。説明と区分の便宜上、自車の設定距離範囲内にある車両を候補車両と呼ぶ。距離が近いので、候補車両の走行環境は自車と類似する。これにより、走行環境のマッチングが必要ない。
各候補車両と通信接続を確立した後、前記通信接続に基づいて各候補車両に車内環境の要求情報を送信する。各候補車両は、要求情報に応答し、CAN信号から車内環境を得て、通信接続に基づいて自車にリターンする。さらに、自車は各候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
上述の実施例と下述の実施例では、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、ノイズ除去処理を行った後の音声のSN比及び/又は前記自車ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、前記ノイズカット効果が要求を満たす場合、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる。
図1を参照すると、ここでの目標ノイズカットアルゴリズムは、自車のモデルライブラリ、目標車両のモデルライブラリにある、又はクラウドに由来するものである。これに基づいて、S130、S160及びS180の後、ノイズ除去処理を行った後の音声のSN比及び/又は前記自車ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定する。
具体的には、ノイズ除去後の音声のSN比を算出し、例示的に、SN比が設定閾値を超える場合、目標ノイズカットアルゴリズムのノイズカット効果が優れていると判断し、SN比が設定閾値を超えない場合、目標ノイズカットアルゴリズムのノイズカット効果が悪いと判断する。ユーザが車載端末を介して入力した評価情報、例えば評価点数を受信する評価点数によって、目標ノイズカットアルゴリズムのノイズカット効果が優れているか悪いかを特定する。ノイズカット効果が優れていれば、要求を満たし、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信する。目標車両は、プッシュメッセージに応答し、現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替える。目標車両の現在のノイズカットアルゴリズムが目標ノイズカットアルゴリズムである場合、目標ノイズカットアルゴリズムを維持すればよい。
本実施例は目標ノイズカットアルゴリズムのプッシュ効果を特定することによって、目標ノイズカットアルゴリズムに自動的に切り替え、ユーザに感知させない。
上述の実施形態では、前記方法は、周期的に前記クラウドにモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、前記アップグレードパッケージを実行し、前記モデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む。
好ましくは、クラウドは、自車から送信されたモデルライブラリのバージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行う。例えば、設定時間の間隔を置いた後、最新バージョンのダウンロードパスを再配布する、又は運営・メンテナンス人員にエラーを報告する。
説明すべきものとして、上述の方法は周期的な操作であり、自車の走行中に操作することができ、自車が静止する時に操作することもできる。周期的にモデルライブラリのバージョンをアップグレードすることにより、多くの場合直接モデルライブラリを介して音声ノイズカットを行うことができ、コストを低減させる。
図2は本願の実施例に係る音声ノイズ除去システムの構造模式図であり、自車、目標車両及びクラウドを含む。
自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられる。
前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられる。
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
好ましくは、前記クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のモデルライブラリにリターンするために用いられる。
好ましくは、前記クラウドは、自車から送信されたモデルライブラリのバージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる。
図3は本願の実施例に係る他の音声ノイズ除去システムの構造模式図であり、自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含む。図3では自車と4台の候補車両は同じ方向の3つの車道に走行している。
前記自車は、自車の走行中のノイズを採集して、前記ノイズの特徴情報を抽出するために用いられ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得して、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加する。
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられる。
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
上述の音声ノイズ除去システムの説明は上述の各実施例の説明を参照することができるため、ここでは説明を省略する。
なお、上述したのは本願の好ましい実施例及び運用される技術原理に過ぎず当業者であれば理解されるように、本願はここで述べた特定する実施例に限定されるものではなく、当業者であれば本願の保護範囲から逸脱することなく、様々な明らかな変化、再調整及び代替を行うことができる。したがって、上記実施例によって本願をより詳細に説明したが、本願は上記実施例に限定されるものではなく、本願の構想から逸脱することなく、さらに多くの他の等価実施例を含むことができ、本願の保護範囲は添付する特許請求の範囲によって決定される。

Claims (10)

  1. 車載端末に適用される音声ノイズ除去方法であって、
    自車の走行中のノイズを採集し、前記ノイズの特徴情報を抽出することと、
    自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
    前記目標車両のモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加することとを含み、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含み、
    前記モデルライブラリに、前記特徴情報と前記目標ノイズカットアルゴリズムとの対応関係が記憶されている
    ことを特徴とする音声ノイズ除去方法。
  2. 記目標車両から前記目標ノイズカットアルゴリズムを要求した後、
    前記目標車両のモデルライブラリに前記目標ノイズカットアルゴリズムが存在しない場合、前記目標ノイズカットアルゴリズムをクラウドに要求することと、
    前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドを介して前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のモデルライブラリに追加することとをさらに含み、
    前記目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドにより前記ノイズの特徴情報をノイズ解消して得られる、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  3. 前記自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
    センサの採集情報及び道路状況情報によって、自車の走行環境を特定することと、
    前記自車の走行環境及び車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンすることとを含む、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  4. 記自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
    前記自車とは設定距離範囲内にある少なくとも1台の候補車両を探索し、各前記候補車両と通信接続を確立することと、
    前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から車内環境が自車とマッチングする目標車両を特定することと、
    前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することとを含む、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  5. 前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、
    ノイズ除去処理を行った後の音声のSN比及び/又は前記自車ユザの評価情報により、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、
    前記ノイズカット効果が要求を満たす場合、前記目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、
    前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  6. 周期的にクラウドにモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、
    前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、
    前記アップグレードパッケージを実行し、前記モデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む、
    請求項1~5のいずれか1項に記載の音声ノイズ除去方法。
  7. 自車、目標車両及びクラウドを含み、
    前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報により自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
    前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられ、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、
    ことを特徴とする音声ノイズ除去システム。
  8. 前記クラウドは前記ノイズの特徴情報に対してノイズ解消を行って目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のモデルライブラリにリターンするために用いられる、
    ことを特徴とする請求項7に記載の音声ノイズ除去システム。
  9. 前記クラウドは、自車から送信されたモデルライブラリのバージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、最新バージョンのダウンロードパスを前記自車にリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる、
    ことを特徴とする請求項7又は8に記載の音声ノイズ除去システム。
  10. 自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含み、
    前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の走行環境及び車内環境を取得し、前記候補車両から走行環境及び車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
    前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に走行環境及び車内環境と、前記目標ノイズカットアルゴリズムを送信するために用いられ、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、
    ことを特徴とする音声ノイズ除去システム。
JP2021069324A 2020-12-11 2021-04-15 音声ノイズ除去方法及びシステム Active JP7153759B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011449222.3A CN112735457B (zh) 2020-12-11 2020-12-11 语音去噪方法和***
CN202011449222.3 2020-12-11

Publications (2)

Publication Number Publication Date
JP2022093229A JP2022093229A (ja) 2022-06-23
JP7153759B2 true JP7153759B2 (ja) 2022-10-14

Family

ID=75599267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021069324A Active JP7153759B2 (ja) 2020-12-11 2021-04-15 音声ノイズ除去方法及びシステム

Country Status (2)

Country Link
JP (1) JP7153759B2 (ja)
CN (1) CN112735457B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257272A (zh) * 2021-06-29 2021-08-13 深圳小米通讯技术有限公司 语音信号处理方法、装置、电子设备及存储介质
CN113628632A (zh) * 2021-07-26 2021-11-09 北京佳讯飞鸿电气股份有限公司 语音降噪方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372690A1 (en) 2016-06-24 2017-12-28 GM Global Technology Operations LLC Method, system and apparatus for addressing road noise
JP2019151323A (ja) 2018-02-28 2019-09-12 ハーマン インターナショナル インダストリーズ インコーポレイテッド 連続的に最適化されるロードノイズキャンセレーションのための方法及び機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3248191B1 (en) * 2015-01-20 2021-09-29 Dolby Laboratories Licensing Corporation Modeling and reduction of drone propulsion system noise
US10304329B2 (en) * 2017-06-28 2019-05-28 Zendrive, Inc. Method and system for determining traffic-related characteristics
WO2019044157A1 (ja) * 2017-08-30 2019-03-07 パナソニックIpマネジメント株式会社 収音装置、収音方法、及びプログラム
CN110197670B (zh) * 2019-06-04 2022-06-07 大众问问(北京)信息科技有限公司 音频降噪方法、装置及电子设备
CN110223669A (zh) * 2019-07-01 2019-09-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 汽车噪音的处理方法、装置和***
CN111128192A (zh) * 2019-12-31 2020-05-08 深圳市优必选科技股份有限公司 语音识别降噪方法、***、移动终端及存储介质
CN112053701A (zh) * 2020-09-11 2020-12-08 北京小米移动软件有限公司 拾音控制方法、装置、***、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372690A1 (en) 2016-06-24 2017-12-28 GM Global Technology Operations LLC Method, system and apparatus for addressing road noise
JP2019151323A (ja) 2018-02-28 2019-09-12 ハーマン インターナショナル インダストリーズ インコーポレイテッド 連続的に最適化されるロードノイズキャンセレーションのための方法及び機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[初心者向けクラウド講座]クラウドとは?今さら聞けない基本用語を分かりやすく解説,日本,株式会社div,2020年08月10日,[オンライン],[検索日 2022.5.9],インターネット:<URL:https://web.archive.org/web/20200810021616/https://tech-camp.in/note/technology/81880/>
総務省 安心してインターネットを使うために 国民のための情報セキュリティサイト,日本,総務省,2013年07月09日,[オンライン],[検索日 2022.5.9],インターネット:<URL:https://web.archive.org/web/20130709182654/https://www.soumu.go.jp/main_sosiki/joho_tsusin/security/basic/service/13.html>

Also Published As

Publication number Publication date
JP2022093229A (ja) 2022-06-23
CN112735457B (zh) 2022-05-17
CN112735457A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
KR102378859B1 (ko) 맵 궤적 매칭 데이터의 품질을 결정하는 방법, 장치, 서버 및 매체
CN108974009B (zh) 用于自动驾驶控制的方法、介质和***
JP7153759B2 (ja) 音声ノイズ除去方法及びシステム
EP3667638B1 (en) Traffic lane information management method, running control method, and traffic lane information management device
US10817736B2 (en) System and methods for identifying unoccupied parking positions
US11042159B2 (en) Systems and methods for prioritizing data processing
US11361555B2 (en) Road environment monitoring device, road environment monitoring system, and road environment monitoring program
US20200175863A1 (en) Information providing system, server, onboard device, vehicle, storage medium, and information providing method
WO2023201964A1 (zh) 一种跟车目标确定方法、装置、设备及介质
US20210229657A1 (en) Detection of vehicle operating conditions
JP2020126357A (ja) 交通管理システム、制御方法、及び車両
CN112238862A (zh) 用于自主驾驶平台的开放和安全监视***
JP2018189457A (ja) 情報処理装置
US11631328B2 (en) Determination device, determination method, and non-transitory computer readable storage medium storing determining program
US20210183173A1 (en) Automotive Data Processing System with Efficient Generation and Exporting of Metadata
US11572731B2 (en) Vehicle window control
CN111033423B (zh) 用于评估自动驾驶车辆的定位***的方法
US20220351553A1 (en) Indexing sensor data about the physical world
JP7115872B2 (ja) ドライブレコーダ、及び画像記録方法
WO2022113261A1 (ja) 情報収集システム、サーバ、車両、方法、及びコンピュータ可読媒体
WO2019116537A1 (ja) 情報取得方法、情報取得装置、車載装置、路上センサ装置、及び情報取得システム
JP2015125724A (ja) 運転補助装置、運転特性管理サーバおよび運転補助システム
JP7405795B2 (ja) 車載情報処理装置、情報処理装置、および情報処理方法
JP7331399B2 (ja) センサ設備装置及びその制御方法、車載装置及びその制御方法、並びに交通支援システム
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7153759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150