JP2014181988A

JP2014181988A - オーディオ装置

Info

Publication number: JP2014181988A
Application number: JP2013056348A
Authority: JP
Inventors: Minoru Matsui; 実松井
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2013-03-19
Filing date: 2013-03-19
Publication date: 2014-09-29

Abstract

【課題】車室内でのラジオ放送などのタイムシフト再生において、マイクを用いてノイズなどの不要音を検出しタイムシフト再生の開始タイミングを制御することにより、不要音の重畳による聞き逃しの発生を防ぐオーディオ装置を提供することを目的とする。
【解決手段】本発明のオーディオ装置は、外部音源を入力する外部音源入力部１００と、この出力を録音する記憶部１３０と、外部音源入力部１００と記憶部１３０とナビゲーション制御部１４０の出力を切り替える切替出力部１１０と、切替出力部１１０の出力を再生するスピーカ１５０と、車室内用のマイク２０１と、マイク出力から車室内の音の状態を判定する判定部２０２と、判定部２０２とナビゲーション制御部１４０からの信号を用いて記憶部１３０と切替出力部１１０を制御するオーディオ制御部１２０と、有する。
【選択図】図１

Description

本発明はオーディオ装置、特に車載用のオーディオ装置に関するものである。

従来の車載オーディオ装置には、例えば、ラジオ放送を受信中にナビゲーションの音声案内を聞き取りやすくするために、ラジオ放送の音声をミュートすると同時に録音することによって、ナビゲーションの音声案内が終わってから録音されたラジオ放送の音声をタイムシフト再生して、ラジオの放送内容を聞き逃さないようにしているものが知られている（例えば特許文献１参照）。

特許第４６１８１６３号公報（第９頁、第１図）

しかしながら、従来の車載オーディオ装置においては、例えば、ラジオ放送の音声をミュートしてナビゲーションの音声案内を再生した後に、ミュート期間中に録音されたラジオの放送内容をタイムシフト再生するが、車室内のノイズ、例えば、ロードノイズ、風切り音、エアコン送風音、会話音声など（以下、不要音という）が大きい場合には、聞き逃しを防ぐためのタイムシフト再生であるにもかかわらず、聞き逃しが発生するという問題があった。

本発明は、従来の問題を解決するためになされたもので、車室内に設置されたマイクを用いて不要音を検出し、タイムシフト再生の開始タイミングを制御することにより、不要音の重畳による聞き逃しの発生を防ぐタイムシフト再生ができるオーディオ装置を提供することを目的とする。

上記目的を達成するために本発明は、オーディオ制御部が、所定条件に応じて切替出力部から出力していた音源の出力信号をミュートさせるとともに記憶部に音源の出力信号の録音を開始し、不要音の聴感上特性に応じて記憶部に録音された信号のタイムシフト再生の開始を制御することを特徴とする。

本発明によれば、車室内に設置されたマイクを用いて不要音を検出し、タイムシフト再生の開始タイミングを制御することにより、不要音の重畳による聞き逃しの発生を防ぐタイムシフト再生ができる効果を奏する。

本発明の実施の形態１におけるオーディオ装置のブロック図本発明の実施の形態１における時間波形例を示す図本発明の実施の形態２におけるオーディオ装置のブロック図本発明の実施の形態２における時間波形例を示す図本発明の実施の形態３における時間波形例を示す図

（実施の形態１）
以下、本発明の実施の形態１におけるオーディオ装置について図面を参照しながら説明する。

図１は本発明の実施の形態１におけるオーディオ装置のブロック図である。図１において、オーディオ装置は、例えば、車室内において、外部音源入力部１００から入力された音源を、切替出力部１１０において所望の音源に切り替えて、スピーカ１５０から再生される構成となっており、車室内に設置されたマイク２０１によって収音した車室内の音の情報を元に判定部２０２において判定を行い、オーディオ制御部１２０に対してタイムシフト再生の開始タイミングを制御する構成である。

図１に示すように、外部音源入力部１００は、ラジオ１０１、ネットワークオーディオ１０２、メディア１０３の各種音源を有しており、これらの各種音源から音声データが切替出力部１１０と記憶部１３０に入力される。記憶部１３０はオーディオ制御部１２０からの制御にもとづき、タイムシフト再生を行う音源について録音を行うと同時に、タイムシフト再生中には、切替出力部１１０に対して、タイムシフト再生用の音声データを出力する。

切替出力部１１０は、外部音源入力部１００の出力信号と、記憶部１３０の出力信号と、ナビゲーション制御部１４０の出力信号、すなわち、割り込み音声と、が接続され、オーディオ制御部１２０からの制御にもとづいて音声データの切り替えを行い、スピーカ１５０に出力する。

マイク入力判定ブロック２００の入力となるマイク２０１は、車室内の音、すなわち、スピーカ１５０から出力される音声データ（以下、所望音という）と、スピーカ１５０から出力される音以外、すなわち、ロードノイズ、風切り音、エアコン送風音、会話音声など（以下、不要音という）を収音する。

判定部２０２は、マイク２０１で収音された信号から、車室内のノイズレベルの判定を行い、その判定結果をオーディオ制御部１２０へ通知する。

ナビゲーション制御部１４０は、音声案内や、音声認識や、ユーザーによるミュートスイッチの状態に応じて、ミュート情報をオーディオ制御部１２０に対して通知し、音声案内を再生する際には、切替出力部１１０へ音声案内の音声データを出力する。

なお、オーディオ制御部１２０と、ナビゲーション制御部１４０は、音声データをリアルタイムに制御するため、たとえば、ＣＰＵや、ＲＯＭ、ＲＡＭなどを有したマイコンが用いられる。また、記憶部１３０は、記憶手段として、たとえば、ハードディスクドライブや、フラッシュメモリなどが用いられる。また、外部音源入力部１００として、ラジオ１０１、ネットワークオーディオ１０２、メディア１０３を示したが、これらの音源に限定されるものではない。また、ナビゲーション制御部からの音声として、音声案内の音声データを示したが、ハンズフリー電話の音声データなども含まれるので、以下では割り込み音声として説明する。

以上のように構成されたオーディオ装置について、以下にその処理動作を説明する。
図２は本発明の実施の形態１における音声データの時間波形を示した図である。図２（ａ）は、音源入力を示しており、例えば、ラジオを音源としている。図２（ｂ）は、ラジオの音声データがスピーカから出力される経過を示しており、ここでは、区間２と区間３ではラジオの音声データはミュートされて再生されず、区間４においてタイムシフト再生が行われている。図２（ｃ）は、割り込み音声の音声データのスピーカ出力を示している。
図２（ｄ）は、図１のブロック図で示した車室内のノイズなどの不要音を示している。図２（ｅ）は、判定部２０２へ入力されるマイク２０１で収音した信号、すなわち、図２（ｂ）のスピーカ出力（ラジオなど）と、図２（ｃ）のスピーカ出力（割り込み音声）と、図２（ｄ）の不要音（ノイズなど）が重畳されて収音された時間波形を示している。

まず、区間１は、ラジオ放送を受信して車室内でラジオ音声を聞いている状態である。次に、区間２は、例えば、音声案内などの割り込み音声が再生される状態である。割り込み音声を再生する時には、割り込み音声を聞き取りやすくするために、ナビゲーション制御部１４０から入力された割り込み信号の再生情報に基づいて、図２（ｂ）の区間２と区間３に示すように、オーディオ制御部１２０は切替出力部１１０に再生中の音源の音声データをミュートさせる。また、切替出力部１１０が音声データをミュートすると同時に、オーディオ制御部１２０は再生されていた音源の音声データの記憶部１３０への録音を開始する。次に、区間３は、割り込み音声の再生が終了した直後を示している。従来例では、割り込み音声の再生終了直後から、車室内の不要音（ノイズなど）のレベルにかかわらず、録音された音声データの再生が行われていたため、不要音が大きい場合には、タイムシフト再生した音声データが聞き取れない、という問題があった。それに対して、本実施の形態１では、割り込み音声の再生が終了し、音源の音声データはミュートされたままであり、かつ、タイムシフト再生が開始されていない状態であるため、マイク２０１で収音される信号は、図２（ｄ）の区間３に示される不要音（ノイズなど）のみである。ここで、判定区間として示されるように、例えば、ユーザーなどによって予め自由に設定されたしきい値と比較して、不要音の平均レベルが低いと判定されたら区間４への移行が行われる。最後に、区間４で、録音された音声データのタイムシフト再生が開始される。すなわち、オーディオ制御部１２０の命令によって音源の音声データを記憶部１３０に録音しながら、すでに録音されている音源データをタイムシフト再生することになる。

以上のように本実施の形態１によれば、車室内に設置されたマイクを用いて不要音を検出し、タイムシフト再生の開始タイミングを制御することにより、不要音の重畳による聞き逃しの発生を防ぐタイムシフト再生ができるオーディオ装置を提供することができる。（実施の形態２）
以下、本発明の実施の形態２におけるオーディオ装置について図面を参照しながら説明する。

図３は本発明の実施の形態２におけるオーディオ装置のブロック図である。

本実施の形態において、実施の形態１と同様の構成については同一符号を付し、その詳細な説明は省略する。実施の形態２と実施の形態１との相違点は、マイク入力判定ブロック３００である。ここで、マイク入力判定ブロック３００は、判定部３０２と、エコーキャンセルフィルタ用減算器３０３と、適応フィルタ３０４と、エコーキャンセルフィルタ３０５と、適応フィルタ用減算器３０６を有している。切替出力部１１０の出力信号は、適応フィルタ３０４と、エコーキャンセルフィルタ３０５に入力される。マイク２０１は、スピーカ１５０から出力された、音源からの音声データである所望音と、ノイズなどの不要音とを収音し、エコーキャンセルフィルタ用減算器３０３と、適応フィルタ用減算器３０６と、に入力される。エコーキャンセルフィルタ用減算器３０３は、マイク２０１の出力信号から、エコーキャンセルフィルタ３０５の出力信号を減算し、その出力信号は判定部３０２に入力される。また、適応フィルタ用減算器３０６は、マイク２０１の出力信号から、適応フィルタ３０４の出力信号を減算する。判定部３０２には、エコーキャンセルフィルタ３０５の出力信号と、エコーキャンセルフィルタ用減算器３０３の出力信号が入力され、判定結果はオーディオ制御部１２０に通知される。

次に、適応フィルタ３０４とエコーキャンセルフィルタ３０５を用いた、マイク入力信
号からの所望音と不要音の抽出方法について説明する。車室内の音響特性を推定する適応フィルタ３０４と、ハンズフリー通話でのエコーに相当するスピーカ１５０から出力される所望音をキャンセルするためのエコーキャンセルフィルタ３０５と、を有する。適応フィルタ３０４は、車室内の音響特性を推定するための参照信号として入力される切替出力部１１０の出力信号をもとに、推定した音響特性を畳み込んだ擬似エコーを出力する。適応フィルタ３０４は図示しないフィルタ係数の更新手段を有する。この更新手段は、適応フィルタ３０４の目標信号であるマイク２０１の出力信号と、適応フィルタ３０４の出力信号である所望音のエコーを推定した擬似エコーと、の誤差、すなわち、適応フィルタ用減算器３０６の出力信号を最小化するために、適応フィルタ３０４のフィルタ係数の更新を行う。この更新されたフィルタ係数は、エコーキャンセルフィルタ３０５に転送され、エコーキャンセルフィルタ３０５のフィルタ係数に設定される。エコーキャンセルフィルタ３０５には、切替出力部の出力信号、すなわち、スピーカから出力される信号が入力されることになり、エコーキャンセルフィルタ３０５の出力は、所望音のエコーを推定した信号となる。次に、エコーキャンセルフィルタ用減算器３０３において、所望音のエコーと不要音が加算された信号から、所望音のエコーが減算されるので、エコーキャンセルフィルタ用減算器３０３からの出力は、不要音が抽出されることになる。ここで、適応フィルタのフィルタ係数更新方法として、ＬＭＳアルゴリズム、学習同定法、ＲＬＳアルゴリズムなどの適応アルゴリズムを用いることができる。また、スピーカ１５０から何も出力されていない、すなわち、所望音が出力されていない状態では、適応フィルタ３０４のフィルタ係数の更新は一時停止され、もしくは、フィルタ係数の更新は停止されずにエコーキャンセルフィルタ３０５へのフィルタ係数の転送が一時停止されるなど、エコーキャンセラについて既知の係数更新方法を用いれば良い。例えば、Ｋ．Ｏｃｈｉａｉ，Ｔ．ＡｒａｓｅｋｉａｎｄＴ．Ｏｇｉｈａｒａ， ”ＥｃｈｏＣａｎｃｅｌｅｒｗｉｔｈＴｗｏＥｃｈｏＰａｔｈＭｏｄｅｌｓ”，ＩＥＥＥＴｒａｎｓ．ｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．ＣＯＭ−２５，Ｎｏ６，ｐｐ．５８９−５９５，Ｊｕｎｅ．１９７７や、中原，羽田，牧野，吉川，”音響エコーキャンセル装置におけるダブルトーク制御方式の検討”，音講論集３−７−５，Ｍａｒｃｈ．１９９２記載のフォアグラウンド／バックグラウンド構成などに示されている。

判定部３０２には、エコーキャンセルフィルタ３０５の出力、すなわち、所望音のエコーと、エコーキャンセルフィルタ用減算器３０３の出力、すなわち、不要音とが、入力される。

次に、図４に本発明の実施の形態２における音声データの時間波形を示す。ここで、図４（ａ）〜（ｄ）の音声データの時間波形については、実施の形態１の図２（ａ）〜（ｄ）の音声データの時間波形と同じであり、実施の形態１との相違点は、図４（ｅ）でのしきい値の設定方法である。図４（ｅ）は、判定部３０２に入力される、所望音と不要音の時間波形を示している。区間１は、ラジオ放送を受信して車室内でラジオ音声を聞いている状態であるが、区間１において判定部３０２は所望音の平均レベルを算出し、その平均レベルをしきい値とする。区間２においては、再生中の音源の音声データがミュートされると同時に記憶部への録音が開始される。次に、区間３では、オーディオ制御部１２０は区間１において算出したしきい値と比較して、不要音の相対的な平均レベルが低いと判定されたら区間４に移行する。最後に、区間４では、録音された音声データのタイムシフト再生を開始する。

以上のように本実施の形態２によれば、判定部３０２は所望音の平均レベルを算出して、不要音に対してしきい値を設定し判定することにより、この判定結果からオーディオ制御部１２０が様々な車室内の音の状況に応じた所望音のタイムシフト再生の開始タイミングを制御できることになり、不要音の重畳による聞き逃しの発生を防ぐことのできる環境を提供することができる。

なお、実施の形態１と実施の形態２では、割り込み音声の再生によって、オーディオ制御部１２０による再生中の音源の音声データのミュートやこれに伴う録音がなされたが、音声認識や、ユーザーによる音源の音声データの一時ミュート操作などに基づいてなされてもよい。
（実施の形態３）
以下、本発明の実施の形態３におけるオーディオ装置について図面を参照しながら説明する。図５に本発明の実施の形態３における音声データの時間波形を示す。
ここで、図５（ａ）、（ｂ）、（ｃ）の音声データの時間波形については、実施の形態２の図４（ａ）、（ｂ）、（ｄ）の音声データの時間波形と同じであり、実施の形態２との相違点は、割り込み音声の有無である。実施の形態１と実施の形態２では、ラジオ１０１が取得した音源データに基づいて車室内でラジオ等を聞いている状態で、割り込み音声が再生されることで、再生中の音源の音声データがミュートされ、割り込み音声の終了後にミュートされていた音源の音声データがタイムシフト再生される。それに対して、本実施の形態３では、割り込み音声が再生されない状態でも、判定部３０２がつねに所望音と不要音の平均レベルとしきい値を算出し、オーディオ制御部１２０は、この算出結果に基づいて所望音が聞き取りにくい状態であれば、所望音の音声データをミュートすると同時に記憶部１３０に録音する制御を行う。その後、不要音の相対的な平均レベルがしきい値より低下した時点で、オーディオ制御部１２０は、タイムシフト再生の開始を制御することにより、聞き逃しを避けることができる。具体的には、図５（ｄ）において、区間１は、ラジオ１０１で受信したラジオ音声を車室内でが再生されている状態であるが、区間１において判定部３０２は所望音と不要音の平均レベルを算出し、所望音の平均レベルをしきい値として、不要音の相対的な平均レベルがしきい値を超えない区間であれば、オーディオ制御部１２０は、所望音の音源データのミュートは行わない。次に、不要音の相対的な平均レベルがしきい値を超えると区間２に移行し、再生中の音源の音声データがミュートされると同時に記憶部への録音が開始される。次に、区間２では、区間１において算出されたしきい値との比較によって、不要音の相対的な平均レベルが低いと判定されたら区間３に移行する。最後に、区間３では、オーディオ制御部１２０は、録音された音声データのタイムシフト再生を開始する。

以上のように本実施の形態３によれば、割り込み音声の有無にかかわらず、判定部３０２がつねに所望音の平均レベルを算出して、不要音に対してしきい値を設定し判定することにより、オーディオ制御部１２０は、様々な車室内の音の状況に応じた所望音のミュートとタイムシフト再生の開始タイミングを制御できることになり、不要音の重畳による聞き逃しの発生を防ぐことのできる環境を提供することができる。

なお、ここで、聞き逃しの発生しない条件として、所望音の平均レベルをしきい値として、不要音の相対的な平均レベルがしきい値より小さい状態であること、としているが、例えば、所望音と不要音のそれぞれの周波数特性を算出し、各周波数帯における相対的なレベル差がある一定以上であればよい、というような聴感上の特性を利用した条件にしてもよい。

本発明のオーディオ装置は、車室内に設置されたマイクを用いて不要音を検出し、例えば、ラジオ放送の音声のタイムシフト再生の開始タイミングを制御することにより、不要音の重畳による聞き逃しの発生を防ぐ車載用のオーディオ装置として特に有用である。

１００外部音源入力部
１０１ラジオ
１０２ネットワークオーディオ
１０３メディア
１１０切替出力部
１２０オーディオ制御部
１３０記憶部
１４０ナビゲーション制御部
１５０スピーカ
２００、３００マイク入力判定ブロック
２０１マイク
２０２、３０２判定部
３０３エコーキャンセルフィルタ用減算器
３０４適応フィルタ
３０５エコーキャンセルフィルタ
３０６適応フィルタ用減算器

Claims

外部からの音源を入力する外部音源入力部と、前記外部音源入力部の出力信号を録音する記憶部と、前記外部音源入力部からの出力信号と前記記憶部からの出力信号とナビゲーション制御部から出力される割り込み音声とを切り替えて出力する切替出力部と、前記切替出力部からの出力信号を再生するスピーカと、車室内の音を収音するためのマイクと、前記マイクで収音された信号から車室内の音の状態を判定する判定部と、前記判定部からの制御信号と前記ナビゲーション制御部からの制御信号とを用いて前記記憶部と前記切替出力部とを制御するオーディオ制御部とを備え、前記オーディオ制御部は、所定条件に応じて前記切替出力部から出力していた音源の出力信号をミュートさせるとともに前記記憶部に前記音源の出力信号の録音を開始し、不要音の聴感上の特性に応じて前記記憶部に録音された信号のタイムシフト再生の開始を制御することを有することを特徴とするオーディオ装置。
前記オーディオ制御部は、前記割り込み音声の再生開始時に前記切替出力部から出力していた音源の出力信号をミュートさせるとともに前記記憶部に前記音源の出力信号の録音を開始し、前記割り込み音声の再生終了後に前記判定部からの制御信号を用いて前記記憶部に録音された信号のタイムシフト再生を開始する制御を行うことを特徴とする請求項１に記載のオーディオ装置。
前記判定部は、前記割り込み音声の再生終了後に、入力信号のレベルと予め設定されたしきい値とを比較して、この比較結果に基づいて前記オーディオ制御部はタイムシフト再生の開始タイミングを制御することを特徴とする請求項２に記載のオーディオ装置。
前記切替出力部の出力信号をそれぞれ入力とする適応フィルタとエコーキャンセルフィルタと、前記マイクが収音した信号から前記適応フィルタの出力を減算する適応フィルタ用減算器と、前記適応フィルタ用減算器の出力信号を用いてフィルタ係数を更新する更新手段と、前記エコーキャンセルフィルタの出力信号を前記マイクが収音した信号から減算するエコーキャンセルフィルタ用減算器とをさらに備え、前記判定部は、前記エコーキャンセルフィルタの出力信号と前記エコーキャンセルフィルタ用減算器の出力信号とに基づいて車室内の音の状態を判定することを特徴とする請求項２に記載のオーディオ装置。
前記判定部は、前記エコーキャンセルフィルタの出力信号からしきい値を算出し、前記オーディオ制御部は、前記割り込み音声の再生終了後に前記エコーキャンセルフィルタ用減算器の出力信号を前記しきい値と比較してタイムシフト再生の開始タイミングを制御すること、を特徴とする請求項４に記載のオーディオ装置。
前記切替出力部の出力信号をそれぞれ入力とする適応フィルタとエコーキャンセルフィルタと、前記マイクが収音した信号から前記適応フィルタの出力を減算する適応フィルタ用減算器と、前記適応フィルタ用減算器の出力信号を用いてフィルタ係数を更新する更新手段と、前記エコーキャンセルフィルタの出力信号を前記マイクが収音した信号から減算するエコーキャンセルフィルタ用減算器とをさらに備え、
前記判定部は、前記エコーキャンセルフィルタの出力信号からしきい値を算出し、前記オーディオ制御部は、前記エコーキャンセルフィルタ用減算器の出力信号を前記しきい値と比較して、前記出力信号が前記しきい値を超えた場合、前記切替出力部の出力信号をミュートし、その後前記出力信号が前記しきい値より低くなった場合、タイムシフト再生の開始を制御することを特徴とする請求項１に記載のオーディオ装置。