JP6984559B2 - 集音拡声装置、その方法、およびプログラム - Google Patents
集音拡声装置、その方法、およびプログラム Download PDFInfo
- Publication number
- JP6984559B2 JP6984559B2 JP2018145953A JP2018145953A JP6984559B2 JP 6984559 B2 JP6984559 B2 JP 6984559B2 JP 2018145953 A JP2018145953 A JP 2018145953A JP 2018145953 A JP2018145953 A JP 2018145953A JP 6984559 B2 JP6984559 B2 JP 6984559B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- gain
- loudspeaker
- seat
- listener
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000000694 effects Effects 0.000 claims description 18
- 230000003111 delayed effect Effects 0.000 claims description 12
- 230000001934 delay Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G2201/00—Indexing scheme relating to subclass H03G
- H03G2201/10—Gain control characterised by the type of controlled element
- H03G2201/103—Gain control characterised by the type of controlled element being an amplifying element
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、マイクロホンとスピーカを用いて車両内の会話を円滑に行う集音拡声技術に関する。
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献1参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。インカーコミュニケーションにおいては、図1のように話者音声の拡声用のスピーカ92F,92Rを座席に座る聴取者の耳元に設置するのが、少ない音量で音声を提示できるため効果的である。
"「インテリジェントマイク for car」の技術について"、[online]、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
しかしながら、図1の場合、後席の人にとっては、前席の声が自分の頭の後ろから聞こえることになり、位置関係に違和感が生じる。この違和感を解消するためには音像を後席の人よりも前に出す必要があり、そのためには、スピーカ92Rを後席の人よりも前に設置する方法が考えられる(図2参照)。しかしながら、後席の人の耳からスピーカ92Rが遠くなるのでその分スピーカ92Rから大きな音を出さなくてはならず、後席近くのマイク91Rに音が入ってハウリングの原因となってしまう。
本発明は、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置、その方法、およびプログラムを提供することを目的とする。
上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、第一拡声装置と、第二拡声装置と、聴取者との位置関係から得られる、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させる遅延部と、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、1以上のマイクロホンで集音された信号から目的音を強調する目的音強調部と、強調した目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、強調した目的音は、強調していない目的音に対して遅延を伴い、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には2つ以上の集音拡声位置が想定されるものとし、第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、第二対象者を基準として第一対象者とは異なる方向である位置に設置された第二スピーカと、第二対象者を基準として第一対象者の方向に設置された第一スピーカと、を含み、第一スピーカと第二スピーカは、第一マイクロホンにより集音された第一対象者から発せられた音を、第二スピーカから放音された音よりも第一スピーカから放音された音が先に第二対象者の耳に到達するよう放音する。
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、車両内の第二の座席を基準として第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、第二の座席を基準として第一の座席の方向とは異なる方向かつ第一スピーカよりも第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ第二のユーザが聞き取りやすい強さでかつ第一スピーカの放音開始よりも後の時間に音響信号の放音を開始するよう制御する。
本発明によれば、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができるという効果を奏する。
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
<第一実施形態のポイント>
本実施形態では、音像を前方に出すために先行音効果を利用する(参考文献1参照)。
(参考文献1)日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
本実施形態では、音像を前方に出すために先行音効果を利用する(参考文献1参照)。
(参考文献1)日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
先行音効果とは、同じ性質の音をほぼ同時に聞いた場合に、先に聞こえた音の方向のみに音像を知覚するという現象である。この効果を利用するための構成は図3のようになる。ただし、単純に先行音効果を狙ったスピーカ92R−1を配置するだけでは、ハウリングが起きやすい状況に変わりはない。そのため、ハウリングが起きないようなゲイン調整の手段も提案する。
<第一実施形態>
図4は第一実施形態に係る集音拡声装置の機能ブロック図を、図5はその処理フローを示す。
図4は第一実施形態に係る集音拡声装置の機能ブロック図を、図5はその処理フローを示す。
集音拡声装置は、目的音強調部110−1,110−2と、遅延部130と、ゲイン調整部120,140とを含む。
本実施形態では、集音拡声装置が搭載される車両は、図3のような構造とし、3列シートを備える。さらに、本実施形態の車両は、主に1列目の話者の音声を集音するマイク91Fと、主に3列目の話者の音声を集音するマイク91Rとを備える。マイク91F、91Rは、それぞれM個のマイクロホンで構成される。なお、F,Rはそれぞれ車両の進行方向に対して前方、後方を示すインデックスである。さらに、本実施形態の車両は、1列目の座席の聴取者に対して音を再生するスピーカ92Fと、3列目の座席の聴取者に対して音を再生するスピーカ92R−1,92R−2とを備える。スピーカ92R−1は3列目の座席に座る聴取者からみて1列目の座席と同じ方向(前方)に配置されており、スピーカ92R−2は3列目の座席に座る聴取者からみて1列目の座席とは異なる方向(後方)に配置されている。なお、同じ方向とは、厳密に同じ方向を意味するのではなく、音像の違和感を感じずらい方向を意味する。同様に、異なる方向とは、音像の違和感を生じやすい方向を意味する。各スピーカ92F,92R−1,92R−2はそれぞれN個のスピーカで構成される。ただし、Nは1以上の整数の何れかであり、再生信号のチャネル数を表す。
集音拡声装置は、車両内に設置された2つのマイク91F,91Rで集音して得られる集音信号XF=[XF,1,…,XF,M],XR=[XR,1,…,XR,M]と、車載用音響装置(例えば、カーオーディオ等)のスピーカ93で再生される再生信号(例えば、オーディオ信号)XC=[XC,1,…,XC,S]とを入力とし、車両内に設置された3つのスピーカ92F,92R−1,92R−2で再生される再生信号YF=[YF,1,…,YF,N],YR1=[YR1,1,…,YR1,N],YR2=[YR2,1,…,YR2,N]を生成し、出力する。なお、Sは、車載用音響装置のスピーカ93で再生される再生信号のチャネル数を表す。
集音拡声装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。
以下、各部について説明する。
<目的音強調部110−1>
目的音強調部110−1は、マイク91Fで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部110−2で生成された1列目の座席のスピーカ92Fで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ93で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音(前方の座席から発せられる音)を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
目的音強調部110−1は、マイク91Fで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部110−2で生成された1列目の座席のスピーカ92Fで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ93で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音(前方の座席から発せられる音)を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
図6は目的音強調部110−1の機能ブロック図を示す。
目的音強調部110−1は、指向性集音部110−1−1と、エコーキャンセラ部110−1−2と、ハウリング抑圧部110−1−3とを含む。以下、各部について説明する。
(指向性集音部110−1−1)
指向性集音部110−1−1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音(前方の座席から発せられる音)を強調した強調信号X'Fを求め(S110−1−1)、出力する。
指向性集音部110−1−1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音(前方の座席から発せられる音)を強調した強調信号X'Fを求め(S110−1−1)、出力する。
なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
(エコーキャンセラ部110−1−2)
エコーキャンセラ部110−1−2は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ93で再生される音成分やスピーカ92Fで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め(S110−1−2)、出力する。
エコーキャンセラ部110−1−2は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ93で再生される音成分やスピーカ92Fで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め(S110−1−2)、出力する。
図7は、エコーキャンセラ部110−1−2の機能ブロック図を示す。
エコーキャンセラ部110−1−2は、第一適応フィルタ部110−1−2−1と、第一減算部110−1−2−2と、第二適応フィルタ部110−1−2−3と、第二減算部110−1−2−4とを含む。
第一適応フィルタ部110−1−2−1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY1を生成し、出力する。
第一減算部110−1−2−2は、強調信号X'Fと第一擬似エコーY1とを入力とし、強調信号X'Fから第一擬似エコーY1を減算し、強調信号X'F,1を得、出力する。なお、全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。例えば、Nチャネルの再生信号XC,n(n=1,2,…,N)をそれぞれフィルタリングしたNチャネルの第一擬似エコーY1,n(ただしY1=[Y1,1,…,Y1,N])をそれぞれ強調信号X'Fから減算してもよいし、Nチャネルの第一擬似エコーY1,nの総和を強調信号X'Fから減算してもよい。
第二適応フィルタ部110−1−2−3は、再生信号YFを入力とし、第二適応フィルタを用いて再生信号YFをフィルタリングし、第二擬似エコーY2を生成し、出力する。
第二減算部110−1−2−4は、強調信号X'F,1と第二擬似エコーY2とを入力とし、強調信号X'F,1から第二擬似エコーY2を減算し、強調信号X"Fを得、出力する。第一減算部110−1−2−2と同様に全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。
さらに、第一適応フィルタ部110−1−2−1は、エコー成分を消去した強調信号X"F(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Fを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110−1−2−3は、強調信号X"Fを入力とし、再生信号YFと強調信号X"Fを用いて第二適応フィルタを更新する。
適応フィルタの更新方法としては様々な方法がある。例えば、参考文献2記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
(参考文献2)大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
(参考文献2)大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
なお、上述のエコー消去方法に限らず、どのような方法によりエコー成分を消去してもよい。例えば、特開2010-187086号公報のエコー消去技術を用いることができる。
(ハウリング抑圧部110−1−3)
ハウリング抑圧部110−1−3は、強調信号X"Fを入力とし、ハウリング成分を抑圧し(S110−1−3)、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
ハウリング抑圧部110−1−3は、強調信号X"Fを入力とし、ハウリング成分を抑圧し(S110−1−3)、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
<目的音強調部110−2>
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
図8は目的音強調部110−2の機能ブロック図を示す。
目的音強調部110−2は、指向性集音部110−2−1と、エコーキャンセラ部110−2−2と、ハウリング抑圧部110−2−3とを含む。以下、各部について説明する。
(指向性集音部110−2−1)
指向性集音部110−2−1は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音(後方の座席から発せられる音)を強調した強調信号X'Rを求め(S110−2−1)、出力する。指向性集音部110−1−1と同様の方法により強調信号を求めればよい。
指向性集音部110−2−1は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音(後方の座席から発せられる音)を強調した強調信号X'Rを求め(S110−2−1)、出力する。指向性集音部110−1−1と同様の方法により強調信号を求めればよい。
(エコーキャンセラ部110−2−2)
エコーキャンセラ部110−2−2は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
エコーキャンセラ部110−2−2は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
図9は、エコーキャンセラ部110−2−2の機能ブロック図を示す。
エコーキャンセラ部110−2−2は、第一適応フィルタ部110−2−2−1と、第一減算部110−2−2−2と、第二適応フィルタ部110−2−2−3と、第二減算部110−2−2−4とを含む。
第一適応フィルタ部110−2−2−1は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY'1を生成し、出力する。
第一減算部110−2−2−2は、強調信号X'Rと第一擬似エコーY'1とを入力とし、強調信号X'Rから第一擬似エコーY'1を減算し、強調信号X'R,1を得、出力する。
第二適応フィルタ部110−2−2−3は、再生信号YRを入力とし、第二適応フィルタを用いて再生信号YRをフィルタリングし、第二擬似エコーY'2を生成し、出力する。
第二減算部110−2−2−4は、強調信号X'R,1と第二擬似エコーY'2とを入力とし、強調信号X'R,1から第二擬似エコーY'2を減算し、強調信号X"Rを得、出力する。
さらに、第一適応フィルタ部110−2−2−1は、エコー成分を消去した強調信号X"R(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Rを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部110−2−2−3は強調信号X"Rを入力とし、再生信号YRと強調信号X"Rを用いて第二適応フィルタを更新する。第一適応フィルタ部110−1−2−1等と同様の方法により適応フィルタの更新すればよい。
(ハウリング抑圧部110−2−3)
ハウリング抑圧部110−2−3は、強調信号X"Rを入力とし、ハウリング成分を抑圧し(S110−2−3)、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部110−1−3と同様の方法によりハウリング成分を抑圧すればよい。
ハウリング抑圧部110−2−3は、強調信号X"Rを入力とし、ハウリング成分を抑圧し(S110−2−3)、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部110−1−3と同様の方法によりハウリング成分を抑圧すればよい。
<遅延部130>
遅延部130は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者との位置関係から得られる、スピーカ92R−2に対するスピーカ92R−1の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ(S130)、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者の位置関係から計算される。仮に図10のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms〜2ms程度の値とする。
遅延部130は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者との位置関係から得られる、スピーカ92R−2に対するスピーカ92R−1の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ(S130)、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ92R−1とスピーカ92R−2と、後部座席に座る聴取者の位置関係から計算される。仮に図10のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms〜2ms程度の値とする。
<ゲイン調整部120,140>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
ゲイン調整部140は、遅延させた再生信号Y'R=[Y'R,1,…,Y'R,N]を入力とし、ゲインα2を乗じ(S140)、出力する。スピーカ92R−2は、ゲインα2を乗じた再生信号YR2(=α2Y'R)を再生する。
なお、ゲイン調整部120はゲインα1を小さな値に調整し、ゲイン調整部140はゲインα2を大きな値に調整する。先行音効果を狙うスピーカ92R−1の音量は、音の定位さえ引っ張れればよいので 音の中身がわかるほど大音量である必要はなく、受聴位置に近いスピーカ92R−2で「聞き取りやすい」音量を実現する。もちろん先行音も大きいほうが聞き取りやすいが、スピーカ92R−1は受聴位置から遠い(=相対的には受聴位置寄りのスピーカ92R−2よりマイク91Rに近いことに相当)ので、その音量を抑えた方がハウリングを抑圧する効果が高い。以下、調整方法を説明する。
(1)まず、ゲイン調整部140は、ミュート(ゲインα2=0)とし、ゲイン調整部120は、ゲインα1を変化させ、調整用目的音にゲインα1を乗じてスピーカ92R−1で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα1L、ハウリングしない範囲の最大のゲインをα1Hとしたときに
α1=min(α1L・β1L,α1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L,β1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β1L=2.0)などであり、β1Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す(先行音の効果のみを狙う)とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
α1=min(α1L・β1L,α1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L,β1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β1L=2.0)などであり、β1Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す(先行音の効果のみを狙う)とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
(2)次に、ゲイン調整部120は、ミュート(ゲインα1=0)とし、ゲイン調整部140は、ゲインα2を変化させ、調整用目的音にゲインα2を乗じてスピーカ92R−2で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα2L、ハウリングしない範囲の最大のゲインをα2Hとしたときに
α2=min(α2L・β2L,α2H・β2H)
のように定める。β2L,β2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β2L=2.0)などであり、β2Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
α2=min(α2L・β2L,α2H・β2H)
のように定める。β2L,β2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも(走行音などが加わっても)聞き取れるように音量の余裕を見る量で、たとえば+6dB(β2L=2.0)などであり、β2Hはノイズが発生した際にも(環境変化などによる)ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
(3)上述の(1)(2)で求めたα1,α2を両方ONにした系でハウリングしないかを確認する。言い換えると、α1,α2を用いてスピーカ92R−1,92R−2から調整用目的音を再生し、ハウリングしないかを確認する。ハウリングが発生する場合には、β1H,β2Hに0より大きく1より小さい所定の値γ(たとえば-3dB、γ=0.70)を乗じて、新たなマージンβ1H←γβ1H,β2H←γβ2Hを用いて、α1,α2を調整し、ハウリングが発生しなくなるまで調整を繰り返す。上述の(1)と(2)の両方を満たすようにα1,α2を定めた場合であって、足し算すると(二つの再生信号を同時に再生すると)ハウリングすることがある。(3)の構成により、二つの再生信号を同時に再生したときに生じるハウリングも防ぐことができる。
なお、ゲインα1,α2の調整は、集音拡声処理に先立ち予め行う。
<効果>
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
先行音効果は、後に聞こえた方の音が10dBほど大きくても生じる。そこで、まず、後席に対して前方に設置されたスピーカ92R−1で小さな音(後席の人が拡声音声を聞き取れる音量)で目的音を再生し、先行音効果を生じうる遅延を付与して、後席に対して後方に設置されたスピーカ92R−2で大きな音(ただしハウリングを生じない音量)で目的音を再生する。マイク91Rに近いスピーカ92R−1で小さな音で再生するため、ハウリングを発生を抑制しやすい。一方で、マイク91Rから遠いスピーカ92R−2で大きな音(聞き取りやすい音量)で目的音を再生するため、後席に座る聴取者は目的音を聞き取りやすく、かつ、先行音効果により前席に座る発話者と同じ方向に設置されたスピーカ92R−1の方向から音を知覚するため、音像の違和感を低減することができる。
<変形例1>
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図11のように車の天井などにスピーカを設置してもよい。
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図11のように車の天井などにスピーカを設置してもよい。
<変形例2>
本実施形態では、1列目の右側座席(運転席)と左側座席(助手席)とを区別せずに前席としたが、区別してもよい。例えば、図12に示すように、3列目の左側座席に座る聴取者から見て1列目の右側座席と同じ方向にスピーカ92R1−Rを、1列目の左側座席と同じ方向にスピーカ92R1−Lを配置する。
本実施形態では、1列目の右側座席(運転席)と左側座席(助手席)とを区別せずに前席としたが、区別してもよい。例えば、図12に示すように、3列目の左側座席に座る聴取者から見て1列目の右側座席と同じ方向にスピーカ92R1−Rを、1列目の左側座席と同じ方向にスピーカ92R1−Lを配置する。
この場合、指向性集音部110−1−1は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から1列目の右側座席から発せられる目的音を強調した強調信号X'FRと、1列目の左側座席から発せられる目的音を強調した強調信号X'FLと求め(例えば、特開2013-179388号公報の技術を用いる)、出力する。スピーカ92R1−Rはゲインα1を乗じた、強調信号X'FRに対応する再生信号YRR=[YRR,1,…,YRR,N]を再生し、スピーカ92R1−Lはゲインα1を乗じた、強調信号X'FLに対応する再生信号YRL=[YRL,1,…,YRL,N]を再生する。さらに、スピーカ92R−2は、遅延させた再生信号Y'RR,Y'RLにゲインα2を乗じた信号を再生する。
このような構成とすることで、より一層音像の違和感を低減することができる。
<変形例3>
また、本実施形態の図3では、3列シート車を記載したが、2列シート車などでマイクを2か所に設置するスペースがない場合、マイクを1か所に設置しすべての座席の集音を行うことも考えられる。この場合、図13のようにマイク91Cという1か所のマイクロホンアレイを用いて同様に処理を行う。
また、本実施形態の図3では、3列シート車を記載したが、2列シート車などでマイクを2か所に設置するスペースがない場合、マイクを1か所に設置しすべての座席の集音を行うことも考えられる。この場合、図13のようにマイク91Cという1か所のマイクロホンアレイを用いて同様に処理を行う。
<その他の変形例>
本実施形態では、目的音強調部110−1、110−2を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部110−1、110−2を用いずに指向性マイクの出力値を遅延部130、ゲイン調整部120、スピーカ92Fに出力してもよい。また、指向性集音部110−1−1,110−2−1を用いずに指向性マイクの出力値をエコーキャンセラ部110−1−2,110−2−2に出力してもよい。
本実施形態では、目的音強調部110−1、110−2を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部110−1、110−2を用いずに指向性マイクの出力値を遅延部130、ゲイン調整部120、スピーカ92Fに出力してもよい。また、指向性集音部110−1−1,110−2−1を用いずに指向性マイクの出力値をエコーキャンセラ部110−1−2,110−2−2に出力してもよい。
本実施形態では、3列シートで、1列目と3列目にマイクロホンとスピーカを備えた構成としている。これは、1列目と2列目の座席、3列目と2列目の座席の場合、声が届きやすいため、多くの場合、車両内通話を必要としないためである。しかしながら、2列目にマイクロホンとスピーカを備える構成を排除するものではなく、必要に応じて備えてもよい。また、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえずらい位置関係にある場合に適用すればよい。
本実施形態では、集音拡声装置は、スピーカとマイクロホンを含まない構成としているが、以下では、スピーカとマイクとを含む集音放音装置として本発明を説明する。集音放音装置は、車両に搭載される。車両内には、2つ以上の集音拡声位置(例えば、前席,後席)が想定される。マイク91Fは、前席に対応し、前席に座る搭乗者から発せられた音を他の座席に座る搭乗者から発せられた音よりも集音しやすい位置に設置される。スピーカ92R−2は、後席に対応し、後席に座る搭乗者に他の座席に座る搭乗者よりも届きやすい、かつ、後席に座る搭乗者を基準として前席に座る搭乗者とは異なる方向である位置に設置される。スピーカ92R−1は、後席に座る搭乗者を基準として前席に座る搭乗者の方向に設置される。スピーカ92R−1,92R−2は、マイク91Fにより集音された前席に座る搭乗者から発せられた音を、スピーカ92R−2から放音された音よりもスピーカ92R−1から放音された音が先に後席に座る搭乗者の耳に到達するよう放音する。
また、集音拡声装置は、以下のように、スピーカ92R−1,92R−2で再生される音を制御しているとも言える。集音拡声装置は、マイク91Fを用いて収音された音響信号を、車両内の後席を基準として前席の方向に設置されたスピーカ92R−1からハウリングを起こさないかつ後席に着席したユーザが聞きとることができる強さで放音するよう制御する。また、集音拡声装置は、後席を基準として前席の方向とは異なる方向かつスピーカ92R−1よりも後席に近い位置に設置されたスピーカ92R−2からハウリングを起こさないかつ後席に座るユーザが聞き取りやすい強さで、かつ、スピーカ92R−1の放音開始よりも後の時間にマイク91Fを用いて収音された音響信号の放音を開始するよう制御する。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。
<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
第一実施形態と異なる部分を中心に説明する。
図14は第一実施形態に係る集音拡声装置の機能ブロック図を、図15はその処理フローを示す。
集音拡声装置は、目的音強調部110−1,110−2と、ゲイン調整部120,140とを含む。本実施形態の集音拡声装置は、遅延部130を含まなくともよい。
<ゲイン調整部120>
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
ゲイン調整部120は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ(S120)、出力する。スピーカ92R−1は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
目的音強調部110−1は信号処理により数msの遅延を必要とするため、この部分を通る信号と通らない信号でも遅延差をつけることができる。また第一実施形態のように追加の遅延を入れていないため、信号を集音してからスピーカ92R−2から放射するまでの時間は第一実施形態よりも短くて済む。ただし、目的音強調をしていない分ハウリングしやすくなる。
<目的音強調部110−2>
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク91Rで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
目的音強調部110−2は、マイク91Rで主に3列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク91Rで主に1列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音(後方の座席から発せられる音)を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
図16は目的音強調部110−2の機能ブロック図を示す。
目的音強調部110−2は、指向性集音部110−2−1と、エコーキャンセラ部110−2−2と、ハウリング抑圧部110−2−3とを含む。指向性集音部110−2−1と、ハウリング抑圧部110−2−3の処理は第一実施形態で説明した通りなので省略する。
(エコーキャンセラ部110−2−2)
エコーキャンセラ部110−2−2は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
エコーキャンセラ部110−2−2は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ93で再生される音成分やスピーカ92R−1,92R−2で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め(S110−2−2)、出力する。
図17は、エコーキャンセラ部110−2−2の機能ブロック図を示す。
エコーキャンセラ部110−2−2は、第一適応フィルタ部110−2−2−1と、第一減算部110−2−2−2と、第二適応フィルタ部110−2−2−3と、第二減算部110−2−2−4と、第三適応フィルタ部110−2−2−5と、第三減算部110−2−2−6とを含む。
第一適応フィルタ部110−2−2−1、第一減算部110−2−2−2、第二適応フィルタ部110−2−2−3、第二減算部110−2−2−4の処理内容は、第一実施形態と同様である。
第三適応フィルタ部110−2−2−5は、集音信号XFを入力とし、第三適応フィルタを用いて再生信号YR2をフィルタリングし、第三擬似エコーY'3を生成し、出力する。
第三減算部110−2−2−6は、強調信号X'R,2(第二減算部110−2−2−4の出力値)と第三擬似エコーY'3とを入力とし、強調信号X'R,2から第三擬似エコーY'3を減算し、強調信号X"Rを得、出力する。
さらに、第三適応フィルタ部110−2−2−5は強調信号X"Rを入力とし、集音信号XFと強調信号X"Rを用いて第三適応フィルタを更新する。なお、第一適応フィルタ部110−1−2−1等と同様の方法により適応フィルタの更新すればよい。
なお、本実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、図18は本実施形態と第一実施形態の変形例3を組合せた場合の機能ブロック図を示す。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
Claims (9)
- 車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延部と、
遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。 - 車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調部と、
強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。 - 請求項1または請求項2の集音拡声装置であって、
前記車両内の第一座席から発せられる調整用目的音を集音し、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第一ゲインとし、
前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第二ゲインとする、
集音拡声装置。 - 請求項3の集音拡声装置であって、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ1Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ1Hとの積との何れか小さい値を前記第一ゲインとし、
β2L>β1Lとし、前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ2Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ2Hとの積との何れか小さい値を前記第二ゲインとし、
前記第一ゲイン調整部で調整した前記第一ゲインと前記第二ゲイン調整部で調整した前記第二ゲインとを用いて前記第一拡声装置と前記第二拡声装置から前記調整用目的音を再生し、ハウリングが発生する場合には、前記マージンβ1H,β2Hそれぞれに0より大きく1より小さい所定の値γを乗じた値を新たなマージンβ1H,β2Hとして、前記第一ゲイン調整部と前記第二ゲイン調整部においてそれぞれ前記第一ゲインと前記第二ゲインとを調整し、ハウリングが発生しなくなるまで調整を繰り返す、
集音拡声装置。 - 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延ステップと、
前記集音拡声装置が、遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。 - 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調ステップと、
前記集音拡声装置が、強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。 - 請求項1から請求項4の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
- 車両に搭載される集音拡声装置であって、
車両内には2つ以上の集音拡声位置が想定されるものとし、
前記第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、
前記第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、前記第二対象者を基準として前記第一対象者とは異なる方向である位置に設置された第二スピーカと、
前記第二対象者を基準として前記第一対象者の方向に設置された第一スピーカと、を含み、
前記第一スピーカと前記第二スピーカは、前記第一マイクロホンにより集音された前記第一対象者から発せられた音を、前記第二スピーカから放音された音よりも前記第一スピーカから放音された音が先に前記第二対象者の耳に到達するよう放音する、
集音拡声装置。 - 車両に搭載される集音拡声装置であって、
前記車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、
前記車両内の第二の座席を基準として前記第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ前記第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、
前記第二の座席を基準として前記第一の座席の方向とは異なる方向かつ前記第一スピーカよりも前記第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ前記第二のユーザが聞き取りやすい強さで、かつ、前記第一スピーカの放音開始よりも後の時間に前記音響信号の放音を開始するよう制御する、
集音拡声装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145953A JP6984559B2 (ja) | 2018-08-02 | 2018-08-02 | 集音拡声装置、その方法、およびプログラム |
EP19843267.6A EP3833046A4 (en) | 2018-08-02 | 2019-07-10 | SOUND COLLECTION/AMPLIFICATION DEVICE, ASSOCIATED METHOD, AND PROGRAM |
PCT/JP2019/027246 WO2020026726A1 (ja) | 2018-08-02 | 2019-07-10 | 集音拡声装置、その方法、およびプログラム |
CN201980051002.4A CN112514416B (zh) | 2018-08-02 | 2019-07-10 | 拾音扩音装置、其方法以及记录介质 |
US17/263,860 US11516584B2 (en) | 2018-08-02 | 2019-07-10 | Sound collection loudspeaker apparatus, method and program for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145953A JP6984559B2 (ja) | 2018-08-02 | 2018-08-02 | 集音拡声装置、その方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020022114A JP2020022114A (ja) | 2020-02-06 |
JP6984559B2 true JP6984559B2 (ja) | 2021-12-22 |
Family
ID=69231719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018145953A Active JP6984559B2 (ja) | 2018-08-02 | 2018-08-02 | 集音拡声装置、その方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11516584B2 (ja) |
EP (1) | EP3833046A4 (ja) |
JP (1) | JP6984559B2 (ja) |
CN (1) | CN112514416B (ja) |
WO (1) | WO2020026726A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071315A (zh) * | 2021-11-04 | 2022-02-18 | 深圳Tcl新技术有限公司 | 音频处理方法、装置、电子设备及存储介质 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4105303A1 (de) * | 1991-02-20 | 1992-08-27 | Nokia Unterhaltungselektronik | Beschallungsanordnung eines pkw |
JP4264686B2 (ja) * | 2000-09-14 | 2009-05-20 | ソニー株式会社 | 車載用音響再生装置 |
JP3878892B2 (ja) | 2002-08-21 | 2007-02-07 | 日本電信電話株式会社 | 収音方法、収音装置、および収音プログラム |
JP4627973B2 (ja) * | 2003-07-29 | 2011-02-09 | 富士通テン株式会社 | スピーカ装置 |
US20060013407A1 (en) * | 2004-07-19 | 2006-01-19 | Peavey Hartley D | Methods and apparatus for sound compensation in an acoustic environment |
JP2006279548A (ja) * | 2005-03-29 | 2006-10-12 | Fujitsu Ten Ltd | 車載用スピーカシステム及びオーディオ装置 |
JP4848151B2 (ja) * | 2005-08-03 | 2011-12-28 | ソニー株式会社 | 音場計測装置及び音場計測方法 |
JP4383416B2 (ja) | 2006-02-14 | 2009-12-16 | 日本電信電話株式会社 | ハウリング防止方法、装置、プログラム、及びこのプログラムを記録した記録媒体 |
DE602006007322D1 (de) * | 2006-04-25 | 2009-07-30 | Harman Becker Automotive Sys | Fahrzeugkommunikationssystem |
EP1860911A1 (en) * | 2006-05-24 | 2007-11-28 | Harman/Becker Automotive Systems GmbH | System and method for improving communication in a room |
JP2008042390A (ja) * | 2006-08-03 | 2008-02-21 | National Univ Corp Shizuoka Univ | 車内会話支援システム |
JP5087024B2 (ja) | 2009-02-10 | 2012-11-28 | 日本電信電話株式会社 | エコー消去装置とその方法と、プログラム |
US9641934B2 (en) * | 2012-01-10 | 2017-05-02 | Nuance Communications, Inc. | In-car communication system for multiple acoustic zones |
JP5738218B2 (ja) | 2012-02-28 | 2015-06-17 | 日本電信電話株式会社 | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム |
EP3133831A1 (en) * | 2015-08-20 | 2017-02-22 | Harman Becker Automotive Systems GmbH | System and method for in-car communication |
CN106535050A (zh) * | 2016-08-20 | 2017-03-22 | 中声科技(北京)有限公司 | 一种消除汽车噪音的主动降噪模块 |
US10390136B2 (en) * | 2016-12-13 | 2019-08-20 | Yamaha Corporation | Howling suppression device and howling suppression method |
US9881632B1 (en) * | 2017-01-04 | 2018-01-30 | 2236008 Ontario Inc. | System and method for echo suppression for in-car communications |
US20180190306A1 (en) * | 2017-01-04 | 2018-07-05 | 2236008 Ontario Inc. | Voice interface and vocal entertainment system |
US10110997B2 (en) * | 2017-02-17 | 2018-10-23 | 2236008 Ontario, Inc. | System and method for feedback control for in-car communications |
JP7037305B2 (ja) * | 2017-09-13 | 2022-03-16 | フォルシアクラリオン・エレクトロニクス株式会社 | 信号遅延調整装置、信号遅延調整方法及び信号処理装置 |
-
2018
- 2018-08-02 JP JP2018145953A patent/JP6984559B2/ja active Active
-
2019
- 2019-07-10 US US17/263,860 patent/US11516584B2/en active Active
- 2019-07-10 CN CN201980051002.4A patent/CN112514416B/zh active Active
- 2019-07-10 WO PCT/JP2019/027246 patent/WO2020026726A1/ja unknown
- 2019-07-10 EP EP19843267.6A patent/EP3833046A4/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
JP2020022114A (ja) | 2020-02-06 |
EP3833046A1 (en) | 2021-06-09 |
EP3833046A4 (en) | 2022-04-27 |
WO2020026726A1 (ja) | 2020-02-06 |
CN112514416A (zh) | 2021-03-16 |
US11516584B2 (en) | 2022-11-29 |
US20210235191A1 (en) | 2021-07-29 |
CN112514416B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6580758B2 (ja) | 車両の音声プラットホームにおける電話および娯楽オーディオの管理 | |
EP2018034B1 (en) | Method and system for processing sound signals in a vehicle multimedia system | |
JP2006279548A (ja) | 車載用スピーカシステム及びオーディオ装置 | |
US9111523B2 (en) | Device for and a method of processing a signal | |
JP2007019980A (ja) | オーディオ静音化装置 | |
JP2010163054A (ja) | 会話支援装置及び会話支援方法 | |
WO2020017284A1 (ja) | 集音拡声装置、その方法、およびプログラム | |
JP6863370B2 (ja) | 信号処理装置 | |
US8103017B2 (en) | Sound reproducing system and automobile using such sound reproducing system | |
JP6984559B2 (ja) | 集音拡声装置、その方法、およびプログラム | |
JP7020554B2 (ja) | 会話サポートシステム、その方法、およびプログラム | |
JP6984254B2 (ja) | カラオケユニット | |
Goose et al. | Paz: In-vehicle personalized audio zones | |
CN112544088B (zh) | 拾音扩音装置、其方法以及记录介质 | |
JP7255324B2 (ja) | 周波数特性変更装置、その方法、およびプログラム | |
JP7124532B2 (ja) | 集音拡声装置、その方法、およびプログラム | |
JP2023036332A (ja) | 音響システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6984559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |