JPWO2009051132A1 - 信号処理システムと、その装置、方法及びそのプログラム - Google Patents

信号処理システムと、その装置、方法及びそのプログラム Download PDF

Info

Publication number
JPWO2009051132A1
JPWO2009051132A1 JP2009538109A JP2009538109A JPWO2009051132A1 JP WO2009051132 A1 JPWO2009051132 A1 JP WO2009051132A1 JP 2009538109 A JP2009538109 A JP 2009538109A JP 2009538109 A JP2009538109 A JP 2009538109A JP WO2009051132 A1 JPWO2009051132 A1 JP WO2009051132A1
Authority
JP
Japan
Prior art keywords
signal
input
unit
rendering
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009538109A
Other languages
English (en)
Inventor
嶋田　修
修 嶋田
昭彦 杉山
昭彦 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2009051132A1 publication Critical patent/JPWO2009051132A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本発明の信号分離システムは、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする。

Description

本発明は、複数の信号成分を含む入力信号を分離するための、信号処理のシステム、信号処理の装置、信号処理の方法及び信号処理のプログラムに関する。
複数の信号成分が混合された入力信号を与えられた場合に、特定の信号成分を分離して取り出すという要求は、日常生活の様々な場面で存在する。このような場面の例として、騒音環境下における会話や所望音声の認識などがあげられる。これらの場面において、通常、会話や所望音声は空間上の一点においてマイクロホンなどの音響電気変換素子を用いて捕捉される。捕捉された会話や所望音声は、電気信号に変換され、入力信号として扱われる。
複数の信号成分が所望音声と背景雑音とである入力信号に対して、背景雑音を抑圧することによって所望音声を強調するシステムとして、雑音抑圧システム（以下、ノイズサプレッサという。）が知られている。ノイズサプレッサは、所望の音声信号に重畳されている雑音(ノイズ)を抑圧するシステムである。一般的に、ノイズサプレッサは、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、入力信号から雑音成分の推定パワースペクトルを差し引く。或いは、差し引いた結果と同等の結果が得られるように、入力信号に１より小さい利得を乗算することも広く行われている。これにより、所望の音声信号に混在する雑音が抑圧される。さらに、これらのノイズサプレッサは、雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用される。このようなノイズサプレッサに関連する技術としては、例えば、特許文献１に記載されている技術がある（以下、第一の関連技術という）。
通常、第一の関連技術であるノイズサプレッサでは、抑圧しきれずに残留する残留雑音、すなわち所望音声と背景雑音との分離度と出力される強調音声に含まれる歪とはトレードオフの関係にある。分離度を高くし、残留雑音を減らすと歪が増え、歪を減らすと分離度が低くなり、残留雑音が増える。特に、所望音声対雑音のパワー比が小さくなるほど、最低限の雑音抑圧効果を得た際に出力に含まれる歪が無視できなくなる。
一方、人間の聴覚器官は、異なった定位を有する信号を識別する能力があることが、非特許文献１に開示されている。定位を知覚するためには、マルチチャネル信号が必要である。従って、モノラル信号が入力される場合はモノラル信号をマルチチャネル信号に変換しなければならない。信号の定位を制御する方法として、与えられた信号の振幅と位相を操作するレンダリング処理がある。レンダリング処理に関する技術は、特許文献２に開示されている。人間の聴覚器官は、少なくとも2チャネルの信号が入力された場合、これらの信号間の振幅差と位相差(受聴点における相対遅延)を用いて、それぞれの信号を空間に定位させる。レンダリングはこの原理に基づいて、入力信号の振幅と位相を操作することによって、定位位置を制御する。例えば、定位感のないモノラル信号と、特定の関係を有した振幅と位相で規定される複数の伝達関数とを畳み込むことによってマルチチャネル出力を生成するレンダリングシステムがある。このレンダリングシステムを、図２０に示す（以下、第二の関連技術という）。
図２０に示すように、第二の関連技術におけるレンダリングシステムは、レンダリング部９にモノラルの入力０を入力し、出力０〜出力Ｍo-1のＭoチャネル信号を出力する。レンダリング部９は、入力０をレンダリング情報に基づいてレンダリングし、出力０〜出力Ｍo-1として出力する。入力０が複数の信号成分を含む場合には、これらすべての信号成分は同一の空間上の点に定位する。これは、すべての信号成分に対して、同一のレンダリング処理が適用されているためである。
特開２００２−２０４１７５号公報 特開平１１―４６４００号公報 2005年、「脳の計算機構―ボトムアップ・トップダウンのダイナミクス―」、 朝倉書店、203から216ページ
上述の第一の関連技術では、残留雑音、すなわち所望音声と背景雑音との分離度は信号に含まれる歪とのトレードオフの関係にある。従って、分離度を高くすると分離された信号に含まれる歪が無視できなくなるという問題がある。また、上述の第二の関連技術では、全ての信号成分が空間上の同一の点に定位するために、信号分離効果がないという問題がある。空間上の異なった点に定位した信号が複数存在した場合、人間の聴覚器官は、本来、それぞれの信号を識別することができる。第二の関連技術では、全ての信号成分が空間上の同一の点に定位しているので、このような人間の聴覚器官の分離能力を利用することができないためである。
本発明の目的は、複数の入力信号毎に異なった定位を付与し、信号の高信号分離度化及び低歪化を実現することができる信号処理システムを提供することである。
本発明の信号分離システムは、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする。
上述した手段によれば、本発明の信号処理システムは、多重レンダリング部により、信号成分を異なった割合で含む複数の入力信号を異なった空間上の位置に定位させる。これは、信号分離能力は落ちるが歪を少なくする処理である。しかし、分離能力を人間本来の聴覚器官の機能により補償することができるので、信号分離能力を保ったまま歪みを低減することができる。
図１は本発明の第一の実施の形態を示すブロック図である。 図２は多重レンダリング部５の構成例である。 図３は多重レンダリング部５の第二の構成例である。 図４は多重レンダリング部５の第三の構成例である。 図５は本発明の第二の実施の形態を示すブロック図である。 図６は前処理部11の構成例である。 図７は信号成分強調部110の構成例である。 図８は前処理部11の第二の構成例である。 図９は前処理部11の第三の構成例である。 図１０は前処理部11の第四の構成例である。 図１１は雑音抑圧システム120の構成例である。 図１２は前処理部11の第五の構成例である。 図１３は前処理部11の第六の構成例である。 図１４は信号成分強調部110の第二の構成例である。 図１５は本発明の第三の実施の形態を示すブロック図である。 図１６は本発明の第四の実施の形態を示すブロック図である。 図１７は携帯電話の表面と裏面に二つのマイクロホンを装備した例である。 図１８は携帯電話の表面と側面に二つのマイクロホンを装備した例である。 図１９はＰＣのキーボード上面とディスプレイ裏面に二つのマイクロホンを装備した例である。 図２０は関連技術を示すブロック図である。
符号の説明
５ 多重レンダリング部
６ マイクロホン
７ 音源
10 障害物
11 前処理部
12 マイクロホン
51、52 レンダリング部
53、54、115、1132 加算器
55 分離部
56、57 メモリ
110 信号成分強調部
111 固定ビームフォーミング部
112 適応ブロッキング部
113 多入力キャンセラ
114 遅延素子
116、118、126 適応フィルタリング部
117、119、121、1133 減算器
120 雑音抑圧システム
1201 変換部
1202 雑音推定部
1203 抑圧係数生成部
1204 乗算器
1205 逆変換部
1131 適応フィルタリング部
本発明の信号処理システムの実施の形態について図面を参照して詳細に説明する。
図１を参照し、本発明の信号処理システムの第一の実施の形態について説明する。本発明の信号処理システムは、多重レンダリング部５から構成される。多重レンダリング部５は、複数の入力信号である入力０〜入力Ｍi-1とレンダリング情報を受ける。多重レンダリング部５は、入力信号をレンダリング情報に基づいてレンダリングし、出力０〜出力Ｍo-1として出力する。入力０〜入力Ｍi-1は、混合された複数の信号から構成されている。 入力信号に含まれる複数の信号の混合割合は、全て異なっている。また、入力信号に含まれる複数の信号は、同じ割合で混合されていてもよい。
例として、混合された２信号を分離する場合を考える。入力０には信号成分０が最も多い割合で含まれ、入力１には信号成分１を最も多い割合で含まれている場合を考える。出力チャネル数を２とすると、出力は出力０と出力１であり、左と右（或いは右と左）のチャネル信号として用いる。このとき、多重レンダリング部５は、入力０と入力１を異なった位置に定位するようにレンダリング処理して、出力0、出力１として出力する。出力０及び出力１は、スピーカー、ヘッドホンなどの電気音響変換素子によって音響信号に変換され、最終的に聴取のために人間の聴覚器官に入力される。入力０及び入力１が、低歪で信号分離度の不十分な信号であっても、前述した人間本来の聴覚器官に備わった信号分離機能により補償することができる。すなわち、信号分離能力を保ったまま歪みを低減することができる。
また、混合された２信号が、所望信号と所望信号以外の信号、すなわち非所望信号とである場合について説明する。この場合、入力０としては所望信号が支配的、すなわち所望信号が強調された信号が入力される。入力１としては非所望信号が支配的、すなわち非所望信号が強調された信号が入力される。レンダリング処理によって、入力０が正面前方に、入力１が後方に定位するようすることができる。このように定位させることによって、所望信号が支配的な信号が前方から、非所望信号が支配的な信号が後方から到来するように知覚される。また、入力０を正面前方に定位させ、入力１を空間全体に拡散的に聞こえるように定位させることによって、所望信号が支配的な信号が前方から、非所望信号が支配的な信号が空間全体から拡散的に到来するように知覚される。このように点音源と拡散音源として知覚されるように各入力信号に定位を与えることによって、これらの信号の分離がされたように知覚される。これは、特定の点から到来するように知覚される信号の方が拡散的に到来するように知覚される信号よりも聴取対象として集中しやすいためである。例えば、所望信号には、音声などが含まれる。また、非所望信号には、ノイズ、背景雑音、他音源からの信号などが含まれる。
次に、より一般的に、混合されたＭiチャンネルの信号を入力して、Ｍoチャネルに出力する場合を考える。入力ｊには、信号成分ｊ−１が最も多い割合で含まれていると仮定する。このとき、多重レンダリング部５は、入力０〜入力Ｍi-1がそれぞれ異なった位置に定位するようにレンダリング処理して、出力０〜出力Ｍi-1として出力する。入力ｊに着目すると、入力ｊを特定の音響空間上の点に定位するようにレンダリングすることによって、出力０〜出力Ｍi-1の入力ｊに対応した成分を生成する。同様の処理をｊ＝０〜Ｍi-1に対して繰り返し、各出力において入力０〜入力Ｍi-1に対応した成分の総和をとることによって、出力０〜出力Ｍi-1を生成する。
続いて、図２を参照して、多重レンダリング部５の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、および分離部55から構成される。まず、入力０と入力１が、それぞれレンダリング部51とレンダリング部52に入力される。また、レンダリング情報が分離部55に入力される。分離部55は、レンダリング情報を各レンダリング部に対応した個別レンダリング情報に分離して、対応するレンダリング部に出力する。
レンダリング情報とは、レンダリング部51または52の入力信号と出力信号との関係を周波数成分毎に表した情報である。レンダリング情報は、信号間のエネルギ差、時間差や相関などを用いて表される。レンダリング情報の一例が、非特許文献２（2007年、アイエスオー／アイイシー 23003-1:2007 パート1 エムペグ サラウンド、（ISO/IEC 23003-1:2007 Part 1 MPEG Surround））に開示されている。
レンダリング部51は、分離部55から入力された個別レンダリング情報を用いて、入力０を変換して出力信号を生成する。出力０に対応した出力信号は加算器53に、出力１に対応した出力信号は加算器54に出力される。レンダリング部52は、分離部55から入力された個別レンダリング情報を用いて、入力１を変換して出力信号を生成する。出力０に対応した出力信号は加算器53に、出力１に対応した出力信号は加算器54に出力される。加算器53は、レンダリング部51とレンダリング部52から入力された出力０に対応する出力信号を加算して和を求め、出力０として出力する。加算器54は、レンダリング部51とレンダリング部52から入力された出力１に対応する出力信号を加算して和を求め、出力１として出力する。
個別レンダリング情報の最も一般的なものはフィルタに関する情報であり、フィルタ係数や周波数応答(振幅と位相)によって表現される。個別レンダリング情報が有限インパルス応答(FIR)フィルタの係数ベクトルとして与えられているときには、レンダリング部51は、入力０及び入力１とフィルタ係数ｈの畳み込み結果を出力する。すなわち、時刻kにおける入力0及び入力１との畳み込み結果をｙ0,k、ｙ1,k、入力0及び入力1の信号ベクトルをｘ0,k、ｘ1,kとすれば、入力と出力の関係は、
Figure 2009051132
 で表すことができる。ここに、Ｌはフィルタのタップ数である。この表現において、フィルタ係数ｈが個別レンダリング情報である。特に、頭外音像定位を目的として適用する場合には、上記のフィルタ係数は、頭部伝達関数(HRTF: head related transfer function)として知られている。図２の例では、出力チャネル数が２であるので、２組のフィルタ係数ｈ0、ｈ1が入力される。出力チャネル数が２以上、すなわち出力がＭoチャネルの場合には、Ｍo組のフィルタ係数が入力される。レンダリング部52の動作は、入力とフィルタ係数が異なるが、レンダリング部51の動作と等しい。また、入力信号の種類が増えると、レンダリング部及びフィルタ係数の組の数が増加する。
個別レンダリング情報が周波数応答として与えられている場合には、入力０及び入力１の周波数領域表現と周波数応答とに相当する複素数の積を求めて出力０と出力１とを生成する。このときは、レンダリング部の前後に、フーリエ変換などの時間周波数変換とその逆変換とが適用される。この演算は、［数１］の周波数領域表現で表される。
続いて、図３を参照して、多重レンダリング部５の第２の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、およびメモリ56から構成される。図３の多重レンダリング部５は、図２に含まれる分離部55をメモリ56で置換した構成となっている。すなわち、レンダリング情報は、外部から入力する代わりに、多重レンダリング部内部のメモリに格納されている。多重レンダリング部５は、メモリに格納されたレンダリング情報を固定的に用いることによって、定位を決定する。第２の構成例では、メモリ56に格納されている特定のレンダリング情報を用いるので、レンダリング情報入力と分離に伴う演算が不要となる。従って、第２の構成例の多重レンダリング部５は、演算量を減らすことが出来るとともに、システムを簡略化できる。
続いて、図４を参照して、多重レンダリング部５の第３の構成例を詳細に説明する。多重レンダリング部５は、レンダリング部51、レンダリング部52、加算器53、54、およびメモリ57から構成される。図４の多重レンダリング部５は、図３に含まれるメモリ56をメモリ57で置換した構成となっている。メモリ57には、複数のレンダリング情報が記憶されている。メモリ５７には、メモリ５７の内部に記憶された複数のレンダリング情報を選択して個別レンダリング情報とするためのレンダリング選択情報が入力されている。すなわち、固定的なレンダリング情報を利用する代わりに、メモリ５７の内部に記憶された複数のレンダリング情報から適切なものを選択して利用することによって、入力信号の定位を決定する。第３の構成例は、第１及び第２の構成例の中間的な構成となっている。第２の構成例は、第１の構成例に比べて、レンダリング情報の入力と分離に伴う演算量が削減されるとともに、レンダリング情報を決定する利用者の負担を軽減している。また、第３の構成例は、第２の構成例に比べて、利用者にレンダリング情報を決定する自由度と与えることができる効果がある。
なお、図２から図４では多重レンダリング部５の入力チャネル数及び出力チャネル数が２である場合、すなわちＭi＝Ｍo＝２の例について説明してきた。しかし、図２から図４の構成は、多重レンダリング部５の入力チャネル数及び出力チャネル数は２に限らず１又は３以上の場合にも容易に適用することができる。例えば、多重レンダリング部５に含まれるレンダリング部の数は入力の数Ｍiと等しく、各レンダリング部（51、52など）の出力数は多重レンダリング部５の出力数Ｍoに等しいことが、これまでの説明から容易に理解できる。
以上説明したように、本発明の信号処理システムの第一の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。
続いて、図５を参照して、本発明の信号処理システムの第二の実施の形態について詳細に説明する。本発明の第二の実施の形態は、前処理を行った信号を多重レンダリング部５に供給するものである。
図５の信号処理システムでは、前処理部11が多重レンダリング部５の前に配置されている。前処理部11は、入力信号に対して信号強調処理を行う。前処理部１１は、入力信号に含まれる信号成分のそれぞれが強調された信号を、入力０〜入力Ｍi-1として、多重レンダリング部５に出力する。多重レンダリング部5は、入力０〜入力Ｍi-1を受けてそれぞれに対して異なった定位を与え、出力０〜出力Ｍo-1として出力する。図５では、多重レンダリング部５にレンダリング情報が入力される構成になっている。しかし、既に図３を用いて説明したように、多重レンダリング部5は、レンダリング情報を外部から入力せずに内部メモリに保持する構成を適用することができる。また、図４において説明したように、多重レンダリング部5は、内部メモリに複数のレンダリング情報を記憶しておき外部からレンダリング選択情報を入力する構成を適用することもできる。前処理部11を用いることによって、入力信号中の主要な信号成分を強調するといった制御をすることができる。さらに、入力信号間の分離度を高くすることが可能となり、前処理に続くレンダリングの効果を向上させることができる。
次に、図６を参照して、前処理部11の第１の構成例について詳細に説明する。図６の前処理部１１は、複数の信号成分強調部1100〜110Ｍi-1で構成している。信号成分強調部1100〜110Ｍi-1の出力が、それぞれ入力０〜入力Ｍi-1として出力される。信号成分強調部110j(０＜ｊ＜Ｍi-1)は、入力Ａ０〜入力ＡＭi-1を受けて信号成分ｊを強調し、入力ｊとして出力する。信号成分強調部1100〜110Ｍi-1は、指向性制御、ビームフォーミング（Beamforming）、ブラインド信号源分離（Blind Source Separation）、独立成分分析（Independent Component Analysis）、ノイズキャンセリング(Noise Cancellation)、ノイズサプレッション(Noise Suppression)と呼ばれる技術を用いたシステムで構成することができる。
例えば、指向性制御およびビームフォーミングに関連する技術は、非特許文献３（2001年、「マイクロホン・アレイズ」、シュプリンガー、（Microphone Arrays, Springer, 2001））および非特許文献４（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 229--246）、229ページから246ページ）に開示されている。また、ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献５（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 271 - 369）、271ページから369ページ）に開示されている。さらに、ノイズキャンセリングに関連する技術は、非特許文献６（1975年、「プロシーディングス・オブ・アイ・イー・イー・イー」、第63巻、第12号（Proceedings of IEEE, vol.63, No.12, 1975、pp.1692-1715）、1692―1715ページ）及び非特許文献７（1999年、「アイ・イー・アイ・シー・イー、トランザクションズ・オブ・ファンダメンタルズ」、第E82-A巻、第8号（IEICE Transactions of Fundamentals, vol.E82-A, No.8, 1999, pp.1517-1525）、1517―1525ページ）に、ノイズサプレッサに関連する技術は特許文献１に開示されている。
続いて、図７を参照して、信号成分強調部1100〜110Ｍi-1の構成例について詳細に説明する。図７の信号成分強調部1100〜110Ｍi-1は、マイクロホンアレイの一つである一般化サイドローブキャンセラ（またはグリフィスージム・ビームフォーマ）で構成した場合を示している。信号成分強調部110j(０＜ｊ＜Ｍi-1)は、固定ビームフォーミング部111、適応ブロッキング部112、遅延素子114、多入力キャンセラ113から構成される。また、多入力キャンセラはさらに、適応フィルタリング部1131、加算器1132、減算器1133から構成される。
入力Ａ０〜入力ＡＭi-1は、固定ビームフォーミング部111と適応ブロッキング部112に入力される。固定ビームフォーミング部111は、予め定められた所望信号到来方向に従ってその方向から到来する信号を強調し、適応ブロッキング部112と遅延素子114に出力する。このような所望信号到来方向としては、入力信号の信号成分ｊの到来方向を設定する。適応ブロッキング部112は、固定ビームフォーミング部111の出力を参照信号として、入力Ａ０〜入力ＡＭi-1に含まれる参照信号と相関のある成分を小さく又は最小化するように動作する。従って、適応ブロッキング部112の出力では、所望信号が小さく又は最小化されている。適応ブロッキング部112の出力は、適応フィルタリング部1131に出力される。遅延素子114は、固定ビームフォーミング部111の出力信号を遅延させて、減算器1133に出力する。遅延素子114の遅延量は、適応フィルタリング部1131の遅延を補償するように設定する。
適応フィルタリング部1131は、１以上の適応フィルタによって構成される。適応フィルタリング部1131は、適応ブロッキング部112の出力を参照信号として、遅延素子114の出力に含まれるこれと相関のある信号成分を生成するように動作する。適応フィルタリング部1131の個別のフィルタで生成された信号は加算器1132に出力される。適応フィルタリング部1131の出力は、加算器1132で加算され、減算器1133に出力される。減算器1133は、遅延素子114の出力から加算器1132の出力を差し引き、その結果を入力ｊとして出力する。すなわち、減算器1133の出力では、固定ビームフォーミング部111の出力に対して、これと相関のない信号成分が最小化されている。減算器1133の出力は、入力ｊとして出力されるとともに適応フィルタリング部1131に帰還される。減算器1133の出力は、適応フィルタリング部1131の内部に含まれる適応フィルタの係数更新に使われる。適応フィルタリング部1131の係数は、減算器1133の出力を最小化するように更新される。適応フィルタリング部1131、加算器1132、減算器1133をまとめて、多入力キャンセラ113として扱ってもよい。以上説明したように、前処理部11をマイクロホンアレイとして構成することにより、空間選択性（指向性）を制御し、特定の信号を強調することができる。
図７では、信号成分強調部1100〜110Ｍi-1をマイクロホンアレイで構成した例について説明した。さらに、非特許文献４から７を参照して、ブラインド信号源分離システム、独立成分分析システム、ノイズキャンセリングシステム、ノイズサプレッションシステムによって構成してもよい。それぞれの場合にも、マイクロホンアレイで構成した場合と同様の効果を有する。
次に、図８を参照して、前処理部11の第２の構成例について詳細に説明する。図８の前処理部11は、ノイズキャンセラで構成されている。ノイズキャンセラは、指向性を形成するマイクロホンアレイと異なり、分離すべき信号に相関のある信号を参照信号として用いる。このため、参照信号を内部で生成するマイクロホンアレイと比較して、ノイズキャンセラは、特定の信号をより正確に強調または分離することができる。また、マイクロホンアレイが指向性に基づいて信号を分離するのに対して、ノイズキャンセラは信号の周波数スペクトルの違いに基づいて信号を分離する。このため、両者を組み合わせることによって、分離度を高くすることも可能である。さらに、マイクロホンアレイは通常３以上のマイクロホンの信号を用いて実用的な効果を得ることができる。しかし、ノイズキャンセラは、通常２マイクロホンにより同様の効果を得ることができる。このため、コストなどからマイクロホン数に制約がある場合でも、本構成例の前処理部11を適用することができる。
前処理部11は、入力Ａ０と入力Ａ１に対して前処理を行い、入力0と入力１を出力する。前処理部11のノイズキャンセラは、適応フィルタリング部116と減算器117から構成される。入力Ａ０は適応フィルタリング部116に入力され、フィルタリングされた出力は減算器117に出力される。適応フィルタリング部116は、入力Ａ１を参照信号として、入力Ａ０に含まれる参照信号と相関のある成分を作り出すように動作する。減算器117の他方の入力には、入力Ａ０が供給されている。減算器117は、入力Ａ０から適応フィルタリング部116の出力を減算し、その結果を入力０として出力する。減算器117の出力は、同時に適応フィルタリング部116に帰還され、適応フィルタリング部116に含まれる適応フィルタの係数更新に用いられる。適応フィルタリング部116は、入力された減算器117の出力が最小化されるように、適応フィルタの係数を更新する。このとき、適応フィルタリング部116の出力は、入力Ａ０から信号成分０を取り除いたものとなっており、信号成分０以外の成分が支配的である。適応フィルタリング部116の出力を、入力１として出力する。
次に、図９を参照して、前処理部11の第３の構成例について詳細に説明する。図９の前処理部11は、たすきがけ構造を有するノイズキャンセラで構成している。前処理部11は、入力Ａ０と入力Ａ１に対して前処理を行い、入力0と入力１を出力する。前処理部11のノイズキャンセラは、適応フィルタリング部116及び118と減算器117及び119から構成される。入力Ａ０は減算器119に入力される。減算器119の他方の入力には、適応フィルタリング部118の出力が入力されている。減算器119は、入力Ａ１から適応フィルタリング部118の出力を差し引いた結果を、適応フィルタリング部116に出力する。適応フィルタリング部116は、減算器119の出力を参照信号として、入力Ａ０に含まれる参照信号と相関のある成分を作り出すように動作する。適応フィルタリング部116の出力は、減算器117に出力される。減算器117の他方の入力には、入力Ａ０が供給されている。減算器117は、入力Ａ０から適応フィルタリング部116の出力を減算し、その結果を入力０として出力する。
減算器117の出力は、同時に適応フィルタリング部116に誤差として帰還され、適応フィルタリング部116に含まれる適応フィルタの係数更新に使用される。適応フィルタリング部116は、誤差として入力された減算器117の出力が最小化されるように、適応フィルタの係数を更新する。減算器117の出力はまた、適応フィルタリング部118に出力されている。適応フィルタリング部118は、減算器117の出力を参照信号として、入力Ａ１に含まれる参照信号と相関のある成分を作り出すように動作する。従って、減算器119の出力では、入力０における支配的な信号成分が消去されており、入力Ａ１における支配的な要素が主たる信号成分となる。減算器119の出力は、入力Ａ１として出力される。さらに、減算器119の出力は、適応フィルタリング部118に帰還され、適応フィルタリング部118に含まれる適応フィルタの係数更新に使用される。適応フィルタリング部118は、誤差として入力された減算器119の出力が最小化されるように、適応フィルタの係数を更新する。
第２の構成例は、入力１に入力Ａ０の支配的な信号成分が漏れこむ構成になっている。しかし、第３の構成例は、入力Ａ０の支配的な信号成分の漏れ込みのない入力１を生成できる。これは、適応フィルタリング部118と減算器119を用いて、入力Ａ０の支配的な信号成分の漏れ込みを消去するからである。このため、入力１として出力される信号（減算器119の出力）における信号分離能力が高くなる。
次に、図１０を参照して、前処理部11の第４の構成例について詳細に説明する。図１０に示す第４の構成例は、前処理部11を単一入力の雑音抑圧システム(ノイズサプレッサ)120と減算器121で構成している。前処理部11の第１から第３の構成と異なり、前処理部11の入力が単一の信号であり、出力が入力０と入力１の２信号である。雑音抑圧システム120は、入力Ａ０を受けてその支配的な信号成分を強調し、入力０として出力する。雑音抑圧システム120の出力は、同時に減算器121にも出力されている。減算器121の他方の入力には、入力Ａ０が出力されている。減算器121は、入力Ａ０から雑音抑圧システムの出力、すなわち入力Ａ０の支配的信号成分を差し引き、その結果を入力１として出力する。従って、入力１では、入力Ａ０の主たる信号成分以外の成分が支配的となる。これにより、単一信号である入力Ａ０の信号の分離が行われることになる。
続いて、図１１を参照して、雑音抑圧システム120の構成例について詳細に説明する。雑音抑圧システム120は、変換部1201、雑音推定部1202、抑圧係数生成部1203、乗算器1204、逆変換部1205から構成される。変換部1201には入力Ａ０が入力されており、逆変換部1205の出力が入力０として出力される。変換部1201は、入力Ａ０に含まれる複数の入力信号サンプルをまとめて１ブロックを構成し、各ブロックに対して周波数変換を適用する。周波数変換には、フーリエ変換、コサイン変換、ＫＬ（カルーネンレーベ）変換などを用いてよい。これらの変換の具体的な演算に関連する技術及びその性質は、非特許文献８（1990 年、「ディジタル・コーディング・オブ・ウェーブフォームス」、プレンティス・ホール (DIGITAL CODING OF WAVEFORMS, PRINCIPLES AND APPLICATIONS TO SPEECH AND VIDEO, PRENTICE-HALL, 1990.)）に開示されている。
また、変換部1201は、１ブロックの入力信号サンプルを窓関数で重み付けした結果に対して、前述の変換を適用してもよい。このような窓関数としては、ハミング、ハニング（ハン）、ケイザー、ブラックマンなどの窓関数が知られている。また、さらに複雑な窓関数を用いてもよい。これらの窓関数に関連する技術は、非特許文献９（1975 年、「ディジタル・シグナル・プロセシング」、プレンティス・ホール (DIGITAL SIGNAL PROCESSING, PRENTICE-HALL, 1975.)）及び非特許文献10（1993 年、「マルチレートシステムズ・アンド・フィルタバンクス」、プレンティス・ホール (MULTIRATE SYSTEMS AND FILTER BANKS, PRENTICE-HALL, 1993.)）に開示されている。
変換部1201が、入力Ａ０に含まれる複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容してもよい。例えば、ブロック長の30％のオーバラップを適用する場合には、あるブロックに属する信号サンプルの最後30％は、次のブロックに属する信号サンプルの最初30％として複数のブロックで重複して用いられる。オーバラップを有するブロック化と変換に関連する技術は、非特許文献８に開示されている。
さらに、変換部1201は、帯域分割フィルタバンクで構成してもよい。帯域分割フィルタバンクは、複数の帯域通過フィルタから構成される。帯域分割フィルタバンクは、受信した入力信号を複数の周波数帯域に分割して、出力する。帯域分割フィルタバンクの各周波数帯域は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、音声の重要な成分が多く含まれる低域では狭帯域に分割して時間分解能を低く、高域では広い帯域に分割して時間分解能を高くすることができる。不等間隔分割には、低域に向かって帯域が逐次半分になるオクターブ分割や人間の聴覚特性に対応した臨界帯域分割などを用いてもよい。帯域分割フィルタバンクとその設計法に関連する技術は、非特許文献10に開示されている。
変換部1201は、劣化音声パワースペクトルを雑音推定部1202、抑圧係数生成部1203、及び乗算器1204に出力する。劣化音声パワースペクトルは、周波数変換された信号成分の振幅に関する情報である。変換部1201は、周波数変換された信号成分の位相に関する情報を逆変換部1205に出力する。雑音推定部1202は、入力された劣化音声パワースペクトルに含まれる複数の周波数振幅情報に基づいて、複数の雑音を推定し、抑圧係数生成部1203に出力する。抑圧係数生成部1203は、入力された複数の周波数振幅情報と複数の推定雑音を用いて、これらの周波数毎に対応した複数の抑圧係数を生成する。抑圧係数は、前記周波数振幅と推定雑音との比が大きいほど大きくなり、０と１の間をとるように生成される。抑圧係数の決定方法については、特許文献１に開示されている方法を用いてもよい。抑圧係数生成部1203は、複数の抑圧係数を乗算器1204に出力する。乗算器1204は、変換部1201から入力された劣化音声パワースペクトルを抑圧係数生成部1203から入力された複数の抑圧係数で重み付けし、得られた強調音声パワースペクトルを逆変換部1205へ出力する。
逆変換部1205は、乗算器1204から入力された強調音声パワースペクトルと変換部1201から入力される位相から再構成された情報を逆変換して、入力０として出力する。逆変換部1205が適用する逆変換は、変換部1201が適用する変換と対応する逆変換が選択されることが望ましい。例えば、変換部1201が、複数の入力信号サンプルをまとめて１ブロックを構成し、このブロックに対して周波数変換を適用するときには、逆変換部1205は同一数のサンプルに対して対応する逆変換を適用する。また、変換部1201が複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容する場合には、これに対応して、逆変換部1205は逆変換後の信号に対して同一のオーバラップを適用する。さらに、変換部1201を帯域分割フィルタバンクで構成するときには、逆変換部1205を帯域合成フィルタバンクで構成する。帯域合成フィルタバンクとその設計法に関連する技術は、非特許文献10に開示されている。
前処理部11の第４の構成例は、前処理部11に複数の入力信号が入力される第１から第４の構成例と異なり、一つの入力（この場合は入力Ａ０）から、信号成分の分離が可能である。これは、入力Ａ０の支配的な信号成分を強調し、それを入力Ａ０から差し引き、非支配的信号成分を生成するからである。
次に、図１２を参照して、前処理部11の第５の構成例について詳細に説明する。図１２の前処理部11は、信号成分強調部1100〜110Ｍi-2、適応フィルタリング部1260〜126Ｍi-2、加算器115で構成されている。信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力０〜入力Ｍi-2として、加算器115の出力が入力Ｍi-1として出力される。信号成分強調部110j(０≦ｊ≦Ｍi-2)は、図６の第１の構成例において説明した通りに動作する。適応フィルタリング部1260〜126Ｍi-2には信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力されており、これらの入力と相関のある信号成分を生成する。適応フィルタリング部1260〜126Ｍi-2の出力は、すべて極性を反転させた上で、加算器115に出力されている。加算器115の他の入力には、入力Ａ０〜入力ＡＭi-1が入力されている。加算器115は、入力Ａ０〜入力ＡＭi-1の総和から適応フィルタリング部1260〜126Ｍi-2の出力の総和を差し引いて、その結果を入力Ｍi-1として出力する。従って、理論的には加算器115の出力には、信号成分強調部1100〜110Ｍi-2で強調された信号成分は、含まれないことになる。加算器115の出力は、適応フィルタリング部1260〜126Ｍi-2に帰還される。適応フィルタリング部1260〜126Ｍi-2は、加算器115の出力が最小化されるように、適応フィルタリング部1260〜126Ｍi-2に含まれる適応フィルタの係数を更新する。
さらに、本構成例の前処理部11は、適応フィルタリング部1260〜126Ｍi-2なしで、信号成分強調部1100〜110Ｍi-2の出力を直接加算器115に出力する構成や、加算器115が入力０〜入力Ｍi-2を単に加算するだけの構成でもよい。これらの場合も、上述の本構成例の前処理部11と同様の効果が得られる。
第５の構成例の前処理部11は、図６を用いて説明した第１の構成例の前処理部11と異なり、適応フィルタリング部1260〜126Ｍi-2及び加算器115を有する。この構成により、第５の構成例の前処理部11は信号成分強調部1100〜110Ｍi-2の出力で強調された信号を含まない信号を入力Ｍi-1として出力する。この入力Ｍi-1では、空間にほぼ一様に存在する背景雑音などの拡散的な信号が支配的になる。このように、前処理部11が適応フィルタリング部1260〜126Ｍi-2及び加算器115を備えることによって、拡散的な信号を強調することが可能となる。
次に、図１３を参照して、前処理部11の第６の構成例について詳細に説明する。図１３の前処理部11は、複数の信号成分強調部1100〜110Ｍi-2と加算器115で構成されている。信号成分強調部1100〜110Ｍi-2の出力がそれぞれ入力０〜入力Ｍi-2として、加算器115の出力が入力Ｍi-1として出力される。信号成分強調部110j(０≦ｊ≦Ｍi-2)が一般化サイドローブキャンセラで構成される場合は、内部で固定ビームフォーミング部出力から減算される信号が、強調される信号成分以外の信号成分（非強調成分）となっている。従って、非強調成分の信号を信号成分強調部1100〜110Ｍi-2のそれぞれから取り出し、加算器115で加算する。これにより、加算器115の出力には強調された信号成分が含まれないことになる。
上記一般化サイドローブキャンセラの例を、図１４に示す。図１４に示される一般化サイドローブキャンセラは、図７に示される一般化サイドローブキャンセラと同等な構成を有している。図１４に示される一般化サイドローブキャンセラでは、図７に示される一般化サイドローブキャンセラと異なり、加算器1132の出力が非強調成分として出力されている。この非強調成分を図１３に示される加算器115で加算することによって、拡散的な信号として強調することができる。同様に、非強調成分を得ることができる構成であれば、一般化サイドローブキャンセラ以外でも、信号成分強調部として利用することができる。
第６の構成例の前処理部11は、図６を用いて説明した第１の構成例と異なり、新たに加算器115を有し、信号成分強調部1100〜110Ｍi-2の各々から得た非強調成分を入力Ｍi-1として出力する。この構成により、入力Ｍi-1は、空間にほぼ一様に存在する背景雑音などの拡散的な信号が支配的になる。このように、前処理部11が適応フィルタリング部1260〜126Ｍi-2及び加算器115を備えることによって、非強調成分を拡散的な信号として強調することが可能となる。
以上説明したように、本発明の信号処理システムの第二の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、本実施の形態の信号処理システムは、複数の入力信号に前処理を施して、それぞれに含まれる特定の信号成分を強調し、分離度を高めてから、レンダリングすることができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。
続いて、図１５を参照して、本発明の信号処理システムの第三の実施の形態の信号処理システムについて詳細に説明する。本発明の第三の実施の形態は、多重レンダリング部５に入力する信号をマイクロホンで捕捉するものである。図１５を参照して、多重レンダリング部５に対するマイクロホンによる入力信号を入力するシステムについて説明する。
前処理部11には、マイクロホン６0〜６Mm-1から入力Ａ０〜ＡＭm-1が入力されている。マイクロホン６0は信号成分０を発生する音源７0に近い位置に、マイクロホン６1は信号成分１を発生する音源７1に近い位置に、同様にマイクロホン６Mm-1は信号成分Ｍm-1を発生する音源７Mm-1に近い位置に配置されている。このため、入力Ａ０においては信号成分０が、入力Ａ１においては信号成分１が、入力ＡＭm-1においては信号成分Ｍm-1が強調される。このようにして得られたＡ０〜ＡＭm-1を前処理部11に入力することにより、信号成分０〜Ｍm-1を空間上の異なった位置に定位させることができる。なお、マイクロホン６0〜６Mm-1として指向性マイクロホンを利用し、その指向性を音源に一致させることで、上記効果をさらに高くすることができる。また、前処理部11のない構成でも、同様の効果を得られる。
以上説明したように、本発明の信号処理システムの第三の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、複数の入力信号を所望する信号成分の音源に近く配置したマイクロホンを用いて捕捉するので、マイクロホン信号間の分離度を高くしてからレンダリングすることができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で、信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。
続いて、図１６を参照して、本発明の信号処理システムの第四の実施の形態について詳細に説明する。本発明の第四の実施の形態は、前処理部11に入力される信号をマイクロホンで捕捉する際に、信号の漏れ込みを低減するために、それぞれのマイクロホン間に障害物を備えたものである。図１６では、マイクロホン６0〜６Mm-1のそれぞれの間に隔壁状の障害物100〜10Mm-1が存在している。図１５に示すように自由空間にマイクロホンを配置しても、現実的には、音源７1からマイクロホン６0へ、または音源７0からマイクロホン６1へ、信号が漏れこむことがある。本実施の形態の信号処理システムは、障害物100〜10Mm-1を適切に配置することにより、これらの信号漏れ込みを低減することができる。障害物100〜10Mm-1の設置により、意図的に信号を減衰させる効果が生じる。例えば、音源７0とマイクロホン６1とを結ぶ直線をさえぎるように障害物100が存在するとき、音源７0の発生する信号の信号成分０は、減衰してマイクロホン６1に到達する。伝搬経路上に障害物100の存在しないマイクロホン６0に信号成分０が到達するときの減衰量は、マイクロホン６1に到達する信号の減衰量より小さい。すなわち、信号成分０のパワーは、マイクロホン６1からの入力信号に含まれるパワーよりマイクロホン６0からの入力信号に含まれるパワーの方が大きい。同様の議論により、信号成分１のパワーは、マイクロホン６0からの入力信号に含まれるパワーよりマイクロホン６1からの入力信号に含まれるパワーの方が大きい。このため、入力Ａ０においては音源７0の発生する信号成分０が支配的になり、入力Ａ１においては音源７1が発生する信号成分１が支配的となる。
上記のような障害物以外を、信号を減衰させる効果があるものとして利用してもよい。例えば、携帯電話などの端末の異なる側面に装備された複数のマイクロホンを利用してもよい。特に、筐体の一方の面とそれ以外の面とに装備されたマイクロホンに関しては、筐体自身が障害物として機能するために、上記の信号処理システムと同様の効果が得られる。図１７は、このような例を示している。図１７の例では、携帯電話の一面にマイクロホン６0が、その裏面にマイクロホン６1が具備されている。
図１８は、マイクロホンを携帯電話の表面及び側面に具備した例である。マイクロホン６1は、マイクロホン６0に対して側面に固定されている。さらに、マイクロホン６0及び６1に対して、他方のマイクロホン側からの信号漏れ込みを低減するために、板状の突起を設けてもよい。この様子を、マイクロホン６1を例として、拡大図で示す。
パーソナルコンピュータ(ＰＣ)のキーボードとディスプレイに装備されたマイクロホンでも、上記携帯電話などの端末の構成と同様の効果が得られる。特に、ディスプレイの裏側にマイクロホンが装備されている場合には、ディスプレイが障害物として機能するために、上記携帯電話などの端末の構成と同様の効果が得られる。図１９は、このような例を示している。正面図のキーボードにはマイクロホン６0が、背面図にあるディスプレイ裏面にはマイクロホン６1が装着されている。さらに、マイクロホン６0及び６1に対して、他方のマイク路ホン側からの信号漏れ込みを低減するために、板状の突起を設けてもよい。この様子を、マイクロホン６1を例として、拡大図で示す。PC側面やディスプレイ側面へのマイクロホン装着も、上記携帯電話などの端末の構成と同様の効果が得られる。
以上説明したように、本発明の信号処理システムの第四の実施の形態によれば、信号成分を異なった割合で含む複数の入力信号をレンダリングして、異なった定位を付与することができる。また、複数の入力信号を所望する信号成分の音源に近く配置したマイクロホンを用いて捕捉するので、マイクロホン信号間の分離度を高くしてからレンダリングすることができる。さらに、各マイクロホン間に信号の相互漏れ込みを低減する障害物を配置することにより、マイクロホン信号間の分離度をさらに高くしてからレンダリングすることができる。また、本実施の形態の信号処理システムは、低歪で信号分離度の不十分な入力信号を人間の聴覚器官に本来備わった分離機能を利用することにより、信号分離度の不十分な入力信号をさらに分離して知覚させることができる。すなわち、本実施の形態の信号処理システムは、信号分離能力を保ったまま歪みを低減することができる。このため、入力信号に含まれる複数の信号成分に、小さな歪で信号成分毎に異なった定位を付与することができる信号処理システムを提供することができる。
また、上述した信号処理システムは、プログラムによって動作するコンピュータによっても実現できる。
以上の如く、実施の形態を説明したが、本発明の実施例は以下の通りである。
すなわち、本発明の第１の実施例は、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理システムである。
また、本発明の第２の実施例は、上記実施例において、前記レンダリング部が第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。
また、本発明の第３の実施例は、上記実施例において、複数の信号を含む信号を受け、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理部をさらに備えることを特徴とする。
また、本発明の第４の実施例は、上記実施例において、前記強調処理部が、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。
また、本発明の第５の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。
また、本発明の第６の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。
また、本発明の第７の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。
また、本発明の第８の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。
また、本発明の第９の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする。
また、本発明の第１０の実施例は、上記実施例において、前記マイクロホンを複数備え、前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする。
また、本発明の第１１の実施例は、上記実施例において、前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする。
また、本発明の第１２の実施例は、第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理装置である。
また、本発明の第１３の実施例は、上記実施例において、前記レンダリング部が、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。
また、本発明の第１４の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。
また、本発明の第１５の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。
また、本発明の第１６の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。
また、本発明の第１７の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。
また、本発明の第１８の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする。
また、本発明の第１９の実施例は、上記実施例において、前記マイクロホンを複数備え、前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする。
また、本発明の第２０の実施例は、上記実施例において、前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする。
また、本発明の第２１の実施例は、第一及び第二の入力信号を受ける受信ステップと、レンダリング情報に基づいて第一の入力信号を定位させるレンダリングステップとを含むことを特徴とする信号処理方法である。
また、本発明の第２２の実施例は、上記実施例において、前記レンダリングステップにおいて、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。
また、本発明の第２３の実施例は、上記実施例において、複数の信号を含む信号を受ける受信ステップと、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理ステップと、をさらに含むことを特徴とする。
また、本発明の第２４の実施例は、上記実施例において、前記強調処理ステップにおいて、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。
また、本発明の第２５の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。
また、本発明の第２６の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。
また、本発明の第２７の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。
また、本発明の第２８の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。
また、本発明の第２９の実施例は、上記実施例において、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉ステップをさらに含むことを特徴とする。
また、本発明の第３０の実施例は、コンピュータに、第一及び第二の入力信号を受ける受信処理と、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング処理と、を実行させる信号処理プログラムである。
また、本発明の第３０の実施例は、上記実施例において、前記レンダリング処理において、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする。
また、本発明の第３１の実施例は、上記実施例において、コンピュータに、複数の信号を含む信号を受ける受信処理と、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理と、を実行させることを特徴とする。
また、本発明の第３３の実施例は、上記実施例において、前記強調処理において、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする。
また、本発明の第３４の実施例は、上記実施例において、前記第一の入力信号が、所望信号が強調された信号であることを特徴とする。
また、本発明の第３５の実施例は、上記実施例において、前記第二の入力信号が、所望信号以外の信号が強調された信号であることを特徴とする。
また、本発明の第３６の実施例は、上記実施例において、前記所望信号が音声であることを特徴とする。
また、本発明の第３７の実施例は、上記実施例において、前記所望信号以外の信号が雑音であることを特徴とする。
また、本発明の第３８の実施例は、上記実施例において、コンピュータに、前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉処理を実行させることを特徴とする。
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
本出願は、２００７年１０月１９日に出願された日本出願特願２００７−２７１９６３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明によれば、信号処理を行う装置、信号処理をコンピュータに実現するためのプログラムといった用途に適用できる。

Claims (38)

  1. 第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理システム。
  2. 前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１に記載の信号処理システム。
  3. 複数の信号を含む信号を受け、前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理部をさらに備えることを特徴とする請求項１または２に記載の信号処理システム。
  4. 前記強調処理部は、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項３に記載の信号処理システム。
  5. 前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１乃至４のいずれか一項に記載の信号処理システム。
  6. 前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１乃至５のいずれか一項に記載の信号処理システム。
  7. 前記所望信号は、音声であることを特徴とする請求項５または６に記載の信号処理システム。
  8. 前記所望信号以外の信号は、雑音であることを特徴とする請求項５乃至７のいずれか１項に記載の信号処理システム。
  9. 前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項５乃至８のいずれか１項に記載の信号処理システム。
  10. 前記マイクロホンを複数備え、
    前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項９に記載の信号処理システム。
  11. 前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項９に記載の信号処理システム。
  12. 第一及び第二の入力信号を受け、レンダリング情報に基づいて第一の入力信号を定位させるレンダリング部を備えることを特徴とする信号処理装置。
  13. 前記レンダリング部は、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項１２に記載の信号処理装置。
  14. 前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項１２または１３に記載の信号処理装置。
  15. 前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項１２乃至１４のいずれか一項に記載の信号処理装置。
  16. 前記所望信号は、音声であることを特徴とする請求項１４または１５に記載の信号処理装置。
  17. 前記所望信号以外の信号は、雑音であることを特徴とする請求項１４乃至１６のいずれか１項に記載の信号処理装置。
  18. 前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉するマイクロホンをさらに備えることを特徴とする請求項１４乃至１７のいずれか１項に記載の信号処理装置。
  19. 前記マイクロホンを複数備え、
    前記複数のマイクロホンの間を遮蔽する部材を備えることを特徴とする請求項１８に記載の信号処理装置。
  20. 前記複数のマイクロホンを筐体の異なった面に備えることを特徴とする請求項１８に記載の信号処理装置。
  21. 第一及び第二の入力信号を受ける受信ステップと、
    レンダリング情報に基づいて第一の入力信号を定位させるレンダリングステップと、
    を含むことを特徴とする信号処理方法。
  22. 前記レンダリングステップにおいて、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項２１に記載の信号処理方法。
  23. 複数の信号を含む信号を受ける受信ステップと、
    前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理ステップと、
    をさらに含むことを特徴とする請求項２１または２２に記載の信号処理方法。
  24. 前記強調処理ステップにおいて、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項２３に記載の信号処理方法。
  25. 前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項２１乃至２４のいずれか一項に記載の信号処理方法。
  26. 前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項２１乃至２５のいずれか一項に記載の信号処理方法。
  27. 前記所望信号は、音声であることを特徴とする請求項２５または２６に記載の信号処理方法。
  28. 前記所望信号以外の信号は、雑音であることを特徴とする請求項２５乃至２７のいずれか１項に記載の信号処理方法。
  29. 前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉ステップをさらに含むことを特徴とする請求項２５乃至２８のいずれか１項に記載の信号処理方法。
  30. コンピュータに、
    第一及び第二の入力信号を受ける受信処理と、
    レンダリング情報に基づいて第一の入力信号を定位させるレンダリング処理と、
    を実行させる信号処理プログラム。
  31. 前記レンダリング処理において、第二の入力信号を第一の入力信号とは異なった位置に定位させることを特徴とする請求項３０に記載の信号処理プログラム。
  32. コンピュータに
    複数の信号を含む信号を受ける受信処理と、
    前記複数の信号から特定の信号を強調し前記第一の入力信号とする強調処理と、
    を実行させることを特徴とする請求項３０または３１に記載の信号処理プログラム。
  33. 前記強調処理において、前記特定の信号以外の信号から特定の信号を強調し前記第二の入力信号とすることを特徴とする請求項３２に記載の信号処理プログラム。
  34. 前記第一の入力信号は、所望信号が強調された信号であることを特徴とする請求項３０乃至３３のいずれか一項に記載の信号処理プログラム。
  35. 前記第二の入力信号は、所望信号以外の信号が強調された信号であることを特徴とする請求項３０乃至３４のいずれか一項に記載の信号処理プログラム。
  36. 前記所望信号は、音声であることを特徴とする請求項３４または３５に記載の信号処理プログラム。
  37. 前記所望信号以外の信号は、雑音であることを特徴とする請求項３４乃至３６のいずれか１項に記載の信号処理プログラム。
  38. コンピュータに、
    前記所望信号と前記所望信号以外の信号とが混合する信号を捕捉する信号捕捉処理を実行させることを特徴とする請求項３４乃至３７のいずれか１項に記載の信号処理プログラム。
JP2009538109A 2007-10-19 2008-10-15 信号処理システムと、その装置、方法及びそのプログラム Pending JPWO2009051132A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007271963 2007-10-19
JP2007271963 2007-10-19
PCT/JP2008/068646 WO2009051132A1 (ja) 2007-10-19 2008-10-15 信号処理システムと、その装置、方法及びそのプログラム

Publications (1)

Publication Number Publication Date
JPWO2009051132A1 true JPWO2009051132A1 (ja) 2011-03-03

Family

ID=40567394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538109A Pending JPWO2009051132A1 (ja) 2007-10-19 2008-10-15 信号処理システムと、その装置、方法及びそのプログラム

Country Status (3)

Country Link
US (1) US8892432B2 (ja)
JP (1) JPWO2009051132A1 (ja)
WO (1) WO2009051132A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4873913B2 (ja) * 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
US9118805B2 (en) * 2007-06-27 2015-08-25 Nec Corporation Multi-point connection device, signal analysis and device, method, and program
WO2011048067A1 (en) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
JP5949553B2 (ja) * 2010-11-11 2016-07-06 日本電気株式会社 音声認識装置、音声認識方法、および音声認識プログラム
US10218327B2 (en) * 2011-01-10 2019-02-26 Zhinian Jing Dynamic enhancement of audio (DAE) in headset systems
JP5936069B2 (ja) * 2011-01-13 2016-06-15 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラム、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
WO2012096074A1 (ja) * 2011-01-13 2012-07-19 日本電気株式会社 音声処理装置及びその制御方法とその制御プログラムを格納した記憶媒体、該音声処理装置を備えた車両、情報処理装置及び情報処理システム
US20130282370A1 (en) * 2011-01-13 2013-10-24 Nec Corporation Speech processing apparatus, control method thereof, storage medium storing control program thereof, and vehicle, information processing apparatus, and information processing system including the speech processing apparatus
US9530419B2 (en) * 2011-05-04 2016-12-27 Nokia Technologies Oy Encoding of stereophonic signals
TW201330645A (zh) * 2012-01-05 2013-07-16 Richtek Technology Corp 降低雜訊的錄音裝置及其方法
JP6031364B2 (ja) * 2013-01-24 2016-11-24 日本電信電話株式会社 収音装置及び再生装置
WO2014125669A1 (ja) * 2013-02-12 2014-08-21 日本電気株式会社 音声入力装置、音声処理方法、音声処理プログラム、天井部材ならびに車両
CN205430513U (zh) * 2016-03-30 2016-08-03 乐视控股（北京）有限公司 一种智能电视外接设备连接件
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
EP3324407A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0259000A (ja) * 1988-08-24 1990-02-28 Nippon Telegr & Teleph Corp <Ntt> 音像定位再生方式
JPH03126398A (ja) * 1989-10-12 1991-05-29 Sony Corp ビデオカメラ
JPH0560100U (ja) * 1992-01-27 1993-08-06 クラリオン株式会社 音響再生装置
JPH0851698A (ja) * 1993-07-30 1996-02-20 Victor Co Of Japan Ltd サラウンド信号処理装置及び映像音声再生装置
JP2002078100A (ja) * 2000-09-05 2002-03-15 Nippon Telegr & Teleph Corp <Ntt> ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体
JP2004129038A (ja) * 2002-10-04 2004-04-22 Sony Corp マイクロホンのレベル調整方法及びマイクロホンのレベル調整装置及び電子機器
JP2007067858A (ja) * 2005-08-31 2007-03-15 Sony Corp 音声信号処理装置、音声信号処理方法およびプログラム並びに入力装置
WO2007052645A1 (ja) * 2005-11-02 2007-05-10 Yamaha Corporation 収音装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761315A (en) * 1993-07-30 1998-06-02 Victor Company Of Japan, Ltd. Surround signal processing apparatus
US5862240A (en) * 1995-02-10 1999-01-19 Sony Corporation Microphone device
US6697491B1 (en) * 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
JPH1146400A (ja) 1997-07-25 1999-02-16 Yamaha Corp 音像定位装置
US7242782B1 (en) * 1998-07-31 2007-07-10 Onkyo Kk Audio signal processing circuit
JP2002199500A (ja) * 2000-12-25 2002-07-12 Sony Corp 仮想音像定位処理装置、仮想音像定位処理方法および記録媒体
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
CN1830026B (zh) * 2001-01-30 2011-06-15 汤姆森特许公司 几何源分离的几何信号处理技术
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
JP4196162B2 (ja) * 2002-08-20 2008-12-17 ソニー株式会社 自動風音低減回路および自動風音低減方法
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
US7330556B2 (en) * 2003-04-03 2008-02-12 Gn Resound A/S Binaural signal enhancement system
ATE428274T1 (de) * 2003-05-06 2009-04-15 Harman Becker Automotive Sys Verarbeitungssystem fur stereo audiosignale
US6999593B2 (en) * 2003-05-28 2006-02-14 Microsoft Corporation System and process for robust sound source localization
CA2454296A1 (en) * 2003-12-29 2005-06-29 Nokia Corporation Method and device for speech enhancement in the presence of background noise
US8271200B2 (en) * 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
JP2005223714A (ja) * 2004-02-06 2005-08-18 Sony Corp 音響収音装置、音響収音方法、記録媒体
KR101215944B1 (ko) * 2004-09-07 2012-12-27 센시어 피티와이 엘티디 청취보호기와 음향개선방법
EP1736964A1 (en) * 2005-06-24 2006-12-27 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO System and method for extracting acoustic signals from signals emitted by a plurality of sources
GB0523946D0 (en) * 2005-11-24 2006-01-04 King S College London Audio signal processing method and system
WO2007112756A2 (en) * 2006-04-04 2007-10-11 Aalborg Universitet System and method tracking the position of a listener and transmitting binaural audio data to the listener
GB0609248D0 (en) * 2006-05-10 2006-06-21 Leuven K U Res & Dev Binaural noise reduction preserving interaural transfer functions
US8755547B2 (en) * 2006-06-01 2014-06-17 HEAR IP Pty Ltd. Method and system for enhancing the intelligibility of sounds
WO2007140799A1 (en) * 2006-06-05 2007-12-13 Exaudio Ab Blind signal extraction
DE102006027673A1 (de) * 2006-06-14 2007-12-20 Friedrich-Alexander-Universität Erlangen-Nürnberg Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
JP5082327B2 (ja) * 2006-08-09 2012-11-28 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
US20080273722A1 (en) * 2007-05-04 2008-11-06 Aylward J Richard Directionally radiating sound in a vehicle
US8483413B2 (en) * 2007-05-04 2013-07-09 Bose Corporation System and method for directionally radiating sound

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0259000A (ja) * 1988-08-24 1990-02-28 Nippon Telegr & Teleph Corp <Ntt> 音像定位再生方式
JPH03126398A (ja) * 1989-10-12 1991-05-29 Sony Corp ビデオカメラ
JPH0560100U (ja) * 1992-01-27 1993-08-06 クラリオン株式会社 音響再生装置
JPH0851698A (ja) * 1993-07-30 1996-02-20 Victor Co Of Japan Ltd サラウンド信号処理装置及び映像音声再生装置
JP2002078100A (ja) * 2000-09-05 2002-03-15 Nippon Telegr & Teleph Corp <Ntt> ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体
JP2004129038A (ja) * 2002-10-04 2004-04-22 Sony Corp マイクロホンのレベル調整方法及びマイクロホンのレベル調整装置及び電子機器
JP2007067858A (ja) * 2005-08-31 2007-03-15 Sony Corp 音声信号処理装置、音声信号処理方法およびプログラム並びに入力装置
WO2007052645A1 (ja) * 2005-11-02 2007-05-10 Yamaha Corporation 収音装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013062690; 高谷 智哉， 西川 剛樹， 猿渡 洋， 鹿野 清宏: '"ＳＩＭＯモデルに基づくＩＣＡを用いた高忠実度なブラインド音源分離"' 電子情報通信学会技術研究報告 応用音響 １０２（６０６）, 20030120, ｐ１９-ｐ２４, 社団法人 電子情報通信学会 *

Also Published As

Publication number Publication date
WO2009051132A1 (ja) 2009-04-23
US8892432B2 (en) 2014-11-18
US20100217586A1 (en) 2010-08-26

Similar Documents

Publication Publication Date Title
JPWO2009051132A1 (ja) 信号処理システムと、その装置、方法及びそのプログラム
EP2207168B1 (en) Robust two microphone noise suppression system
US9280965B2 (en) Method for determining a noise reference signal for noise compensation and/or noise reduction
US10123113B2 (en) Selective audio source enhancement
US8958572B1 (en) Adaptive noise cancellation for multi-microphone systems
Benesty et al. Microphone array signal processing
Simmer et al. Post-filtering techniques
CN105376673B (zh) 一种电子设备
US8682006B1 (en) Noise suppression based on null coherence
JP5738488B2 (ja) ビームフォーミング装置
EP1699913A2 (en) A method for generating noise references for generalized sidelobe canceling
KR20160099712A (ko) 복수의 입력 오디오 신호를 잔향제거하기 위한 신호 처리 장치, 방법 및 컴퓨터가 판독 가능한 저장매체
WO2007123052A1 (ja) 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
WO2007123047A1 (ja) 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム
WO2018127412A1 (en) Audio capture using beamforming
Schobben Real-time adaptive concepts in acoustics: Blind signal separation and multichannel echo cancellation
Delcroix et al. Dereverberation and denoising using multichannel linear prediction
Dietzen et al. Comparative analysis of generalized sidelobe cancellation and multi-channel linear prediction for speech dereverberation and noise reduction
Leese Microphone arrays
Mohammed A new robust adaptive beamformer for enhancing speech corrupted with colored noise
CN116760442A (zh) 波束形成方法、装置、电子设备以及存储介质
Priyanka et al. Generalized sidelobe canceller beamforming with combined postfilter and sparse NMF for speech enhancement
Dietzen et al. Speech dereverberation by data-dependent beamforming with signal pre-whitening
Cornelis et al. A QRD-RLS based frequency domain multichannel wiener filter algorithm for noise reduction in hearing aids
Kellermann Echoes and noise with seamless acoustic man-machine interfaces–the challenge persists

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140806