JP6463904B2 - 信号処理装置及び音源分離方法及びプログラム - Google Patents
信号処理装置及び音源分離方法及びプログラム Download PDFInfo
- Publication number
- JP6463904B2 JP6463904B2 JP2014108442A JP2014108442A JP6463904B2 JP 6463904 B2 JP6463904 B2 JP 6463904B2 JP 2014108442 A JP2014108442 A JP 2014108442A JP 2014108442 A JP2014108442 A JP 2014108442A JP 6463904 B2 JP6463904 B2 JP 6463904B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- unit
- phase
- signal
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000926 separation method Methods 0.000 title claims description 81
- 238000012545 processing Methods 0.000 title claims description 42
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 28
- 230000005236 sound signal Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000001143 conditioned effect Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
観測信号を時間周波数変換すると、
収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得手段と、
特定の音源と前記収音手段との位置関係を検出する検出手段と、
前記検出手段により検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得手段により取得される音響信号に対する位相調整を実行する第1位相調整手段と、
前記第1位相調整手段により前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離手段と、
前記音源分離手段により分離された前記特定の音源に対応する音響信号に対して、前記第1位相調整手段によって実行された前記位相調整とは逆の位相調整を実行する第2位相調整手段とを有する。
図1は第1の実施形態に係る音源分離装置1000のブロック構成図である。この音源分離装置1000は、収音部1010と撮像部1020、フレーム分割部1030、FFT部1040、相対位置変化検出部1050、位相調整部1060を有する。また、この装置1000は、パラメータ推定部1070、分離フィルタ生成部1080、音源分離部1090、逆位相調整部1100、逆FFT部1110、フレーム結合部1120、出力部1130を備える。
図4は第2の実施形態に係る音源分離装置2000のブロック構成図である。本装置2000は、収音部1010、フレーム分割部1030、FFT部1040、位相調整部1060、パラメータ推定部1070、分離フィルタ生成部1080、音源分離部1090、逆FFT部1110、フレーム結合部1120、出力部1130をゆする。また、この装置2000は、回転検出部2050、パラメータ調整部2140を有する。
図7は第3の実施形態における音源分離装置3000のブロック構成図である。この装置3000は収音部1010とフレーム分割部1030、FFT部1040、回転検出部2050、パラメータ推定部3070、分離フィルタ生成部1080、音源分離部1090、逆FFT部1110、フレーム結合部1120、出力部1130を備える。
以上、実施形態例を詳述したが、本発明は例えば、複数チャネルの音響信号を収音する収音手段を有するものであれば、システム、装置、方法、制御プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
Claims (19)
- 収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得手段と、
特定の音源と前記収音手段との位置関係を検出する検出手段と、
前記検出手段により検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得手段により取得される音響信号に対する位相調整を実行する第1位相調整手段と、
前記第1位相調整手段により前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離手段と、
前記音源分離手段により分離された前記特定の音源に対応する音響信号に対して、前記第1位相調整手段によって実行された前記位相調整とは逆の位相調整を実行する第2位相調整手段とを有することを特徴とする信号処理装置。 - 前記第1位相調整手段は、前記検出手段により検出される前記特定の音源と前記収音手段との位置関係の変化量であって前記収音手段により収音が行われている収音期間における変化量に対応する前記調整量で、前記取得手段により取得される音響信号に対する前記位相調整を実行することを特徴とする請求項1に記載の信号処理装置。
- 前記第1位相調整手段は、前記複数チャネルの音響信号に含まれる第1チャネルの音響信号と第2チャネルの音響信号との位相の差が一定となるように、前記取得手段により取得される音響信号の位相を調整することを特徴とする請求項1又は2に記載の信号処理装置。
- 前記取得手段により取得される音響信号を、それぞれ異なる期間に対応する複数のフレームに分割する分割手段を有し、
前記第1位相調整手段は、前記分割手段により分割される複数のフレームそれぞれについて、各フレームに対応する調整量で位相を調整し、
前記音源分離手段は、前記分割手段により分割される複数のフレームそれぞれについて、前記特定の音源に対応する音響信号を分離することを特徴とする請求項1乃至3の何れか1項に記載の信号処理装置。 - 前記第1位相調整手段は、前記取得手段により取得される音響信号の位相を前記特定の音源に対応する第1調整量で調整することで第1の調整済み音響信号を生成し、且つ、当該音響信号の位相を前記特定の音源とは別の音源に対応する第2調整量で調整することで第2の調整済み音響信号を生成し、
前記音源分離手段は、前記第1位相調整手段により生成される前記第1の調整済み音響信号と前記第2の調整済み音響信号とに基づいて、前記特定の音源に対応する音響信号を分離することを特徴とする請求項1乃至4のいずれか1項に記載の信号処理装置。 - 前記第1位相調整手段により調整された音響信号を用いて音源分離パラメータを決定する決定手段を有し、
前記音源分離手段は、前記決定手段により決定される音源分離パラメータに基づく分離フィルタを用いて前記特定の音源に対応する音響信号を分離することを特徴とする請求項1乃至5のいずれか1項に記載の信号処理装置。 - 前記音源分離手段は、前記決定手段により決定された音源分離パラメータである空間相関行列を、前記第1位相調整手段によって調整された位相の調整量に応じて補正することで、前記分離フィルタを生成することを特徴とする請求項6に記載の信号処理装置。
- 前記第1位相調整手段および前記第2位相調整手段は音響信号の遅延を調整することを特徴とする請求項1乃至7のいずれか1項に記載の信号処理装置。
- 前記第1位相調整手段は時間周波数変換された音響信号の位相を調整することを特徴とする請求項1乃至7のいずれか1項に記載の信号処理装置。
- 前記決定手段は、
前記第1位相調整手段により調整された音響信号を用いて時間周波数ごとの空間相関行列を算出する手段と、
当該算出した時間周波数ごとの空間相関行列を固有値分解する手段と、
当該固有値分解により算出した固有値のうち最も大きな固有値に対応する固有ベクトルから音源方向を算出する手段と、
当該算出した音源方向と前記検出手段により検出した前記位置関係の変化量と前記空間相関行列の固有値とから前記空間相関行列を更新することで、前記音源分離パラメータを決定する手段とを有することを特徴とする請求項6に記載の信号処理装置。 - 前記分離フィルタは多チャネルウィーナーフィルタであることを特徴とする請求項6又は10に記載の信号処理装置。
- 前記決定手段は、分散と空間相関行列とを含む前記音源分離パラメータを、EMアルゴリズムを用いて決定することを特徴とする請求項6又は10に記載の信号処理装置。
- 前記検出手段は、前記収音手段の回転、前記収音手段の移動、及び前記特定の音源の移動のうち少なくとも1つの検出結果に基づいて、前記位置関係を検出することを特徴とする請求項1乃至12のいずれか1項に記載の信号処理装置。
- 前記検出手段は、前記特定の音源の画像が含まれる撮影画像に基づいて前記位置関係を検出することを特徴とする請求項1乃至13の何れか1項に記載の信号処理装置。
- 前記第1位相調整手段は、前記複数チャネルの音響信号に含まれる第1チャネルの音響信号と第2チャネルの音響信号との位相の差が0となるように、前記取得手段により取得される音響信号の位相を調整することを特徴とする請求項1乃至14のいずれか1項に記載の信号処理装置。
- 収音手段により収音を行うことで得られる複数チャネルの音響信号を取得する取得工程と、
特定の音源と前記収音手段との位置関係を検出する検出工程と、
前記検出工程において検出される前記特定の音源と前記収音手段との位置関係に応じた調整量で、前記取得工程において取得される音響信号に対する位相調整を実行する第1位相調整工程と、
前記第1位相調整工程において前記位相調整が実行された音響信号から前記特定の音源に対応する音響信号を分離する音源分離工程と、
前記音源分離工程において分離された前記特定の音源に対応する音響信号に対して、前記第1位相調整工程によって実行された前記位相調整とは逆の位相調整を実行する第2位相調整工程とを有することを特徴とする音源分離方法。 - 前記第1位相調整工程においては、前記複数チャネルの音響信号に含まれる第1チャネルの音響信号と第2チャネルの音響信号との位相の差が一定となるように、前記取得工程において取得される音響信号の位相が調整されることを特徴とする請求項16に記載の音源分離方法。
- 前記取得工程において取得される音響信号を、それぞれ異なる期間に対応する複数のフレームに分割する分割工程を有し、
前記第1位相調整工程においては、前記分割工程において分割される複数のフレームそれぞれについて、各フレームに対応する調整量で位相が調整され、
前記音源分離工程においては、前記分割工程において分割される複数のフレームそれぞれについて、前記特定の音源に対応する音響信号が分離されることを特徴とする請求項16又は17に記載の音源分離方法。 - コンピュータを、請求項1乃至15の何れか1項に記載の信号処理装置の各手段として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014108442A JP6463904B2 (ja) | 2014-05-26 | 2014-05-26 | 信号処理装置及び音源分離方法及びプログラム |
US14/716,260 US9712937B2 (en) | 2014-05-26 | 2015-05-19 | Sound source separation apparatus and sound source separation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014108442A JP6463904B2 (ja) | 2014-05-26 | 2014-05-26 | 信号処理装置及び音源分離方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015226104A JP2015226104A (ja) | 2015-12-14 |
JP2015226104A5 JP2015226104A5 (ja) | 2017-07-06 |
JP6463904B2 true JP6463904B2 (ja) | 2019-02-06 |
Family
ID=54557025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014108442A Active JP6463904B2 (ja) | 2014-05-26 | 2014-05-26 | 信号処理装置及び音源分離方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9712937B2 (ja) |
JP (1) | JP6463904B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160071526A1 (en) * | 2014-09-09 | 2016-03-10 | Analog Devices, Inc. | Acoustic source tracking and selection |
JP6642989B2 (ja) | 2015-07-06 | 2020-02-12 | キヤノン株式会社 | 制御装置、制御方法及びプログラム |
JP6646967B2 (ja) | 2015-07-31 | 2020-02-14 | キヤノン株式会社 | 制御装置、再生システム、補正方法、及び、コンピュータプログラム |
CN105632511A (zh) * | 2015-12-29 | 2016-06-01 | 太仓美宅姬娱乐传媒有限公司 | 一种声音处理方法 |
CN117612539A (zh) | 2016-05-30 | 2024-02-27 | 索尼公司 | 视频音频处理设备、视频音频处理方法和存储介质 |
JP6591477B2 (ja) * | 2017-03-21 | 2019-10-16 | 株式会社東芝 | 信号処理システム、信号処理方法及び信号処理プログラム |
CN107863106B (zh) * | 2017-12-12 | 2021-07-13 | 长沙联远电子科技有限公司 | 语音识别控制方法及装置 |
CN111352075B (zh) * | 2018-12-20 | 2022-01-25 | 中国科学院声学研究所 | 一种基于深度学习的水下多声源定位方法及*** |
WO2020194717A1 (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 音響認識装置、音響認識方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体 |
JP2020201370A (ja) * | 2019-06-10 | 2020-12-17 | 富士通株式会社 | 話者方向判定プログラム、話者方向判定方法、及び話者方向判定装置 |
US11270712B2 (en) | 2019-08-28 | 2022-03-08 | Insoundz Ltd. | System and method for separation of audio sources that interfere with each other using a microphone array |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3344647B2 (ja) * | 1998-02-18 | 2002-11-11 | 富士通株式会社 | マイクロホンアレイ装置 |
JP4517606B2 (ja) * | 2003-08-27 | 2010-08-04 | ソニー株式会社 | 監視システム、信号処理装置および方法、並びにプログラム |
US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
JP2010152107A (ja) * | 2008-12-25 | 2010-07-08 | Kobe Steel Ltd | 目的音抽出装置及び目的音抽出プログラム |
JP5706782B2 (ja) * | 2010-08-17 | 2015-04-22 | 本田技研工業株式会社 | 音源分離装置及び音源分離方法 |
JP5406866B2 (ja) * | 2011-02-23 | 2014-02-05 | 日本電信電話株式会社 | 音源分離装置、その方法及びプログラム |
-
2014
- 2014-05-26 JP JP2014108442A patent/JP6463904B2/ja active Active
-
2015
- 2015-05-19 US US14/716,260 patent/US9712937B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015226104A (ja) | 2015-12-14 |
US20150341735A1 (en) | 2015-11-26 |
US9712937B2 (en) | 2017-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463904B2 (ja) | 信号処理装置及び音源分離方法及びプログラム | |
US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
CN111133511B (zh) | 声源分离*** | |
JP6389259B2 (ja) | マイクロホンアレイを使用した残響音の抽出 | |
US20170366896A1 (en) | Associating Audio with Three-Dimensional Objects in Videos | |
CN104012074B (zh) | 用于数据处理***的智能音频和视频捕捉*** | |
US20240048932A1 (en) | Personalized hrtfs via optical capture | |
JP6789690B2 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
US9500739B2 (en) | Estimating and tracking multiple attributes of multiple objects from multi-sensor data | |
CN108370471A (zh) | 分布式音频捕获和混合 | |
CN109804559A (zh) | 空间音频***中的增益控制 | |
US20090097670A1 (en) | Method, medium, and apparatus for extracting target sound from mixed sound | |
JP6591477B2 (ja) | 信号処理システム、信号処理方法及び信号処理プログラム | |
JP2018510369A5 (ja) | ||
WO2016100460A1 (en) | Systems and methods for source localization and separation | |
CN107690110B (zh) | 用于操作可穿戴式扬声器设备的***和方法 | |
JP7194897B2 (ja) | 信号処理装置及び信号処理方法 | |
JP6642989B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2016039410A (ja) | 信号処理装置および信号処理方法 | |
KR101678305B1 (ko) | 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법 | |
JP5406866B2 (ja) | 音源分離装置、その方法及びプログラム | |
WO2019227353A1 (en) | Method and device for estimating a direction of arrival | |
Corey et al. | Speech separation using partially asynchronous microphone arrays without resampling | |
JP4529611B2 (ja) | 音声入力装置 | |
US11317200B2 (en) | Sound source separation system, sound source position estimation system, sound source separation method, and sound source separation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6463904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |