JP2011069948A - 音源信号分離装置、音源信号分離方法及びプログラム - Google Patents
音源信号分離装置、音源信号分離方法及びプログラム Download PDFInfo
- Publication number
- JP2011069948A JP2011069948A JP2009220197A JP2009220197A JP2011069948A JP 2011069948 A JP2011069948 A JP 2011069948A JP 2009220197 A JP2009220197 A JP 2009220197A JP 2009220197 A JP2009220197 A JP 2009220197A JP 2011069948 A JP2011069948 A JP 2011069948A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- source information
- source signal
- signal separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
【解決手段】本発明は、入力映像からオブジェクトを検出し、検出結果に基づいて、音源情報を算出する音源情報算出部と、前記音源情報を用いて、入力オーディオ信号から音源信号を分離する音源信号分離部とを有する音源信号分離装置である。
【選択図】図1
Description
<第1の実施の形態>
図1は第1の実施の形態のブロック図である。
<第2の実施の形態>
第2の実施の形態を説明する。
<第3の実施の形態>
第3の実施の形態を説明する。
<第4の実施の形態>
第4の実施の形態を説明する。
<第5の実施の形態>
第5の実施の形態を説明する。
2 音源分離部
11 音源数検出部
12 音源位置推定部
13 映像種類判別部
14 変動検出部
Claims (15)
- 入力映像からオブジェクトを検出し、検出結果に基づいて、音源情報を算出する音源情報算出部と、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離する音源信号分離部と
を有する音源信号分離装置。 - 前記音源情報算出部は、検出されたオブジェクトの数を音源数として音源情報を算出する音源数検出部を有する請求項1に記載の音源信号分離装置。
- 前記音源情報算出部は、オブジェクトの種類を判定し、検出されたオブジェクトのうち音源となるオブジェクトを判定する映像種類判定部を有し、
前記音源数検出部は、前記映像種類判定部の判定結果をうけ、音源となるオブジェクトの数を音源数として算出する
請求項2に記載の音源信号分離装置。 - 前記音源情報算出部は、検出されたオブジェクトの3次元位置を算出し、オブジェクトの3次元位置を音源情報として算出する音源位置推定部を有する請求項1から請求項3のいずれかに記載の音源信号分離装置。
- 前記音源情報算出部は、検出されたオブジェクトの種類を判定する映像種類判定部を有し、
前記音源位置推定部は、前記映像種類判定部からのオブジェクト種類の判定に基づいて、3次元位置の算出対象となるオブジェクトを決定する
請求項4に記載の音源信号分離装置。 - 音源位置推定部は、前記映像種類判定部からのオブジェクト種類の判定に基づいて、3次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの3次元位置を算出し、この3次元位置と音源数と音源の種類とを音源情報として出力し、
前記音源信号分離部は、前記音源の種類により、音源信号に分離する方法を切り替え、入力オーディオ信号から音源信号を分離する
請求項5に記載の音源信号分離装置。 - 前記音源情報算出部は、音源情報の変動を検出し、この変動を示す情報を音源情報に含める変動検出部を有する請求項1から請求項6のいずれかに記載の音源信号分離装置。
- 入力映像からオブジェクトを検出し、検出結果に基づいて、音源情報を算出し、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離する
音源信号分離方法。 - 検出されたオブジェクトの数を音源数とした音源情報を算出する
請求項8に記載の音源信号分離方法。 - オブジェクトの種類を判定し、検出されたオブジェクトのうち音源となるオブジェクトを判定し、音源となるオブジェクトの数を音源数として算出する
請求項9に記載の音源信号分離方法。 - 検出されたオブジェクトの3次元位置を算出し、オブジェクトの3次元位置を音源情報として算出する
請求項8から請求項10のいずれかに記載の音源信号分離方法。 - 検出されたオブジェクトの種類を判定し、3次元位置の算出対象となるオブジェクトを決定する
請求項11に記載の音源信号分離方法。 - 前記オブジェクト種類の判定に基づいて、3次元位置の算出対象となるオブジェクトを決定し、音を発生しうるオブジェクトの3次元位置を算出し、この3次元位置と音源数と音源の種類とを音源情報として算出し、
前記音源の種類により、音源信号に分離する方法を切り替え、入力オーディオ信号から音源信号を分離する
請求項12に記載の音源信号分離方法。 - 音源情報の変動を検出し、この変動を示す情報を音源情報に含める
請求項8から請求項13のいずれかに記載の音源信号分離方法。 - 入力映像からオブジェクトを検出し、検出結果に基づいて、音源情報を算出する音源情報算出処理と、
前記音源情報を用いて、入力オーディオ信号から音源信号を分離する音源信号分離処理と
を情報処理装置に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009220197A JP5435221B2 (ja) | 2009-09-25 | 2009-09-25 | 音源信号分離装置、音源信号分離方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009220197A JP5435221B2 (ja) | 2009-09-25 | 2009-09-25 | 音源信号分離装置、音源信号分離方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011069948A true JP2011069948A (ja) | 2011-04-07 |
JP5435221B2 JP5435221B2 (ja) | 2014-03-05 |
Family
ID=44015309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009220197A Active JP5435221B2 (ja) | 2009-09-25 | 2009-09-25 | 音源信号分離装置、音源信号分離方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5435221B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017208820A1 (ja) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
US10176825B2 (en) | 2013-12-26 | 2019-01-08 | Kabushiki Kaisha Toshiba | Electronic apparatus, control method, and computer program |
CN111370019A (zh) * | 2020-03-02 | 2020-07-03 | 字节跳动有限公司 | 声源分离方法及装置、神经网络的模型训练方法及装置 |
WO2022168297A1 (ja) * | 2021-02-08 | 2022-08-11 | 日本電信電話株式会社 | 音源分離方法、音源分離装置、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051889A (ja) * | 1996-08-05 | 1998-02-20 | Toshiba Corp | 音声収集装置及び音声収集方法 |
JP2006038772A (ja) * | 2004-07-29 | 2006-02-09 | Nittobo Acoustic Engineering Co Ltd | 音圧測定方法 |
JP2008158868A (ja) * | 2006-12-25 | 2008-07-10 | Toyota Motor Corp | 移動体、及びその制御方法 |
JP2008278433A (ja) * | 2007-05-07 | 2008-11-13 | Casio Hitachi Mobile Communications Co Ltd | 情報処理装置、プログラム |
-
2009
- 2009-09-25 JP JP2009220197A patent/JP5435221B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051889A (ja) * | 1996-08-05 | 1998-02-20 | Toshiba Corp | 音声収集装置及び音声収集方法 |
JP2006038772A (ja) * | 2004-07-29 | 2006-02-09 | Nittobo Acoustic Engineering Co Ltd | 音圧測定方法 |
JP2008158868A (ja) * | 2006-12-25 | 2008-07-10 | Toyota Motor Corp | 移動体、及びその制御方法 |
JP2008278433A (ja) * | 2007-05-07 | 2008-11-13 | Casio Hitachi Mobile Communications Co Ltd | 情報処理装置、プログラム |
Non-Patent Citations (2)
Title |
---|
CSNJ201010087546; 脇坂龍他: '"画像情報を利用したFDBMのデータベース更新による音源分離性能改善の試み"' 日本音響学会2009年春季研究発表会講演論文集CD-ROM , 200903, pp.799-800 * |
JPN6013020311; 脇坂龍他: '"画像情報を利用したFDBMのデータベース更新による音源分離性能改善の試み"' 日本音響学会2009年春季研究発表会講演論文集CD-ROM , 200903, pp.799-800 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10176825B2 (en) | 2013-12-26 | 2019-01-08 | Kabushiki Kaisha Toshiba | Electronic apparatus, control method, and computer program |
WO2017208820A1 (ja) * | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
JPWO2017208820A1 (ja) * | 2016-05-30 | 2019-03-28 | ソニー株式会社 | 映像音響処理装置および方法、並びにプログラム |
US11184579B2 (en) | 2016-05-30 | 2021-11-23 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
JP2022036998A (ja) * | 2016-05-30 | 2022-03-08 | ソニーグループ株式会社 | 映像音響処理装置および方法、並びにプログラム |
JP7396341B2 (ja) | 2016-05-30 | 2023-12-12 | ソニーグループ株式会社 | 映像音響処理装置および方法、並びにプログラム |
US11902704B2 (en) | 2016-05-30 | 2024-02-13 | Sony Corporation | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object |
CN111370019A (zh) * | 2020-03-02 | 2020-07-03 | 字节跳动有限公司 | 声源分离方法及装置、神经网络的模型训练方法及装置 |
CN111370019B (zh) * | 2020-03-02 | 2023-08-29 | 字节跳动有限公司 | 声源分离方法及装置、神经网络的模型训练方法及装置 |
WO2022168297A1 (ja) * | 2021-02-08 | 2022-08-11 | 日本電信電話株式会社 | 音源分離方法、音源分離装置、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5435221B2 (ja) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6464449B2 (ja) | 音源分離装置、及び音源分離方法 | |
EP3678385B1 (en) | Sound pickup device, sound pickup method, and program | |
EP3177040A2 (en) | Information processing apparatus, information processing method, and program | |
US20100302401A1 (en) | Image Audio Processing Apparatus And Image Sensing Apparatus | |
US9747690B2 (en) | Image processing device, image processing method, and program | |
US20140003704A1 (en) | Imaging system and method | |
US9280828B2 (en) | Image processing apparatus, image processing method, and program | |
JP2015019371A5 (ja) | ||
JP5618043B2 (ja) | 映像音響処理システム、映像音響処理方法及びプログラム | |
JP2011171858A5 (ja) | ||
Aubrey et al. | Visual voice activity detection with optical flow | |
JP4825552B2 (ja) | 音声認識装置、周波数スペクトル取得装置および音声認識方法 | |
WO2013035445A1 (ja) | 物体検出装置 | |
JP5565552B2 (ja) | 映像音響処理装置、映像音響処理方法及びプログラム | |
US20210312915A1 (en) | System and method for audio-visual multi-speaker speech separation with location-based selection | |
US20140064517A1 (en) | Multimedia processing system and audio signal processing method | |
WO2020116054A1 (ja) | 信号処理装置及び信号処理方法 | |
US20150281839A1 (en) | Background noise cancellation using depth | |
JP5435221B2 (ja) | 音源信号分離装置、音源信号分離方法及びプログラム | |
CN114519880B (zh) | 基于跨模态自监督学习的主动说话人识别方法 | |
US9355641B2 (en) | Monitoring device using selective attention model and method for monitoring same | |
Rachavarapu et al. | Localize to binauralize: Audio spatialization from visual sound source localization | |
KR101542647B1 (ko) | 화자 검출을 이용한 오디오 신호 처리 방법 및 장치 | |
KR101696086B1 (ko) | 소나 이미지 내의 물체 부분 추출 방법 및 장치 | |
KR101658001B1 (ko) | 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5435221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |