JP5741281B2 - 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 - Google Patents
音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5741281B2 JP5741281B2 JP2011163045A JP2011163045A JP5741281B2 JP 5741281 B2 JP5741281 B2 JP 5741281B2 JP 2011163045 A JP2011163045 A JP 2011163045A JP 2011163045 A JP2011163045 A JP 2011163045A JP 5741281 B2 JP5741281 B2 JP 5741281B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- sound
- pulse
- feature amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 title claims description 381
- 238000012545 processing Methods 0.000 title claims description 226
- 238000003384 imaging method Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 30
- 238000000034 method Methods 0.000 claims description 109
- 238000000605 extraction Methods 0.000 claims description 81
- 230000009467 reduction Effects 0.000 claims description 68
- 230000008859 change Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 17
- 238000011946 reduction process Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 239000000872 buffer Substances 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 238000012850 discrimination method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02085—Periodic noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/09—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being zero crossing rates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Description
1.第1の実施の形態
1.1.機械音低減方法の概要
1.2.音声信号処理装置の構成
1.2.1.音声信号処理装置のハードウェア構成
1.2.2.音声信号処理装置の機能構成
1.3.パルス機械音の判定方法の具体例
1.3.1.統計的識別法を用いた判定方法
1.3.2.テーブル判定を用いた判定方法
1.4.音声信号処理方法
1.5.効果
2.第2の実施の形態
2.1.音声信号処理装置の機能構成
2.2.パルス機械音の判定方法の具体例
2.2.1.統計的識別法を用いた判定方法
2.2.2.テーブル判定を用いた判定方法
2.3.効果
3.第3の実施の形態
3.1.音声信号処理装置の機能構成
3.2.パルス機械音の判定方法の具体例
3.2.1.統計的識別法を用いた判定方法
3.2.2.テーブル判定を用いた判定方法
3.3.効果
4.第4の実施の形態
4.1.音声信号処理装置の機能構成
4.2.効果
5.第5の実施の形態
5.1.音声信号処理装置の機能構成
5.2.音声信号処理方法
5.3.効果
6.第6の実施の形態
6.1.雑音判定方法の概要
6.2.音声信号処理装置の機能構成
6.3.音声信号処理装置の変更例
6.4.効果
7.第7の実施の形態
7.1.音声信号処理装置の機能構成
7.2.効果
8.まとめ
[1.1.機械音低減方法の概要]
まず、本開示の第1の実施形態に係る音声信号処理装置及び方法を用いた機械音低減方法の概要について説明する。
[1.2.1.音声信号処理装置のハードウェア構成]
まず、図1を参照して、本実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成例について説明する。図1は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ1のハードウェア構成を示すブロック図である。
次に、図2を参照して、本実施形態に係るデジタルカメラ1に適用された音声信号処理装置の機能構成例について説明する。図2は、本実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
パルス機械音が含まれる雑音区間の前後の音声信号から、当該雑音区間の背景音の信号波形を推定し、推定した信号を用いて、雑音区間の信号を補間してもよい。
次に、本実施形態に係る音声信号処理装置100の雑音判定部140によるパルス機械音の判定方法の具体例について説明する。以下では、統計的識別法を用いた判定方法と、テーブル判定を用いた判定方法を例示する。
雑音判定部140は、線形識別器又は人工ニューラルネットワークなどを用いた統計的識別法により、音声信号におけるパルス機械音の有無を判定することができる。例えば、線形識別器を用いた統計的識別法では、以下の式(1)を用いて、判定値yとして上記特徴量の加重平均を計算する。
雑音判定部140は、予め設定された特徴量の閾値を表すテーブルを用いて、音声信号におけるパルス機械音の有無を判定することができる。雑音判定部140は、例えば図4に示すようなテーブル142を用いて、パルス機械音の有無を判定する。
次に、図5を参照して、上記の音声信号処理装置100を用いた音声信号処理方法(機械音低減方法)について説明する。図5は、本実施形態に係る音声信号処理方法を示すフローチャートである。
以上、本開示の第1の実施形態に係る音声信号処理装置100の構成と、これを用いた音声信号処理方法について説明した。本実施形態によれば、音声信号処理装置100は、マイクロホン51から入力された音声信号から、パルス機械音を表す3つの特徴量を抽出し、当該特徴量を用いてパルス機械音の有無を判定する。これにより、雑音発生源である駆動装置14の駆動制御情報を用いることなく、実際に収音された入力音声信号のみを用いて、パルス機械音の有無やその区間を正確に検出することができる。
次に、本開示の第2の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第2の実施形態に係る音声信号処理装置は、残響特徴量(第2の特徴量)として、残響成分パワーPの代わりに、残響成分を表す信号の零交差回数Nを用いることを特徴としている。なお、第2の実施形態のその他の機能構成は、上記第1の実施形態と実質的に同一であるので、その詳細説明は省略する。
まず、図6を参照して、第2の実施形態に係る音声信号処理装置100の機能構成について説明する。図6は、第2の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
次に、第2の実施形態に係る音声信号処理装置100の雑音判定部140によるパルス機械音の判定方法の具体例について説明する。第2の実施形態でも、第1の実施形態と同様に、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いることができる。
雑音判定部140は、線形識別器又は人工ニューラルネットワークなどを用いた統計的識別法により、音声信号におけるパルス機械音の有無を判定することができる。例えば、線形識別器を用いた統計的識別法では、上述した式(1)を用いて、判定値yとして上記特徴量の加重平均を計算する。このとき、式(1)中のxiとしては、上記特徴量抽出部130により抽出された3つの特徴量のベクトルである{xi=(A,W,N)}を用いる。その他の点は、第1の実施形態と同様であるので、詳細説明を省略する。
雑音判定部140は、予め設定された特徴量の閾値を表すテーブルを用いて、音声信号におけるパルス機械音の有無を判定することができる。雑音判定部140は、例えば図7に示すようなテーブル144を用いて、パルス機械音の有無を判定する。
以上、本開示の第2の実施形態に係る音声信号処理装置100の構成と、これを用いた雑音判定方法について説明した。なお、音声信号処理装置100を用いた音声信号処理方法の手順は第1の実施形態と同様である(図5参照。)。
次に、本開示の第3の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第3の実施形態に係る音声信号処理装置は、上記3つの特徴量A、W、Pだけでなく、その他の追加特徴量(第3の特徴量)をも用いることを特徴としている。なお、第3の実施形態のその他の機能構成は、上記第1の実施形態と実質的に同一であるので、その詳細説明は省略する。
まず、図8を参照して、第3の実施形態に係る音声信号処理装置100の機能構成について説明する。図8は、第3の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
次に、第3の実施形態に係る音声信号処理装置100の雑音判定部140によるパルス機械音の判定方法の具体例について説明する。第3の実施形態でも、第1の実施形態と同様に、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いることができる。
統計的識別法を用いた判定方法では、上記式(1)中のxiとして、上記3つの基本特徴量A、W、Pと、少なくとも1つの追加特徴量Bを含む4以上の特徴量のベクトルxi=(A,W,P,B1,B2,・・・,BN )を用いる。その他の点は、第1の実施形態と同様であるので、詳細説明を省略する。
また、テーブル判定を用いた判定方法では、第1の実施形態と同様に、予め設定された特徴量の閾値を表すテーブル(図4参照。)を用いて、音声信号におけるパルス機械音の有無を判定する。このテーブルには、各特徴量A、W、P、B1、B2、・・・、BNの閾値A0、W0、P 0 、B1_0、B2_0、・・・、BN_0と、判定基準に関する情報が保存されている。雑音判定部140は、実際の特徴量A、W、P、B1、B2、・・・、BNと、テーブル142に保持された閾値A0、W0、P 0 、B1_0、B2_0、・・・、BN_0をそれぞれ比較し、各特徴量の項目について正否を判定する。さらに、雑音判定部140は、正判定の項目数zと、その閾値z0を比較し、その比較結果に基づいて、音声信号の1フレーム中にパルス機械音が含まれるか否かを判定する。この判定方法は、第1の実施形態と同様であるので、詳細説明を省略する。
以上、本開示の第3の実施形態に係る音声信号処理装置100の構成と、これを用いた雑音判定方法について説明した。なお、音声信号処理装置100を用いた音声信号処理方法の手順は第1の実施形態と同様である(図5参照。)。
次に、本開示の第4の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第4の実施形態に係る音声信号処理装置は、音声信号の複数の区間から複数の特徴量を抽出し、当該複数の特徴量に基づいて、パルス機械音の有無を判定することを特徴としている。この際、上記複数の特徴量を演算し(例えば、加算和又は平均値を計算し)、この演算値を新たな特徴量として用いて、パルス機械音の有無を判定してもよい。なお、第4の実施形態のその他の機能構成は、上記第1又は第3の実施形態と実質的に同一であるので、その詳細説明は省略する。
まず、図9を参照して、第4の実施形態に係る音声信号処理装置100の機能構成について説明する。図9は、第4の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
以上、本開示の第4の実施形態に係る音声信号処理装置100の構成について説明した。なお、音声信号処理装置100を用いた音声信号処理方法の手順は第1の実施形態と同様である(図5参照。)。
次に、本開示の第5の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第5の実施形態に係る音声信号処理装置は、パルス機械音の発生源である駆動装置14の制御信号を取得し、駆動装置14の駆動期間中にだけ、上記特徴量抽出処理と雑音判定処理を行うことを特徴としている。なお、第5の実施形態のその他の機能構成は、上記第1の実施形態と実質的に同一であるので、その詳細説明は省略する。
まず、図10を参照して、第5の実施形態に係る音声信号処理装置100の機能構成について説明する。図10は、第5の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
次に、図11を参照して、第5の実施形態に係る音声信号処理装置100を用いた音声信号処理方法(機械音低減方法)について説明する。図11は、本実施形態に係る音声信号処理方法を示すフローチャートである。
以上、本開示の第5の実施形態に係る音声信号処理装置100の構成と、それを用いた音声信号処理方法について説明した。
次に、本開示の第6の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第6の実施形態に係る音声信号処理装置は、雑音発生源である駆動装置14の特性に応じて上記判定係数を変更し、当該判定係数及び特徴量を用いて、当該駆動装置14に特有のパルス機械音の有無を判定することを特徴としている。なお、第6の実施形態のその他の機能構成は、上記第1の実施形態と実質的に同一であるので、その詳細説明は省略する。
上記パルス機械音の特性は、当該パルス機械音を発生させる発音部(駆動装置14等)の特性に応じて変化する。例えば、一眼レフカメラ等では、カメラ本体に対して複数種類の交換式のレンズ装置(例えば、図1の撮像部10に相当する。)を着脱可能である。この場合、装着されるレンズ装置の特性(例えば、レンズを駆動させる駆動装置14の種類、配置等)に応じて、デジタルカメラ1で収音されるパルス機械音の特性が変化する。従って、デジタルカメラ1に実際に装着されたレンズ装置の特性に応じて、上述した雑音判定処理に用いる各種の係数、テーブル、特徴量の閾値等のパラメータ(以下「判定係数」という。)を設定することが好ましい。
次に、図12を参照して、第6の実施形態に係る音声信号処理装置100の機能構成について説明する。図12は、第6の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
次に、図13を参照して、第6の実施形態に係る音声信号処理装置100の変更例について説明する。図13は、第6の実施形態に係る音声信号処理装置100の変更例を示すブロック図である。
以上、本開示の第6の実施形態に係る音声信号処理装置100の構成について説明した。なお、音声信号処理装置100を用いた音声信号処理方法の手順は第1の実施形態と同様である(図5参照。)。
次に、本開示の第7の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。上記では、音声信号処理装置100をデジタルカメラ1等の記録装置に設け、音声信号の記録時に雑音低減する例について説明した。これに対し、第7の実施形態では、音声信号処理装置を再生装置に設け、記録された音声信号の再生時に雑音低減することを特徴としている。なお、第7の実施形態のその他の機能構成は、上記第1の実施形態と実質的に同一であるので、その詳細説明は省略する。
次に、図14を参照して、第7の実施形態に係る音声信号処理装置100の機能構成について説明する。図14は、第7の実施形態に係る音声信号処理装置100の機能構成を示すブロック図である。
以上、本開示の第7の実施形態に係る音声信号処理装置100の構成について説明した。なお、音声信号処理装置100を用いた音声信号処理方法の手順は第1の実施形態と同様である(図5参照。)。ただし、第7の実施形態では、音声再生時に雑音低減を行うため、図5のAD変換処理(S10)は不要であり、S22では音声信号を再生し、再生対象の全ての音声信号のデータの再生が終了するまで(S24)、S12〜S22の処理を繰り返す。
以上、本開示の好適な実施形態に係る音声信号処理装置及び音声信号処理方法について説明した。本実施形態によれば、駆動装置14の動作開始又は終了時にパルス機械音が発生した場合であっても、マイクロホン51により収音された音声信号から、当該パルス機械音とその区間(雑音区間)を高精度で検出することができる。そして、検出された雑音区間に雑音低減処理を施すことにより,非雑音区間における音質劣化の恐れのない、高品質な音声を提供することができる。
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、
を備える、音声信号処理装置。
前記作動音は、前記駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音である、前記(1)に記載の音声信号処理装置。
前記雑音判定部は、前記第1及び第2の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記(1)又は(2)に記載の音声信号処理装置。
前記第2の特徴量は、前記作動音の残響成分を表す狭帯域信号のパワーを含む、前記(3)に記載の音声信号処理装置。
前記第2の特徴量は、前記作動音の残響成分を表す狭帯域信号の零交差回数を含む、前記(3)に記載の音声信号処理装置。
前記雑音判定部は、前記第1、第2及び第3の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記(3)〜(5)のいずれか一項に記載の音声信号処理装置。
前記雑音判定部は、前記複数の区間から抽出された前記複数の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記(1)〜(6)のいずれか一項に記載の音声信号処理装置。
前記制御信号に基づいて前記駆動装置の駆動期間を判断し、前記駆動装置の駆動期間中にのみ、前記特徴量抽出部による前記特徴量の抽出処理と、前記雑音判定部による判定処理を実行する、前記(2)に記載の音声信号処理装置。
前記発音部の特性に応じて設定された判定係数、及び前記特徴量を用いて、前記発音部に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記(1)〜(8)のいずれか一項に記載に記載の音声信号処理装置。
前記発音部は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記音声信号処理装置は、
前記レンズ装置ごとに設定された複数の判定係数を保持する判定係数保持部と、
前記撮像装置に接続された前記レンズ装置を表す情報に基づいて、前記複数の判定係数の中から当該レンズ装置に対応する判定係数を選択する判定係数選択部と、
を更に備え、
前記雑音判定部は、
前記判定係数選択部により選択された前記判定係数、及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記(9)に記載に記載の音声信号処理装置。
前記発音部は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記レンズ装置は、当該レンズ装置の特性に応じて設定された判定係数を保持しており、
前記雑音判定部は、前記撮像装置に接続された前記レンズ装置から前記判定係数を取得し、前記取得した判定係数及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記(9)に記載に記載の音声信号処理装置。
前記特徴量抽出部は、前記音声信号の再生時に前記音声信号から前記特徴量を抽出し、
前記雑音判定部は、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記(1)〜(9)のいずれか一項に記載に記載の音声信号処理装置。
前記収音部と同一の筐体に設けられ、パルス状の作動音を発生させる発音部と、
前記収音部から出力された前記音声信号から、前記作動音を表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、
前記雑音判定部により前記作動音が含まれると判定された場合に、前記音声信号に対して雑音低減処理を行う雑音低減部と、
を備える、撮像装置。
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
を含む、音声信号処理方法。
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラム。
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
2 筐体
3 レンズ部
10 撮像部
14 駆動装置
15 ズームモータ
16 フォーカスモータ
51 マイクロホン
60 音声信号処理部
70 制御部
100 音声信号処理装置
110 信号入力部
120 AD変換部
130 特徴量抽出部
131 振幅最大値取得部
132 パルス幅計算部
133 残響パワー計算部
134 零交差回数計算部
135 追加特徴量計算部
140 雑音判定部
142、144 テーブル
150 判定係数保持部
152 特徴量保持部
154 判定係数選択部
156 レンズ装置
160 雑音低減部
170、190 信号記録部
180 制御信号取得部
192 信号取得部
200 信号再生部
Claims (14)
- 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する雑音判定部と、
を備え、
前記特徴量抽出部は、前記特徴量として、前記パルス状の機械駆動音のパルス成分を表す第1の特徴量と、前記パルス状の機械駆動音の残響成分を表す第2の特徴量とを抽出し、
前記雑音判定部は、前記第1及び第2の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、音声信号処理装置。 - 前記第1の特徴量は、前記パルス状の機械駆動音のパルス成分の振幅最大値及びパルス幅を含み、
前記第2の特徴量は、前記パルス状の機械駆動音の残響成分を表す狭帯域信号のパワーを含む、請求項1に記載の音声信号処理装置。 - 前記第1の特徴量は、前記パルス状の機械駆動音のパルス成分の振幅最大値及びパルス幅を含み、
前記第2の特徴量は、前記パルス状の機械駆動音の残響成分を表す狭帯域信号の零交差回数を含む、請求項1に記載の音声信号処理装置。 - 前記特徴量抽出部は、前記特徴量として、前記音声信号のRMS、前記RMSの変化値、前記パルス状の機械駆動音の残響成分を表す狭帯域信号の振幅変化値、又は前記狭帯域信号の零交差回数の変化値のうち一部又は全部を含む第3の特徴量をさらに抽出し、
前記雑音判定部は、前記第1、第2及び第3の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項1〜3のいずれか一項に記載の音声信号処理装置。 - 前記特徴量抽出部は、前記音声信号の複数の区間から複数の前記特徴量を抽出し、
前記雑音判定部は、前記複数の区間から抽出された前記複数の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項1〜4のいずれか一項に記載の音声信号処理装置。 - 前記駆動装置を制御するための制御信号を取得する制御信号取得部をさらに含み、
前記制御信号に基づいて前記駆動装置の駆動期間を判断し、前記駆動装置の駆動期間中にのみ、前記特徴量抽出部による前記特徴量の抽出処理と、前記雑音判定部による判定処理を実行する、請求項1に記載の音声信号処理装置。 - 前記雑音判定部は、
前記駆動装置の特性に応じて設定された判定係数、及び前記特徴量を用いて、前記駆動装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項1〜6のいずれか一項に記載に記載の音声信号処理装置。 - 前記音声信号処理装置は、撮像装置に設けられ、
前記駆動装置は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記音声信号処理装置は、
前記レンズ装置ごとに設定された複数の判定係数を保持する判定係数保持部と、
前記撮像装置に接続された前記レンズ装置を表す情報に基づいて、前記複数の判定係数の中から当該レンズ装置に対応する判定係数を選択する判定係数選択部と、
を更に備え、
前記雑音判定部は、
前記判定係数選択部により選択された前記判定係数、及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項7に記載に記載の音声信号処理装置。 - 前記音声信号処理装置は、撮像装置に設けられ、
前記駆動装置は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記レンズ装置は、当該レンズ装置の特性に応じて設定された判定係数を保持しており、
前記雑音判定部は、前記撮像装置に接続された前記レンズ装置から前記判定係数を取得し、前記取得した判定係数及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項7に記載に記載の音声信号処理装置。 - 前記音声信号処理装置は、前記音声信号を再生する再生装置に設けられ、
前記特徴量抽出部は、前記音声信号の再生時に前記音声信号から前記特徴量を抽出し、
前記雑音判定部は、前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項1〜9のいずれか一項に記載の音声信号処理装置。 - 外部音声を音声信号に変換する収音部と、
前記収音部と同一の筐体に設けられ、動作開始時又は動作終了時にパルス状の機械駆動音を発生させる駆動装置と、
前記収音部から出力された前記音声信号から、前記パルス状の機械駆動音を表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する雑音判定部と、
前記雑音判定部により前記パルス状の機械駆動音が含まれると判定された場合に、前記音声信号に対して雑音低減処理を行う雑音低減部と、
を備え、
前記特徴量抽出部は、前記特徴量として、前記パルス状の機械駆動音のパルス成分を表す第1の特徴量と、前記パルス状の機械駆動音の残響成分を表す第2の特徴量とを抽出し、
前記雑音判定部は、前記第1及び第2の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、撮像装置。 - 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第1の特徴量と、前記パルス状の機械駆動音の残響成分を表す第2の特徴量とを抽出することと、
前記第1及び第2の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
を含む、音声信号処理方法。 - 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第1の特徴量と、前記パルス状の機械駆動音の残響成分を表す第2の特徴量とを抽出することと、
前記第1及び第2の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラム。 - 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第1の特徴量と、前記パルス状の機械駆動音の残響成分を表す第2の特徴量とを抽出することと、
前記第1及び第2の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163045A JP5741281B2 (ja) | 2011-07-26 | 2011-07-26 | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 |
PCT/JP2012/063753 WO2013015011A1 (ja) | 2011-07-26 | 2012-05-29 | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 |
US14/232,748 US9495950B2 (en) | 2011-07-26 | 2012-05-29 | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium |
CN201280035699.4A CN103688307A (zh) | 2011-07-26 | 2012-05-29 | 音频信号处理装置、成像装置、音频信号处理方法、程序和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163045A JP5741281B2 (ja) | 2011-07-26 | 2011-07-26 | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013025291A JP2013025291A (ja) | 2013-02-04 |
JP2013025291A5 JP2013025291A5 (ja) | 2014-08-07 |
JP5741281B2 true JP5741281B2 (ja) | 2015-07-01 |
Family
ID=47600871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011163045A Expired - Fee Related JP5741281B2 (ja) | 2011-07-26 | 2011-07-26 | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9495950B2 (ja) |
JP (1) | JP5741281B2 (ja) |
CN (1) | CN103688307A (ja) |
WO (1) | WO2013015011A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9477217B2 (en) * | 2014-03-06 | 2016-10-25 | Haier Us Appliance Solutions, Inc. | Using visual cues to improve appliance audio recognition |
US9294139B1 (en) * | 2014-11-13 | 2016-03-22 | Molecular Devices, Llc | System and methods for constructing a noise replica |
TWI569263B (zh) * | 2015-04-30 | 2017-02-01 | 智原科技股份有限公司 | 聲頻訊號的訊號擷取方法與裝置 |
JP2016218766A (ja) * | 2015-05-21 | 2016-12-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
EP3223279B1 (en) * | 2016-03-21 | 2019-01-09 | Nxp B.V. | A speech signal processing circuit |
JP6731772B2 (ja) * | 2016-04-08 | 2020-07-29 | キヤノン株式会社 | 電子機器及び制御方法 |
US10573136B2 (en) * | 2017-08-31 | 2020-02-25 | Microsoft Technology Licensing, Llc | Calibrating a vibrational output device |
JP7129331B2 (ja) * | 2018-12-25 | 2022-09-01 | 株式会社コーエーテクモゲームス | 情報処理装置、情報処理方法、及びプログラム |
CN113059480B (zh) * | 2019-12-31 | 2022-07-29 | 清华大学 | 一种化学机械抛光装置及其控制方法 |
CN112235693B (zh) * | 2020-11-04 | 2021-12-21 | 北京声智科技有限公司 | 麦克风信号处理方法、装置、设备及计算机可读存储介质 |
JP2022180927A (ja) * | 2021-05-25 | 2022-12-07 | キヤノン株式会社 | 音声処理装置、制御方法、およびプログラム |
CN115426582B (zh) * | 2022-11-06 | 2023-04-07 | 江苏米笛声学科技有限公司 | 一种耳机音频处理方法及装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08124299A (ja) | 1994-10-27 | 1996-05-17 | Canon Inc | 記録再生装置 |
JP2003317368A (ja) * | 2002-04-25 | 2003-11-07 | Digion Inc | パルス性ノイズのデジタル信号処理による検出および除去方法 |
US7508948B2 (en) * | 2004-10-05 | 2009-03-24 | Audience, Inc. | Reverberation removal |
JP4356670B2 (ja) * | 2005-09-12 | 2009-11-04 | ソニー株式会社 | 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置 |
JP4449987B2 (ja) * | 2007-02-15 | 2010-04-14 | ソニー株式会社 | 音声処理装置、音声処理方法およびプログラム |
EP2237271B1 (en) * | 2009-03-31 | 2021-01-20 | Cerence Operating Company | Method for determining a signal component for reducing noise in an input signal |
JP5279629B2 (ja) * | 2009-06-19 | 2013-09-04 | キヤノン株式会社 | 撮像装置 |
JP2011077604A (ja) * | 2009-09-29 | 2011-04-14 | Sony Corp | ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法 |
US8698911B2 (en) * | 2009-10-28 | 2014-04-15 | Nikon Corporation | Sound recording device, imaging device, photographing device, optical device, and program |
JP5428762B2 (ja) * | 2009-10-30 | 2014-02-26 | 株式会社ニコン | 撮影装置、および、プログラム |
JP2011128391A (ja) * | 2009-12-18 | 2011-06-30 | Toshiba Corp | 音声処理装置、音声処理プログラム、音声処理方法 |
JP2012009978A (ja) * | 2010-06-23 | 2012-01-12 | Panasonic Corp | 撮像装置 |
JP2012027186A (ja) * | 2010-07-22 | 2012-02-09 | Sony Corp | 音声信号処理装置、音声信号処理方法及びプログラム |
US8830353B2 (en) * | 2010-10-22 | 2014-09-09 | Panasonic Corporation | Camera body, and camera system |
-
2011
- 2011-07-26 JP JP2011163045A patent/JP5741281B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-29 WO PCT/JP2012/063753 patent/WO2013015011A1/ja active Application Filing
- 2012-05-29 CN CN201280035699.4A patent/CN103688307A/zh active Pending
- 2012-05-29 US US14/232,748 patent/US9495950B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2013015011A1 (ja) | 2013-01-31 |
US20140169581A1 (en) | 2014-06-19 |
JP2013025291A (ja) | 2013-02-04 |
US9495950B2 (en) | 2016-11-15 |
CN103688307A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5741281B2 (ja) | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 | |
JP5594133B2 (ja) | 音声信号処理装置、音声信号処理方法及びプログラム | |
JP4910293B2 (ja) | 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム | |
JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
JP6610725B2 (ja) | 音処理装置および音処理プログラム | |
US8687076B2 (en) | Moving image photographing method and moving image photographing apparatus | |
JP5998483B2 (ja) | 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 | |
JP5645393B2 (ja) | 音声信号処理装置 | |
JP2014122978A (ja) | 撮像装置、音声認識方法、及びプログラム | |
JP2013047710A (ja) | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 | |
JP6902961B2 (ja) | 音声処理装置及びその制御方法 | |
US11729548B2 (en) | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones | |
US20220383891A1 (en) | Sound processing apparatus and control method | |
JP6912969B2 (ja) | 音声処理装置及びその制御方法 | |
CN103297687A (zh) | 音频处理设备及其控制方法 | |
JP5736839B2 (ja) | 信号処理装置、撮像装置、及びプログラム | |
US12027176B2 (en) | Apparatus and method for reducing noise corresponding to a noise source using noise data | |
JP2011097335A (ja) | 信号処理装置及び撮像装置 | |
JP2022054317A (ja) | 音声処理装置、制御方法、およびプログラム | |
JP6271851B2 (ja) | 音声処理装置、撮像装置、及び、それらの制御方法、並びにプログラム | |
JP2012173353A (ja) | 信号処理装置、撮像装置、及びプログラム | |
JP2022038610A (ja) | 音声処理装置、制御方法、およびプログラム | |
JP5246134B2 (ja) | 信号処理装置及び撮像装置 | |
JP2019075630A (ja) | 撮像装置 | |
JP2007049421A (ja) | 情報処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150413 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5741281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |