JP2011151481A - 音声信号処理装置、音声信号処理システム - Google Patents

音声信号処理装置、音声信号処理システム Download PDF

Info

Publication number
JP2011151481A
JP2011151481A JP2010009262A JP2010009262A JP2011151481A JP 2011151481 A JP2011151481 A JP 2011151481A JP 2010009262 A JP2010009262 A JP 2010009262A JP 2010009262 A JP2010009262 A JP 2010009262A JP 2011151481 A JP2011151481 A JP 2011151481A
Authority
JP
Japan
Prior art keywords
audio signal
unit
recording
audio
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010009262A
Other languages
English (en)
Other versions
JP5538918B2 (ja
Inventor
Fumihiro Kajimura
文裕 梶村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010009262A priority Critical patent/JP5538918B2/ja
Priority to US13/008,730 priority patent/US9224381B2/en
Publication of JP2011151481A publication Critical patent/JP2011151481A/ja
Application granted granted Critical
Publication of JP5538918B2 publication Critical patent/JP5538918B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/24Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing noise
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • G11B2020/10555Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】雑音低減処理を効果的に実施する。
【解決手段】雑音源である機器駆動部の動作中の期間に取得された音声信号を、その期間の前及び/または後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成することにより雑音低減する。また雑音低減処理に使用する音声信号が取得される期間に駆動部を駆動させないようにする、または、雑音低減処理に使用する音声信号が取得されるまで記録動作を停止させない。
【選択図】図4

Description

本発明は、音声信号処理装置または音声信号処理システムに関し、特に、装置の駆動に伴う雑音が混入した音声信号を処理することができる音声信号処理装置または音声信号処理システムに関する。
従来、撮像装置等には、内蔵マイクや外部マイクなどにより得られた音声信号を処理して、記録したり外部に送信したりする機能が搭載されてきている。これらの撮像装置は、音声データを単独で記録媒体に記録したり、動画データと共に記録したり、静止画に関連づけて記録したりしていた。この様な撮像装置においては、撮像装置のズームレンズ、フォーカスレンズなどの移動、絞りの開閉など(駆動部の駆動)に伴って、雑音(ノイズ)が発生してしまうことがあった。すなわち、装置の駆動により雑音が発生してしまい、取得した音声信号が再生された際に、聞きづらい音声となってしまうことあった。
この様な問題に対し、例えば、特許文献1のように、ハードディスクの間欠記録にともなう磁気ヘッドの移動により雑音が発生した区間の音声信号に含まれる雑音成分を低減させる技術が開示されている。そのために、特許文献1では、雑音が発生した区間(雑音発生区間)の前後の音声信号に基づいて、「予測音声信号」を生成し、雑音発生区間の音声の代わりに記録していた。
特開2008−053802号公報
しかし、特許文献1では、一定の間隔でハードディスクが間欠駆動するので、磁気ヘッドの移動に伴う雑音は、数秒毎に一度、発生することになる。そのため、雑音発生区間の音声の代わりとなる予測音声信号を生成するために使用する、雑音発生区間の前後の音声信号には、磁気ヘッドの移動に伴う雑音が混入してしまうことはなかった。しかし、例えば、ハードディスクが短い間隔で駆動したり、別の駆動部が駆動すると、雑音発生区間の前後に雑音が混入してしまい、その音声信号に基づいて生成される「予測音声信号」にもその雑音の影響が出てしまうことになる。また、記録開始直後にハードディスクが駆動した場合や、ハードディスクの駆動直後に録音を停止した場合には、雑音発生区間の前または後の音声信号がなくなってしまい、「予測音声信号」の生成がうまくいかなくなってしまう。
そこで、本発明は、雑音発生区間の代わりとなる音声信号の生成を良好に行えるようにし、雑音低減効果をより高めた音声信号処理装置または音声信号処理システムを提供することを目的とする。
本発明の音声信号処理装置は、かかる目的を達成するために、周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声信号処理装置であって、前記装置に備えられた駆動部の動作を制御する制御手段と、前記取得手段により取得された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間の前及び/または後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段と、前記雑音低減手段により生成された音声信号を記録媒体に記録する記録手段とを有し、前記制御手段は、前記記録手段により前記音声信号を記録している間、前記駆動部の駆動が開始または終了してから所定時間、前記駆動部の動作を制限する構成とした。
本発明によれば、雑音発生区間の代わりとなる音声信号の生成するために必要な、雑音発生区間の前または後の音声信号に、装置の駆動部の駆動により発生する雑音が混入しないように、所定の期間、駆動部の駆動を制限する。または、記録開始直後の一定区間、駆動部の駆動を制限することで、雑音の混入していない音声信号を確保するようにする。または、最後に駆動した駆動部の駆動終了から一定区間、記録停止動作を制限することで、雑音の混入していない音声信号を確保するようにする。この様に、雑音発生区間の代わりとなる音声信号の生成を良好に行えるようにし、雑音低減効果をより高めることができる。
撮像装置100のブロック図である。 撮像部101及び音声処理部105の詳細を示すブロック図である。 雑音低減処理による音声信号の変化を示す図である。 記録動作が開始してから終了するまでの撮像装置100の動作を示すフロー図である。
以下、図面を参照して本発明の実施例を詳細に説明する。
本実施例では、音声信号処理装置として、レンズ駆動部や絞り機構などの駆動部を有する撮像装置を例にとって説明する。しかし、本発明の技術範囲は、この例に限られるものではない。
図1は、実施例1の撮像装置100の構成を示すブロック図である。
図1において、撮像部101は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、CCDセンサやCMOSセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部102に送信する。画像処理部102は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部102で処理された画像信号は、後述の制御部114により、メモリ103や後述の映像出力部110や表示制御部111に送信される。
また、音声入力部104は、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置100の周囲の音声を集音(収音)し、アナログデジタル変換をして音声処理部105に送信する。音声処理部105は、入力されたデジタル音声信号のレベルの適正化処理、後述する「雑音低減処理」等の音声に関する処理を行う。そして、音声処理部105で処理された音声信号は、後述の制御部114により、メモリ103や後述の音声出力部109に送信される。メモリ103は、画像処理部102、音声処理部105により得られた画像信号及び音声信号を一時的に記憶する。
符号化処理部106は、メモリ103に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部114は、これらの圧縮画像信号、圧縮音声信号を、記録再生部107はに送信する。記録再生部107は、記録媒体108に対して符号化処理部106で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部114は、音声処理部105により生成された音声信号と符号化処理部106により生成された圧縮画像信号とを、記録再生部107に送信し記録媒体108に記録させる。
また、記録再生部107は、記録媒体108に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す(再生する)。そして読出した圧縮画像信号圧縮音声信号を、制御部114は符号化処理部106に送信する。符号化処理部106は、圧縮画像信号、圧縮音声信号を一時的にメモリ103に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部109へ、復号化した画像信号を映像出力部110や表示制御部111に送信する。また、音声信号が記録媒体108に非圧縮記録されている場合には、制御部114は、音声信号を直接音声出力部109に送信する。
音声出力部109は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部109は、撮像装置100に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。映像出力部110は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部109、映像出力部110は、統合された1つの端子、例えばHDMI(High−Definition Multimedia Interface)(登録商標)端子のような端子であってもよい。また、表示制御部111は、符号化処理部106から送信された画像信号や画像処理部102から送信された画像信号にかかる映像や、撮像装置100の操作をするための操作画面(メニュー画面)等を表示部112に表示させる。表示部112は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
また、操作部113は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部114に送信する。制御部114は、操作部から送信された指示信号に基づいて、撮像装置100の各ブロックに制御信号を送信することで、各ブロックを制御するものある。操作部113は、例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソルキー、表示部112の任意の点を指定するためのポインティングデバイス、タッチパネル等からなる。また、制御部114は、各種処理(プログラム)を実行するための例えば、CPU(MPU)、メモリ(DRAM、SRAM)などからなる。
バス115は、各種データ、制御信号などを撮像装置100の各ブロックに送るためのものである。
通信部116は、撮像装置100と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部116は、例えば、赤外線通信モジュール、Bluetooth(登録商標)通信モジュール、無線LAN通信モジュール、WirelessUSB等の無線通信モジュールである。
ここで、本実施例の撮像装置100の通常の動作について説明する。
本実施例の撮像装置100は、ユーザが操作部113の電源ボタンを操作すると、操作部113から制御部114に起動の指示が出される。この指示を受けて、制御部114は、不図示の電源供給部を制御して、撮像装置100の各ブロックに対して電源を供給させる。
電源が供給されると、制御部114は、例えば、操作部113のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部113からの指示信号により確認する。
撮影モードでは、撮像装置100は撮影待機状態でユーザが操作部113の記録開始ボタンを操作することで、撮影を開始し、その間、圧縮画像信号と、圧縮音声信号または音声信号が、記録媒体108に記録される。そしてユーザが操作部113の撮影終了ボタンを操作することで、撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または、音声信号を記録媒体108から再生して音声出力部109から音声信号を出力し、表示部112に映像を表示させる。
まず、撮影モードについて説明する。操作部113により撮影モードが設定されると前述のようにまず、制御部114は、撮像装置100の各ブロックを撮影待機状態に設定させる。撮影待機状態で、ユーザが操作部113の記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部114は、撮影開始の制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部101は、レンズにより取り込まれた被写体の光学像の光量を絞りにより制御し、撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部102に送信する。画像処理部102は、入力されたデジタル画像信号の画質調整処理(ホワイトバランスや色、明るさなど)を設定値に基づいて処理する。そして、画像処理部102で処理された画像信号は、制御部114により表示制御部111、メモリ103に送信される。表示制御部111は、受信した画像信号に関する映像を表示部112に表示させる。また、制御部114は、画像信号に基づいて、撮像部101の不図示のレンズ群や絞りを操作するレンズ制御信号を撮像部101に送信する。
音声入力部104は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号音声処理部105に送信する。音声処理部105は、入力されたデジタル音声信号のレベルの適正化処理、後述の「雑音低減処理」等をして音声信号を出力する。制御部114は、音声処理部105により処理された音声信号を、音声出力部109、メモリ103に送信する。
そして、符号化処理部106は、メモリ103に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成する。そして、制御部114は、これらの圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部107に出力する。記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。また、音声を圧縮しない場合には、制御部114は、音声処理部105で生成した音声信号を符号化処理部106で生成された圧縮画像信号とともに、記録再生部107に出力する。そして、記録再生部107は、前述したように、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。
以上の動作を撮影中は継続する。
そして、ユーザが操作部110の記録ボタンを操作することにより撮影終了の指示信号が制御部114に送信されると、制御部114は、撮影終了の制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせるように制御する。
画像処理部102、音声処理部105は、それぞれ画像信号、音声信号をメモリ103に送信するの停止する。そして、符号化処理部106は、メモリ103に記憶されている残りの画像信号と音声信号とを読出して所定の符号化を行い、圧縮画像信号、圧縮音声信号等を生成し、それが終わると動作を停止する。
制御部114は、これらの最後の圧縮画像信号、圧縮音声信号を合成し、データストリームを形成し、記録再生部107に出力する。音声を圧縮しない場合には、制御部114は、音声処理部105により生成された音声信号と、圧縮画像信号とを記録再生部107に出力する。
記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。
制御部114は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信して、撮影待機状態に戻る。
また、撮影待機状態では、制御部114は、撮像装置100の各ブロックを以下のような動作をさせるように制御する。
画像処理部102は、画像信号を表示制御部111に送信し表示部112に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
制御部114は、音声処理部105により得られた音声信号を音声出力部109に送信し、内蔵スピーカや接続されたスピーカまたはイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら操作部113の記録音量を決定するためのマニュアルボリュームの調整をすることもできる。
本実施例では、画像と共に音声を記録する場合について説明したが、画像を記録しなくても、前述したのと同様の動作によって音声のみを記録することもできる。
次に、再生モードでは、制御部114は、再生状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。
記録再生部107は、記録媒体108に記録された圧縮画像信号と、圧縮音声信号また音声信号とからなる動画ファイルをが読出す。制御部114は読出された圧縮画像信号、圧縮音声信号を、符号化処理部106に送る。圧縮されていない音声信号であれば、制御部114は、音声出力部109に音声信号を送信する。
符号化処理部106は、圧縮画像信号、圧縮音声を一時的にメモリ103に記憶させ、所定の手順で復号する。そして制御部114は、復号化した音声信号を音声出力部109へ、復号化した画像信号を映像出力部110や表示制御部111に送信する。表示制御部111は、入力された画像信号にかかる映像を表示部112に表示させ、音声出力部109は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。
本実施例の撮像装置は以上のように、画像、音声の記録再生を行う。
ここで、音声処理部105において行われる、「雑音低減処理」について図2、図3を用いて説明する。図2は、本実施例の撮像部101、音声処理部105の詳細を示した図である。図3は、雑音低減処理による音声信号の変化を示す図である。
図2において、レンズ201は、被写体の光学像を取り込むレンズ群および絞りである。そして、撮像素子202は、レンズ201により取り込まれた被写体の光学像を電気信号に変換するもので、例えばCCDセンサやCMOSセンサなどからなる。レンズ制御部203は、レンズ201のレンズを駆動させるための駆動モータ(駆動部)、駆動モータを制御するマイクロコンピュータ(モータ制御部)などからなる。そして、レンズ制御部203は、制御部109からのレンズ制御信号に応答して、レンズ201のレンズを移動させる。
例えば、オートフォーカスなどを行う場合には、制御部114は入力された画像信号を解析し、画像信号のピントが合うようにレンズを移動させるために、レンズの移動量を示すをレンズ制御信号をレンズ制御部203に送信する。そうすると、レンズ制御部203のモータ制御部は、レンズ制御信号の示す移動量だけレンズ201を移動させるように、駆動部の駆動方向、駆動時間等をPWM制御などにより制御する。同様に、被写体の輝度(光量)を調整する場合にも、制御部114は、絞り量を示すレンズ制御信号をレンズ制御部203に送信する。そうすると、レンズ制御部203のモータ制御部は、レンズ制御信号の示す絞り量だけレンズ201の絞りを開閉させるようにPWM制御などにより制御する。今回は、制御部114が画像信号を解析して自動的にレンズや絞りを調整する場合について説明したが、操作部113を介してユーザから入力された指示に基づいて、制御部114がレンズ制御信号をレンズ制御部203に送信し、レンズ201を動作させてもよい。同様に、ユーザが被写体の光学像を拡大または縮小させるように操作部113を操作し、制御部114がその操作に応じてレンズ制御信号を送信し、レンズ制御部203が被写体の光学像を拡大または縮小するように、レンズ201を移動させてもよい。
また、レンズ制御部203は、振動検出部を備えており、振動に応じてレンズ201の位置を調整することで、画像ブレを防止する機能も有している。
また、図2において、AD変換部204は、入力されたアナログ音声信号をデジタル音声信号に変換する。ALC205は、入力されたデジタル音声信号のレベルを調整するためのオートレベルコントローラである。ALC205は、入力された音声信号のレベルを監視し、レベルが過大であった場合などに、音声信号のレベルを適正なレベルに下げる。雑音低減部206は、本実施例の後述する「雑音低減処理」を行うブロックである。バッファメモリ207は、ALC205から入力されたデジタル音声信号を順次、一定時間分(たとえば、2.0秒程度)記憶するものである。通常、バッファメモリ207に順次書き込まれた音声信号は、制御部114により、先に書き込まれた音声信号から順に所定のサンプル数(例えば512サンプル)ずつ順次読出され、メモリ103や音声出力部109に送信される。制御部114は、バッファメモリ207に書き込まれた音声信号を、例えば、1.5秒分のデータが蓄積されたときに、読出しを開始するようにしている。その後も1.5秒程度の音声信号がバッファリングされている状態を維持するように制御部114は、定期的に一定量の音声信号を読出すようにしている。
本実施例の「雑音低減処理」は、レンズ201のレンズを移動させたり、絞りを開閉させたりするために、レンズ制御部203の駆動部等が駆動することより発生する雑音を低減させる処理である。この処理により変化する音声信号の波形を示したものが図3である。図3において、縦軸は音声信号の振幅レベル、横軸は時間を示している。図3(a)は、バッファメモリ207に入力された音声信号を示す図である。図3(b)は、雑音発生区間の音声信号を破棄した音声信号を示す図である。図3(c)は、雑音発生区間の前後の音声信号に基づいて求められた「予測音声信号」を、雑音発生区間の音声信号として置き換えた信号を示す図である。
本実施例の「雑音低減処理」は、具体的には、雑音発生区間301の音声信号を、その区間の前(前学習期間302)及び/またはその区間の後(後学習期間303)の一部または全部の音声信号に基づいて生成した音声信号で補間処理する雑音低減処理である。ここで、雑音発生区間301は、撮像装置の駆動部が動作中の期間を示し、前学習期間302、後学習期間303は、雑音発生区間301に隣接する例えば0.05秒、0.02秒等の区間である。
そのために、制御部114は、レンズ制御信号をレンズ制御部203に送信すると共に、雑音低減部206に雑音低減処理を実行するように指示を出す。雑音低減部206は、この指示を受けると、バッファメモリ207から、その区間の前(前学習期間302)及び/またはその区間の後(後学習期間303)の音声信号を読出す。このとき、同時に雑音発生区間301の音声信号を読出してもよい。そして、バッファメモリ207に記録された音声信号における雑音発生区間301の音声信号を置き換えるための「予測音声信号」を前学習期間302及び/または後学習期間303の音声信号から生成する。次に、バッファメモリ207の雑音発生区間301に対応するアドレスに再び書き込む。この動作を、バッファメモリ207に音声信号が書き込まれてから、読出されるまでの間に行う。この「予測音声信号」は、雑音発生区間301の音声信号を、その区間の前(前学習期間302)及び/またはその区間の後(後学習期間303)の音声信号に基づいて生成した音声信号である、生成方法は後述する。
ここで、雑音発生区間301は前述したように、駆動部の動作中(駆動中)の期間を示し、その期間の長さは、レンズの種類毎に異なり、また、レンズの移動量、絞りの調整量などによっても異なる。本実施例では、撮像装置本体の制御部114に、レンズの種類、レンズの移動量、絞りの調整量等に対応する雑音発生区間の長さについての情報が記憶されている。制御部114は、雑音低減部206に雑音低減処理を実行する指示と共に、雑音発生区間の長さについての情報を送信し、雑音低減部206では、この情報によって雑音発生区間と、その前後の区間を判別している。また、例えば、レンズの種類などが特定できない場合には、雑音発生区間を所定の期間(例えば0.3秒、0.4秒、0.5秒など)してもよい。
雑音低減部206は、雑音発生区間301に置き換える音声信号(「予測音声信号」)を、雑音発生区間301の前後区間(前学習期間302、後学習期間303)の音声信号に基づいて求める。ここで、時系列について再度説明すると、前学習期間302とは、雑音発生区間301より以前に取得された音声信号に対応する期間であり、後学習期間303とは、雑音発生区間301より以後に取得された音声信号に対応する期間である。本実施例においては、前学習期間302、後学習期間303は、例えば、0.02秒や0.05秒などであり、雑音発生区間301は、前述したようにレンズの種類や駆動部、移動量、調整量毎に異なる。例えば、レンズAのフォーカスレンズの移動では、一律0.2秒、絞り駆動では、一律0.1秒であり、また、レンズBのフォーカスレンズの移動では、一律0.25秒であり、絞り駆動では、一律0.15秒である。しかし、これは一例であって、他のどのような期間であっても、本実施例の雑音低減処理は、実施することができる。他にも、雑音発生区間は、レンズCでは、レンズの移動も、絞りの調整も一律0.5秒、であってもよいし、レンズDにおいては、フォーカスレンズの移動量毎に、0.2秒、0.3秒、0.4秒、等であってもよい。
また、「雑音低減処理」の開始は、制御部114から雑音低減処理を実行する指示を受けてすぐに行われてもよいし、雑音発生区間301に対応する音声信号を取得してから開始してもよいし、後学習期間303の音声信号を取得してから開始してもよい。例えば、制御部114から雑音低減処理を実行する指示を受けてすぐに行われる場合は、雑音低減部206は指示を受けるとすぐに前学習期間302の音声信号を読出す。そして、前学習期間302の一部または全部の音声信号に基づいて、雑音発生区間301を補間するための音声信号を生成する。その後、雑音発生区間301が経過していれば雑音発生区間301の音声信号を補間するために、バッファメモリ207の雑音発生区間301に対応するアドレスに生成した音声信号を書き込む。また、雑音発生区間301が経過していなければ経過後に、バッファメモリ207の雑音発生区間301に対応するアドレスに生成した音声信号を書き込む。また、例えば、後学習期間303の音声を取得してから開始する場合は、雑音低減部206は、指示を受けてから、雑音発生区間301に対応する期間及び、後学習期間303に対応する期間が経過してから「雑音低減処理」を開始する。そのため、制御部114から送信された雑音発生区間を示す情報に基づいて、雑音発生区間301に対応する期間を特定し、それにさらに後学習期間303の期間を加えた時間だけ処理の開始を遅延させるようにすればよい。
ここで、雑音発生区間301の音声信号としてに置き換える音声信号(「予測音声信号」)の生成方法について説明する。以下に説明するのは、前学習期間302の音声信号の値を使用して、それより後ろの音声信号を算出する演算手法である。この演算手法を順次繰り返すことにより、前学習期間の音声信号の値を使用した前予測音声信号を生成することができる。
本実施例では、線形予測係数の導出し、その線形予測係数を用いて雑音発生区間301の音声信号を算出する。線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個(ここではp個とおく)の標本値との間に次のような線形1次結合関係を仮定している。すなわち、サンプリングレートが48kHzであれば、学習期間が0.02秒の場合、過去、960サンプルが前述のp個にあたる。
Figure 2011151481
本実施例においては、音声信号を扱うため、数1において、εは、平均値が0で、分散σの互いに無相関な確率変数である。ここで、xが、それより過去の値(すなわち、xt−1,xt−2,xt−3・・・値)から算出されるものとして、数式を変換すると、以下のような数式となる。
Figure 2011151481
数2によると、εが十分に小さければ、近傍p個の線形和によって現在の値が表現される。xを上記の予測によって求めた後、さらにその近似が十分によければxt+1も同じく近傍p個の線形和によって求められる。このようにεを十分に小さくすることが出来れば順次値を予測して信号を求めることが出来る。そこでεを最小にするようなα(線形予測係数)の求め方を考える。本発明ではεを最小にするようなαを求める動作を学習動作と呼ぶ。そうすると、前述した学習区間において
Figure 2011151481
が最小となればよい。学習の開始時間をt、終了時間をtとすると、数式1から、
Figure 2011151481
は、以下のような式で表される。
Figure 2011151481
ただしα=1である。ここで式を簡単にするために
Figure 2011151481
とおくと。数3を最小化するようにαを決めるためには、数3のα(j=1,2,・・・p)に関する偏微分を0として解けばよい。すなわち、以下のような数式となる。
Figure 2011151481
ここで、数4はp個の線形連立1次方程式を解けばαを決定できることを示している。数4のうちcijはxt−i(i=1,2,・・・p)から求めることができる。
すなわち数4からα(線形予測係数)を求めることが出来る。
数4に従ってαを決定した場合、
Figure 2011151481
は最小化されている。このとき数2より、xの値は
Figure 2011151481
でよい近似を与えることが出来る。この近似が十分によいものであれば、xの代わりに
Figure 2011151481
を予測信号として用いることが出来る。
さらにxt+1についても、近傍のp−1個と予測によって求めたxとから同様の演算により、近似値を得ることが出来る。また、この演算を順次繰り返すことで予測区間の信号x,xt+1,xt+2,・・・を生成することができる。本実施例では、制御部114により出力された雑音発生区間301の長さに対応するサンプル数のデータを予測演算するまでこれを繰り返す。この様にして、「前予測音声信号」を生成することが出来る。
本実施例では、雑音発生区間301の直前から0.02秒分の音声信号に基づいて「前予測音声信号」を生成することについて説明したが、直前でなくとも、雑音発生区間301より以前の音声信号に基づいて生成されてもよい。また、雑音発生区間301の前の、0.02秒分の音声信号でなくとも、0.1秒分、0.2秒分の音声信号に基づいて「前予測音声信号」を生成してもよい。
この、「前予測音声信号」を生成する動作を、後学習期間303の音声信号の時系列の新しい方から逆に演算に使用することによって、同様に「後予測音声信号」を生成することができる。
本実施例では、この様にして演算により求められた「前予測音声信号」と、「後予測音声信号」とを例えば、クロスフェード合成したり、前半を「前予測音声信号」を使用し、後方を「後予測音声信号」を使用したりして、予測音声信号を生成する。また、「前予測音声信号」のみを予測音声信号としても、「後予測音声信号」を予測音声信号としてもよい。
クロスフェード合成では、前学習期間302に近い位置の予測音声信号は、前学習期間302から算出した「前予測音声信号」の割合が高く、後学習期間303から算出した「後予測音声信号」の割合が低い割合で合成して、予測音声信号を生成する。そして、雑音発生区間の中央付近では「前予測音声信号」と「後予測音声信号」をほぼ同じ割合で合成する。また、後学習期間303に近い位置の予測音声信号は、前学習期間302から算出した「前予測音声信号」の割合が低く、後学習期間303から算出した「後予測音声信号」の割合が高い割合で合成して、予測音声信号を生成する。
このようにして生成された「予測音声信号」を、図3(c)に示すように、雑音発生区間301の音声信号として置き換えることにより、雑音低減処理を行うのである。すなわち、雑音低減部206では、バッファメモリ207の雑音発生区間301に対応するアドレスに、生成された「予測音声信号」の値を上書きしていくのである。
この様に、本実施例では、雑音低減部206は、雑音発生区間301の雑音を、雑音の混入していない前学習期間302の音声信号や後学習期間303とから演算により求められた予測音声信号により上書きすることで雑音低減処理を行うのである。
本実施例では、「雑音低減処理」として、線形予測を用いた方法を説明したが、これ以外の方法でも良く、雑音発生区間301の少なくとも前または後のどちらか一方の音声に基づいて、雑音発生区間の音声信号を算出する方法であればよい。例えば、線形予測により前学習期間302の音声信号または、後学習期間303の音声信号のどちらか一方から算出された予測音声信号を使用してもよい。また、前学習期間302の音声信号の繰り返し性の高い波形を波形の相関を検出し、その繰り返し波形を予測音声信号としてもよい。同様に後学習期間303の音声信号から算出してもよい。すなわち、雑音発生区間の前及び/または後の音声信号に基づいて予測音声信号を生成し、雑音発生区間の音声信号として置き換える方法であればよい。
また、本実施例では、図3(b)のように、雑音発生区間の音声信号を破棄した後に、予測音声信号を上書きする例について説明した。しかし、雑音発生区間の音声信号を破棄せずに、単に、バッファメモリ207の雑音発生区間のアドレスに、予測音声信号を上書きするようにしてもよい。
続いて、本実施例の撮像装置100の記録動作(動画記録、音声記録)中における雑音低減処理と、撮像装置100の駆動部の駆動タイミング、記録終了タイミングについて図4を用いて説明する。本実施例では、予測音声信号の生成に必要な雑音発生区間の前後の音声に雑音が混入しないようにする、または、記録開始直後または停止直前の一定区間、雑音の混入していない音声を得られるように制御部114は、撮像装置100の各部を制御する。
図4は、記録動作が開始してから終了するまでの撮像装置100の動作を示すフロー図である。
ユーザが操作部113を介して記録開始を指示すると、制御部114は前述した記録動作を開始する。そうすると、制御部114は、入力された画像信号を解析し、レンズ201により取り込まれる光学像のピント調整や、光量(輝度)の調整が必要であるか否かを判断する(S1001)。そして、レンズ201により取り込まれる光学像のピント調整や、光量(輝度)の調整が必要であると判断された場合には(S1001でYes)、制御部114は、記録開始からの第1の所定時間以上経過したか否かを判断する(S1002)。
そして、記録開始から第1の所定時間が経過するまでは(S1002でNo)、S1002をループする。また、記録開始から所定時間が経過したと制御部114が判断すると(S1002でYes)、次に、制御部114は前回のレンズ等の駆動部の駆動終了から第2の所定時間以上経過したか否かを判断する(S1003)。本実施例では、制御部114がレンズ制御信号をレンズ制御部203に送信してから、雑音発生区間の長さが経過した時間を駆動部の駆動終了と見なし、それから第2の所定時間以上経過したか否かを判断している。
そして、前回の駆動終了から第2の所定時間以上経過したと制御部114が判断するまでは(S1003でNo)、S1003をループする。また、前回の駆動終了から第2の所定時間以上経過したと制御部114が判断したら(S1003でYes)、御部114は、入力された画像信号を解析し、レンズ201により取り込まれる光学像のピント調整や、光量(輝度)の調整を開始する(S1004)。すなわち、記録開始から第1の所定時間が経過するまでまたは、前回の駆動終了から第2の所定時間が経過するまでは、制御部114は、レンズ制御信号をレンズ制御部203に出力しないので、レンズ201のレンズ群、絞り等の動作が禁止される。
ここで、第1の所定時間とは、前学習期間302の音声信号を確保する目的であるため、前学習期間302の長さとして0.02秒を使用する場合にはそれ以上の時間であればよい。また、ユーザの記録開始の操作から0.5秒程度の時間を所定時間としてもよい。これにより、ユーザが操作部113を操作したことによる雑音が前学習期間302に入るのを防止することができる。また、第2の所定時間とは、前学習期間302または後学習期間303の音声信号に雑音が入らないようにする目的であるため、前学習期間302または後学習期間303の長さとして0.02秒を使用する場合にはそれ以上の時間であればよい。
S1004で制御部114は、例えば、フォーカス動作のためのレンズ駆動信号として、パルス状の信号をレンズ制御部203に送信し、レンズ制御部203にレンズ201のレンズを移動させる。調整動作が開始されると、制御部114は、雑音低減部206に前述した「雑音低減処理」を開始する指示とともに、フォーカス動作に対応する雑音発生区間を示す情報を送信する(S1006)。そうすると、前述した雑音低減部206は、「雑音低減処理」を開始する。ここで、雑音発生区間は、レンズの種類やそれぞれの駆動部の動作に応じて予め決まっている。制御部114は、レンズの種類、駆動部の動作、それらに対応する雑音発生区間を示す対応関係を記述したテーブルなどを持っており、このテーブルに基づいて、雑音低減部206に雑音発生区間を示す情報を送信する。
そして、制御部114は、ユーザが操作部113を介して記録終了を指示したか否かをを判断する(S1007)。
また、S1001で、そして、レンズ201により取り込まれる光学像のピント調整や、光量(輝度)の調整が必要であると判断されない場合にも(S1001でNo)、制御部114は、S1007の判断をする。
記録終了の指示がなければ(S1007でNo)、S1001からS1007の処理を繰り返す。記録終了の指示が有れば(S1007でYes)、S1003と同様に、制御部114は前回のレンズ等の駆動部の駆動終了から第2の所定時間以上経過したか否かを判断する(S1008)。そして、前回の駆動終了から第2の所定時間以上経過したと制御部114が判断するまでは(S1008でNo)、S1008をループする。また、前回の駆動終了から第2の所定時間以上経過したと制御部114が判断したら(S1008でYes)、制御部114は記録動作を終了させる。
この様に、記録開始から第1の所定時間以上経過するまでは、駆動部の動作を禁止することにより、前学習期間302の音声信号を確保することができ、「雑音低減処理」で使用する音声信号を確保することができる。従って、雑音低減効果をより高めることができる。また、駆動部の前回の駆動終了から第2の所定時間以上経過するまでは、駆動部の動作を禁止することにより、前学習期間302または後学習期間303に雑音が混入してしまうことを防止でき、「雑音低減処理」で使用する音声信号の劣化を防止できる。従って、雑音低減効果をより高めることができる。また、駆動部の前回の駆動終了から第2の所定時間以上経過するまでは、記録停止動作を禁止することにより、後学習期間303の音声信号を確保することができ、「雑音低減処理」で使用する音声信号を確保することができる。従って、記録停止の指示の音声に雑音が混入した場合にも、後学習期間303の音声を使って雑音が混入したと想定される期間の音声を補間するための音声信号をを生成できるので、雑音低減効果をより高めることができる。
本実施例では、駆動部の駆動を禁止することについて説明したが、雑音が聞こえない程度に動作させてもかまわない。すなわち、例えば、フォーカスレンズの移動の速度を遅くしたり、移動量を制限することにより、雑音発生区間301の期間に発生する雑音よりも音量の小さい雑音になるように各駆動部の動作を制限してもよい。
本実施例では、フォーカス動作について説明したが、光量を制御するために絞りが動作する場合であっても、ズームレンズが動作する場合であっても同様である。また、撮像部01の駆動部に限らず、撮像装置100の駆動部であればどのような駆動部が駆動する場合であっても適用することができる。
また、記録終了を指示するスイッチがクリック音を発生する構造であれば、撮影動作スイッチが操作されてから第2の所定期間(所定時間)内に記録停止の指示があった場合には、第2の所定期間内は記録動作を継続させる。そして、第2の所定期間(所定時間)が経過してからその期間の音声信号を使用して予測音声信号を生成して、雑音低減処理を実行してから録音動作を終了するようにしてもよい。すなわち、撮影動作スイッチが操作されてから第2の所定期間が経過するまで記録停止動作を禁止して、第2の所定期間が経過してから録音動作を終了するようにしてもよいのである。
その場合、記録終了スイッチの操作の前後0.2秒程度を雑音発生区間として制御部114が判定し、クリック音も予測音声信号により上書きすることで、記録終了スイッチのクリック音を低減させる。そのため、記録終了スイッチが操作されてから所定期間が経過するまで録音動作を継続することで、記録終了スイッチの雑音発生区間の音声信号に置き換える予測音声信号を生成するための学習区間の音声信号を得ることができる。よって、記録終了スイッチのクリック音による雑音を低減した音声信号を得ることが出来る。また、記録終了スイッチの操作タイミングを記録しておき、雑音発生区間の「雑音低減処理」後に記録終了スイッチの操作タイミング以降の音声データを記録しないようにしてもよい。このようにすることで、撮影者が意図したタイミングで終了された音声信号を記録媒体に記録することができる。
また、記録終了の機能をもつスイッチが2つ以上あり、一方がクリック音が発生するものである場合には、前述のようにクリック音を除去する処理をしてから記録するようにし、他方がクリック音が発生しないものであれば、そのまま記録を停止するようにしてもよい。すなわち、どちらの記録終了スイッチが操作されたかに応じて、記録終了スイッチの操作されたタイミングで「雑音低減処理」を行うか否かを決定してもよい。
また、本実施例では、S1003、S1008において、制御部114は前回の駆動部の駆動終了から第2の所定時間以上経過したか否かを判断するものとしていたが、前回の駆動部の駆動開始から第3の所定時間以上経過したか否かを判断するものとしてもよい。ここで第3の所定時間とは、前回駆動した駆動部の雑音発生区間301の長さに対して例えば50msを加算した値である。前述したように、雑音発生区間301は、レンズの種類、駆動部、駆動量毎に異なるので、第3の所定時間は、前回駆動した駆動部に応じて変動する値となる。
また、同様に、S1003、S1008において、制御部114は前回の駆動部の駆動終了から第2の所定時間以上経過したか否かを判断するものとしていたが、前回の制御部114によりレンズ制御信号が送信されてから第4の所定時間以上経過したか否かを判断するものとしてもよい。ここで第4の所定時間とは、前回駆動した駆動部の雑音発生区間301の長さに対して例えば55msを加算した値である。前述したように、雑音発生区間301は、レンズの種類、駆動部、駆動量毎に異なるので、第4の所定時間は、前回駆動した駆動部に応じて変動する値となる。第4の所定時間については、第3の所定時間より加算する時間を5ms増加させたが、これは、制御部114からレンズ制御信号が送信されてから駆動部の駆動が開始するまでの時間差を考慮したものである。
また、S1003、S1008において、レンズ制御部203が、レンズの移動や絞りの調整を終了したことを示す信号を制御部114に送信し、制御部114はその時点を駆動部の駆動終了として、それから第2の所定時間経過したか否かを判断してもよい。
また、本実施例のように、雑音発生区間の前または後の音声信号から雑音発生区間の音声信号を生成(予測音声信号を生成)する場合には、予測音声信号で置き換える区間が長くなると、実際の雑音以外の音声との誤差は徐々に広がっていく。そのため、雑音発生区間をより正確に検出して、制御部114が雑音発生区間を指定することが望ましい。そこで、本実施例では雑音混入区間の検出にさらに振動センサ(加速計)を用いてもよい。この場合、振動センサにより振動を検出したタイミングが、実際の駆動部が駆動したタイミングであるので、制御部114は、この振動センサの検出結果によって雑音発生区間を判定して、雑音低減部206に送信する。
また、振動センサの動作を常に有効にしておくと、消費電力が上がってしまうため、レンズ制御信号をレンズ制御部203に送信したタイミングで、振動センサの動作を開始するようにしてもよい。そして、2秒程度の所定時間が経過したときに加速センサの動作を終了させる。この様にすることで、振動センサによる消費電力を低減することができる。
また、本実施例では、フォーカスレンズの移動または、絞りの調整が別々に行われる場合について説明したが、例えばフォーカスレンズの移動中に絞りの調整が行われてもよい。この場合には、フォーカスレンズの移動開始から、絞りの調整の終了またはフォーカスレンズの移動の終了のどちらか遅い方までの期間を雑音発生区間として、「雑音低減処理」を行う。さらに、絞りの調整の終了またはフォーカスレンズの移動の終了のどちらか遅い方から第2の所定時間が経過するまでの間は、駆動部の駆動を制限する。
本実施例では、制御部114が、駆動部の駆動を制限するために、レンズ制御信号をレンズ制御部203に送信しないようにしていた。しかし、制御部114がレンズ制御部203に対して、レンズの移動や絞りの調整を禁止または制限する信号を送信することにより、駆動部の駆動を禁止または制限するようにしてもよい。
また、駆動部の駆動時間の比較的長い、ズームレンズの移動や、コントラストAF等を使用した場合のフォーカスレンズの移動等が有る場合の、撮像装置100の動作について説明する。ここで、コントラストAFとは、画像のコントラストを検出しながらフォーカスレンズを移動させて、最もコントラストの高い位置を焦点が合っている位置であるとする手法である。この手法では、レンズを移動させつつ画像を解析するため、フォーカスまでの時間が比較的長くなるのである。一例としてズームレンズを移動させる場合について説明する。
本実施例の撮像装置100では、被写体の光学像を拡大または縮小させる場合、ユーザが操作部113のズームキーを操作すると操作している間、制御部114は、レンズ制御部203にレンズ制御信号を送信し、ズームレンズを移動させる。
しかし、ズームレンズの移動時間が長くなると、雑音低減処理の精度が低下してしまう。そこで、本実施例では、ズームキーが入力されている間、例えば0.5秒間レンズを移動させると一時的に移動を停止させ、所定時間経過後、また0.5秒間レンズを移動させてから一時的に移動を停止させる動作を繰り返す。すなわち、ズームレンズの移動を間欠的に行うのである。ここで、ズームレンズの移動している時間が雑音発生区間となるので、本実施例の撮像装置100は、この区間の音声信号をこの区間の少なくとも後の期間の音声信号に基づいて生成した予測音声信号で置き換える。そのため、本実施例においては、制御部114は、前述と同様に、第2の所定時間レンズの移動を制限する。すなわち、ズームレンズを0.5秒移動させた後、第2の所定時間レンズの移動を制限し、その後また0.5秒ズームレンズを移動させる動作をユーザのズームキーの操作が終了するまで繰り返す。この様にすることでも、「予測音声信号」の生成に必要な、前学習期間302または後学習期間303に雑音が混入してしまうことを防止でき、「雑音低減処理」の効果を高めることができる。
コントラストAFを行う場合であっても、フォーカスレンズを前述のズームレンズと同様に間欠的に移動するように制御部114は、フォーカスレンズの移動をする駆動部の動作を制御することにより、同様の効果を得ることができる。
本実施例では、「雑音低減処理」については、撮像装置100の音声処理部105で行われる例について説明したが、撮像装置100自体に「雑音低減処理」をする機能が無くてもよい。その場合は、音声信号と、レンズ制御信号を出力したタイミングと、雑音発生区間を示す情報とを関連づけて、記録媒体108に記録させる。そして、「雑音低減処理」を実行することができるアプリケーションをインストールしたコンピュータにより、記録媒体108から再生された音声信号について「雑音低減処理」が実行される。つまり、コンピュータでは、記録媒体108から音声信号と、雑音発生区間を示す情報とを読出し、音声信号の雑音発生区間の前及び/または後の音声信号から予測音声信号を生成して、雑音発生区間の音声信号と置き換える処理をするのである。この様に、撮像装置100を音声取得装置とし、コンピュータを音声信号処理装置とした音声信号処理システムで本実施例の「雑音低減処理」を実行しても本発明の目的は達成される。ここでは、雑音発生区間を示す情報として、撮影開始から25.1秒から25.4秒までなどの情報を生成して(情報生成)記録媒体108に記録してもよい。また、レンズ制御信号を出力したタイミングが撮影開始から25.1秒であり、雑音発生区間は0.3秒であることを示す情報を記録媒体108に記録してもよい。また、レンズの種類と、駆動部、駆動量(レンズの移動量、絞りの調整量等)と、レンズ制御信号を出力したタイミングとを示す情報を記録してもよい。
また、記録媒体108を介さずとも、撮像装置100の通信部116と、コンピュータの通信部と無線または有線にてデータ転送可能に接続した状態で、同様に「雑音低減処理」をコンピュータに実行させてもよい。この場合は、制御部114は、バッファメモリ207に記憶された音声信号を所定のサンプル数ずつ、通信部116に送り、コンピュータの通信部に送信する。また、制御部114は、通信部116にレンズ制御信号を出力したタイミングと、雑音発生区間を示す情報とを送り、同様にコンピュータの通信部に送信する。コンピュータは、コンピュータ上で起動した、本実施例の雑音低減部206と同様の機能を有する特定のアプリケーションの処理によって、本実施例と同様に、雑音発生区間の前または後の音声を使用して「雑音低減処理」を行う。このように本実施例の「雑音低減処理」を実行することができるコンピュータと接続したシステムを前提として、本実施例のように、特定の期間、駆動部の駆動を制限したり、記録停止を制限しても、本発明の課題を解決することができる。
また、本発明においては、音声信号処理装置の一例として、撮像装置を例にとって説明したが、これ以外の装置でも、音声信号を処理することができる装置であれば適用可能である。例えば、ビデオカメラやICレコーダ、携帯電話、テレビ、自動車等にも適用するとができる。

Claims (15)

  1. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声信号処理装置であって、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記取得手段により取得された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間の前及び/または後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段と、
    前記雑音低減手段により生成された音声信号を記録媒体に記録する記録手段とを有し、
    前記制御手段は、前記記録手段により前記音声信号を記録している間、前記駆動部の駆動が開始または終了してから所定時間、前記駆動部の動作を制限することを特徴とする音声信号処理装置。
  2. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声信号処理装置であって、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記取得手段により取得された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間より前に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段と、
    前記雑音低減手段により生成された音声信号を記録媒体に記録する記録手段とを有し、
    前記制御手段は、前記記録手段により記録が開始してから所定時間、前記駆動部の動作を制限することを特徴とする音声信号処理装置。
  3. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声信号処理装置であって、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記取得手段により取得された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間の後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段と、
    前記雑音低減手段により生成された音声信号を記録する記録手段とを有し、
    前記制御手段は、前記記録手段により前記音声信号を記録している間、前記駆動部の駆動が開始または終了してから所定時間、前記記録手段の記録停止を禁止することを特徴とする音声信号処理装置。
  4. 前記制御手段は、前記駆動部の動作を制限する制御として、前記駆動部の動作を禁止させるかまたは、前記駆動部の動作中の期間に取得された音声信号に含まれる雑音より音量の小さい雑音になるように前記駆動部の動作を制限することを特徴とする請求項1または2記載の音声信号処理装置。
  5. 前記所定時間は、前記駆動部の種類毎に異なる時間であることを特徴とする請求項1から4のいずれか1項記載の音声信号処理装置。
  6. 前記音声信号処理装置は、被写体の光学像を取り込むレンズと、光学像の光量を調整する絞りと、光学像を画像信号に変換する撮像素子とを有し、
    前記駆動部は、前記レンズを移動させるための駆動部であることを特徴とする請求項1から5のいずれか1項記載の音声信号処理装置。
  7. 前記駆動部は、前記被写体の光学像を拡大および縮小させるために、前記レンズを移動させる駆動部であることを特徴とする請求項1から6のいずれか1項記載の音声信号処理装置。
  8. 前記駆動部は、前記被写体の光学像のピントを調整するために、前記レンズを移動させる駆動部であることを特徴とする請求項1から7のいずれか1項記載の音声信号処理装置。
  9. 前記駆動部は、前記絞りを動作させる駆動部であることを特徴とする請求項1から8のいずれか1項記載の音声信号処理装置。
  10. 前記制御手段は、前記撮像素子により取得された画像信号に基づいて、前記駆動部の動作を制御することを特徴とする請求項6から9のいずれか1項記載の音声信号処理装置。
  11. 前記記録手段は、前記雑音低減手段により生成された音声信号と、前記撮像素子により得られた画像信号とを関連づけて記録することを特徴とする請求項6から9のいずれか1項記載の音声信号処理装置。
  12. 前記制御手段は、前記記録手段により前記音声信号を記録している間、前記駆動部の駆動が開始または終了してから所定時間、前記記録手段の記録停止を禁止するとともに、
    前記駆動部の駆動が終了してから所定時間内に記録停止の指示があった場合には、
    前記雑音低減手段は、前記駆動部の駆動中の期間の音声信号を前記所定時間内の間の音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成し、
    前記記録手段は、前記所定時間内の音声信号のうち、前記記録停止の指示があったタイミングより後に取得された音声信号については記録しないようにすることを特徴とする請求項1から11のいずれか1項記載の音声信号処理装置。
  13. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声取得装置と、前記音声取得装置により取得された音声信号を処理する音声信号処理装置とからなる音声信号処理システムであって、
    前記音声取得装置は、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記駆動部の動作中の期間を示す情報を生成する情報生成手段とを有し、
    前記音声信号処理装置は、
    前記取得手段により取得された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間の後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段とを有し、
    前記制御手段は、前記駆動部の駆動が開始または終了してから所定時間、前記駆動部の動作を制限することを特徴とする音声信号処理システム。
  14. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声取得装置と、前記音声取得装置により取得された音声信号を処理する音声信号処理装置とからなる音声信号処理システムであって、
    前記音声取得装置は、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記駆動部の動作中の期間を示す情報を生成する情報生成手段と、
    前記取得手段により取得された音声信号と、前記情報生成手段により生成された前記駆動部の動作中の期間を示す情報とを記録媒体に記録する記録手段とを有し、
    前記音声信号処理装置は、
    前記記録媒体に記録された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間より前に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段とを有し、
    前記制御手段は、前記記録手段により記録が開始してから所定時間、前記駆動部の動作を制限することを特徴とする音声信号処理システム。
  15. 周囲の音声を電気信号に変換した音声信号を取得する取得手段を有する音声取得装置と、前記音声取得装置により取得された音声信号を処理する音声信号処理装置とからなる音声信号処理システムであって、
    前記音声取得装置は、
    前記装置に備えられた駆動部の動作を制御する制御手段と、
    前記駆動部の動作中の期間を示す情報を生成する情報生成手段と、
    前記取得手段により取得された音声信号と、前記情報生成手段により生成された前記駆動部の動作中の期間を示す情報とを記録媒体に記録する記録手段とを有し、
    前記音声信号処理装置は、
    前記記録媒体に記録された前記音声信号のうち、前記駆動部の動作中の期間に取得された音声信号を、その期間の後に取得された音声信号に基づいて生成された音声信号によって置き換えた音声信号を生成する雑音低減手段とを有し、
    前記制御手段は、前記記録手段により前記音声信号を記録している間、前記駆動部の駆動が開始または終了してから所定時間、前記記録手段の記録停止を禁止することを特徴とする音声信号処理システム。
JP2010009262A 2010-01-19 2010-01-19 音声信号処理装置、音声信号処理システム Expired - Fee Related JP5538918B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010009262A JP5538918B2 (ja) 2010-01-19 2010-01-19 音声信号処理装置、音声信号処理システム
US13/008,730 US9224381B2 (en) 2010-01-19 2011-01-18 Audio signal processing apparatus and audio signal processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010009262A JP5538918B2 (ja) 2010-01-19 2010-01-19 音声信号処理装置、音声信号処理システム

Publications (2)

Publication Number Publication Date
JP2011151481A true JP2011151481A (ja) 2011-08-04
JP5538918B2 JP5538918B2 (ja) 2014-07-02

Family

ID=44277361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010009262A Expired - Fee Related JP5538918B2 (ja) 2010-01-19 2010-01-19 音声信号処理装置、音声信号処理システム

Country Status (2)

Country Link
US (1) US9224381B2 (ja)
JP (1) JP5538918B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510436A (ja) * 2013-02-28 2016-04-07 グーグル インコーポレイテッド キーボードのタイピング検出と抑制

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203040A (ja) * 2011-03-23 2012-10-22 Canon Inc 音声信号処理装置、及びその制御方法
EP2713206B1 (en) * 2011-06-29 2016-04-20 Olympus Corporation Camera device, replacement lens device, camera main body, and focus control method
JP6061476B2 (ja) * 2012-03-02 2017-01-18 キヤノン株式会社 音声処理装置
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation
CN113676687A (zh) * 2021-08-30 2021-11-19 联想(北京)有限公司 一种信息处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010123A (ja) * 2000-06-23 2002-01-11 Olympus Optical Co Ltd 電子カメラ装置
JP2005253010A (ja) * 2004-03-08 2005-09-15 Fuji Photo Film Co Ltd カメラ
JP2006229401A (ja) * 2005-02-16 2006-08-31 Casio Comput Co Ltd 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2008053802A (ja) * 2006-08-22 2008-03-06 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097511A (en) * 1988-09-02 2000-08-01 Canon Kabushiki Kaisha Video camera with interruption of recording upon detection of improper mounting of interchangeable lens
GB9211984D0 (en) * 1992-06-05 1992-07-15 Davis Raymond L Video cassettes and other pre-recorded media cartridges
US5418762A (en) * 1992-12-09 1995-05-23 Sony Corporation Optical disk recording device having a pre-recording mode
JP4196431B2 (ja) * 1998-06-16 2008-12-17 パナソニック株式会社 機器内蔵型マイクロホン装置及び撮像装置
JP2003098566A (ja) * 2001-09-20 2003-04-03 Canon Inc 振動検出手段の信号制御装置
JP2003295899A (ja) * 2002-03-28 2003-10-15 Fujitsu Ltd 音声入力装置
US20040032509A1 (en) * 2002-08-15 2004-02-19 Owens James W. Camera having audio noise attenuation capability
JP2004096227A (ja) * 2002-08-29 2004-03-25 Canon Inc 音声処理装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP4218573B2 (ja) * 2004-04-12 2009-02-04 ソニー株式会社 ノイズ低減方法及び装置
JP3773058B2 (ja) * 2004-07-20 2006-05-10 コナミ株式会社 ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4466384B2 (ja) * 2005-01-19 2010-05-26 カシオ計算機株式会社 電子カメラ、ノイズ低減装置及びノイズ低減方法
JP2006270591A (ja) * 2005-03-24 2006-10-05 Nikon Corp 電子カメラ、データ再生装置およびプログラム
US7596231B2 (en) * 2005-05-23 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing noise in an audio signal
US7483061B2 (en) * 2005-09-26 2009-01-27 Eastman Kodak Company Image and audio capture with mode selection
JP2008077707A (ja) * 2006-09-19 2008-04-03 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010123A (ja) * 2000-06-23 2002-01-11 Olympus Optical Co Ltd 電子カメラ装置
JP2005253010A (ja) * 2004-03-08 2005-09-15 Fuji Photo Film Co Ltd カメラ
JP2006229401A (ja) * 2005-02-16 2006-08-31 Casio Comput Co Ltd 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2008053802A (ja) * 2006-08-22 2008-03-06 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510436A (ja) * 2013-02-28 2016-04-07 グーグル インコーポレイテッド キーボードのタイピング検出と抑制
US9520141B2 (en) 2013-02-28 2016-12-13 Google Inc. Keyboard typing detection and suppression

Also Published As

Publication number Publication date
US9224381B2 (en) 2015-12-29
JP5538918B2 (ja) 2014-07-02
US20110176032A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5538918B2 (ja) 音声信号処理装置、音声信号処理システム
JP4639907B2 (ja) 撮像装置、音声記録方法及びプログラム
US10334336B2 (en) Method of controlling digital photographing apparatus and digital photographing apparatus using the same
JP2008141484A (ja) 画像再生システム及び映像信号供給装置
JP2015122734A (ja) 撮像装置及び撮像方法
JP2011250340A (ja) 撮像装置およびその制御方法
JP2012100216A (ja) カメラおよび動画撮影プログラム
JP5034605B2 (ja) 撮像装置、雑音除去方法及びプログラム
JP5279629B2 (ja) 撮像装置
JP2010074323A (ja) 記録装置および方法、並びに記録再生装置および方法
JP5839795B2 (ja) 撮像装置および情報処理システム
JP2013131871A (ja) 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
JP2011205527A (ja) 撮像装置及び方法、並びにプログラム
JP2011130134A (ja) 撮像装置、撮像システム
JP5171369B2 (ja) 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法
JP2015122731A (ja) 動画再生装置及び動画再生方法
JP2012165219A (ja) 撮像装置
JP4515005B2 (ja) 電子カメラ
US20220383891A1 (en) Sound processing apparatus and control method
JP2013047710A (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP5495753B2 (ja) 撮像装置
JP6071188B2 (ja) 音声信号処理装置
KR101314565B1 (ko) 위치 관련 정보를 제공하는 촬영장치 및 그 제어방법
JP2011205526A (ja) 撮像装置及び方法、並びにプログラム
JP2024008227A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

R151 Written notification of patent or utility model registration

Ref document number: 5538918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430

LAPS Cancellation because of no payment of annual fees