JP2011248309A - 音響処理装置及び電子機器 - Google Patents

Abstract

【課題】付加音響信号が重畳された音響信号に対するユーザの違和感を抑制する音響処理装置や、当該音響処理装置を備える電子機器を提供する。
【解決手段】音響信号解析部８１は、音響信号を解析する。調整方法決定部８３、音響信号調整部８４及び付加音響信号調整部８５は、音響信号解析部８１の解析結果に基づいて、音響信号及び付加音響信号を調整する。重畳部８６は、調整された音響信号に、調整された付加音響信号を重畳する。これにより、所定の効果を得るために付加音響信号のみを調整する場合と比較して、付加音響信号を調整する程度が抑制される。
【選択図】図２

Description

本発明は、入力される音響信号を処理して出力する音響処理装置や、当該音響処理装置を備える電子機器に関する。

従来、音響信号（例えば、ビデオカメラ等を用いて作成した動画ファイルに含まれる音響信号）に、ＢＧＭ（Back Ground Music）などの付加的な音響信号（以下、付加音響信号とする）を重畳する音響処理装置が提案されている。特に、特許文献１及び特許文献２において、処理対象となる音響信号の信号レベル（音量とも解釈され得る。以下同じ。）に基づいて、重畳する付加音響信号の信号レベルを調整する音響処理装置が提案されている。

特許文献１に記載の音響処理装置では、音響信号の信号レベルを考慮して、重畳する付加音響信号の信号レベルを調整することで、付加音響信号によって音響信号がかき消されないようにする。また、音響信号に騒音が含まれる場合には、重畳する付加音響信号の信号レベルを増幅することで、付加音響信号によって騒音が隠れるようにする。

また、特許文献２に記載の音響処理装置では、音響信号の信号レベルが小さい時（雑談時）に、重畳する付加音響信号の信号レベルを増幅することで、付加音響信号によって雑談が隠れるようにする。また、音響信号のレベルが大きい時（スピーチ時）には、重畳する付加音響信号の信号レベルを減衰することで、スピーチの内容をユーザが聞き取り易くなるようにする。

特開２００４−２２１６６６号公報 特開２００６−１４８１８３号公報

上記のような、音響信号の信号レベルに応じて重畳する付加音響信号の信号レベルを調整する音響処理装置の動作例について、図６を参照して説明する。図６は、従来の音響処理装置の動作例を示すグラフである。図６では、音響信号の信号レベルの時間的な変動を実線で示し、調整後の付加音響信号の信号レベルの時間的な変動を破線で示している。また、図中の「音発生期間」では、音響信号の信号レベルが一時的に大きくなっている。

図６に示すように、音響信号の信号レベルが大きくなる「音発生期間」では、重畳する付加音響信号の信号レベルが減衰される。そのため、付加音響信号を重畳して得られた音響信号から、ユーザが音響信号の内容を聞き取り易くなる。しかしながら、図６に示すような調整を行うと、付加音響信号の信号レベルが大きく変動する。すると、ユーザには付加音響信号が示す音（ＢＧＭなど）がうねって聞こえるため、付加音響信号を重畳して得られた音響信号に対してユーザが違和感を覚えることとなり、問題となる。

そこで本発明は、付加音響信号が重畳された音響信号に対するユーザの違和感を抑制する音響処理装置や、当該音響処理装置を備える電子機器を提供することを目的とする。

上記目的を達成するために、本発明における音響処理装置は、音響信号を解析する音響信号解析部と、前記音響信号解析部の解析結果に基づいて、音響信号と、所定の音を示す付加音響信号とを調整する調整部と、前記調整部で調整された音響信号に、前記調整部で調整された付加音響信号を重畳する重畳部と、を備えることを特徴とする。

以下の実施の形態では、調整部の一例として、調整方法決定部、入力音響信号調整部及び付加音響信号調整部を挙げて説明している。

また、上記構成の音響処理装置において、前記音響信号解析部が、音響信号に発話を示す成分が含まれているか否かを解析するものであり、前記音響信号解析部が、音響信号に発話を示す成分が含まれていると解析するとき、前記調整部が、音響信号を強めるとともに、付加音響信号を弱めることとしても構わない。

このように構成すると、付加音響信号が重畳された音響信号に含まれる発話を、ユーザが容易に聞き取ることが可能となる。

また、上記構成の音響処理装置において、前記調整部が、音響信号の発話を示す成分が相対的に強調されるように、音響信号を強めることとしても構わない。

このように構成すると、付加音響信号が重畳された音響信号に含まれる発話を、ユーザがさらに容易に聞き取ることが可能となる。なお、調整部が、音響信号の調波構造が山となる部分の信号レベルを増幅し、谷となる部分の信号レベルを減衰するように、音響信号を強めても構わない。

また、上記構成の音響処理装置において、前記音響信号解析部が、音響信号に音楽を示す成分が含まれているか否かを解析するものであり、前記音響信号解析部が、音響信号に音楽を示す成分が含まれていると解析するとき、前記調整部が、付加音響信号を弱めることとしても構わない。

このように構成すると、音楽を含む入力音響信号に付加音響信号が重畳されることを抑制することが可能となる。そのため、付加音響信号が重畳された音響信号に含まれる音楽を、ユーザが容易に聞き取ることが可能となる。

また、上記構成の音響処理装置において、前記調整部が、付加音響信号の音量が略０になるように、付加音響信号を弱めることとしても構わない。

このように構成すると、付加音響信号が重畳された音響信号から、音響信号に含まれる音楽を、ユーザがさらに容易に聞き取ることが可能となる。

また、上記構成の音響処理装置において、前記音響信号解析部が、音響信号が背景雑音を示すものであるか否かを解析するものであり、前記音響信号解析部が、音響信号が背景雑音を示すものであると解析するとき、前記調整部が、音響信号を弱めるとともに、付加音響信号を強めることとしても構わない。

このように構成すると、付加音響信号が重畳された音響信号に含まれる背景雑音を、ユーザに聞こえにくくすることが可能となる。

また、上記構成の音響処理装置において、付加音響信号を解析する付加音響信号解析部をさらに備え、前記調整部が、前記付加音響信号解析部の解析結果に基づいて音響信号と付加音響信号とを調整することとしても構わない。

このように構成すると、例えば付加音響信号の音量が略一定ではなく変動し得る場合などに、当該変動に応じて精度良く入力音響信号及び付加音響信号の調整を行うことが可能となる。

また、本発明の電子機器は、上記の音響処理装置を備え、前記重畳部で付加音響信号が重畳された音響信号を記録または再生することを特徴とする。

本発明の構成とすると、付加音響信号だけでなく、付加音響信号が重畳される音響信号も調整されることとなる。そのため、所定の効果を得るために付加音響信号のみを調整する場合と比較して、付加音響信号を調整する程度を抑制することが可能となる。したがって、付加音響信号が重畳された音響信号中における付加音響信号の変動（例えば、ＢＧＭのうねり）を抑制することが可能となり、付加音響信号が重畳された音響信号に対するユーザの違和感を抑制することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。 は、音響重畳部の構成の一例を示すブロック図である。 は、発話の調波構造の一例を示すブロック図である。 は、音響重畳部の第１動作例を示すグラフである。 は、音楽の調波構造の一例を示すブロック図である。 は、従来の音響処理装置の動作例を示すグラフである

本発明の実施の一形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの画像（動画及び静止画を含む、以下同じ）信号及び音響信号の生成、記録及び再生が可能なものである。

＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログの画像信号をデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される画像信号に階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログの音響信号をデジタルに変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号にノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号や音響処理部８から出力される音響信号に対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用や音響信号用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１が外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

音響処理部８は、入力される音響信号に付加音響信号を重畳する音響重畳部８０を備える。なお、音響重畳部８０の構成の詳細については、後述する。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をモニタなどの表示部（不図示）で表示可能な信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生部（不図示）で再生可能な信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等から成りユーザの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。

なお、動画及び静止画の画像信号を生成可能な撮像装置１を一例として示したが、動画及び静止画のいずれか一方の画像信号を生成可能な構成としても構わないし、ＩＣ（Integrated Circuit）レコーダのような撮像機能を備えない録音（再生）装置としても構わない。また、表示部や再生部は、撮像装置１と一体になっているものであっても構わないし、別体になっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１が動画の画像信号を生成する際の全体動作例について、図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログからデジタルへと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、レンズ位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

一方、集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタルに変換し、音響処理部８に入力する。音響処理部８は、入力される音響信号にノイズ除去や強度制御などの各種音響処理を施す。

また、音響重畳部８０は、例えば操作部１７を介してユーザの指示が入力された場合などに、音響信号に付加音響信号を重畳して出力する。付加音響信号は、例えば、外部メモリ１０やメモリ１６に記録され、必要に応じて音響重畳部８０が取得する。なお、音響重畳部８０の動作の詳細については、後述する。

そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示部で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号を再生部で再生可能な形式に変換して出力する。

なお、画像信号の記録を行わずに表示部などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮符号化せずに画像信号出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮符号化して外部メモリ１０に記録する動作と並行して、画像信号出力回路部１３を介して表示部などに画像信号を出力することとしても構わない。また、画像処理部５から出力される画像信号や音響処理部８から出力される音響信号を圧縮符号化せずに、そのまま外部メモリ１０に記録しても構わない。

また、音響重畳部８０が音響処理部８に備えられ、音響信号の記録時に付加音響信号を重畳する構成について例示したが、音響重畳部８０が備えられる場所や音響信号に付加音響信号を重畳するタイミングは、上述の限りではない。例えば、音響重畳部８０を伸長処理部１２の後段かつ音響信号出力回路部１４の前段に備え、音響信号の再生時（例えば、外部メモリ１０から伸長処理部１２に読み出されて伸長された後、音響信号出力回路部１４に入力される前）や、音響信号の編集時（例えば、外部メモリ１０から伸長処理部１２に読み出されて伸長された後、外部メモリ１０に再度記録するために圧縮処理部９に入力される前）に、音響信号に付加音響信号を重畳しても構わない。

また、図１では集音機能（例えば、集音部６及びＡＤＣ７）及び再生機能（例えば、音響信号出力回路部１４及び再生部）を備える撮像装置１を例示して説明したが、いずれかの機能を備えない装置（例えば、録音装置、再生装置、編集装置など）としても構わない。さらに、これらの装置を、備えない機能を実現するブロックを図１に示す撮像装置１から除いた装置として解釈しても構わない。

＜音響重畳部＞
次に、上述した音響重畳部８０の構成の詳細について、図面を参照して説明する。なお、以下では説明の便宜上、音響重畳部８０に入力される音響信号（即ち、付加音響信号が重畳される音響信号）を「入力音響信号」とする。また、音響重畳部８０から出力される音響信号（即ち、入力音響信号に付加音響信号を重畳して得られる音響信号）を「出力音響信号」とする。

まず、音響重畳部８０の構成について、図面を参照して説明する。図２は、音響重畳部の構成の一例を示すブロック図である。図２に示すように、音響重畳部８０は、入力音響信号を解析して解析結果を出力する音響信号解析部８１と、付加音響信号を解析して解析結果を出力する付加音響信号解析部８２と、入力音響信号の解析結果及び付加音響信号の解析結果に基づいて入力音響信号及び付加音響信号の調整方法をそれぞれ決定する調整方法決定部８３と、調整方法決定部８３により決定された入力音響信号の調整方法に基づいて入力音響信号を調整する音響信号調整部８４と、調整方法決定部８３により決定された付加音響信号の調整方法に基づいて付加音響信号を調整する付加音響信号調整部８５と、音響信号調整部８４で調整された入力音響信号に付加音響信号調整部８５で調整された付加音響信号を重畳する重畳部８６と、を備える。

図２に示す音響重畳部８０では、最初に、音響信号解析部８１が入力音響信号を解析するとともに、付加音響信号解析部８２が付加音響信号を解析する。音響信号解析部８１は、例えば、入力音響信号の信号レベルや、周波数特性などを解析する。付加音響信号解析部８２は、例えば、付加音響信号の信号レベルやその変動態様などを解析する。

調整方法決定部８３は、音響信号解析情報及び付加音響信号解析情報に基づいて、入力音響信号の調整方法及び付加音響信号の調整方法を決定する。これにより、音響信号調整部８４において入力音響信号が調整され、付加音響信号調整部８５において付加音響信号が調整される。音響信号調整部８４は、例えば、入力音響信号の信号レベルを調整したり、所定の周波数成分の信号レベルを調整したりする。付加音響信号調整部８５は、例えば、付加音響信号の信号レベルを調整する。

そして、重畳部８６が、音響信号調整部８４で調整された入力音響信号に、付加音響信号調整部８５で調整された付加音響信号を重畳（例えば、加算）することで出力音響信号を生成し、出力する。

以上のように構成すると、付加音響信号だけでなく、入力音響信号も調整されることとなる。そのため、所定の効果（例えば、出力音響信号中の入力音響信号の強調効果）を得るために付加音響信号のみを調整する場合と比較して、付加音響信号を調整する程度（例えば、付加音響信号の信号レベルの減衰量）を抑制することが可能となる。したがって、出力音響信号中の付加音響信号の変動（例えば、ＢＧＭのうねり）を抑制することが可能となり、出力音響信号に対するユーザの違和感を抑制することが可能となる。

なお、図２では、付加音響信号解析部８２を備える構成について例示しているが、付加音響信号解析部８２を備えない構成としても構わない。この場合、調整方法決定部８３が、入力音響信号の解析結果に基づいて、入力音響信号及び付加音響信号の調整方法を決定しても構わない。

ただし、付加音響信号解析部８２を備え、調整方法決定部８３が入力音響信号の解析結果だけでなく付加音響信号の解析結果をも考慮して調整方法を決定する構成とすると、例えば付加音響信号の信号レベルが略一定ではなく変動し得る場合などに、当該変動に応じて精度良く入力音響信号及び付加音響信号の調整を行うことが可能となるため、好ましい。

また、付加音響信号が示す音は、必ずしもＢＧＭのような音楽に限られるものではなく、どのような音であっても構わない。

次に、音響重畳部８０の動作の具体例について、図面を参照して説明する。

（第１動作例）
本例では、音響信号解析部８１が、入力音響信号に発話を示す成分（特に、発話の調波構造）が含まれているか否かを解析する。そして、調整方法決定部８３が、その解析結果に基づいて入力音響信号及び付加音響信号の調整方法を決定する。

まず、発話の調波構造について、図３を参照して説明する。図３は、発話の調波構造の一例を示すブロック図である。図３に示すように、発話の調波構造は、発話の基本周波数（ピッチ）が音楽等に比べて低いため、調波成分の間隔が比較的狭くなり得る。例えば、後述する音楽の調波構造（図５参照）よりも、調波成分の間隔が狭くなり得る。また、発生する声の種類によって共鳴する周波数があることから、調波成分のピークを連ねた包絡線の極大（ホルマント、図３中の破線丸印の部分）が、特有の周波数に存在するものとなる。

例えば、音響信号解析部８１は、フーリエ変換などを利用して、入力音響信号を周波数軸の信号に変換する。そして、変換後の入力音響信号に上記のような発話の調波構造が含まれているか否かを、パターンマッチングなどを利用することで解析する。

入力音響信号に発話の調波構造が含まれていると解析される場合、調整方法決定部８３は、入力音響信号を強め、付加音響信号を弱める調整方法を決定する。例えば、調整方法決定部８３は、調整後の入力音響信号及び付加音響信号が、所定の関係（例えば、信号レベルの比や差が所定の値となる）を満たすように、入力音響信号及び付加音響信号の調整方法を決定する。

上記のように決定される調整方法に基づいて調整される入力音響信号と付加音響信号の一例について、図面を参照して説明する。図４は、音響重畳部の第１動作例を示すグラフであり、従来の音響処理装置の動作例について示した図６と比較され得るものである。図４では、調整後の入力音響信号の信号レベルの時間的な変動を実線で示し、調整後の付加音響信号の信号レベルの時間的な変動を破線で示している。

図４に示す例では、上述のように、入力音響信号に発話の調波構造が含まれていると解析された期間（発話期間）において、入力音響信号の信号レベルが増幅され、付加音響信号の信号レベルが減衰されている。

このように構成すると、付加音響信号の信号レベルの減衰量を低減することが可能となる。そのため、出力音響信号中における付加音響信号の信号レベルの変動（例えば、ＢＧＭのうねり）を抑制することが可能となり、出力音響信号に対するユーザの違和感を抑制することが可能となる。また、出力音響信号に含まれる発話を、ユーザが容易に聞き取ることが可能となる。

なお、調整方法決定部８３が、入力音響信号中の発話の調波構造を相対的に強める調整方法を決定しても構わない。例えば、調整方法決定部８３が、発話の調波構造が含まれていると解析された入力音響信号に対して、調波構造が山となる部分の信号レベルを増幅したり、谷となる部分の信号レベルを減衰したりする調整方法を決定する。このように構成すると、出力音響信号に含まれる発話を、ユーザがさらに容易に聞き取ることが可能となるため、好ましい。

また、音響信号調整部８４が、フーリエ変換などにより入力音響信号を周波数軸の信号に変換し、調整方法決定部８３で決定された調整方法に従って調整を行い、逆フーリエ変換により時間軸の信号に変換することで、入力音響信号の調整を行っても構わない。

さらに、付加音響信号調整部８５が、付加音響信号に対して音響信号調整部８４と同様の方法で調整を行っても構わない。例えば、出力音響信号中で入力音響信号の発話の調波構造が強調されるように、付加音響信号調整部８５が、付加音響信号の所定の周波数成分を減衰する調整を行っても構わない。

（第２動作例）
本例では、音響信号解析部８１が、入力音響信号に音楽（例えば、楽器の演奏や歌声など）を示す成分（特に、音楽の調波構造）が含まれているか否かを解析する。そして、調整方法決定部８３が、その解析結果に基づいて入力音響信号及び付加音響信号（特に、付加音響信号）の調整方法を決定する。

まず、音楽の調波構造について、図５を参照して説明する。図５は、音楽の調波構造の一例を示すブロック図である。図５に示すように、音楽の調波構造は、調波成分の間隔が比較的広くなり得る。例えば、上述した発話の調波構造（図３参照）よりも、調波成分の間隔が広くなり得る。また、調波成分のピークを連ねた包絡線の極大が、特有の周波数に存在しないものとなる。

例えば、音響信号解析部８１は、第１動作例で述べた方法と同様の方法で、入力音響信号に上記の音楽の調波構造が含まれているか否かを解析する。そして、入力音響信号に音楽の調波構造が含まれていると解析される場合、調整方法決定部８３は、付加音響信号を弱める調整方法を決定する。

このように構成すると、音楽を含む入力音響信号に付加音響信号が重畳された出力音響信号が生成されることを、抑制することが可能となる。そのため、出力音響信号に含まれる音楽を、ユーザが容易に聞き取ることが可能となる。

なお、調整方法決定部８３が、付加音響信号の信号レベルを０（無音）に略等しくする調整方法を決定しても構わない。このように構成すると、出力音響信号に含まれる音楽を、ユーザがさらに容易に聞き取ることが可能となる。

（第３動作例）
本例では、音響信号解析部８１が、入力音響信号が主として背景雑音（例えば、集音時に人の声や楽器を演奏する音がないような無音状態であっても発生し得る、機器の動作などに起因して発生する雑音。具体的に例えば、空調（エアコン）やパソコンのファンの音に起因して発生するフロアノイズ）を示すものであるか否かを解析する。そして、調整方法決定部８３が、その解析結果に基づいて入力音響信号及び付加音響信号の調整方法を決定する。

例えば、音響信号解析部８１は、入力音響信号に発話の調波構造（図３参照）も音楽の調波構造（図３参照）も含まれていないと解析するときに、入力音響信号が主として背景雑音を示すものであると解析する。

入力音響信号が主として背景雑音を示すものであると解析される場合、調整方法決定部８３は、入力音響信号を弱め、付加音響信号を強める調整方法を決定する。例えば、調整方法決定部８３は、調整後の入力音響信号及び付加音響信号が、所定の関係（例えば、信号レベルの比や差が所定の値となる）を満たすように、入力音響信号及び付加音響信号の調整方法を決定する。具体的には、調整方法決定部８３が、入力音響信号の信号レベルを減衰し、付加音響信号の信号レベルを増幅する調整方法を決定する。

このように構成すると、付加音響信号の信号レベルの増幅量を低減することが可能となる。そのため、出力音響信号中における付加音響信号の信号レベルの変動（例えば、ＢＧＭのうねり）を抑制することが可能となり、出力音響信号に対するユーザの違和感を抑制することが可能となる。また、出力音響信号に含まれる背景雑音を、ユーザに聞こえにくくすることが可能となる。

なお、第１動作例について示した図４の発話期間以外の期間において、本動作例が行われていると解釈しても構わない。

＜＜変形例＞＞
本発明の実施の形態における撮像装置１について、音響処理部８や音響重畳部８０などの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１に示す撮像装置１や音響処理部８、図２に示す音響重畳部８０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１、音響処理部８及び音響重畳部８０の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される音響信号に付加音響信号を重畳して出力する音響処理装置に利用可能である。また、当該音響処理装置を備える電子機器（例えば、録音装置や撮像装置、再生装置、編集装置など）に利用可能である。

８ 音響処理部
８０ 音響重畳部
８１ 音響信号解析部
８２ 付加音響信号解析部
８３ 調整方法決定部
８４ 音響信号調整部
８５ 付加音響信号調整部
８６ 重畳部

Claims (6)

1. 音響信号を解析する音響信号解析部と、
   前記音響信号解析部の解析結果に基づいて、音響信号と、所定の音を示す付加音響信号とを調整する調整部と、
   前記調整部で調整された音響信号に、前記調整部で調整された付加音響信号を重畳する重畳部と、
   を備えることを特徴とする音響処理装置。
2. 前記音響信号解析部が、音響信号に発話を示す成分が含まれているか否かを解析するものであり、
   前記音響信号解析部が、音響信号に発話を示す成分が含まれていると解析するとき、
   前記調整部が、音響信号を強めるとともに、付加音響信号を弱めることを特徴とする請求項１に記載の音響処理装置。
3. 前記調整部が、音響信号の発話を示す成分が相対的に強調されるように、音響信号を強めることを特徴とする請求項２に記載の音響処理装置。
4. 前記音響信号解析部が、音響信号に音楽を示す成分が含まれているか否かを解析するものであり、
   前記音響信号解析部が、音響信号に音楽を示す成分が含まれていると解析するとき、
   前記調整部が、付加音響信号を弱めることを特徴とする請求項１〜請求項３のいずれかに記載の音響処理装置。
5. 前記音響信号解析部が、音響信号が背景雑音を示すものであるか否かを解析するものであり、
   前記音響信号解析部が、音響信号が背景雑音を示すものであると解析するとき、
   前記調整部が、音響信号を弱めるとともに、付加音響信号を強めることを特徴とする請求項１〜請求項４のいずれかに記載の音響処理装置。
6. 請求項１〜請求項５のいずれかに記載の音響処理装置を備え、
   前記重畳部で付加音響信号が重畳された音響信号を記録または再生することを特徴とする電子機器。

Images