JP2009065587A - 音声記録装置及び音声再生装置 - Google Patents

Abstract

【課題】画像中の特定物を検出可能な音声記録装置において、特定物の大きさに基づいて音声処理を行い、撮影者の画像撮影の意図に応じた音声とする。
【解決手段】特定物を検出可能な音声記録装置１００において、画像中のその特定物の大きさすなわち音声記録装置１００からその特定物までの距離に応じた角度にマイクの指向角（正面指向性）θ２の変化、音声信号の特定の帯域の強調等の音声処理を行う。
【選択図】図１３

Description

音声及び映像の記録が可能な音声記録装置及び音声及び映像の出力が可能な音声再生装置に関し、特に映像に基づいて記録又は出力する音声を処理する音声記録装置及び音声再生装置に関する。

現在、映像とともに音声の記録が可能な音声記録装置であるビデオカメラが一般に広く普及している。このようなビデオカメラにおいては画質、音質の向上が図られており、例えば特許文献１では、レンズのズーム倍率の変化に合わせてマイクロホンから収録する音の音量や周波数特性を補正して、映像と音声の一体感を増すようにする方法が提案されている。
特開２０００−２７８５８１号公報

ビデオカメラで特定の被写体、例えば人物を撮影する場合の撮影者の撮影の意図は、多くの場合、ズーム倍率と画面中に占めるその被写体である人物の大きさに反映されている。

画面中に占める人物の顔が大きい場合は、撮影者は対象となる人物を特に重視していると考えられる。そのため、画像とともに収録される音声は人間の声の帯域を強調した物とすることが好ましい。逆に、画面中に占める人物の顔の大きさが小さい場合は、撮影者は人物のみならず周りの雰囲気をも重視して撮影していると考えられる。そのため、画像とともに収録される音声を、人間の声の帯域だけを強調したものとしたのでは周りの雰囲気を削ぐこととなり好ましくない。

しかし、特許文献１で開示されたビデオカメラでは、人物のような特定の被写体の大きさや有無に関わらずレンズのズーム倍率のみに基づいて、マイクロホンから収録する音声を補正するため、必ずしも上述のような撮影者の意図に沿った音声の補正がなされるとは限らない。

そこで本発明は、音声の補正を、画面中の特定の被写体の大きさ、又は音声の補正を画面中の特定の被写体の大きさとズーム倍率とを関連づけたものに基づいて行い、撮影者の画像の撮影の意図に沿うような音声の補正を施すことができる音声記録装置を提供することを目的とする。更に、画像とともに再生する音声を撮影者の画像の撮影の意図に沿うようなものとすることができる音声再生装置を提供することを目的とする。

上記目的を達成するために、本発明の音声記録装置は、レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、音声を取得する音声取得部と、前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部とを備える音声記録装置において、前記特定部分検出部で検出された前記特定部分の前記撮像画像中での大きさに基づいて、前記音声取得部で取得する音声に対して音声処理を施すことを特徴とする。

又、前記レンズ部のズーム倍率が変更可能であり、前記特定部分の前記撮像画像中での大きさ及び前記ズーム倍率に基づいて、前記音声取得部で取得する音声に対して音声処理を施すものとしても構わない。

又、前記レンズ部の合焦距離が変更可能であり、前記特定部分の前記撮像画像中での大きさ及び前記合焦距離に基づいて、前記音声取得部で取得する音声に対して音声処理を施すものとしても構わない。

又、前記音声処理が、前記音声取得部の指向特性の調整、前記音声の信号レベルの調整及び前記音声の特定の帯域レベルの調整のうち少なくとも一つであるものとしても構わない。

又、前記特定部分を有する被写体が、音を発する物体であるものとしても構わない。

又、前記特定部分が、人物の顔であるものとしても構わない。

又、本発明の音声再生装置は、被写体を含む画像および音声を再生可能な音声再生装置において、前記画像中から前記被写体の特定部分を検出する特定部分検出部を備え、前記特定部分検出部で検出された前記特定部分の前記画像中での大きさに基づいて、前記音声に対して音声処理を施して再生することを特徴とする。

又、本発明の音声再生装置は、レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、音声を取得する音声取得部と、前記レンズ部のズーム倍率及び合焦距離が変更可能であり、前記ズーム倍率情報及び前記合焦距離情報の少なくとも一方を、前記撮像画像及び前記音声とともに記録する記録部と、を備えた音声記録装置によって記録された前記撮像画像及び前記音声を再生可能な音声再生装置であって、前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部を備え、前記特定部分検出部で検出された前記特定部分の前記撮像画像中での大きさ及び前記レンズ部のズーム倍率情報又は前記合焦距離情報に基づいて、再生する前記音声に対して音声処理を施すことを特徴とする。

本発明によると、例えば被写体の特定部分として人物の顔を検出し、その顔の画像中での大きさに基づいて、又はその顔の画像中での大きさ及びレンズ部のズーム倍率情報又は合焦距離情報に基づいて音声を処理する。そのため、音声記録装置において、撮影者の画像の撮影の意図に沿うような音声の補正を施すことができる。

又、本発明によると、画像中の人物の顔を検出し、その顔の画像中での大きさに基づいて、又はその顔の画像中での大きさ及び画像とともに記録されたレンズ部のズーム倍率情報又は合焦距離情報に基づいて音声を処理する。そのため、音声再生装置において、撮影者の画像の撮影の意図に沿うような音声の補正を施すことができる。

〈第１の実施形態〉
本発明の第１の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの、音声及び映像の記録が可能な音声記録装置を例に挙げて説明する。音声記録装置は動画を撮影できるものであれば、静止画の撮影が可能なものであっても構わない。

（音声記録装置の構成）
まず、音声記録装置の内部構成について、図面を参照して説明する。図１は、第１の実施形態に係る音声記録装置の内部構成を示すブロック図である。

図１の音声記録装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、音声記録装置の前方の左右方向から入力された音声を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、音声記録装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。レンズ部２は、画像処理部５で検出した画像信号に応じてＣＰＵ１７が、モータを駆動して焦点、絞りの制御を行うものである。

（音声記録装置の基本動作 静止画撮影時）
次に、この音声記録装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが音声記録装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ２０１）、音声記録装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、撮影対象となる画像を記録することなくディスプレイ部１２に表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、音声記録装置の機能に応じたモードが選択される。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。

その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定し（ＳＴＥＰ２１０）、イメージセンサ１から出力されるアナログ信号である画像信号（生データ）をＡＦＥ３でデジタル信号に変換して一旦画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ２１１）。このデジタル信号がこのフレームメモリから読み込まれ、画像処理部５において輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２１２）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。

（音声記録装置の基本動作 動画撮影、再生時）
次に、この音声記録装置の動画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが音声記録装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ３０１）、音声記録装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ３０２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ３０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ３０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ３０５）。

その後、操作部１９の録画開始ボタン（シャッターボタン兼用でも構わない）が全押しされ、撮像動作を行うことが指示されると（ＳＴＥＰ３０６）、音声補正制御が行われる（ＳＴＥＰ３０７）。この音声補正制御については後述する。続いてイメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内のフレームメモリに書き込む（ＳＴＥＰ３０８）。

画像処理部５では輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、その画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、ステレオマイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化し（ＳＴＥＰ３０９）、ドライバ部８に与えて、外部メモリ２２に記録させる（ＳＴＥＰ３１０）。画像信号及び音声補正制御を施した音声信号と共に、音声補正制御を施していない音声信号とインデックスとしてその信号を取得した時点のズーム倍率情報も記録してもよい。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされるとプレビューモードに戻る（ＳＴＥＰ３０２）。

このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。

静止画像を再生することが指示された場合は、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。

（音声補正制御）
次に、本実施形態に係る音声補正制御について説明する。図４は本実施形態の音声処理部６の構成を示すブロック図、図５はステレオ角及び指向角についての模式図である。

音声処理部６は、図４に示すように、画像処理部５からの顔検出信号を受けて音の補正制御方法を決定する音声補正制御方法決定部６１と、音声補正制御方法決定部６１から出力された音声補正制御信号を受信し、ステレオマイク４から出力された複数の音声信号の出力先を切り換える制御切替部６２と、制御切替部６２から出力された複数の音声信号を所定の割合で加算してモノラル化する第１の加算器６３と、第１の加算器６３でモノラル化された音声信号のうち特定の帯域を強調する音声帯域強調フィルタ６４と、制御切替部６２から出力された複数の音声信号にステレオ化処理を施すステレオ化処理部６５と、制御切替部６２から出力された複数の音声信号に指向性処理を施す指向性処理部６６と、ステレオ化処理部６５でステレオ化処理が施された複数の音声信号のそれぞれと指向性処理部６６で指向性処理が施された音声信号とを所定の割合で加算する、音声信号の数に対応した個数の第２の加算器６７と、複数の第２の加算器６７で加算された音声信号のそれぞれと音声帯域強調フィルタ６４で特定の帯域が強調されたモノラル音声信号とを所定の割合で加算する、音声信号の数に対応した個数の第３の加算器６８と、を備える。第３の加算器６８で加算された音声信号は圧縮処理部７に出力される。

音声補正制御を開始すると、まず初期化動作として指向性処理部６６でステレオ角を最大値又は最小値に設定する。尚、この初期化動作は行わなくても構わない。本実施形態においてステレオ角とは、図５に示す、音声記録装置１００のステレオマイク４の３個の集音方向のうち、右方向の指向方向Ｒと左方向の指向方向Ｌとのなす角度θ１のことである。又、ステレオマイク４の正面方向については、主な集音の範囲を示す角度である指向角θ２を変化させることができる。指向角θ２は以下において正面指向性とも表すことがある。尚、図５には、左右方向の指向角θＲ、θＬも示している。ステレオ角θ１、正面指向性θ２は、音声処理部６に設けられた指向性処理部６６で変化させることができる。

続いて画像を読み込み、その画像中に、特定の被写体である人物の顔があるかどうかを検出する。本実施形態では特定の被写体が人物である場合について説明するが、音を発するものであれば、特定の被写体は人物に限らず動物などであってもよい。

（顔検出処理）
ここで、この音声記録装置の顔検出処理について説明する。画像処理部５は顔検出装置５０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置５０の構成及び動作について以下に説明する。

図６は、顔検出装置５０の構成を示すブロック図である。顔検出装置５０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成部５２、入力画像および縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定部５５、および顔判定部５５の検出結果を出力する検出結果出力部５６を備えている。検出結果出力部５６は、顔が検出された場合には、検出された顔の入力画像を基準とする大きさと位置及び顔の大きさから推定したその顔までの距離を出力する。

又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔および非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。

尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。

図７は、縮小画像生成部５２によって得られる階層画像の一例を示している。この例では、縮小率を０．８に設定した場合に、生成される複数の階層画像を示している。図７において、１５０は入力画像を、１５１〜１５５は縮小画像を示している。１６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像および各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像１５０の他に、複数の縮小画像１５１〜１５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。

図８は顔検出処理を説明するための図である。顔判定部５５による顔検出処理は、各階層画像毎に行なわれるが、処理方法は同様なので、ここでは入力画像１５０に対して行なわれる顔検出処理についてのみ説明する。図８には、入力画像１５０と、入力画像内に設定された判定領域１６１とを示している。

各階層画像毎に行なわれる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。そして、顔が検出されたとき、いずれの階層画像が用いられていたかによって、入力画像を基準とする顔の大きさ及び顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔を有する人物までの距離は検出結果出力部５６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。

この顔検出処理において読み込んだ画像中に顔を検出しなかった場合、音声補正制御方法決定部６１では、人物のない画像を撮影していると判断し、環境音を臨場感のあるものとして収録するように音声処理を施す。このような音声処理の一例として、指向性処理部６６でステレオ角θ１を広いもの（例えば９０°）とすると共に、ステレオ化処理部６５でステレオマイク４で収集された音声をステレオ化させるものが挙げられる。尚、本実施形態では音声処理に、音声信号の加工のみならずステレオ角の変更も含む。

人物の大きさが所定の大きさ（例えば画像中での顔の占める面積が３０％又は５０％など。図９は３０％の場合である）以上の場合は、撮影者が人物の強調を意図して撮影したものと考えられるため、映像に映った人物の音声を明確とする音声処理を施す。又、人物の大きさが所定の大きさ未満の場合（図１０は５％の場合である）は、撮影者が人物と共に周囲の雰囲気を重視することを意図して撮影したものと考えられるため、映像に映った人物の音声を強調すると同時に環境音を臨場感のあるものとする音声処理を施す。画像中での顔の占める割合は、顔検出装置５０においていずれの階層画像で顔を検出したかによって求めることができる。表１に本実施形態における音声処理の一例を示す。

人物の大きさが所定の大きさ以上の場合には、ステレオマイク４で収集された音声信号を第１の加算器６３でモノラル化させ、モノラル化した音声信号を音声帯域強調フィルタ６４で人間の声の周辺の帯域（例えば８０Ｈｚ〜１ｋＨｚ）を強調する処理を施す。その上で、適宜ステレオ化処理部６５でステレオ化処理が施された複数の音声信号及び指向性処理部６６で指向性処理が施された音声信号を第２の加算器６７及び第３の加算器６８で適宜信号レベルを調整して加算する。尚、音声信号をモノラル化して特定の帯域を強調する代わりに指向性処理部６６において正面指向性θ２を広いもの（例えば９０°）としてもよい。又、音声処理部６を、正面指向性θ２を変化させると共にステレオマイク４で収集された音声をモノラル化させる構成としてもよい。

人物の大きさが所定の大きさ未満の場合には、ステレオマイク４で収集された音声信号を、指向性処理部６６で正面指向性θ２を狭いもの（例えば６０°や４５°）とし、ステレオ化処理部６５でステレオ化する処理を施し、これらの音声信号を第２の加算器６７で加算する。その上で、適宜音声帯域強調フィルタ６４で特定の帯域を強調したモノラルの音声信号を第３の加算器６８で加算してもよい。又、音声処理部６で、ステレオ角θ１を広いもの（例えば１２０°）として広い範囲の環境音を収録するとともに、正面指向性θ２を狭いもの（例えば６０°や４５°）として人物からの音声を強調し、これらの環境音と人物の音声を適宜信号レベルを調整して加算できる構成としてもよい。

このように、人物の有無、大きさに応じた処理を施した音声信号を適宜ミキシングすることによって、映像の変化に追従した音声を得ることができる。

以上のように、画像中の所定の被写体である人物の顔の大きさに応じた音声処理を施すことによって、画像とともに収録される音声を、撮影者の画像を撮影の仕方の意図に応じたものとすることができる。

〈第２の実施形態〉
本発明の第２の実施形態について、図面を参照して説明する。本実施形態は、音声補正制御を、特定の被写体の大きさのみならずレンズのズーム倍率にも基づいて行う点が異なる以外は第１の実施形態と同様であり、実質上同一の部分には同一の符号を付している。

図１１は本実施形態の音声処理部６の構成を示すブロック図である。本実施形態の音声処理部６は、レンズ部２からのズーム倍率情報と画像処理部５からの顔検出信号とを受けて音の補正制御方法を決定する音声補正制御方法決定部６１と、音声補正制御方法決定部６１から出力された音声補正制御信号を受信し、制御切替部６２から出力された複数の音声信号に指向性処理を施す指向性処理部６６と、音声補正制御方法決定部６１から出力された音声補正制御信号を受信し、ステレオマイク４から出力された複数の音声信号の出力先を切り換える制御切替部６２と、制御切替部６２から出力された複数の音声信号にステレオ化処理を施すステレオ化処理部６５と、ステレオ化処理部６５でステレオ化処理が施された複数の音声信号のそれぞれと指向性処理部６６で指向性処理が施された音声信号とを所定の割合で加算する、音声信号の数に対応した個数の第３の加算器６８と、制御切替部６２から出力されたそれぞれの音声信号と指向性処理部６６で指向性処理が施された音声信号とを所定の割合で加算する、音声信号の数に対応した個数の第４の加算器６９と、第３の加算器６８のそれぞれで加算された音声信号のうち特定の帯域を強調する、音声信号の数に対応した個数の音声帯域強調フィルタ６４と、を備える。第４の加算器６９で加算された音声信号及び音声帯域強調フィルタ６４で処理された音声信号は、圧縮処理部７に出力される。

音声補正制御を開始すると、まず初期化動作として指向性処理部６６でステレオ角を最大値又は最小値に設定する。尚、この初期化動作は行わなくても構わない。続いて画像を読み込み、その画像中に、人物の顔があるかどうかを検出する。

読み込んだ画像中に顔を検出しなかった場合、音声補正制御方法決定部６１では、人物のない画像を撮影していると判断し、第１の実施形態と同様に、環境音を臨場感のあるものとして収録するように音声処理を施す。

一方、人物の顔を検出した場合、画像中の人物の大きさ及びレンズ部４のズーム倍率に応じた音声処理を施す。

人物の大きさが所定の大きさ以上の場合は、撮影者が人物の強調を意図して撮影したものと考えられる。さらに画像中の人物の大きさが同じでもズーム倍率によっては音声記録装置から人物までの距離が異なるため、人物の音声と背景音との音量比率や、適切なステレオ角θ１、正面指向性θ２が異なる。

まず、音声記録装置から人物までの距離と適するステレオ角θ１について説明する。図１２は音声記録装置から人物までの距離と適切なステレオ角θ１との関係を示す模式図である。図１２において、人物が位置Ａにいる場合と位置Ａよりも音声記録装置１００から遠い位置Ｂにいる場合とを比較すると、位置人物とその周囲の環境音を臨場感のあるものとして含むようにするための適切なステレオ角θ１は位置Ａではθ１Ａ、位置Ｂではθ１Ｂであり、位置Ａの方が広い。つまり、対象とする被写体（この場合は人物）が近いほど適切なステレオ角θ１は広い。ここで、音声記録装置１００のステレオマイク４の３個の集音方向のうち右方向の指向方向Ｒと左方向の指向方向Ｌは、ステレオ角θ１ＡについてはそれぞれＲＡ、ＬＡであり、ステレオ角θ１ＢについてはそれぞれＲＢ、ＬＢである。又、画像中の対象とする被写体の大きさが同じであれば、ズーム倍率が小さいほど適切なステレオ角θ１は広い。

次に音声記録装置から人物までの距離と適する正面指向性θ２について説明する。図１３は音声記録装置から人物までの距離と適切な正面指向性θ２との関係を示す模式図である。図１３において、人物が位置Ａにいる場合と位置Ａよりも音声記録装置１００から遠い位置Ｂにいる場合とを比較すると、人物の全体を含むための適切な正面指向性θ２は位置Ａではθ２Ａ、位置Ｂではθ２Ｂであり、位置Ａの方が広い。つまり、対象とする被写体（この場合は人物）が近いほど、適切な正面指向性θ２は広い。

人物の大きさが所定の大きさ以上の場合は、撮影者が人物の強調を意図して撮影したものと考えられるため、映像に映った人物の音声を明確とする音声処理を施す。一方、人物の大きさが所定の大きさ未満の場合は、人物と共に周囲の風景やその場の雰囲気も対象として撮影したものと考えられるため、人物の音声を強調すると共にその周囲の環境音を臨場感のあるものとする音声処理を施す。人物の大きさの基準としては、画像中での顔の占める面積を利用することができる。

表２に本実施形態における音声処理の一例を示す。

人物の大きさが所定の大きさ以上の場合には、制御切替部６２で出力方向が切り替えられたステレオマイク４で収集されたままの音声信号と指向性処理部６６で処理が施された音声信号とが第４の加算器６９で加算された音声信号を、音声帯域強調フィルタ６４において人間の声の周辺の帯域（例えば８０Ｈｚ〜１ｋＨｚ）を強調する処理を施し、圧縮処理部７に出力する。このとき、正面指向性θ２は、ズーム倍率が小さいほど広いものとする。これは、ズーム倍率が小さいほど人物が近いからである。又、音声信号の人間の声の周辺の帯域を高音質の符号化を行ってもよい。更に、ズーム倍率が小さいほど人物が音声記録装置に近いため、人物の音声の大きさを適切なものとするため、音声信号の人間の声の周辺の帯域についてズーム倍率が小さいほど音量を減衰させ、ズーム倍率が大きいほど音量を増幅させてもよい。

人物の大きさが所定の大きさ未満の場合には、ステレオ化処理部６５でステレオ化処理が施された音声信号と指向性処理部６６で指向性処理が施された音声信号とが第３の加算器６８で加算された音声信号を、圧縮処理部７に出力する。このとき、正面指向性θ２は、人物の大きさが所定の大きさ以上の場合よりも狭いものとする。また、撮影の主な対象はズーム倍率が大きい場合は画角が狭いため遠くの風景であり、ズーム倍率が小さい場合は画角が広角でありその場の雰囲気を含めた音声記録装置付近の風景であると考えられるため、ステレオ角θ１は、上述の通り、ズーム倍率が小さいほど広いものとする。又、音声信号を広い帯域で符号化を行ってもよい。更に、ズーム倍率が小さいほど人物が音声記録装置に近いため、人物の音声の大きさを適切なものとするため、音声信号の人間の声の周辺の帯域についてズーム倍率が小さいほど音量を減衰させ、ズーム倍率が大きいほど音量を増幅させてもよい。

尚、本実施形態において、レンズ部２のズーム倍率情報に代えて、ＡＦの最適化処理で得られた合焦距離が、所定の距離以上かそれ未満かを基準にして音声を処理してもよい。この場合も、合焦距離情報をインデックスとして記録してもよい。又、レンズ部２のズーム倍率情報とＡＦの最適化処理で得られた合焦距離との両方を基準にして音声を処理してもよい。

尚、第１の実施形態及び第２の実施形態において、ステレオ角θ１や正面指向性θ２を制御したり、人物の音声を強調したりする場合、音声を強調している方向やステレオ角の開く方向を示す音声強調マークを、ディスプレイ部１２に表示される画像中に表示してもよい。例えば図１４に示すような十字型の音声強調マーク７０を、正面指向性θ２を制御している場合や人物の音声を強調している場合はディスプレイ部１２の画面の中央部に、ステレオ角θ１を制御している場合にはステレオ角の開く方向すなわち画面の左右に表示させる。これによって、撮影者に音声の強調がどのように行われているかを知らせることができ、安心感を与えることができる。又、撮影者が、ディスプレイ部１２の音声強調マーク７０を見ながら操作部１９を操作して、ステレオ角θ１や正面指向性θ２を制御したり、人物の音声を強調したりできるようにしても構わない。

又、第１の実施形態及び第２の実施形態において、画像中の対象とする被写体の大きさやズーム倍率に基づいて、対象とする被写体が音声記録装置よりも所定の距離以上遠くにあると判断した場合に、所定の大きさ以上の音声信号を検出すると記録する音声信号レベルを低減するようにしてもよい。これにより、例えば対象とする被写体として人物を撮影している際に撮影者が話したような場合に、その撮影者の声を抑えることができ、本来必要とする人物の声を明瞭なものとして記録することができる。

（音声再生装置）
又、第１の実施形態及び第２の実施形態において、図１に示すような構成の音声記録装置を例に挙げて、本発明における音声処理方法について説明したが、音声記録装置に限らず、液晶ディスプレイやプラズマテレビなどに接続したＤＶＤプレーヤやビデオデッキなどのような、音声及び映像の出力が可能可能な音声再生装置においても、本発明における音声処理方法を利用可能である。図１５に、例として第２の実施形態に係る音声処理方法を行う音声処理装置（「音声処理部」に相当）を備えた音声再生装置を示す。第１の実施形態に係る音声処理方法を行う音声再生装置も同様にして得ることができる。

図１５に示す音声再生装置は、図１に示す音声記録装置と同様に、ドライバ部８、伸長処理部９、ビデオ出力回路部１０、ビデオ出力端子１１、ディスプレイ部１２、音声出力回路部１３、音声出力端子１４、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、及び外部メモリ２２を備える。そして、図１の音声記録装置とは異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを、音声処理部６に代えて伸長処理部９で取得した音声信号を処理する音声処理装置６ａを備える。画像処理装置５ａは、図６に示す顔検出装置５０を備え、音声処理装置６ａは、図１２の音声処理部６と同様の構成である。外部メモリ２２は、第１の実施形態及び第２の実施形態において記録された画像信号及び音声補正制御を施した音声信号と、これらの信号と共に記録された、音声補正制御を施していない音声信号とインデックスとしてその信号を取得した時点のズーム倍率情報を保持する。画像処理装置５ａの顔検出装置５０から出力された顔検出信号と、外部メモリ２２から出力された音声補正制御を施していない音声信号とズーム倍率情報とから、音声処理装置６ａにおいて第２の実施形態に係る音声処理方法を行うことができる。

尚、外部メモリ２２で保持する信号が、第１の実施形態及び第２の実施形態以外の音声記録装置で記録された画像信号のようにズーム倍率情報が含まれていない場合は、音声処理装置６ａにおいて対象となる被写体の画像中での大きさに基づいて音声補正制御を施せばよい。

（ステレオ化処理について）
第１の実施形態、第２の実施形態におけるステレオ化処理の一例について説明する。ここでは、ステレオ化処理として、加算型指向性制御を利用して左右の２方向の音を強調する処理について説明する。図１６は、この場合のステレオ化処理部６５のブロック図である。ステレオ化処理部６５は、右チャンネル（Ｒｃｈ）の音声信号を遅延させる遅延回路６５１Ｒと左チャンネル（Ｌｃｈ）の音声信号を遅延させる遅延回路６５１Ｌとを備え、入力されたままの右チャンネルの音声信号と遅延回路６５１Ｌで遅延させた左チャンネルの音声信号とを合成して右チャンネルの音声信号として、入力されたままの左チャンネルの音声信号と遅延回路６５１Ｒで遅延させた右チャンネルの音声信号とを合成して左チャンネルの音声信号として出力する。

図１７に示すように、２個のマイク４Ｒ、４Ｌに対して特定の方向から音が到来した場合、音の到来が音源からそれぞれのマイク４Ｒ、４Ｌまでの行路差ｄだけずれることとなる。この場合、音源から近い方のマイク４Ｒで検出した右チャンネルの音声信号に対して、遅延回路６５１Ｒでこの行路差ｄに相当する遅延をかけ、音源から遠い方のマイク４Ｌで検出した左チャンネルの音声信号に加算すると、音源方向の音に対して同期加算することとなり、最も左右の音を強調することとなる。逆にマイク４Ｌで検出した音声信号に遅延回路６５１Ｌで同様の遅延をかけて、マイク４Ｒで検出した音声信号に加算すると、逆方向の音を強調していることとなる。

（指向性制御について）
次に、第１の実施形態、第２の実施形態における指向性制御の一例について説明する。指向性制御については様々な方法が提案されている。上記のステレオ化処理で説明した加算型、差分型といった単純な遅延と加算処理からなる方法もその一つであり、その他にマイクロホンアレーを用いたビームフォーミングや２次元ファンフィルタなどがある。ここでは、２個のマイクで検出した音声信号間の位相情報をもとに特定方向からの音を強調する方法について説明する。

図１８はこの方法に使用することができる指向性処理部６６のブロック図である。指向性処理部６６は、図１８に示すように、右チャンネルの音声信号及び左チャンネルの音声信号を独立して高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）する２個のＦＦＴ部６６１Ｒ、６６１Ｌと、ＦＦＴ部６６１Ｒ、６６１ＬでＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号の位相差を検出する位相差検出部６６２と、位相差検出部６６２で検出された位相差情報から帯域別に指向性の制御量を決定する帯域別制御量決定部６６３と、帯域別制御量決定部６６３で決定された制御量に基づいて、ＦＦＴされた右チャンネルの音声信号及び左チャンネルの音声信号を独立して帯域別にゲイン制御する２個の帯域別ゲイン制御部６６４Ｒ、６６４Ｌと、帯域別ゲイン制御部６６４Ｒ、６６４Ｌでゲイン制御された右チャンネルの音声信号及び左チャンネルの音声信号のそれぞれを逆高速フーリエ変換（Ｉｎｖｅｒｓｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＩＦＦＴ）するＩＦＦＴ部６６５Ｒ、６６５Ｌと、を備える。

ＦＦＴ部６６１Ｒ、６６１Ｌでは右チャンネルの音声信号及び左チャンネルの音声信号が入力されるとＦＦＴして周波数帯域別に位相情報を算出する。位相差検出部６６２では右チャンネルの音声信号及び左チャンネルの音声信号の位相情報から位相差を算出して、この位相差とその周波数から音の到来方向を算出する。帯域別制御量決定部６６３では、位相差検出部６６２で算出した音成分の到来方向が、目的とする方向、例えば画像中の所定の被写体の方向であるかどうかを判断する。帯域別制御量決定部６６３において目的とする方向以外から来た音成分であると判断した場合は、ＦＦＴしたスペクトラル系数を、帯域別ゲイン制御部６６４Ｒ、６６４Ｌにおいて低減させ、目的とする方向から来た音成分であると判断した場合は増大させる。その後、変化させたスペクトラル系数をＩＦＦＴ部６６５Ｒ、６６５ＬでＩＦＦＴを行って時間信号に戻して出力する。

この方法では、２個のマイクの設置間隔が半波長となる周波数を指向性制御の上限周波数とすることにより、位相差から正確な音成分の到来方向すなわち音源方向を算出することが可能であるため、指向角の微細な調整を行うことができる。

（インデックスについて）
ズーム倍率情報を記録するインデックスは、音声信号を圧縮記録する際に、その処理単位であるフレーム毎に記録する。例えばＭＰＥＧ−ＡＡＣで４８ｋＨｚのサンプリング信号として記録する場合、処理単位である１フレームは、１０２４サンプルであり１０２４÷（４８×１０³）≒２．１３×１０^-2より約２１．３ｍｓｅｃに相当する。したがって、記録開始と同期して２１．３ｍｓｅｃ毎に映像のズーム倍率情報を記録すればよい。又、ドルビーデジタル方式では１フレームが１５３６サンプルであり、４８ｋＨｚのサンプリング信号として記録する場合は、１５３６÷（４８×１０³）＝３．２×１０^-2より３２ｍｓｅｃ毎に映像のズーム倍率情報を記録すればよい。

本発明は、被写体の特定部位を検出する機能を有する音声記録装置及び音声再生装置に適用することができる。更にズーム機能のついたレンズを有する音声記録装置に適用することができる。

は、第１の実施形態に係る音声記録装置の内部構成を示すブロック図である。 は、第１の実施形態に係る音声記録装置の静止画撮影時の基本動作を説明するためのフローチャートである。 は、第１の実施形態に係る音声記録装置の動画撮影時の基本動作を説明するためのフローチャートである。 は、第１の実施形態に係る音声処理部の構成を示すブロック図である。 は、ステレオ角及び指向角について説明するための模式図である。 は、顔検出装置の構成を示すブロック図である。 は、縮小画像生成手段によって得られる階層画像の一例である。 は、顔検出処理を説明するための図である。 は、特定の被写体である人物が大きく映った画像の例である。 は、特定の被写体である人物が小さく映った画像の例である。 は、第２の実施形態に係る音声処理部の構成を示すブロック図である。 は、ステレオ角と対象物の位置との関係について説明するための模式図である。 は、指向角と対象物の位置との関係について説明するための模式図である。 は、音声強調マークを表示した画像の例である。 は、本発明の実施形態に係る音声再生装置の内部構成を示すブロック図である。 は、ステレオ化処理部のブロック図の一例である。 は、マイクと音源との位置関係について説明するための模式図である。 は、指向性処理部のブロック図の一例である。

符号の説明

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ ステレオマイク
４Ｌ マイク
４Ｒ マイク
５ 画像処理部
５ａ 画像処理装置
６ 音声処理部
６ａ 音声処理装置
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０ バス回線
２１ バス回線
２２ 外部メモリ
５０ 顔検出装置
５２ 縮小画像生成部
５５ 顔判定部
５６ 検出結果出力部
６１ 音声補正制御方法決定部
６２ 制御切替部
６３ 第１の加算器
６４ 音声帯域強調フィルタ
６５ ステレオ化処理部
６５１Ｌ 遅延回路
６５１Ｒ 遅延回路
６６ 指向性処理部
６６１Ｌ ＦＦＴ部
６６１Ｒ ＦＦＴ部
６６２ 位相差検出部
６６３ 帯域別制御量決定部
６６４Ｌ 帯域別ゲイン制御部
６６４Ｒ 帯域別ゲイン制御部
６６５Ｌ ＩＦＦＴ部
６６５Ｒ ＩＦＦＴ部
６７ 第２の加算器
６８ 第３の加算器
６９ 第４の加算器
７０ 音声強調マーク
１００ 音声記録装置
１５０ 入力画像
１５１ 縮小画像
１５２ 縮小画像
１５３ 縮小画像
１５４ 縮小画像
１５５ 縮小画像
１６１ 判定領域

Claims (8)

1. レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、
   音声を取得する音声取得部と、
   前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部とを備える音声記録装置において、
   前記特定部分検出部で検出された前記特定部分の前記撮像画像中での大きさに基づいて、前記音声取得部で取得する音声に対して音声処理を施すことを特徴とする音声記録装置。
2. 前記レンズ部のズーム倍率が変更可能であり、前記特定部分の前記撮像画像中での大きさ及び前記ズーム倍率に基づいて、前記音声取得部で取得する音声に対して音声処理を施すことを特徴とする請求項１に記載の音声記録装置。
3. 前記レンズ部の合焦距離が変更可能であり、前記特定部分の前記撮像画像中での大きさ及び前記合焦距離に基づいて、前記音声取得部で取得する音声に対して音声処理を施すことを特徴とする請求項１又は請求項２に記載の音声記録装置。
4. 前記音声処理が、前記音声取得部の指向特性の調整、前記音声の信号レベルの調整及び前記音声の特定の帯域のレベル調整のうち少なくとも一つであることを特徴とする請求項１〜３のいずれかに記載の音声記録装置。
5. 前記特定部分を有する被写体が、音を発する物体であることを特徴とする請求項１〜４のいずれかに記載の音声記録装置。
6. 前記特定部分が、人物の顔であることを特徴とする請求項１〜６のいずれかに記載の音声記録装置。
7. 被写体を含む画像および音声を再生可能な音声再生装置において、
   前記画像中から前記被写体の特定部分を検出する特定部分検出部を備え、
   前記特定部分検出部で検出された前記特定部分の前記画像中での大きさに基づいて、前記音声に対して音声処理を施して再生することを特徴とする音声再生装置。
8. レンズ部を通じて被写体が含まれる撮像画像を取得する撮像部と、
   音声を取得する音声取得部と、
   前記レンズ部のズーム倍率及び合焦距離が変更可能であり、前記ズーム倍率情報及び前記合焦距離情報の少なくとも一方を、前記撮像画像及び前記音声とともに記録する記録部と、
   を備えた音声記録装置によって記録された前記撮像画像及び前記音声を再生可能な音声再生装置であって、
   前記撮像画像中から前記被写体の特定部分を検出する特定部分検出部を備え、
   前記特定部分検出部で検出された前記特定部分の前記撮像画像中での大きさ及び前記レンズ部のズーム倍率情報又は前記合焦距離情報に基づいて、再生する前記音声に対して音声処理を施すことを特徴とする音声再生装置。

Images