JP2012119872A - 撮像装置 - Google Patents

Abstract

【課題】特に夜間撮影時などにおいて（表示画面では人物等を認識し難いときにおいて）、ユーザによる被写体の認識等を支援する。
【解決手段】複数のマイクロホンの出力音響信号に基づき音源として機能する被写体ＳＵＢ_１を検出し、検出被写体ＳＵＢ_１を追尾対象に設定した上で画像信号に基づく追尾処理を実行する。表示画面には、被写体ＳＵＢ_１の動画像が表示されると共に、追尾対象の位置を指し示す追尾対象枠Ｆ_ｉ及び追尾対象の音量を示す音量アイコンＩＣ_ｉが表示される。
【選択図】図１１

Description

本発明は、デジタルカメラ等の撮像装置に関する。

一般的なデジタルカメラでは、撮影範囲内の映像がモニタの表示画面に表示される。撮影者としてのユーザは、モニタの表示内容を見て注目被写体を構図の中央に配置したり、注目被写体が大きく映し出されるようにズーム倍率の調整を行ったりする。

尚、下記特許文献１には、音源の位置を突き止め、音源の位置を含む音源に関する情報を可視情報に変換し、該音源周辺の実画像とリアルタイムに重ね合わせて表示する方法が示されている。また、下記特許文献２には、魚眼又は超広角レンズのカメラと、複数の無指向性マイクロホンを配列した可変指向性マイクロホンと、前記可変指向性マイクロホンにより、音源位置の方向を判定して、該音源位置方向を追尾する手段と、前記音源位置方向の画面を切り出して映像信号を生成する手段と、を備えたテレビカメラ装置が開示されている。

特開２００４−７７２７７号公報 特開平１１−３３１８２７号公報

デジタルカメラに関し、幾つかの撮影環境においては、注目被写体を実空間上及び表示画面上で認識しにくいこともある。例えば、夜又は夕方の屋外撮影では注目被写体を肉眼で認識しにくいことある。また例えば、注目被写体までの距離が相当に遠く、結果、注目被写体が表示画面上のどこにいるのかを認識しづらいこともある。

図２０に、夜間において森の前に立っている人物９０１を撮影範囲内に収めたときの表示画面の様子を示す。図２０では、図示の便宜上、人物９０１が表示画面上のどこにいるのかが明確になっているが、実際の表示画面上では、人物９０１と木とが区別し難いことがある、或いは、人物９０１が暗闇にまぎれて肉眼ではあまり見えないこともある。撮影者が人物９０１を大きく映し出した画像の撮影を望む場合、人物９０１を撮影範囲の中央に配置した状態でズーム倍率を増大させる構図調整が必要となるが、図２０に示すような映像だけでは人物９０１がどこにいるのかを明確に判断し難く、上述のような構図調整が困難である。また、カメラにとっても、人物９０１に注目したカメラ制御（オートフォーカス制御など）が困難となる。

尚、上記特許文献１及び２では、このような問題に対応することはできない。特許文献２の方法によれば、可変指向性マイクロホンにより音源位置方向の追尾が成されるが、可変指向性マイクロホンによる音源位置方向の追尾を継続するためには、音源としての被写体（人物等）が常に音を発し続けなければならない。音源としての被写体が常に音を発していることは稀である。

そこで本発明は、被写体の認識支援等に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体の動画像の画像信号を出力する撮像部と、複数のマイクロホンから成るマイク部と、前記複数のマイクロホンの出力音響信号に基づき音源として機能する音源被写体を検出する音源検出部と、前記音源被写体を追尾対象に設定し、前記画像信号を用いて前記動画像上で前記追尾対象を追尾する追尾処理部と、を備えたことを特徴とする。

撮影者としてのユーザの注目被写体は、一般的に音源被写体（例えば、人物、犬、猫）であることが多い。音源被写体を追尾対象に設定した追尾処理によって、音源被写体の位置をユーザに認識させたり、音源被写体に注目したカメラ制御（オートフォーカス制御など）を成したりすることが可能となる。

具体的には例えば、表示画面を有し、前記動画像を前記表示画面に表示するとともに前記表示画面上における前記追尾対象の位置を表示する表示部を、当該撮像装置に更に設けておくとよい。

追尾対象としての音源被写体の位置が追尾処理によって表示され続けるため、ユーザは音源被写体に注目した構図調整を容易に行うことが可能となる。

また例えば、前記音源検出部において、前記音源被写体として複数の音源被写体が検出された場合、前記追尾処理部は、前記複数の音源被写体の内の何れか１以上の音源被写体を選択的に前記追尾対象に設定してもよい。

より具体的には例えば、前記複数の音源被写体の夫々の音量を検出する音量検出部を、当該撮像装置に更に設けておいてもよい。この際、前記追尾処理部は、前記音量検出部の検出結果に基づき前記追尾対象を設定してもよい。

或いは具体的には例えば、前記複数の音源被写体の内の何れか１以上の音源被写体を指定する操作を受ける操作受付部を、当該撮像装置に更に設けておいてもよい。この際、前記追尾処理部は、前記操作の内容に基づき前記追尾対象を設定してもよい。

また例えば、前記追尾対象の音量を検出する音量検出部を、当該撮像装置に更に設けておいてもよい。この際、前記表示部は、前記音量検出部の検出結果をも表示しても良い。

本発明によれば、被写体の認識支援等に寄与する撮像装置を提供することが可能となる。

本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。 図１の撮像部の内部構成図である。 図１のマイク部の内部構成とマイク部に接続された部位を示す図である。 図１の撮像装置の外観斜視図である。 ２つのマイクロホンと音源との位置関係を示す図である。 図１の撮像装置の一部ブロック図であって、追尾機能に関与する部位のブロック図である。 対象動画像の構成を示す図である。 対象動画像を形成するフレーム画像の例である。 本発明の第１実施形態に係る撮像装置の動作フローチャートである。 音源被写体の画像信号を内包するフレーム画像の例である。 本発明の第１実施形態に係り、追尾処理の実行中における表示画面の様子を示す図である。 本発明の第１実施形態に係る音量アイコンを示す図である。 本発明の第２実施形態に係る撮像装置の動作フローチャートである。 ３つの音源被写体の画像信号を内包するフレーム画像の例である。 本発明の第２実施形態に係り、追尾処理の実行中における表示画面の様子を示す図である。 本発明の第３実施形態に係る撮像装置の動作フローチャートである。 本発明の第４実施形態に係る撮像装置の動作フローチャートである。 本発明の第４実施形態に係り、表示画像の例を示す図である。 音量アイコンの変形表示方法を示す図である。 従来技術に係り、夜間撮影におけるカメラの表示画面例を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。

画像処理部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。ここで生成される画像信号には、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像信号の一種であり、撮像部１１から出力されるアナログ信号も画像信号の一種である。

マイク部１４は、撮像装置１の周辺音を音響信号に変換する。マイク部１４を、複数のマイクロホンにて形成することができる。ここでは、図３に示す如く、マイク部１４が２つのマイクロホン１４Ｌ及び１４Ｒから成るものとする。Ａ／Ｄ変換器５１Ｌ及び５１Ｒを、音響信号処理部１５に設けておくことができる。図４に、撮像装置１の外観斜視図を示す。マイクロホン１４Ｌ及び１４Ｒは、撮像装置１の筐体上の互いに異なる位置に配置される。図４には、撮像装置１によって撮影される物体である、撮像装置１の被写体も示されている。被写体の撮影画像が表示部１６に表示されることで、ユーザは撮像装置１の撮影範囲等を確認することができる。

図４に示す如く、撮像装置１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。また、上及び下とは、被写体に正対する撮影者にとっての上及び下を意味するものとする。前後方向、左右方向及び上下方向は、互いに直交する。

マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。図３のＡ／Ｄ変換器５１Ｌ及び５１Ｒは、夫々、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号を所定のサンプリング周期（例えば４８キロヘルツ）にてデジタルの音響信号に変換して出力する。Ａ／Ｄ変換器５１Ｌの出力信号を特に左原信号と呼び、Ａ／Ｄ変換器５１Ｒの出力信号を特に右原信号と呼ぶ。

図１の音響信号処理部１５は、左原信号及び右原信号に必要な音響信号処理を施すことができる。この処理内容については後述する。

表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。スピーカ部１７は、１又は複数のスピーカから成り、マイク部１４の出力音響信号、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、ユーザからの様々な操作を受け付ける部位である。操作部１８に対する操作内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、撮影画像などを記憶する。主制御部２０は、操作部１８への操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。以下に述べられる動作は、特に記述なき限り、撮影モードにおける動作である。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像信号によって１枚分の画像が表現される。ＡＦＥ１２からの１フレーム周期分の画像信号によって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像がフレーム画像である、と解釈しても良い。

マイクロホン１４Ｌ及び１４Ｒとして、指向性を有さない無指向性マイクロホンを採用することができる。マイクロホン１４Ｌ及び１４Ｒが無指向性マイクロホンである場合、左原信号及び右原信号は無指向性の音響信号（指向性を有さない音響信号）である。音響信号処理部１５は、公知の指向性制御を用いて無指向性の左原信号及び右原信号から、任意の方向に指向軸を持つ音響信号を生成することができる。

図５に示すような、Ｘ軸及びＹ軸を座標軸としたＸＹ座標面（ＸＹ座標系）を定義する。Ｘ軸は、マイクロホン１４Ｌの中心とマイクロホン１４Ｒの中心とを通る軸であり、それらの中心の中間に原点Ｏが位置する。Ｙ軸は、原点ＯにてＸ軸と直交する。Ｙ軸に沿った方向は、撮像部１１の光軸（撮像素子３３にとっての光軸）の方向と一致する。Ｘ軸及びＹ軸は水平面と平行であるとする。原点Ｏからマイクロホン１４Ｒに向かう方向（即ち、撮像装置１の右方向）がＸ軸の正方向であるとし、原点Ｏから撮像装置１の前方に向かう方向がＹ軸の正方向であるとする。線分３０５は、原点Ｏと任意の音源である音源ＳＳとを結ぶ線分である。Ｘ軸と線分３０５との成す角度をθで表す。但し、角度θは、原点Ｏとマイクロホン１４Ｒの中心とを結ぶ線分から反時計周り方向に線分３０５を見たときの、Ｘ軸及び線分３０５間の角度であるとする。反時計周り方向とは、原点Ｏからマイクロホン１４Ｒの中心に伸びる線分を、撮像装置１の前方側に回転させる方向を指す。音源ＳＳの角度θは、音源ＳＳの位置する方向（即ち、音源ＳＳについての音源方向）を表す。

撮像装置１には、追尾対象を動画像上で追尾する機能を備える。この機能に特に関与する部位のブロック図を図６に示す。追尾対象設定部６１を内包する追尾処理部６２は、図１の画像処理部１３によって実現される、或いは、画像処理部１３及び音響信号処理部１５によって実現される。音源検出部６３は、図１の音響信号処理部１５によって実現される、或いは、画像処理部１３及び音響信号処理部１５によって実現される。音量検出部６４を音響信号処理部１５に設けておくことができる。表示画面６６は、図１の表示部１６に設けられた表示画面である。表示制御部６５は、主制御部２０又は表示部１６に設けられる。

追尾処理部６２には、対象動画像の画像信号が入力される。対象動画像とは、撮像部１１の撮影によって得られた動画像であり、図７に示す如く、時刻ｔ_１、ｔ_２、ｔ_３・・・及びｔ_ｎのフレーム画像を含むフレーム画像列から形成される（ｎは２以上の整数）。時刻ｔ_ｉのフレーム画像とは、時刻ｔ_ｉにて撮影されたフレーム画像を指す（ｉは整数）。時刻ｔ_ｉ＋１は時刻ｔ_ｉよりも後の時刻であり、時刻ｔ_ｉ及びｔ_ｉ＋１間の時間間隔は、対象動画像のフレーム周期の整数倍である。追尾対象設定部６１は、撮像装置１の撮影範囲内に収まっている被写体の中から追尾対象を設定する。追尾処理部６２は、対象動画像の画像信号に基づき各フレーム画像内における追尾対象の位置を逐次検出していくことにより、対象動画像上において追尾対象の位置を追尾する。この追尾を実行する処理を追尾処理と呼ぶ。

音源検出部６３は、対象音響信号に基づき音源として機能する被写体（音を発する被写体）を検出する。対象音響信号は、マイク部１４に設けられた各マイクロホンの出力音響信号から成る。本実施形態の例では、対象音響信号は、左原信号及び右原信号から成る。音源検出部６３は、無指向性の左原信号及び右原信号の位相差に基づき音源（音源ＳＳ）の角度θを検出する。複数の無指向性マイクロホンの出力信号の位相差から音源の位置する方向（角度θに相当）を推定する方法は周知であるため、その方法の詳細な説明を割愛する。音源として機能する被写体を音源被写体と呼ぶ。そうすると、音源検出部６３は、対象音響信号に基づき音源被写体の角度θを求めることができ、対象動画像の撮影条件（撮像部１１の焦点距離など）を用いて角度θを画像空間上の位置に変換することにより、フレーム画像上の音源被写体の位置を検出することができる。

例として、音源被写体３１１について検出された位置３１２を図８に示す。図８において、画像３１０は対象動画像を形成するフレーム画像である。位置３１２は、音源被写体３１１の角度θを上記画像空間上の位置に変換したものである。

音源被写体の角度θに基づけば、フレーム画像３１０上における音源被写体３１１の水平位置を決定することができる。音源検出部６３は、その水平位置の決定後、フレーム画像３１０の画像信号に基づいて音源被写体３１１の画像信号が存在する画像領域を検出し、検出した画像領域の中心位置又は重心位置を位置３１２として検出することができる。音源被写体の画像信号が存在する画像領域を音源被写体領域と呼ぶ。上記決定された水平位置を基準として、フレーム画像３１０の画像信号に基づくエッジ検出、顔検出処理、輪郭抽出、領域統合などを行うことより、音源被写体３１１についての音源被写体領域を検出することができる。

また、本実施形態では、マイク部１４が左右方向に並べられた２つのマイクロホン１４Ｌ及び１４Ｒから形成されているが、マイク部１４において、左右方向だけでなく上下方向にも沿って複数の無指向性マイクロホンを並べるようにしてもよい。例えば、マイクロホン１４Ｌ及び１４Ｒと同様のマイクロホン１４Ｌ’及び１４Ｒ’（不図示）を、マイクロホン１４Ｌ及び１４Ｒに加えて、マイクロホン１４Ｌ及び１４Ｒの下方側に（地面側に）設けておき、マイクロホン１４Ｌ、１４Ｒ、１４Ｌ’及び１４Ｒ’の出力音響信号に基づきフレーム画像３１０上の音源被写体３１１の水平位置及び垂直位置を検出するようにしてもよい。

音量検出部６４は、対象音響信号に基づいて音源被写体の音量を検出する。音量検出部６４は、対象音響信号の信号レベルを検出することで対象音響信号における音源被写体の音量を検出する。信号レベルとは、注目した信号のパワーを表す。但し、信号レベルを、注目した信号の振幅と捉えることも可能である。

表示制御部６５は、表示画面６６の表示内容を制御し、対象動画像を表示画面６６に表示させる。この際、対象動画像と共に、映像上の様々な指標を表示画面６６に表示させることができる（詳細は後述）。

図９は、第１実施形態に係る撮像装置１の動作フローチャートである。図９を参照し、第１実施形態に係る撮像装置１の動作手順を説明する。対象動画像の撮影開始後、まず、ステップＳ１１において音源検出部６３による音源検出が成される。ここでは、少なくとも時刻ｔ_１以前及び時刻ｔ_１において、人物である被写体ＳＵＢ_１が声を発していることを想定する。音源検出部６３は、時刻ｔ_１以前及び時刻ｔ_１に得られた対象音響信号に基づき、又は、時刻ｔ_１以前及び時刻ｔ_１に得られた対象音響信号及び対象動画像の画像信号に基づき、被写体ＳＵＢ_１の位置を音源被写体の位置として検出する。図１０の画像３３０は、時刻ｔ_１のフレーム画像であり、フレーム画像３３０に対して音源被写体ＳＵＢ_１の位置３３１が検出される。また、ステップＳ１１において、音源被写体ＳＵＢ_１についての音源被写体領域が検出される。音源被写体ＳＵＢ_１についての音源被写体領域を、記号ＳＵＢ_Ｒ１で表す。音源被写体ＳＵＢ_１及び位置３３１は、夫々、図８の被写体３１１及び位置３１２に相当する。説明の具体化上、位置３３１は、音源被写体ＳＵＢ_１の中心位置であると共に音源被写体領域ＳＵＢ_Ｒ１の中心位置であるとする。

音源被写体ＳＵＢ_１及び音源被写体領域ＳＵＢ_Ｒ１の検出後、ステップＳ１２において、追尾対象設定部６１は、追尾対象及び追尾対象領域を設定する。第１実施形態では、音源被写体が１つしか存在していないことが想定されている。従って、追尾対象設定部６１は、ステップＳ１１において検出された音源被写体ＳＵＢ_１を追尾対象に設定すると共に、音源被写体領域ＳＵＢ_Ｒ１を追尾対象領域に設定する。

その後、ステップＳ１３において、追尾処理部６２は、対象動画像の画像信号に基づく追尾処理を開始する。追尾処理を、例えば、ユーザから所定の操作が成されるまで、又は、追尾対象が撮影範囲の外に出るまで継続実行することができる。具体的に例えば、追尾対象領域の画像特徴を時刻ｔ_ｉのフレーム画像の画像信号から抽出し、抽出した画像特徴に類似する画像特徴を有する画像領域を時刻ｔ_ｉ＋１のフレーム画像の追尾対象領域に設定する。このように、フレーム画像が取得される度に追尾対象領域の位置を順次更新してゆくことで追尾対象の位置も更新してゆく。

尚、追尾対象の位置及び追尾対象領域の位置とは、例えば、夫々、フレーム画像上における追尾対象の中心位置及び追尾対象領域の中心位置を指し、且つ、それらの中心位置は同じである。また、追尾処理を、対象動画像の画像信号だけでなく対象音響信号をも利用して行うようにしても良い（後述の他の実施形態においても同様）。追尾対象は音源として機能する被写体であるから、対象音響信号に基づく音源検出をも利用することで追尾精度の向上が図られる。

追尾処理の開始後、ステップＳ１４において、音量検出部６４は、現時点の対象音響信号に基づき追尾対象の音量を検出する。ここでは、音源被写体ＳＵＢ_１の音量が検出される。続くステップＳ１５において、表示制御部６５は、現時点のフレーム画像を追尾対象枠及び音量アイコンと共に表示画面６６に表示する。追尾対象枠は、追尾対象領域に応じた枠であり、対応する追尾対象の全部又は一部を取り囲む。音量アイコンはステップＳ１４にて検出された音量を表すアイコンである。ステップＳ１４及びＳ１５は、所定の周期にて繰り返し実行される。このため、ステップＳ１４及びＳ１５の繰り返しによって、表示画面６６上に対象動画像が表示されると共に追尾対象枠及び音量アイコンが逐次更新されながら表示される。

図１１に、追尾処理の実行中における表示画面６６の様子を示す。図１１において、画像３４１、３４２及び３４３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３において表示画面６６に表示される画像であり、破線枠Ｆ_１、Ｆ_２及びＦ_３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における追尾対象枠であり、アイコンＩＣ_１、ＩＣ_２及びＩＣ_３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における音量アイコンである。時刻ｔ_１及びｔ_３間において、追尾対象としての音源被写体ＳＵＢ_１が対象動画像上で移動するにつれて追尾対象枠も表示画面６６上で移動する。各時刻における音量アイコンは、追尾対象としての音源被写体ＳＵＢ_１の音量を表す。音量アイコンは、表示画面６６上の追尾対象に対応付けて表示される。例えば、図１１に示す如く、音量アイコンＩＣ_ｉを追尾対象枠Ｆ_ｉの中に表示する。或いは例えば、音量アイコンを追尾対象枠に隣接して表示するようにしても良い。

図１２に、任意の時刻に表示される音量アイコンＩＣの例を示す。音量アイコンＩＣの状態（大きさ、色、形状など）は、対応する追尾対象の音量に依存する。例えば、対応する追尾対象の音量が増大すればするほど音量アイコンＩＣの表示サイズを大きくする。図１１の例では、追尾対象の音量に応じて音量アイコンＩＣ_ｉの表示サイズを変更している。表示サイズではなく、音量アイコンＩＣの色や形状の変化によって、対応する音量の変化を表現してもよい。また、音量アイコンＩＣの代わりに、バー形状のアイコンを表示することによって或いは数値などを表示することによって、追尾対象の音量を表示するようにしてもよい。図１１の例において、時刻ｔ_１の音量アイコンＩＣ_１の状態は、時刻ｔ_１及び時刻ｔ_１周辺における追尾対象の音量に依存し、時刻ｔ_２の音量アイコンＩＣ_２の状態は、時刻ｔ_２及び時刻ｔ_２周辺における追尾対象の音量に依存する。他の時刻の音量アイコンも同様である。

撮像装置１は、追尾処理の結果を利用して様々なカメラ制御を成すことができる。カメラ制御には、例えば、追尾対象にフォーカスを合わせるオートフォーカス制御、追尾対象の明るさを適正にするオートアイリス制御、追尾対象のホワイトバランスを適正にするオートホワイトバランス制御が含まれる。また、夫々のフレーム画像から追尾対象領域内の画像を切り出し画像として切り出し、得られた切り出し画像列を切り出し動画像として記録媒体１９に記録するようにしても良い。

また、追尾対象枠の表示によって音源被写体（例えば、撮影対象となるべき人物）の位置が示されるので、撮影者としてのユーザは、必要に応じて、音源被写体に注目した構図調整を行うことができる。例えば、音源被写体が画面の中央に大きく映し出されるように撮影方向やズーム倍率を調整することが可能となる。

撮影者としてのユーザの注目被写体は、一般的に音源被写体（例えば、人物、犬、猫）であることが多い。第１実施形態によれば、追尾対象としての音源被写体の位置が追尾処理によって表示され続けるため、暗い撮影環境などにおいてもユーザは音源被写体に注目した構図調整を容易に行うことが可能となる。また、音源被写体に注目したカメラ制御（オートフォーカス制御など）を成すことも可能となる。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態及び後述の他の実施形態は、第１実施形態を基礎とする実施形態であり、第２実施形態及び後述の他の実施形態において、特に述べない事項に関しては第１実施形態の記載が適用される。

第２実施形態では、撮像装置１の撮影範囲内に音源被写体が複数存在することを想定する。音源検出部６３は、各音源被写体からの音響信号を対象音響信号から分離抽出する音源分離処理を実行することができる。音源分離処理によって抽出された各々の音源被写体からの音響信号を単位音響信号と呼ぶ。ｍ個の音源被写体が存在する場合、対象音響信号は、音源被写体ＳＵＢ_１からの音を表す第１の単位音響信号と、音源被写体ＳＵＢ_２からの音を表す第２の単位音響信号と、・・・、音源被写体ＳＵＢ_ｍからの音を表す第ｍの単位音響信号と、を含む音響信号である（ｍは２以上の整数）。ここでは、説明の具体化のため、ｍ＝３である場合を想定する。

例えば、音源検出部６３は、対象音響信号に含まれる信号成分の内、特定の方向から到来した音の信号成分を指向性制御によって強調することにより、各単位音響信号を生成することができる。より具体的には例えば、対象音響信号に含まれる信号成分の内、音源被写体ＳＵＢ_ｉから到来した音の信号成分を指向性制御によって強調することにより、第ｉの単位音響信号を生成することできる。指向性制御の方法として様々な方法が既に提案されており、音源検出部６３は、公知の方法を含む任意の指向性制御方法（例えば、特開２０００−８１９００号公報、特開平１０−３１３４９７号公報に記載の方法）を用いて各単位音響信号を生成することができる。

或いは、独立成分分析（Independent Component Analysis）を用いて、対象音響信号から各単位音響信号を生成するようにしてもよい。独立成分分析では、同一の時刻に同一の音源からの音響信号は複数個存在しないという仮定の下、音源の独立性を用いて各音源の音響信号が分離抽出される。

音源検出部６３は、音源被写体ごとに、単位音響信号に基づき音源被写体の位置を検出すると共に音源被写体についての音源被写体領域を検出する。音源被写体ＳＵＢ_ｉについての音源被写体領域を記号ＳＵＢ_Ｒｉにて表す。第ｉの単位音響信号に基づき音源被写体ＳＵＢ_ｉの位置が検出されると共に音源被写体領域ＳＵＢ_Ｒｉが検出される。第ｉの単位音響信号に基づき音源被写体ＳＵＢ_ｉの位置を検出する方法は、第１実施形態で述べた対象音響信号に基づき音源被写体３１１の位置３１２を検出する方法と同様である（図８参照）。或る音源被写体についての音源被写体領域を検出する方法も、第１実施形態で述べたものと同様である。

音量検出部６４は、音源被写体ごとに、単位音響信号に基づき音源被写体の音量を検出する。第ｉの単位音響信号に基づき音源被写体ＳＵＢ_ｉの音量が検出される。

図１３は、第２実施形態に係る撮像装置１の動作フローチャートである。図１３を参照し、第２実施形態に係る撮像装置１の動作手順を説明する。対象動画像の撮影開始後、まず、ステップＳ２１において音源検出部６３による音源検出が成される。ここでは、少なくとも時刻ｔ_１以前及び時刻ｔ_１において、人物である被写体ＳＵＢ_１及びＳＵＢ_２が声を発していると共に犬である被写体ＳＵＢ_３が音を発していることを想定する。音源検出部６３は、時刻ｔ_１以前及び時刻ｔ_１に得られた対象音響信号に基づき、又は、時刻ｔ_１以前及び時刻ｔ_１に得られた対象音響信号及び対象動画像の画像信号に基づき、被写体ＳＵＢ_１〜ＳＵＢ_３の位置を３つの音源被写体の位置として検出する。図１４の画像４３０は、時刻ｔ_１のフレーム画像であり、フレーム画像４３０に対して音源被写体ＳＵＢ_１の位置４３１、音源被写体ＳＵＢ_２の位置４３２及び音源被写体ＳＵＢ_３の位置４３３が検出される。また、ステップＳ２１において、音源被写体ＳＵＢ_１〜ＳＵＢ_３についての音源被写体領域ＳＵＢ_Ｒ１〜ＳＵＢ_Ｒ３が検出される。尚、例えば、位置４３１は、音源被写体ＳＵＢ_１の中心位置であると共に音源被写体領域ＳＵＢ_Ｒ１の中心位置であり、位置４３２は、音源被写体ＳＵＢ_２の中心位置であると共に音源被写体領域ＳＵＢ_Ｒ２の中心位置であり、位置４３３は、音源被写体ＳＵＢ_３の中心位置であると共に音源被写体領域ＳＵＢ_Ｒ３の中心位置である。

続くステップＳ２２において、追尾対象設定部６１は、検出された各音源被写体を追尾対象に設定すると共に検出された各音源被写体領域を追尾対象領域に設定する。その後、ステップＳ２３において、追尾処理部６２は、対象動画像の画像信号に基づく追尾処理を開始する。追尾処理は追尾対象ごとに実行される。

追尾処理の開始後、ステップＳ２４において、音量検出部６４は、現時点の対象音響信号に基づき、追尾対象ごとに追尾対象の音量を検出する。ここでは、第１の単位音響信号に基づき音源被写体ＳＵＢ_１の音量が第１の追尾対象の音量として検出され、且つ、第２の単位音響信号に基づき音源被写体ＳＵＢ_２の音量が第２の追尾対象の音量として検出され、且つ、第３の単位音響信号に基づき音源被写体ＳＵＢ_３の音量が第３の追尾対象の音量として検出される。続くステップＳ２５において、表示制御部６５は、現時点のフレーム画像を追尾対象枠及び音量アイコンと共に表示画面６６に表示する。追尾対象枠及び音量アイコンは、追尾対象ごとに表示される。ステップＳ２４及びＳ２５は、所定の周期にて繰り返し実行される。このため、ステップＳ２４及びＳ２５の繰り返しによって、表示画面６６上に対象動画像が表示されると共に各追尾対象の追尾対象枠及び音量アイコンが逐次更新されながら表示される。

図１５に、追尾処理の実行中における表示画面６６の様子を示す。図１５において、画像４４１、４４２及び４４３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３において表示画面６６に表示される画像である。破線枠Ｆ_１１、Ｆ_１２及びＦ_１３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第１の追尾対象（即ち音源被写体ＳＵＢ_１）の追尾対象枠であり、破線枠Ｆ_２１、Ｆ_２２及びＦ_２３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第２の追尾対象（即ち音源被写体ＳＵＢ_２）の追尾対象枠であり、破線枠Ｆ_３１、Ｆ_３２及びＦ_３３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第３の追尾対象（即ち音源被写体ＳＵＢ_３）の追尾対象枠である。アイコンＩＣ_１１、ＩＣ_１２及びＩＣ_１３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第１の追尾対象（即ち音源被写体ＳＵＢ_１）の音量アイコンであり、アイコンＩＣ_２１、ＩＣ_２２及びＩＣ_２３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第２の追尾対象（即ち音源被写体ＳＵＢ_２）の音量アイコンであり、アイコンＩＣ_３１、ＩＣ_３２及びＩＣ_３３は、夫々、時刻ｔ_１、ｔ_２及びｔ_３における第３の追尾対象（即ち音源被写体ＳＵＢ_３）の音量アイコンである。時刻ｔ_１及びｔ_３間において、追尾対象としての音源被写体ＳＵＢ_１〜ＳＵＢ_３が対象動画像上で移動するにつれて各追尾対象の追尾対象枠も表示画面６６上で移動する。各時刻における音量アイコンＩＣ_ｉ１は、第ｉの追尾対象としての音源被写体ＳＵＢ_ｉの音量を表し、表示画面６６上の第ｉの追尾対象に対応付けて表示される。例えば、図１５に示す如く、音量アイコンＩＣ_ｉ１を追尾対象枠Ｆ_ｉ１の中に表示する。或いは例えば、音量アイコンＩＣ_ｉ１を追尾対象枠Ｆ_ｉ１に隣接して表示するようにしても良い。音源被写体ごとに、第１実施形態と同様、音源被写体の音量に応じて音量アイコンの状態を変化させることができる。

撮像装置１は、追尾処理の結果を利用して様々なカメラ制御を成すことができる。カメラ制御には、例えば、１以上の追尾対象にフォーカスを合わせるオートフォーカス制御、１以上の追尾対象の明るさを適正にするオートアイリス制御、１以上の追尾対象のホワイトバランスを適正にするオートホワイトバランス制御が含まれる。また、夫々のフレーム画像から第ｉの追尾対象についての追尾対象領域内の画像を切り出し画像として切り出し、得られた切り出し画像列を切り出し動画像として記録媒体１９に記録するようにしても良い（ｉは、１、２又は３）。

また、追尾対象枠の表示によって音源被写体（例えば、撮影対象となるべき人物）の位置が示されるので、撮影者としてのユーザは、必要に応じて、音源被写体に注目した構図調整を行うことができる。例えば、注目した音源被写体（例えば、ＳＵＢ_１及びＳＵＢ_２）が画面の中央に大きく映し出されるように撮影方向やズーム倍率を調整することが可能となる。

第２実施形態においても、第１実施形態と同様、追尾対象としての音源被写体の位置が追尾処理によって表示され続けるため、暗い撮影環境などにおいてもユーザは音源被写体に注目した構図調整を容易に行うことが可能となる。また、音源被写体に注目したカメラ制御（オートフォーカス制御など）を成すことも可能となる。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第２実施形態と同様、第３実施形態においても、撮像装置１の撮影範囲内に３つの音源被写体ＳＵＢ_１〜ＳＵＢ_３が存在することを想定する。第３実施形態は、第２実施形態の変形例に相当する。以下、第２実施形態との相違点を説明する。

図１６は、第３実施形態に係る撮像装置１の動作フローチャートである。図１６を参照し、第３実施形態に係る撮像装置１の動作手順を説明する。対象動画像の撮影開始後、まず、ステップＳ３１において音源検出部６３による音源検出が成される。ステップＳ３１の処理内容は図１３のステップＳ２１のそれと同様である。第２実施形態と同様、例えば、時刻ｔ_１のフレーム画像４３０（図１４参照）に対して、音源被写体ＳＵＢ_１〜ＳＵＢ_３の位置４３１〜４３３が検出され、更に音源被写体ＳＵＢ_１〜ＳＵＢ_３についての音源被写体領域ＳＵＢ_Ｒ１〜ＳＵＢ_Ｒ３が検出される。

ステップＳ３１の後、ステップＳ３６における音量検出が成される。ステップＳ３６では、現時点の対象音響信号に基づき音源被写体ごとに音源被写体の音量を検出する。ここで検出された音量検出結果を音量アイコンとして表示するようにしても良い。ステップＳ３６で検出された音源被写体ＳＵＢ_１、ＳＵＢ_２及びＳＵＢ_３の音量を、夫々、音量ＶＯＬ_１、ＶＯＬ_２及びＶＯＬ_３と呼ぶ。

ステップＳ３６の処理後、ステップＳ３２において、追尾対象設定部６１は追尾対象及び追尾対象領域を設定する。この際、ステップＳ３６で検出された音量に基づき、音源被写体ＳＵＢ_１〜ＳＵＢ_３の内、何れか１以上の音源被写体を選択的に追尾対象に設定することができる。例えば、音量が比較的大きい音源被写体のみを追尾対象に設定することができる。より具体的には例えば、音量ＶＯＬ_１、ＶＯＬ_２及びＶＯＬ_３の夫々を、所定の基準音量ＶＯＬ_ＴＨと比較する。そして、音量ＶＯＬ_１が基準音量ＶＯＬ_ＴＨ以上である場合に、音源被写体ＳＵＢ_１を追尾対象に設定し、音量ＶＯＬ_１が基準音量ＶＯＬ_ＴＨ未満である場合には、音源被写体ＳＵＢ_１を追尾対象に設定しない。同様に、音量ＶＯＬ_２が基準音量ＶＯＬ_ＴＨ以上である場合に、音源被写体ＳＵＢ_２を追尾対象に設定し、音量ＶＯＬ_２が基準音量ＶＯＬ_ＴＨ未満である場合には、音源被写体ＳＵＢ_２を追尾対象に設定しない。音源被写体ＳＵＢ_３についても同様である。

ステップＳ３２にて追尾対象及び追尾対象領域を設定した後、ステップＳ３３の処理が実行され、その後、Ｓ３４及びＳ３５の処理が繰り返し実行される。ステップＳ３３〜Ｓ３５の処理は、図１３のステップＳ２３〜Ｓ２５のそれらと同じである。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第２実施形態と同様、第４実施形態においても、撮像装置１の撮影範囲内に３つの音源被写体ＳＵＢ_１〜ＳＵＢ_３が存在することを想定する。第４実施形態は、第２実施形態の変形例に相当する。以下、第２実施形態との相違点を説明する。

図１７は、第４実施形態に係る撮像装置１の動作フローチャートである。図１７を参照し、第４実施形態に係る撮像装置１の動作手順を説明する。対象動画像の撮影開始後、まず、ステップＳ４１において音源検出部６３による音源検出が成される。ステップＳ４１の処理内容は図１３のステップＳ２１のそれと同様である。第２実施形態と同様、例えば、時刻ｔ_１のフレーム画像４３０（図１４参照）に対して、音源被写体ＳＵＢ_１〜ＳＵＢ_３の位置４３１〜４３３が検出され、更に音源被写体ＳＵＢ_１〜ＳＵＢ_３についての音源被写体領域ＳＵＢ_Ｒ１〜ＳＵＢ_Ｒ３が検出される。

ステップＳ４１の後、ステップＳ４６における音量検出が成される。ステップＳ４６における音量検出は、図１６のステップＳ３６のそれと同様である。その後、ステップＳ４７において、表示制御部６５は、現時点のフレーム画像と共に、ステップＳ４１にて検出された音源被写体ＳＵＢ_１〜ＳＵＢ_３の位置を表示画面６６に表示する。

図１８の画像５００は、ステップＳ４７にて表示されるフレーム画像の例である。図１８において、破線枠５０１〜５０３は、夫々、フレーム画像５００上における音源被写体ＳＵＢ_１〜ＳＵＢ_３の位置を基準とする音源被写体枠である。音源被写体枠５０１〜５０３の表示によって、ユーザは音源被写体ＳＵＢ_１〜ＳＵＢ_３の位置を表示画面６６上で認識することができる。音源被写体枠５０１〜５０３は、例えば、それぞれ、音源被写体領域ＳＵＢ_Ｒ１〜ＳＵＢ_Ｒ３そのものである、或いは、音源被写体領域ＳＵＢ_Ｒ１〜ＳＵＢ_Ｒ３を基準とする枠である、或いは、ステップＳ４１にて検出された位置４３１〜４３３（図１４参照）を中心とする所定形状の枠である。図１８に示す如く、ステップＳ４７において、音源被写体枠５０１〜５０３に対応付けて音量アイコン５１１〜５１３を更に表示するようにしても良い。音量アイコン５１１〜５１３は、夫々、ステップＳ４６にて検出された音源被写体ＳＵＢ_１〜ＳＵＢ_３の音量を表す。

ステップＳ４７の表示を行っている状態において、ステップＳ４８の分岐処理を実行する。ステップＳ４８では、ユーザによる追尾対象指定操作を受け付ける。追尾対象指定操作は、音源被写体ＳＵＢ_１〜ＳＵＢ_３の内の何れか１以上の音源被写体を追尾対象に指定する操作である。ユーザは、図１の操作部１８に対して追尾対象指定操作を成すことができる。この場合、操作部１８が追尾対象指定操作を受ける操作受付部として機能する。或いは、表示部１６にタッチパネルが設けられている場合、ユーザは該タッチパネルに対して追尾対象指定操作を成すこともできる。この場合には、タッチパネルが上記の操作受付部として機能する。例えば、図１８のフレーム画像５００が表示されているとき、音源被写体枠５０１を指にて触れることで音源被写体ＳＵＢ_１を追尾対象に指定することができる。複数の音源被写体を追尾対象に指定することもできる。

追尾対象指定操作が成されるまでステップＳ４２への遷移が待機され、追尾対象指定操作が成されるとステップＳ４８からステップＳ４２への遷移が発生する。追尾対象指定操作が成されるまでの間、表示画面６６に表示される各音源被写体の位置が最新のものに順次更新されてゆくように、ステップＳ４６〜Ｓ４８の処理（或いは、ステップＳ４１及びＳ４６〜Ｓ４８の処理）を繰り返し実行するようにしても良い。

ステップＳ４２において、追尾対象設定部６１は、追尾対象指定操作の内容に従って追尾対象及び追尾対象領域を設定する。即ち、追尾対象指定操作の内容に基づき、音源被写体ＳＵＢ_１〜ＳＵＢ_３の内、何れか１以上の音源被写体を選択的に追尾対象に設定する。例えば、追尾対象指定操作によって音源被写体ＳＵＢ_１が追尾対象に指定されている場合、実際に音源被写体ＳＵＢ_１を追尾対象に設定する。

ステップＳ４２にて追尾対象及び追尾対象領域を設定した後、ステップＳ４３の処理が実行され、その後、Ｓ４４及びＳ４５の処理が繰り返し実行される。ステップＳ４３〜Ｓ４５の処理は、図１３のステップＳ２３〜Ｓ２５のそれらと同じである。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
追尾対象枠（図１１の破線枠Ｆ_ｉ等）及び音源被写体枠（図１８の破線枠５０１等）の表示によって追尾対象及び音源被写体の位置（対象動画像上の位置）が表示されることになるが、追尾対象及び音源被写体の位置の表示方法はこれに限定されない。例えば、追尾対象枠及び音源被写体枠の表示を停止し、代わりに、図１９に示す如く、追尾対象又は音源被写体である被写体ＳＵＢ_１が表示されている位置に音量アイコンＩＣを重畳表示することで被写体ＳＵＢ_１の位置表示を実現しても良い。更に、追尾対象又は音源被写体が表示されている位置に重畳表示されるアイコンは音量アイコン以外のアイコンであってもよい。

［注釈２］
第１実施形態で述べた内容と一部重複するが、マイク部１４に設けられるマイクロホンの個数は３以上であっても良い。マイク部１４に設けられる複数のマイクロホンは、撮像装置１の筐体上の互いに異なる位置に設置される。マイクロホンの個数を増大させることで、音源被写体の位置（対象動画像上における位置）の検出精度を高めることができる。

［注釈３］
撮像装置１は、任意の電子機器（例えば、携帯電話機又は情報端末）に搭載されるものであっても良い。

［注釈４］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
１３ 画像処理部
１４ マイク部
１５ 音響信号処理部
１６ 表示部
６１ 追尾対象設定部
６２ 追尾処理部
６３ 音源検出部
６４ 音量検出部
６５ 表示制御部
６６ 表示画面

Claims (6)

1. 被写体の動画像の画像信号を出力する撮像部と、
   複数のマイクロホンから成るマイク部と、
   前記複数のマイクロホンの出力音響信号に基づき音源として機能する音源被写体を検出する音源検出部と、
   前記音源被写体を追尾対象に設定し、前記画像信号を用いて前記動画像上で前記追尾対象を追尾する追尾処理部と、を備えた
   ことを特徴とする撮像装置。
2. 表示画面を有し、前記動画像を前記表示画面に表示するとともに前記表示画面上における前記追尾対象の位置を表示する表示部を更に備えた
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記音源検出部において、前記音源被写体として複数の音源被写体が検出された場合、
   前記追尾処理部は、前記複数の音源被写体の内の何れか１以上の音源被写体を選択的に前記追尾対象に設定する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記複数の音源被写体の夫々の音量を検出する音量検出部を更に備え、
   前記追尾処理部は、前記音量検出部の検出結果に基づき前記追尾対象を設定する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記複数の音源被写体の内の何れか１以上の音源被写体を指定する操作を受ける操作受付部を更に備え、
   前記追尾処理部は、前記操作の内容に基づき前記追尾対象を設定する
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記追尾対象の音量を検出する音量検出部を更に備え、
   前記表示部は、前記音量検出部の検出結果をも表示する
   ことを特徴とする請求項２又は請求項３に記載の撮像装置。