以下、一実施形態の撮像装置について、添付図面を参照して説明する。一実施形態の撮像装置は映像音声記録再生機能を搭載したビデオカメラを例とする。
図1において、一実施形態のビデオカメラ110は、アレーマイクロホン10とステレオマイクロホン11を備える。ステレオマイクロホン11の代わりにモノラルマイクロホンとしてもよいし、ステレオマイクロホン11を省略してアレーマイクロホン10のみとしてもよい。但し、ステレオマイクロホン11を備える方が好ましい。
図2は、ビデオカメラ110の外観形状の例と、ビデオカメラ110が撮影する被写体200の例を示している。アレーマイクロホン10とステレオマイクロホン11は、ビデオカメラ110の筺体上面に例えば図2に示すように配置されている。図2に示す配置は単なる例であり、アレーマイクロホン10とステレオマイクロホン11の筺体上の位置、互いの位置関係は任意である。
アレーマイクロホン10は、図3の(a)に示すように、複数のマイクロホン素子MEを水平方向に一列に配列させた構成を有する。水平方向に隣接する2つのマイクロホン素子MEの中心間距離はdである。図3の(a)に示すマイクロホン素子MEが水平一列のアレーマイクロホン10をアレーマイクロホン10Aとする。
アレーマイクロホン10は、図3の(b)に示すように、複数のマイクロホン素子MEの水平一列の配列10b1,10b2,10b3を垂直方向に配列させた構成であってもよい。垂直方向に隣接する2つのマイクロホン素子MEの中心間距離はdである。図3の(b)に示す水平一列のマイクロホン素子MEを垂直方向に複数配列させたアレーマイクロホン10をアレーマイクロホン10Bとする。ここで、垂直方向に隣接する2つのマイクロホン素子MEの中心間距離はdでなくてもよい。
図1,図2に示すアレーマイクロホン10は、図3の(a)に示すアレーマイクロホン10Aまたは図3の(b)に示すアレーマイクロホン10Bである。図3の(a),(b)では、マイクロホン素子MEを水平方向に6個としているが、マイクロホン素子MEの水平方向の個数は6個に限定されない。アレーマイクロホン10Bは、垂直方向に3列としているが、垂直方向の配列個数も3個に限定されない。また、アレーマイクロホン10は一直線状や一平面状への配置に限定されない。
アレーマイクロホン10Aは、マイクロホン素子MEの配列方向に対する法線方向を0度とすると、左右それぞれ90度までの方向の指向性を有する音声を収音することができる。アレーマイクロホン10Bは、左右それぞれ90度までの方向と上下それぞれ90度までの方向の指向性を有する音声を収音することができる。
アレーマイクロホン10によって収音した音声信号は、音声信号演算部12(12’)に入力されて、後述する演算処理が施される。音声信号演算部12は、アレーマイクロホン10Aからの音声信号を演算処理する。音声信号演算部12’は、アレーマイクロホン10Bからの音声信号を演算処理する。音声信号演算部12(12’)は、ビデオカメラ110が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まるチャンネル数の音声信号を演算処理によって生成して出力する。ここでの分解能とは、周音の角度分解能のことである。
音声信号増幅部13は、ステレオマイクロホン11より出力されたステレオ音声信号と、音声信号演算部12(12’)より出力された所定のチャンネル数の音声信号(マルチチャンネル音声信号)とをそれぞれ増幅する。音声信号増幅部13によって増幅された音声信号は、映像音声記録処理部16及びスイッチ65の端子Taに供給される。
音声信号増幅部13によって増幅された音声信号は、音声認識部61,音圧レベル演算部62,周波数スペクトル分析部63,音声認識レベル算出部64にも供給される。音声認識部61は、複数の語彙を登録している辞書611を有する。
音声認識部61は、辞書611に登録されている語彙を参照することによって、マルチチャンネル音声信号として入力される音の中から、人が発している音声を認識する。音圧レベル演算部62は音声信号増幅部13から入力された信号の音圧レベルを演算する。周波数スペクトル分析部63は音声信号増幅部13から入力された信号の複数に分割された音声周波数帯ごとの音圧レベルを演算する。音声認識レベル算出部64は、音声認識処理に使用したメモリデータ量に基づいて音声認識レベルを算出する。これによって人の声の認識度合いを数値化できる。
音圧レベル演算部62,周波数スペクトル分析部63,音声認識レベル算出部64は、マルチチャンネル音声信号における1または複数の角度方向の音声信号の収音レベルを算出する収音レベル算出部の例である。音圧レベル演算部62が求める音圧レベルと、周波数スペクトル分析部63が分析する音声の周波数スペクトルと、音声認識レベル算出部64が算出する音声認識レベルを、人が発している音声の収音レベルと総称することとする。
音圧レベル演算部62は、音声認識部61によって認識された人が発している音声の音圧レベルを演算によって求めてもよい。周波数スペクトル分析部63は、音声認識部61によって認識された人が発している音声の周波数スペクトルを分析してもよい。
スイッチ65が端子Taに接続している状態では、音声信号増幅部13によって増幅された音声信号が音声出力処理部22へと供給される。スイッチ65が端子Tbに接続している状態では、記録媒体40に記録された音声信号が映像音声再生処理部21を介して音声出力処理部22へと供給される。
音声出力処理部22は、入力された音声信号に基づいた音をスピーカ23より発生させることができる。操作部30によって、音量を増加または減少させる指示がなされたら、制御部20は、音声出力処理部22における音声信号の増幅度を制御する。また、音声信号を、音声出力端子29aより外部へと出力させることができる。
制御部20は、ビデオカメラ110の全体を制御する。操作部30によってズームを調整する操作がなされたら、ズーム調整部17は、指定されたズーム倍率となるよう映像撮影部18を制御する。操作部30は、ビデオカメラ110の筐体に設けられている操作部またはビデオカメラ110を遠隔制御するリモートコントローラである。映像撮影部18は、ズームレンズと、CCDまたはCMOSの撮像素子とを有する。ズーム調整部17によるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部14に入力される。
図2において、ビデオカメラ110が被写体200を撮影している際に実際にビデオカメラ110によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角201の部分である。画角201は、ズーム調整部17によるズーム調整によって大きくなったり小さくなったりする。指向性切替部14は、実効焦点距離に基づいて、画角201の大きさであるビデオカメラ110が実際に撮影している水平方向及び垂直方向の角度範囲を知ることができる。
指向性切替部14には、分解能が例えば10度と設定されている。制御部20によって、指向性切替部14に設定する分解能を可変できるようにしてもよい。指向性切替部14は、実効焦点距離に基づいて画角201の情報を得るようにしているが、他の方法によって画角201の情報を得るようにしてもよい。
指向性切替部14は、音声信号演算部12(12’)が画角201と分解能とによって決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声信号演算部12(12’)を制御する。指向性情報生成部15は、音声信号演算部12(12’)が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声記録処理部16に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度方向からの音声信号であるかを示す。
映像撮影部18より出力された映像信号は、映像信号処理部19に入力される。映像信号処理部19は、入力された映像信号をA/D変換して所定の信号処理を施す。映像信号処理部19によって所定の信号処理が施された映像信号は、映像音声記録処理部16及びスイッチ66の端子Taに供給される。
スイッチ66が端子Taに接続している状態では、被写体を撮影している状態の映像信号を表示部28に表示させるよう、映像信号処理部19より出力された映像信号が映像信号処理部24へと供給される。スイッチ66が端子Tbに接続している状態では、記録媒体40に記録されて再生された映像号号を表示部28に表示させるよう、映像音声再生処理部21より出力された映像信号が映像信号処理部24へと供給される。
スイッチ66より出力された映像信号は、映像信号処理部24に入力されて処理される。映像合成部25は、画像データ発生部26が画像データを発生している場合には、制御部20の制御に基づいて、映像信号処理部24より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部27は、映像信号処理部24より出力された映像信号または映像合成部25によって付加情報が重畳された映像信号を表示部28に表示させるよう処理する。
表示部28は、図2に示すように、例えばビデオカメラ110の筺体側面に設けられている液晶パネルである。映像信号を、映像出力端子29vより外部へと出力させることができる。
映像音声記録処理部16は、音声信号増幅部13より出力されたステレオ音声信号及び指向性を有するマルチチャンネル音声信号と、指向性情報生成部15より出力された指向性情報と、映像信号処理部19より出力された映像信号とを所定の信号形式のデータとして、記録媒体40に記録する。映像音声記録処理部16は、映像信号及び音声信号を所定の圧縮処理方式で圧縮して記録媒体40に記録してもよい。
記録媒体40には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラックで記録される。記録媒体40は、半導体メモリやハードディスク・ドライブ等のビデオカメラ110に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒体でもよい。
映像音声再生処理部21は、制御部20による制御に基づいて、記録媒体40に記録されている映像信号と、ステレオ音声信号と、マルチチャンネル音声信号及び指向性情報を読み出して再生処理を施す。ステレオ音声信号及びマルチチャンネル音声信号は、スイッチ65の端子Tbに供給される。映像信号は、スイッチ66の端子Tbに供給される。指向性情報は、制御部20に供給される。
図4を用いて、音声信号演算部12(12’)がそれぞれの方向の音声信号をどのように演算処理して生成するかについて説明する。図4では、アレーマイクロホン10Aを例にして説明する。アレーマイクロホン10Aのマイクロホン素子MEの破線で示す配列方向に対する法線をL0とする。法線L0の方向を0度とする。音声の入射方向が0度であれば、それぞれのマイクロホン素子MEにはほぼ同時に音声が到達する。
図4に示すように、法線L0に対して30度の直線L30の方向からの音声を収音する場合を考える。アレーマイクロホン10Aに対して直線L30の方向から音声が入射すると、6つのマイクロホン素子MEの中央を基準位置として、右側の3つのマイクロホン素子MEにはそれぞれDL1,DL2,DL3なる遅延時間で音声が到達する。左側の3つのマイクロホン素子MEにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間である-DL1,-DL2,-DL3なる遅延時間で音声が到達する。
即ち、それぞれのマイクロホン素子MEが収音する音声を、図4に示す遅延時間だけ遅延させれば、アレーマイクロホン10Aの法線L0に対して30度の角度である直線L30の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅延させることはできないため、例えば、最も左に位置するマイクロホン素子MEの遅延時間を0として、右側のマイクロホン素子MEほど遅延時間を多くするように遅延させれば、30度の方向からの音声を収音することができる。
このように、アレーマイクロホン10A,10Bのマイクロホン素子MEが収音する音声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角度方向からの音声を収音することができる。同様にして、アレーマイクロホン10Bの場合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の複数の角度方向からの音声を収音することができる。
音声信号演算部12(12’)は以上説明した原理に基づいて左右または上下のそれぞれの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図5を用いて、アレーマイクロホン10Aからの音声信号を演算処理する音声信号演算部12の具体的構成及び動作を説明する。
図5に示すように、音声信号演算部12は、可変遅延器121a〜121fと、加算器122と、増幅器123とを備える。可変遅延器121a〜121fは、マイクロホン素子MEの数に対応して設けられている。可変遅延器121a〜121fには、制御部20から、可変遅延器121a〜121fそれぞれの遅延時間を設定するための水平遅延制御信号Sdlchが入力される。
例えば画角201が水平方向60度であり、分解能が10度と設定されている場合、音声信号演算部12は、法線方向である0度、右方向に10度,20度,30度、左方向に10度,20度,30度の7チャンネル分の方向の音声信号を演算処理して生成する。画角201が水平方向30度であれば、4チャンネル分となる。制御部20は、それぞれのチャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Sdlchを、可変遅延器121a〜121fに供給する。
画角201が水平方向60度の場合、制御部20は、0度、右方向に10度,20度,30度、左方向に10度,20度,30度の7チャンネル分の音声信号を生成するためのそれぞれの遅延時間を設定するよう、水平遅延制御信号Sdlchを順次切り替えて可変遅延器121a〜121fに供給する。
それぞれのマイクロホン素子MEより出力された音声信号は、いずれかのチャンネルに対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器122は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器123は、加算器122より出力された加算音声信号を増幅して、1つのチャンネルの音声信号として出力する。音声信号演算部12は、水平遅延制御信号Sdlchによって可変遅延器121a〜121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、7チャンネル分の音声信号を順次生成して出力する。
次に、図6を用いて、アレーマイクロホン10Bからの音声信号を演算処理する音声信号演算部12’の具体的構成及び動作を説明する。図6に示すように、音声信号演算部12’は、水平遅延部12b1,12b2,12b3と、垂直遅延部124と、加算器125と、増幅器126とを備える。水平遅延部12b1,12b2,12b3は、図3の(b)に示すマイクロホン素子MEの配列10b1,10b2,10b3に対応して設けられている。
水平遅延部12b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部12b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部12b3は、可変遅延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1,121a2〜121f2,121a3〜121f3には、図5で説明した水平遅延制御信号Sdlchが入力される。水平遅延部12b1,12b2,12b3それぞれの動作は、図5の可変遅延器121a〜121f及び加算器122の部分と同じである。
垂直遅延部124の可変遅延器1241〜1243には、制御部20から、水平遅延部12b1,12b2,12b3より出力された音声信号に基づいて、画角201の垂直方向の角度と分解能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Sdlcvが入力される。水平遅延部12b1,12b2,12b3より出力された音声信号は、垂直方向のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によって遅延される。
加算器125は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器126は、加算器125より出力された加算音声信号を増幅して、1つのチャンネルの音声信号として出力する。音声信号演算部12’は、垂直遅延制御信号Sdlcvによって可変遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定することにより、複数チャンネル分の音声信号を順次生成して出力する。
音声信号演算部12’は、水平方向の角度方向のチャンネル数をn、垂直方向の角度方向のチャンネル数をmとすれば、n×mチャンネルの音声信号を生成することになる。
本実施形態においては、スイッチ65,66をそれぞれ端子Taに接続させて、撮影している被写体の映像信号を表示部28に表示させ、撮影中に収音している状態において、マルチチャンネル音声信号のうち選択した1または複数のチャンネルの音声信号の収音レベルを表示部28に表示させることができる。
ユーザが操作部30によって所定のキーを操作すると、図7に示すように、制御部20は、画像データ発生部26によって、表示部28に表示された画像280の例えば水平方向中央の下端部に、例えばマイクロホンの画像を用いたポインタ画像154を表示させる。制御部20は、ポインタ画像154の向きが調整されて決定されたら、ポインタ画像154が向いている方向が示すチャンネルの音声信号の収音レベルを示す収音レベル表示画像を画像280に重畳させる。
図7に示す例では、制御部20は、収音レベルを示す収音レベル表示画像として、音圧レベル演算部62によって求めた音圧レベルに基づいた音圧レベル表示画像71を画像280の右下端部に表示させている。ここでは画像280の右下端部を、音圧レベル表示画像71を表示させる固定位置としている。音圧レベル表示画像71を表示させる位置は任意である。音圧レベル表示画像71を表示させる位置を変更可能としてもよい。
音圧レベル表示画像71は、一例として、矩形形状の内部に、音圧レベルに応じた個数のセグメント71SGを表示させた画像である。1または複数のセグメント71SGの代わりに、数値で音圧レベルを示してもよい。
図8に示す例は、制御部20が、画像データ発生部26によって、図7に示すポインタ画像154の代わりに、くさび状の画像よりなる2つのポインタ画像155a,155bを表示させ、ポインタ画像155a,155bが向いている方向にマイクロホンの画像を用いたポインタ画像154a,154bを表示させたものである。ここでは、くさび状の画像を2つ、マイクロホンの画像を2つとしているが、それぞれ3個以上であってもよい。
制御部20は、ポインタ画像155a,155bの向きが調整されて決定されたら、ポインタ画像154a,154bを表示させ、ポインタ画像154a,154bが向いている方向が示すチャンネルの音声信号の音圧レベル表示画像71を画像280に重畳させる。ポインタ画像155a,155bとポインタ画像154a,154bとを同時に表示した状態で、ポインタ画像155a,155bの向きを調整するようにしてもよい。ポインタ画像154a,154bや音圧レベル表示画像71の表示位置を調整可能にしてもよい。
制御部20に人の顔を認識する顔認識機能を搭載し、人の顔を認識して、人の顔の近傍にポインタ画像154a,154bや音圧レベル表示画像71を表示させてもよい。この場合、映像信号処理部19より出力された映像信号を制御部20に入力すればよい。顔認識部を制御部20とは別に設けてもよい。
図9に示す例は、制御部20が、画像データ発生部26によって、例えば破線よりなる縦線の水平領域分割線155を表示させ、画像280を水平方向に3つの領域R1〜R3に分割させたものである。実線両矢印で示すように、水平領域分割線155は左右に移動可能である。ユーザが操作30を操作することによって水平領域分割線155を移動させる操作をすると、制御部20は、水平領域分割線155を重畳する位置を移動させるよう映像合成部25を制御する。
制御部20は、水平領域分割線155の位置が調整されて決定されたら、領域R1〜R3それぞれの下端部に音圧レベル表示画像72を表示させる。制御部20は、領域R1〜R3の水平方向の中央に位置する(または中央に最も近い)チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像72を表示させればよい。
音圧レベル表示画像72は、音圧レベル表示画像71を水平方向に倒したものに相当する。音圧レベル表示画像72は、音圧レベル表示画像71と同様、矩形形状の内部に、音圧レベルに応じた個数のセグメント72SGを表示させた画像である。図9において、音圧レベル表示画像72の代わりに、音圧レベル表示画像71を表示させてもよい。但し、図9に示すような水平方向の領域分割の場合には、音圧レベル表示画像72を表示させる方が好ましい。
アレーマイクロホン10Bを用いている場合には、図10に示すような表示も可能である。図10の(a),(b)に示す例は、制御部20が、画像データ発生部26によって、例えば破線よりなる縦線の水平領域分割線155と横線の垂直領域分割線156とを表示させ、画像280を水平方向に3つ、垂直方向に2つの6つの領域R11〜R13,R21〜R23に分割させたものである。実線両矢印で示すように、水平領域分割線155は左右に移動可能であり、垂直領域分割線156は上下に移動可能である。
図10の(a)の状態から、水平領域分割線155及び垂直領域分割線156を移動させた状態が図10の(b)である。
制御部20は、水平領域分割線155及び垂直領域分割線156の位置が調整されて決定されたら、R11〜R13それぞれの上端部に音圧レベル表示画像72を表示させ、領域R21〜R23それぞれの下端部に音圧レベル表示画像72を表示させる。制御部20は、領域R11〜R13,R21〜R23の水平方向の中央に位置(または中央に最も近い)し、垂直方向の中央に位置する(または中央に最も近い)チャンネルの音声信号の音圧レベルを求めて音圧レベル表示画像72を表示させればよい。
図7〜図10では、音圧レベル演算部62によって求めた音圧レベルを示す音圧レベル表示画像71,72を画像280に重畳させる例を示している。音圧レベル表示画像71,72の代わりに、周波数スペクトル分析部63が分析した周波数スペクトルを示す画像や、音声認識レベル算出部64が算出した音声認識データ量を示す画像を重畳させてもよい。
図11の(a)は音圧レベル表示画像71である。図11の(b)は、周波数スペクトル分析部63が分析した周波数スペクトルを示す周波数スペクトル表示画像73の一例である。周波数スペクトル表示画像73は、セグメント73SGの数によって、周波数f1〜fnまでそれぞれの周波数帯域におけるレベルを表している。
図11の(c)は、音声認識レベル算出部64が算出した音声認識レベルを示す音声認識レベル表示画像75の一例である。音声認識レベル表示画像75は、セグメント75SGの数によって音声認識レベルを表している。ここでは音声認識レベル表示画像75を音圧レベル表示画像71と同じ形状の図形としているが、音圧レベル表示画像71と音声認識レベル表示画像75とを互いに異なる形状の図形としてもよい。
周波数スペクトル表示画像73及び音声認識レベル表示画像75においても、音圧レベル表示画像72のように、セグメント73SG,75SGが水平方向に増減する図形としてもよい。
本実施形態においては、制御部20による制御に基づいて、音声信号増幅部13は、マルチチャンネル音声信号のそれぞれのチャンネルを個別に増幅することができる。音声信号増幅部13は、選択した1または複数のチャンネルの音声信号のみ増幅することも可能である。
図12は、図8におけるポインタ画像154aが向いている方向が示すチャンネルの音声信号の増幅度を例えば−3[dB]とし、ポインタ画像154bが向いている方向が示すチャンネルの音声信号の増幅度を例えば3[dB]とした場合を示している。図12では、増幅度を−3[dB]とすることによって、音圧レベル表示画像71が小さな音圧レベル表示画像71Sに変更され、増幅度を3[dB]とすることによって、音圧レベル表示画像71が大きな音圧レベル表示画像71Lに変更されている。
このように、音圧レベル表示画像71の大きさを音声信号の増幅度に応じた大きさとすることによって、ユーザは、どのチャンネルの音声信号の増幅度が調整されているかを容易に認識することができる。即ち、ユーザは、収音している音声の状況を容易に理解することができる。
図13は、図9のように音圧レベル表示画像72を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域R1においては、音声信号の増幅度が3[dB]で大きな音圧レベル表示画像72Lが表示されている。領域R2においては、音声信号の増幅度が−3[dB]で小さな音圧レベル表示画像72Sが表示されている。領域R3においては、音声信号の増幅度が0[dB]で基準となる通常の大きさである中間の大きさの音圧レベル表示画像72Mが表示されている。音圧レベル表示画像72Mは、図9の音圧レベル表示画像72と同じである。
図14は、図10の(b)のように音圧レベル表示画像72を表示させる場合で、それぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域R11,R12,R22においては、音声信号の増幅度が−3[dB]で小さな音圧レベル表示画像72Sが表示されている。領域R13,R21においては、音声信号の増幅度が3[dB]で大きな音圧レベル表示画像72Lが表示されている。領域R23においては、音声信号の増幅度が0[dB]で中間の大きさの音圧レベル表示画像72Mが表示されている。
図12〜図14では、音圧レベル表示画像71,72を相似の関係を維持させて大きさを変更したが、他の表示方法によって、それぞれのチャンネルの音声信号の増幅度を表すようにしてもよい。例えば、図15の(a)〜(c)に示すように、増幅度小を示す音圧レベル表示画像77Sと、増幅度中を示す音圧レベル表示画像77Mと、増幅度大を示す音圧レベル表示画像77Lとを用いてもよい。音圧レベル表示画像77S,77M,77Lは、垂直方向中央部の横幅が増幅度の程度を示している。
このように、画像データ発生部26は、それぞれのチャンネルの音声信号の増幅度に応じて、音圧レベル表示画像の大きさや形状を異ならせた画像データを発生すればよい。大きさや形状に加えて、輝度や色、模様を異ならせてもよい。また、制御部20は、これらの音圧レベル表示画像の大きさや形状、輝度や色、模様を経時的に変化させるよう、画像データ発生部26を制御してもよい。
なお、音圧レベル表示画像の輝度を異ならせる場合には、増幅度が小さいほど暗くし、増幅度が大きいほど明るくすることが好ましい。音圧レベル表示画像の色を異ならせる場合には、増幅度が小さいほど寒色方向とし、増幅度が大きいほど暖色方向にすることが好ましい。さらに、制御部20は、音圧レベル表示画像の大きさや形状、輝度や色、模様を周期的に変化させ、増幅度が大きいほど変化する周期を短くするよう、画像データ発生部26を制御してもよい。
周波数スペクトルを示す周波数スペクトル表示画像73や音声認識レベルを示す音声認識レベル表示画像75でも、同様に、それぞれのチャンネルの音声信号の増幅度に応じて大きさ、形状、輝度、色、模様の少なくとも1つを異ならせてもよい。画像データ発生部26は、収音レベル表示画像の大きさ,形状,輝度,色,模様の少なくとも1つを音声信号増幅部13で設定されている増幅度に応じて変更する画像データを発生すればよい。
図16を用いて、以上のように構成されるビデオカメラ110における収音レベル表示画像の表示動作について改めて説明する。図16において、ビデオカメラ110の電源が投入されると、制御部20は、ステップS101にて、被写体の撮影を開始させる。制御部20は、ステップS102にて、操作部30よって収音レベルを表示させる指示があったか否かを判定する。収音レベルを表示させる指示があれば(YES)、処理をステップS103に移行させ、収音レベルを表示させる指示がなければ(NO)、処理をステップS121に移行させる。
制御部20は、ステップS121にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源を切断して処理を終了させる。撮影終了の指示がなければ(NO)、ステップS102を繰り返す。
制御部20は、ステップS103にて、画像280上の所定の位置に位置指示画像を表示させる。図7におけるポインタ画像154、図8におけるポインタ画像155a,155b、図9または図10における水平領域分割線155及び垂直領域分割線156は位置指示画像の例である。
制御部20は、ステップS104にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば(YES)、制御部20は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ(NO)、制御部20は、ステップS105にて、位置指示画像を移動させる指示があったか否かを判定する。
位置指示画像を移動させる指示があれば(YES)、制御部20は、ステップS106にて、位置指示画像を移動させて、ステップS107に移行させる。位置指示画像を移動させる指示がなければ(NO)、ステップS107に移行させる。制御部20は、ステップS107にて、位置指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば(YES)、制御部20は、ステップS124にて、位置指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ(NO)、制御部20は、処理をステップS108に移行させる。
制御部20は、ステップS108にて、位置指示画像の位置を決定する指示があったか否かを判定する。位置決定の指示があれば(YES)、制御部20は、処理をステップS109に移行させ、位置決定の指示がなければ(NO)、制御部20は、処理をステップS122に移行させる。
制御部20は、ステップS122にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源を切断して処理を終了させる。撮影終了の指示がなければ(NO)、処理をステップS107に戻す。
制御部20は、ステップS109にて、決定した位置指示画像の位置を記憶する。指向性切替部14は、制御部20の制御に基づいて、ステップS110にて、実効焦点距離を取得する。指向性切替部14は、ステップS111にて、画角と分解能からチャンネル数を決定する。ここでのチャンネル数とは、アレーマイクロホン10によって収音して生成するマルチチャンネル音声信号のチャンネル数である。
実効焦点距離をf、画角201における撮像素子の受像領域の水平方向の長さ(画角201の幅)をLW、垂直方向の長さ(画角201の高さ)をLHとすれば、画角201の水平方向の角度αWと垂直方向の角度αHは次の式(1),(2)ようにして求めることができる。
αW=2tan-1(LW/2f) …(1)
αH=2tan-1(LH/2f) …(2)
式(1),(2)より求めた画角201の水平方向の角度αWと垂直方向の角度αHと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。
指向性切替部14は、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定する。音声信号演算部12(12’)は、ステップS113にて、その角度方向の収音を演算処理する。音圧レベル演算部62,周波数スペクトル分析部63,音声認識レベル算出部64は、制御部20の制御に基づいて、ステップS114にて、収音レベルを算出する。制御部20は、ステップS115にて、図7〜図11で説明したように、収音レベル表示画像を画像280に重畳させた状態で表示させる。
制御部20は、ステップS116にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば(YES)、制御部20は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ(NO)、制御部20は、ステップS117にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら(YES)、制御部20は、ステップS118にて、収音レベルを示す画像の表示位置を変更する必要があるか否かを判定する。
ズーム倍率が変更されると、収音レベル表示画像が画角から外れて、画像280上に収音レベル表示画像を表示することができない場合が発生する。収音レベル表示画像の表示位置を変更する必要があれば(YES)、制御部20は、ステップS119にて、収音レベル表示画像が画角内となるよう収音レベル表示画像の位置を変更して、処理をステップS120に移行させる。
ステップS117にてズーム倍率が変更されなければ(NO)、また、ステップS118にて収音レベル表示画像の表示位置を変更する必要がなければ(NO)、制御部20は、ステップS120にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指示があれば(YES)、制御部20は、ステップS125にて、収音レベル表示画像の表示を解除して、処理をステップS101に戻す。
表示解除の指示がなければ(NO)、制御部20は、ステップS123にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源を切断して処理を終了させる。撮影終了の指示がなければ(NO)、制御部20は、処理をステップS116に戻す。
図16に示す例では、ズーム倍率の変更があったときに、必要に応じて、収音レベル表示画像の表示位置を変更しているが、ズーム倍率の変更があったら、収音レベル表示画像の表示を解除してもよい。併せて、位置指示画像の表示を解除してもよい。また、ズーム倍率の変更があったら、収音レベル表示画像が画角内に入っているときのみ表示を継続させ、画角から外れたら表示を解除してもよい。同様に、収音レベルを示す画像の表示を解除するに併せて位置指示画像の表示を解除してもよい。
図16に示す例では、ステップS112にて、位置指示画像が示す位置に対応したチャンネルの角度方向の遅延時間を決定し、ステップS113にて、その角度方向の収音を演算処理している。マルチチャンネル音声信号における全ての角度方向の遅延時間を決定し、全ての角度方向の収音を演算処理して、位置指示画像が示す位置に対応したチャンネルの角度方向の収音の演算処理結果のみを用いるようにしてもよい。
図17を用いて、映像信号及び音声信号を記録する指示がなされた場合の、ビデオカメラ110による記録動作について説明する。図16で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させることが可能である。また、図16で説明した動作とは無関係に記録動作を実行させることが可能である。図17では、説明を簡略化するため、図16の表示動作と関連させず、記録動作のみを説明することとする。
ビデオカメラ110の電源が投入されると、制御部20は、ステップS201にて、被写体の撮影を開始させる。制御部20は、ステップS202にて、操作部30よって記録開始の指示があったか否かを判定する。記録開始の指示がなければ(NO)、制御部20は、処理をステップS211に移行させる。
記録開始の指示があれば(YES)、指向性切替部14は、ステップS203にて、実効焦点距離を取得する。指向性切替部14は、ステップS204にて、画角と分解能からチャンネル数を決定する。図16にて説明したように、前述の式(1),(2)より求めた画角201の水平方向の角度αWと垂直方向の角度αHと、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定することができる。
指向性切替部14は、ステップS205にて、それぞれのチャンネルに対応した角度方向の遅延時間を決定する。音声信号演算部12(12’)は、ステップS206にて、それぞれの角度方向の収音を演算処理する。
映像音声記録処理部16は、ステップS207にて、映像信号と、ステレオ音声信号と、それぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体40に記録させる。映像音声記録処理部16は、それぞれの角度方向の音声信号をマルチトラックで記録させる。
制御部20は、ステップS208にて、ズーム倍率が変更されたか否かを判定する。ズーム倍率が変更されたら(YES)、処理をステップS203に戻す。ズーム倍率が変更されなかったら(NO)、制御部20は、ステップS209にて、記録終了の指示があったか否かを判定する。記録終了の指示がなければ(NO)、処理をステップS206に戻す。記録終了の指示があれば(YES)、制御部20は、ステップS210にて、記録停止の処理を実行させ、処理をステップS211に移行させる。
制御部20は、ステップS211にて、電源の切断により撮影終了の指示があったか否かを判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源を切断して処理を終了させる。撮影終了の指示がなければ(NO)、処理をステップS202に戻す。
図16で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させる場合には、次のようにすればよい。図16のフローの所定の位置に、図17のステップS202のような記録開始の指示があったか否かを判定するステップを設ける。そして、記録開始の指示があった場合には、図17のステップS205〜S207,S209,S210と同様のステップを設ける。
次に、記録媒体40に記録された映像信号及び音声信号の再生動作について説明する。図1において、操作部30によって記録媒体40に記録されている映像信号(撮影コンテンツ)を再生する操作がなされると、映像音声再生処理部21は、制御部20による制御に基づいて、記録媒体40に記録されている映像信号及びステレオ音声信号を読み出して再生処理を施す。
映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体40に記録されている場合には、映像音声再生処理部21は、映像信号及びステレオ音声信号を伸長する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、記録媒体40より読み出される。映像音声再生処理部21より出力されたステレオ音声信号は、音声出力処理部22に入力される。音声出力処理部22は、ステレオ音声信号に基づいた音をスピーカ23より発生させる。
映像音声再生処理部21より出力された映像信号は、映像信号処理部24に入力されて処理される。映像合成部25は、画像データ発生部26が上述した収音レベル表示画像の画像データ等の付加情報を発生している場合には、映像信号処理部24より出力された映像信号に付加情報を重畳させるよう合成する。映像表示処理部27は、映像信号処理部24より出力された映像信号または映像合成部25によって付加情報が重畳された映像信号を表示部28に表示させるよう処理する。
図18は、ビデオカメラ110をテレビジョン受像機300に接続し、映像信号をテレビジョン受像機300の画面に表示させ、ステレオ音声信号による音声をテレビジョン受像機300に内蔵されているスピーカより発生させている状態を示している。図18では、リモートコントローラを操作部30としている。テレビジョン受像機300は、ビデオカメラ110外部の表示部である。
ユーザ400が操作部30によって、アレーマイクロホン10によって収音して生成したマルチチャンネル音声信号を再生する所定の操作をしたら、制御部20は、画像データ発生部26によって、映像信号に図18に示すようなポインタ画像51を示す付加情報信号を発生させ、画面に表示されている画像にポインタ画像51を重畳させる。ポインタ画像51は、予め設定した初期位置に表示させるようにすればよい。
図19は、表示部28及びテレビジョン受像機300の画面に表示されている画像を示している。アレーマイクロホン10が図3の(a)に示すアレーマイクロホン10Aの場合には、制御部20は、画像データ発生部26によって、映像信号に図19に示すような縦線の水平位置識別画像52を示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像52を重畳させることが好ましい。水平位置識別画像52は、水平方向の角度方向を区分けするための第1の識別画像である。
水平位置識別画像52の本数は、マルチチャンネル音声信号のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号のチャンネル数が7であれば、水平位置識別画像52の本数を6本とすれば、画面を水平方向に7分割することができる。この場合、画面は7つの領域に分割される。
ユーザ400が操作部30における例えば左右のカーソルキーによってポインタ画像51を左方向または右方向へと移動させる操作をしたら、制御部20は、ポインタ画像51を左右方向に移動させる。図19では、ポインタ画像51は円内に右向きの矢印よりなる画像であるが、ポインタ画像51を左方向へと移動させたら、円内に左向きの矢印よりなる画像とする。円内に右向きまたは左向きの矢印のポインタ画像51は、マルチチャンネル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。
アレーマイクロホン10が図3の(b)に示すアレーマイクロホン10Bの場合には、制御部20は、画像データ発生部26によって、映像信号に図20に示すような縦線の水平位置識別画像52と横線の垂直位置識別画像53それぞれを示す付加情報信号を発生させ、画面に表示されている画像に水平位置識別画像52及び垂直位置識別画像53を重畳させることが好ましい。垂直位置識別画像53は、垂直方向の角度方向を区分けするための第2の識別画像である。
垂直位置識別画像53の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル数が4であれば、垂直位置識別画像53の本数を3本とすれば、画面を垂直方向に4分割することができる。マルチチャンネル音声信号の水平方向のチャンネル数が7であれば、水平位置識別画像52と垂直位置識別画像53によって画面は28の領域に分割される。
ユーザ400が操作部30における例えば上下のカーソルキーによってポインタ画像51を上方向または下方向へと移動させる操作をしたら、制御部20は、ポインタ画像51を上下方向に移動させる。ポインタ画像51を上方向へと移動させたら、円内に上向きの矢印よりなる画像とし、ポインタ画像51を下方向へと移動させたら、円内に下向きの矢印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる。円内に上向きまたは下向きの矢印のポインタ画像51は、マルチチャンネル音声信号における垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当する。
図19において、ユーザ400が操作部30における例えば決定キーを操作したら、制御部20は、マルチチャンネル音声信号のうち、ポインタ画像51の位置に応じた再生すべき角度方向のチャンネルを決定する。制御部20は、映像音声再生処理部21を制御して、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの音声信号を記録しているトラックを再生させる。
このように、ビデオカメラ110は、ポインタ画像51の水平方向の位置を移動させて、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。図20において、右端部に位置しているこどもが発している声を聞きたい場合には、ポインタ画像51を右端部方向に移動させて決定キーを操作すれば、そのこどもが発している声を再生して聞くことができる。
図20の場合には、ポインタ画像51の垂直方向の位置を移動させて、決定キーを操作することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生させることができる。
水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図9,図10に示すようなポインタ画像51に限定されるものではない。例えば、小さな円形画像でもよい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい。
図21を用いて、映像信号及び音声信号を再生する指示がなされた場合の、ビデオカメラ110による再生動作について改めて説明する。図21において、制御部20は、ステップS301にて、記録されている映像信号(撮影コンテンツ)の再生指示がなされたか否かを判定する。再生指示がなされなければ(NO)、制御部20は、処理をステップS320に移行させる。再生指示がなされたら(YES)、制御部20は、ステップS302にて、映像信号とステレオ音声信号を再生させる。
制御部20は、ステップS303にて、ポインタ画像51を表示させる指示があったか否かを判定する。ここでは、ポインタ画像51を用いる場合の動作について示す。制御部20は、指示があれば(YES)、処理をステップS304に移行させ、指示がなければ(NO)、処理をステップS316に移行させる。制御部20は、ステップS304にて、ポインタ画像51を初期位置に表示させる。
制御部20は、ステップS305にて、ポインタ画像51を移動させる指示があったか否かを判定する。ポインタ画像51を移動させる指示があれば(YES)、制御部20は、ステップS306にて、ポインタ画像51を移動させる。ポインタ画像51を移動させる指示がなければ(NO)、制御部20は、処理をステップS307に移行させる。
制御部20は、ステップS307にて、選択された角度方向の音声信号を再生する指示がなされたか否かを判定する。制御部20は、選択された角度方向の音声信号を再生する指示がなされたら、処理をステップS308に移行させ、指示がなされなかったら、処理をステップS317に移行させる。
制御部20は、ステップS317にて、ポインタ画像51の表示解除の指示があったか否かを判定する。例えば、操作部30における戻りキーを操作したら、ポインタ画像51の表示解除の指示があったとすればよい。ポインタ画像51の表示解除の指示があれば(YES)、制御部20は、ステップS318にて、ポインタ画像51の表示を解除して、処理をステップS316に移行させる。ポインタ画像51の表示解除の指示がなければ(NO)、制御部20は、処理をステップS305に戻す。
制御部20は、ステップS308にて、ポインタ画像51の位置から再生すべきトラック番号を決定する。制御部20は、ステップS309にて、決定したトラック番号の音声信号を再生する。制御部20は、ステップS310にて、再生しているトラック番号の音声信号の再生を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら(YES)、制御部20は、ステップS311にて、再生している音声信号の再生を停止させ、処理をステップS305に戻す。
再生停止の指示がなされなかったら(NO)、制御部20は、ステップS312にて、ポインタ画像51を移動させる指示があったか否かを判定する。制御部20は、ポインタ画像51を移動させる指示があれば(YES)、処理をステップS308に戻し、ポインタ画像51を移動させる指示がなければ(NO)、処理をステップS313に移行させる。
制御部20は、ステップS313にて、ポインタ画像51の表示解除の指示があったか否かを判定する。ポインタ画像51の表示解除の指示がなければ(NO)、制御部20は、処理をステップS309に戻す。ポインタ画像51の表示解除の指示があれば(YES)、制御部20は、ステップS314にて、ポインタ画像51の表示を解除し、ステップS315にて、再生している音声信号の再生を停止させて、ステップS316に移行させる。
制御部20は、ステップS316にて、コンテンツデータの再生停止の指示がなされたか否かを判定する。再生停止の指示がなされなければ(NO)、制御部20は、処理をステップS302に戻す。再生停止の指示がなされたら(YES)、制御部20は、ステップS319にて、映像信号及びステレオ音声信号の再生を停止させて、処理をステップS320に移行させる。
制御部20は、ステップS320にて、電源切断の指示がなされたか否かを判定する。電源切断の指示がなされたら(YES)、制御部20は、処理を終了させ、電源切断の指示がなされなかったら(NO)、制御部20は、処理をステップS301に戻す。
ところで、上記のステップS309では、単に決定したトラック番号の音声信号を再生すると説明した。一般的には、図18に示すテレビジョン受像機300はステレオスピーカであり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生することが必要である。
一般的に2チャンネルステレオでは、音の強度差をつけることによって音像定位の制御ができる。ある音声信号が左(L)チャンネルには重み係数wL、右(R)チャンネルにはwRの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカまでの角度をφ0、正面から音声の定位位置までの角度をφ(正面から右側を正)とすると、次式の関係になることが一般に知られている(非特許文献1、p.34参照)。ここで、φ0は表示装置の視野角に近いことが望ましい。
sinφ/sinφ0=(wL−wR)/(wL+wR) …(3)
このことを利用して、音声出力処理部22は、マルチチャンネル音声信号のうちの選択したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号におけるLチャンネルとRチャンネルとに例えば次のように振り分ければよい。
マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順にチャンネル番号nを1,2,3,…とすると、式(3)は次の式(4)のようになる。
例えば、水平方向にチャンネル数Nが7の場合を考える。ここで、THX(THX社の登録商標)では2φ0=36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。正面から左側へ1つ目、つまり左端から3つ目のチャンネルを選択した場合には、スピーカ間の角度を2φ0=40°として、左辺分子のsin関数の変数部分のφ0{(n-1)-(N-1)/2}/Nより、40°・{(3-1)-(7-1)/2}/7=約-5.71°、つまり約5.71°正面から左側にずれた位置に定位させる必要がある。φ=5.71°として式(4)より、wL:wR=1.29:0.71=0.645:0.355となる。つまり、選択したチャンネルの音声信号を、Lチャンネルに35.5%、Rチャンネルに64.5%で振り分ければよい。
正面から右側へ2つ目、つまり左端から6つ目のチャンネルを選択した場合には、同様に式(4)より、Lチャンネルに21%、Rチャンネルに79%で振り分ければよい。
以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択したチャンネルの音声信号とが自然に合成され、選択した位置(方向)の音声を的確に再生することができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがない。
垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数のスピーカに対して比率を適宜設定して振り分ければよい。
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。