JP6274251B2 - 画像データ発生装置及び画像データ発生方法 - Google Patents

Description

本発明は、画角内の複数の位置のいずれかで発生する音声を的確に収音し、ユーザが、
収音している音声の状況を容易に理解することができる撮像装置に関する。

一般的にビデオカメラと称されている撮像装置は、被写体を撮影し、マイクロホンによ
って被写体からの音声を収音する。映像音声記録再生機能を搭載したビデオカメラにおい
ては、被写体を撮影した動画像の映像情報と、撮影中に収音した音声情報とを記録し再生
する。

ビデオカメラに搭載されているマイクロホンは、一般的に、モノラルマイクロホンまた
はステレオマイクロホンである。モノラルマイクロホンで音声を収音する場合、音声は、
音声が発生する位置にかかわらず１チャンネルの音声信号として記録される。ステレオマ
イクロホンで音声を収音する場合、左右それぞれの音声が２チャンネルの音声信号として
記録される。

特開２０００−２９８９３３号公報 特開２００６−２８７５４４号公報

安藤彰男、「高臨場感音響技術とその理論」、IEICE Fundamental Review Vol.3 No.4、p.33-46

モノラルマイクロホンまたはステレオマイクロホンを搭載したビデオカメラにおいては
、画角内の複数の位置それぞれで発生する音声を的確に収音することは困難である。

例えば画角の中央付近に主たる撮影対象の被写体である人物が位置しており、画角の左
側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生
させた音を的確に収音して記録することは難しい。そこで、画角内の複数の位置のいずれ
かで発生する音声を的確に収音できることが求められる。

また、画角内の複数の位置のいずれかで発生する音声を収音しているとき、音声を的確
に収音できているか否か等、ユーザが、収音している音声の状況を容易に理解することが
できることが求められる。

本発明はこのような要望に対応するため、画角内の複数の位置のいずれかで発生する音
声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解するこ
とができる撮像装置を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、音声信号に含まれる人の声を認識し、人の声として認識された度合いである音声認識レベルを算出する音声認識レベル算出部（６４）と、音声信号の増幅度を設定する音声信号増幅部（１３）と、音声認識レベル算出部（６４）が算出した音声認識レベルを示す音声認識レベル表示画像を音声信号増幅部（１３）で設定されている増幅度に応じて変更した表示画像の画像データを発生する画像データ発生部（２６）とを備える画像データ発生装置を提供する。

本発明の撮像装置によれば、画角内の複数の位置のいずれかで発生する音声を的確に収
音することができ、ユーザが、収音している音声の状況を容易に理解することができる。

一実施形態の撮像装置を示すブロック図である。 一実施形態の撮像装置の外観形状と撮像装置が撮影する被写体の例を示す図である。 図１中のアレーマイクロホン１０の具体的な構成例を示す図である。 図１中の音声信号演算部１２（１２’）における演算処理の原理を説明するための図である。 図１中の音声信号演算部１２の具体的な構成例を示すブロック図である。 図１中の音声信号演算部１２’の具体的な構成例を示すブロック図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第１の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第２の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第３の例を示す図である。 一実施形態の撮像装置において画像に重畳させて表示する収音レベル表示画像の第４の例を示す図である。 各種の収音レベル表示画像を示す図である。 図８に示す収音レベル表示画像の第２の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 図９に示す収音レベル表示画像の第３の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 図１０に示す収音レベル表示画像の第４の例において、音声信号の増幅度を調整した場合の収音レベル表示画像の例を示す図である。 音声信号の増幅度を調整した場合の収音レベル表示画像の他の例を示す図である。 一実施形態の撮像装置において画像に収音レベル表示画像を重畳させて表示する場合の動作を示すフローチャートである。 一実施形態の撮像装置における記録動作を示すフローチャートである。 一実施形態の撮像装置をテレビジョン受像機に接続した状態を示す図である。 水平方向の角度方向を選択するための付加情報の画像と、水平方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。 水平方向の角度方向を選択するための付加情報の画像と、水平方向及び垂直方向の角度方向を区分けするための識別画像を重畳した画像を示す図である。 一実施形態の撮像装置における再生動作を示すフローチャートである。

以下、一実施形態の撮像装置について、添付図面を参照して説明する。一実施形態の撮
像装置は映像音声記録再生機能を搭載したビデオカメラを例とする。

図１において、一実施形態のビデオカメラ１１０は、アレーマイクロホン１０とステレ
オマイクロホン１１を備える。ステレオマイクロホン１１の代わりにモノラルマイクロホ
ンとしてもよいし、ステレオマイクロホン１１を省略してアレーマイクロホン１０のみと
してもよい。但し、ステレオマイクロホン１１を備える方が好ましい。

図２は、ビデオカメラ１１０の外観形状の例と、ビデオカメラ１１０が撮影する被写体
２００の例を示している。アレーマイクロホン１０とステレオマイクロホン１１は、ビデ
オカメラ１１０の筺体上面に例えば図２に示すように配置されている。図２に示す配置は
単なる例であり、アレーマイクロホン１０とステレオマイクロホン１１の筺体上の位置、
互いの位置関係は任意である。

アレーマイクロホン１０は、図３の（ａ）に示すように、複数のマイクロホン素子ＭＥ
を水平方向に一列に配列させた構成を有する。水平方向に隣接する２つのマイクロホン素
子ＭＥの中心間距離はｄである。図３の（ａ）に示すマイクロホン素子ＭＥが水平一列の
アレーマイクロホン１０をアレーマイクロホン１０Ａとする。

アレーマイクロホン１０は、図３の（ｂ）に示すように、複数のマイクロホン素子ＭＥ
の水平一列の配列１０b1，１０b2，１０b3を垂直方向に配列させた構成であってもよい。
垂直方向に隣接する２つのマイクロホン素子ＭＥの中心間距離はｄである。図３の（ｂ）
に示す水平一列のマイクロホン素子ＭＥを垂直方向に複数配列させたアレーマイクロホン
１０をアレーマイクロホン１０Ｂとする。ここで、垂直方向に隣接する２つのマイクロホ
ン素子ＭＥの中心間距離はｄでなくてもよい。

図１，図２に示すアレーマイクロホン１０は、図３の（ａ）に示すアレーマイクロホン
１０Ａまたは図３の（ｂ）に示すアレーマイクロホン１０Ｂである。図３の（ａ），（ｂ
）では、マイクロホン素子ＭＥを水平方向に６個としているが、マイクロホン素子ＭＥの
水平方向の個数は６個に限定されない。アレーマイクロホン１０Ｂは、垂直方向に３列と
しているが、垂直方向の配列個数も３個に限定されない。また、アレーマイクロホン１０
は一直線状や一平面状への配置に限定されない。

アレーマイクロホン１０Ａは、マイクロホン素子ＭＥの配列方向に対する法線方向を０
度とすると、左右それぞれ９０度までの方向の指向性を有する音声を収音することができ
る。アレーマイクロホン１０Ｂは、左右それぞれ９０度までの方向と上下それぞれ９０度
までの方向の指向性を有する音声を収音することができる。

アレーマイクロホン１０によって収音した音声信号は、音声信号演算部１２（１２’）
に入力されて、後述する演算処理が施される。音声信号演算部１２は、アレーマイクロホ
ン１０Ａからの音声信号を演算処理する。音声信号演算部１２’は、アレーマイクロホン
１０Ｂからの音声信号を演算処理する。音声信号演算部１２（１２’）は、ビデオカメラ
１１０が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まる
チャンネル数の音声信号を演算処理によって生成して出力する。ここでの分解能とは、周
音の角度分解能のことである。

音声信号増幅部１３は、ステレオマイクロホン１１より出力されたステレオ音声信号と
、音声信号演算部１２（１２’）より出力された所定のチャンネル数の音声信号（マルチ
チャンネル音声信号）とをそれぞれ増幅する。音声信号増幅部１３によって増幅された音
声信号は、映像音声記録処理部１６及びスイッチ６５の端子Ｔａに供給される。

音声信号増幅部１３によって増幅された音声信号は、音声認識部６１，音圧レベル演算
部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４にも供給される。音声
認識部６１は、複数の語彙を登録している辞書６１１を有する。

音声認識部６１は、辞書６１１に登録されている語彙を参照することによって、マルチ
チャンネル音声信号として入力される音の中から、人が発している音声を認識する。音圧
レベル演算部６２は音声信号増幅部１３から入力された信号の音圧レベルを演算する。周
波数スペクトル分析部６３は音声信号増幅部１３から入力された信号の複数に分割された
音声周波数帯ごとの音圧レベルを演算する。音声認識レベル算出部６４は、音声認識処理
に使用したメモリデータ量に基づいて音声認識レベルを算出する。これによって人の声の
認識度合いを数値化できる。

音圧レベル演算部６２，周波数スペクトル分析部６３，音声認識レベル算出部６４は、
マルチチャンネル音声信号における１または複数の角度方向の音声信号の収音レベルを算
出する収音レベル算出部の例である。音圧レベル演算部６２が求める音圧レベルと、周波
数スペクトル分析部６３が分析する音声の周波数スペクトルと、音声認識レベル算出部６
４が算出する音声認識レベルを、人が発している音声の収音レベルと総称することとする
。

音圧レベル演算部６２は、音声認識部６１によって認識された人が発している音声の音
圧レベルを演算によって求めてもよい。周波数スペクトル分析部６３は、音声認識部６１
によって認識された人が発している音声の周波数スペクトルを分析してもよい。

スイッチ６５が端子Ｔａに接続している状態では、音声信号増幅部１３によって増幅さ
れた音声信号が音声出力処理部２２へと供給される。スイッチ６５が端子Ｔｂに接続して
いる状態では、記録媒体４０に記録された音声信号が映像音声再生処理部２１を介して音
声出力処理部２２へと供給される。

音声出力処理部２２は、入力された音声信号に基づいた音をスピーカ２３より発生させ
ることができる。操作部３０によって、音量を増加または減少させる指示がなされたら、
制御部２０は、音声出力処理部２２における音声信号の増幅度を制御する。また、音声信
号を、音声出力端子２９ａより外部へと出力させることができる。

制御部２０は、ビデオカメラ１１０の全体を制御する。操作部３０によってズームを調
整する操作がなされたら、ズーム調整部１７は、指定されたズーム倍率となるよう映像撮
影部１８を制御する。操作部３０は、ビデオカメラ１１０の筐体に設けられている操作部
またはビデオカメラ１１０を遠隔制御するリモートコントローラである。映像撮影部１８
は、ズームレンズと、ＣＣＤまたはＣＭＯＳの撮像素子とを有する。ズーム調整部１７に
よるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部１４に入力され
る。

図２において、ビデオカメラ１１０が被写体２００を撮影している際に実際にビデオカ
メラ１１０によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角２０１の部分
である。画角２０１は、ズーム調整部１７によるズーム調整によって大きくなったり小さ
くなったりする。指向性切替部１４は、実効焦点距離に基づいて、画角２０１の大きさで
あるビデオカメラ１１０が実際に撮影している水平方向及び垂直方向の角度範囲を知るこ
とができる。

指向性切替部１４には、分解能が例えば１０度と設定されている。制御部２０によって
、指向性切替部１４に設定する分解能を可変できるようにしてもよい。指向性切替部１４
は、実効焦点距離に基づいて画角２０１の情報を得るようにしているが、他の方法によっ
て画角２０１の情報を得るようにしてもよい。

指向性切替部１４は、音声信号演算部１２（１２’）が画角２０１と分解能とによって
決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声
信号演算部１２（１２’）を制御する。指向性情報生成部１５は、音声信号演算部１２（
１２’）が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声
記録処理部１６に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度
方向からの音声信号であるかを示す。

映像撮影部１８より出力された映像信号は、映像信号処理部１９に入力される。映像信
号処理部１９は、入力された映像信号をＡ／Ｄ変換して所定の信号処理を施す。映像信号
処理部１９によって所定の信号処理が施された映像信号は、映像音声記録処理部１６及び
スイッチ６６の端子Ｔａに供給される。

スイッチ６６が端子Ｔａに接続している状態では、被写体を撮影している状態の映像信
号を表示部２８に表示させるよう、映像信号処理部１９より出力された映像信号が映像信
号処理部２４へと供給される。スイッチ６６が端子Ｔｂに接続している状態では、記録媒
体４０に記録されて再生された映像号号を表示部２８に表示させるよう、映像音声再生処
理部２１より出力された映像信号が映像信号処理部２４へと供給される。

スイッチ６６より出力された映像信号は、映像信号処理部２４に入力されて処理される
。映像合成部２５は、画像データ発生部２６が画像データを発生している場合には、制御
部２０の制御に基づいて、映像信号処理部２４より出力された映像信号に付加情報を重畳
させるよう合成する。映像表示処理部２７は、映像信号処理部２４より出力された映像信
号または映像合成部２５によって付加情報が重畳された映像信号を表示部２８に表示させ
るよう処理する。

表示部２８は、図２に示すように、例えばビデオカメラ１１０の筺体側面に設けられて
いる液晶パネルである。映像信号を、映像出力端子２９ｖより外部へと出力させることが
できる。

映像音声記録処理部１６は、音声信号増幅部１３より出力されたステレオ音声信号及び
指向性を有するマルチチャンネル音声信号と、指向性情報生成部１５より出力された指向
性情報と、映像信号処理部１９より出力された映像信号とを所定の信号形式のデータとし
て、記録媒体４０に記録する。映像音声記録処理部１６は、映像信号及び音声信号を所定
の圧縮処理方式で圧縮して記録媒体４０に記録してもよい。

記録媒体４０には、ステレオ音声信号及びマルチチャンネル音声信号が、マルチトラッ
クで記録される。記録媒体４０は、半導体メモリやハードディスク・ドライブ等のビデオ
カメラ１１０に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒
体でもよい。

映像音声再生処理部２１は、制御部２０による制御に基づいて、記録媒体４０に記録さ
れている映像信号と、ステレオ音声信号と、マルチチャンネル音声信号及び指向性情報を
読み出して再生処理を施す。ステレオ音声信号及びマルチチャンネル音声信号は、スイッ
チ６５の端子Ｔｂに供給される。映像信号は、スイッチ６６の端子Ｔｂに供給される。指
向性情報は、制御部２０に供給される。

図４を用いて、音声信号演算部１２（１２’）がそれぞれの方向の音声信号をどのよう
に演算処理して生成するかについて説明する。図４では、アレーマイクロホン１０Ａを例
にして説明する。アレーマイクロホン１０Ａのマイクロホン素子ＭＥの破線で示す配列方
向に対する法線をＬ０とする。法線Ｌ０の方向を０度とする。音声の入射方向が０度であ
れば、それぞれのマイクロホン素子ＭＥにはほぼ同時に音声が到達する。

図４に示すように、法線Ｌ０に対して３０度の直線Ｌ30の方向からの音声を収音する場
合を考える。アレーマイクロホン１０Ａに対して直線Ｌ30の方向から音声が入射すると、
６つのマイクロホン素子ＭＥの中央を基準位置として、右側の３つのマイクロホン素子Ｍ
ＥにはそれぞれDL1，DL2，DL3なる遅延時間で音声が到達する。左側の３つのマイクロホ
ン素子ＭＥにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間で
ある-DL1，-DL2，-DL3なる遅延時間で音声が到達する。

即ち、それぞれのマイクロホン素子ＭＥが収音する音声を、図４に示す遅延時間だけ遅
延させれば、アレーマイクロホン１０Ａの法線Ｌ０に対して３０度の角度である直線Ｌ30
の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅
延させることはできないため、例えば、最も左に位置するマイクロホン素子ＭＥの遅延時
間を０として、右側のマイクロホン素子ＭＥほど遅延時間を多くするように遅延させれば
、３０度の方向からの音声を収音することができる。

このように、アレーマイクロホン１０Ａ，１０Ｂのマイクロホン素子ＭＥが収音する音
声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角
度方向からの音声を収音することができる。同様にして、アレーマイクロホン１０Ｂの場
合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の
複数の角度方向からの音声を収音することができる。

音声信号演算部１２（１２’）は以上説明した原理に基づいて左右または上下のそれぞ
れの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図５を用い
て、アレーマイクロホン１０Ａからの音声信号を演算処理する音声信号演算部１２の具体
的構成及び動作を説明する。

図５に示すように、音声信号演算部１２は、可変遅延器121a〜121fと、加算器１２２と
、増幅器１２３とを備える。可変遅延器121a〜121fは、マイクロホン素子ＭＥの数に対応
して設けられている。可変遅延器121a〜121fには、制御部２０から、可変遅延器121a〜12
1fそれぞれの遅延時間を設定するための水平遅延制御信号Ｓdlchが入力される。

例えば画角２０１が水平方向６０度であり、分解能が１０度と設定されている場合、音
声信号演算部１２は、法線方向である０度、右方向に１０度，２０度，３０度、左方向に
１０度，２０度，３０度の７チャンネル分の方向の音声信号を演算処理して生成する。画
角２０１が水平方向３０度であれば、４チャンネル分となる。制御部２０は、それぞれの
チャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Ｓdlchを、可
変遅延器121a〜121fに供給する。

画角２０１が水平方向６０度の場合、制御部２０は、０度、右方向に１０度，２０度，
３０度、左方向に１０度，２０度，３０度の７チャンネル分の音声信号を生成するための
それぞれの遅延時間を設定するよう、水平遅延制御信号Ｓdlchを順次切り替えて可変遅延
器121a〜121fに供給する。

それぞれのマイクロホン素子ＭＥより出力された音声信号は、いずれかのチャンネルに
対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器１
２２は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器１２３は、
加算器１２２より出力された加算音声信号を増幅して、１つのチャンネルの音声信号とし
て出力する。音声信号演算部１２は、水平遅延制御信号Ｓdlchによって可変遅延器121a〜
121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、７チャンネ
ル分の音声信号を順次生成して出力する。

次に、図６を用いて、アレーマイクロホン１０Ｂからの音声信号を演算処理する音声信
号演算部１２’の具体的構成及び動作を説明する。図６に示すように、音声信号演算部１
２’は、水平遅延部１２b1，１２b2，１２b3と、垂直遅延部１２４と、加算器１２５と、
増幅器１２６とを備える。水平遅延部１２b1，１２b2，１２b3は、図３の（ｂ）に示すマ
イクロホン素子ＭＥの配列１０b1，１０b2，１０b3に対応して設けられている。

水平遅延部１２b1は、可変遅延器121a1〜121f1と加算器1221とを有する。水平遅延部１
２b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部１２b3は、可変遅
延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1，121a2〜121f2，12
1a3〜121f3には、図５で説明した水平遅延制御信号Ｓdlchが入力される。水平遅延部１２
b1，１２b2，１２b3それぞれの動作は、図５の可変遅延器121a〜121f及び加算器１２２の
部分と同じである。

垂直遅延部１２４の可変遅延器1241〜1243には、制御部２０から、水平遅延部１２b1，
１２b2，１２b3より出力された音声信号に基づいて、画角２０１の垂直方向の角度と分解
能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Ｓdlcv
が入力される。水平遅延部１２b1，１２b2，１２b3より出力された音声信号は、垂直方向
のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によ
って遅延される。

加算器１２5は、可変遅延器1241〜1243より出力された音声信号を全て加算し、増幅器
１２６は、加算器１２５より出力された加算音声信号を増幅して、１つのチャンネルの音
声信号として出力する。音声信号演算部１２’は、垂直遅延制御信号Ｓdlcvによって可変
遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定する
ことにより、複数チャンネル分の音声信号を順次生成して出力する。

音声信号演算部１２’は、水平方向の角度方向のチャンネル数をｎ、垂直方向の角度方
向のチャンネル数をｍとすれば、ｎ×ｍチャンネルの音声信号を生成することになる。

本実施形態においては、スイッチ６５，６６をそれぞれ端子Ｔａに接続させて、撮影し
ている被写体の映像信号を表示部２８に表示させ、撮影中に収音している状態において、
マルチチャンネル音声信号のうち選択した１または複数のチャンネルの音声信号の収音レ
ベルを表示部２８に表示させることができる。

ユーザが操作部３０によって所定のキーを操作すると、図７に示すように、制御部２０
は、画像データ発生部２６によって、表示部２８に表示された画像２８０の例えば水平方
向中央の下端部に、例えばマイクロホンの画像を用いたポインタ画像１５４を表示させる
。制御部２０は、ポインタ画像１５４の向きが調整されて決定されたら、ポインタ画像１
５４が向いている方向が示すチャンネルの音声信号の収音レベルを示す収音レベル表示画
像を画像２８０に重畳させる。

図７に示す例では、制御部２０は、収音レベルを示す収音レベル表示画像として、音圧
レベル演算部６２によって求めた音圧レベルに基づいた音圧レベル表示画像７１を画像２
８０の右下端部に表示させている。ここでは画像２８０の右下端部を、音圧レベル表示画
像７１を表示させる固定位置としている。音圧レベル表示画像７１を表示させる位置は任
意である。音圧レベル表示画像７１を表示させる位置を変更可能としてもよい。

音圧レベル表示画像７１は、一例として、矩形形状の内部に、音圧レベルに応じた個数
のセグメント７１SGを表示させた画像である。１または複数のセグメント７１SGの代わり
に、数値で音圧レベルを示してもよい。

図８に示す例は、制御部２０が、画像データ発生部２６によって、図７に示すポインタ
画像１５４の代わりに、くさび状の画像よりなる２つのポインタ画像155a，155bを表示さ
せ、ポインタ画像155a，155bが向いている方向にマイクロホンの画像を用いたポインタ画
像154a，154bを表示させたものである。ここでは、くさび状の画像を２つ、マイクロホン
の画像を２つとしているが、それぞれ３個以上であってもよい。

制御部２０は、ポインタ画像155a，155bの向きが調整されて決定されたら、ポインタ画
像154a，154bを表示させ、ポインタ画像154a，154bが向いている方向が示すチャンネルの
音声信号の音圧レベル表示画像７１を画像２８０に重畳させる。ポインタ画像155a，155b
とポインタ画像154a，154bとを同時に表示した状態で、ポインタ画像155a，155bの向きを
調整するようにしてもよい。ポインタ画像154a，154bや音圧レベル表示画像７１の表示位
置を調整可能にしてもよい。

制御部２０に人の顔を認識する顔認識機能を搭載し、人の顔を認識して、人の顔の近傍
にポインタ画像154a，154bや音圧レベル表示画像７１を表示させてもよい。この場合、映
像信号処理部１９より出力された映像信号を制御部２０に入力すればよい。顔認識部を制
御部２０とは別に設けてもよい。

図９に示す例は、制御部２０が、画像データ発生部２６によって、例えば破線よりなる
縦線の水平領域分割線１５５を表示させ、画像２８０を水平方向に３つの領域Ｒ１〜Ｒ３
に分割させたものである。実線両矢印で示すように、水平領域分割線１５５は左右に移動
可能である。ユーザが操作３０を操作することによって水平領域分割線１５５を移動させ
る操作をすると、制御部２０は、水平領域分割線１５５を重畳する位置を移動させるよう
映像合成部２５を制御する。

制御部２０は、水平領域分割線１５５の位置が調整されて決定されたら、領域Ｒ１〜Ｒ
３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０は、領域Ｒ１〜
Ｒ３の水平方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音圧
レベルを求めて音圧レベル表示画像７２を表示させればよい。

音圧レベル表示画像７２は、音圧レベル表示画像７１を水平方向に倒したものに相当す
る。音圧レベル表示画像７２は、音圧レベル表示画像７１と同様、矩形形状の内部に、音
圧レベルに応じた個数のセグメント７２SGを表示させた画像である。図９において、音圧
レベル表示画像７２の代わりに、音圧レベル表示画像７１を表示させてもよい。但し、図
９に示すような水平方向の領域分割の場合には、音圧レベル表示画像７２を表示させる方
が好ましい。

アレーマイクロホン１０Ｂを用いている場合には、図１０に示すような表示も可能であ
る。図１０の（ａ），（ｂ）に示す例は、制御部２０が、画像データ発生部２６によって
、例えば破線よりなる縦線の水平領域分割線１５５と横線の垂直領域分割線１５６とを表
示させ、画像２８０を水平方向に３つ、垂直方向に２つの６つの領域Ｒ１１〜Ｒ１３，Ｒ
２１〜Ｒ２３に分割させたものである。実線両矢印で示すように、水平領域分割線１５５
は左右に移動可能であり、垂直領域分割線１５６は上下に移動可能である。

図１０の（ａ）の状態から、水平領域分割線１５５及び垂直領域分割線１５６を移動さ
せた状態が図１０の（ｂ）である。

制御部２０は、水平領域分割線１５５及び垂直領域分割線１５６の位置が調整されて決
定されたら、Ｒ１１〜Ｒ１３それぞれの上端部に音圧レベル表示画像７２を表示させ、領
域Ｒ２１〜Ｒ２３それぞれの下端部に音圧レベル表示画像７２を表示させる。制御部２０
は、領域Ｒ１１〜Ｒ１３，Ｒ２１〜Ｒ２３の水平方向の中央に位置（または中央に最も近
い）し、垂直方向の中央に位置する（または中央に最も近い）チャンネルの音声信号の音
圧レベルを求めて音圧レベル表示画像７２を表示させればよい。

図７〜図１０では、音圧レベル演算部６２によって求めた音圧レベルを示す音圧レベル
表示画像７１，７２を画像２８０に重畳させる例を示している。音圧レベル表示画像７１
，７２の代わりに、周波数スペクトル分析部６３が分析した周波数スペクトルを示す画像
や、音声認識レベル算出部６４が算出した音声認識データ量を示す画像を重畳させてもよ
い。

図１１の（ａ）は音圧レベル表示画像７１である。図１１の（ｂ）は、周波数スペクト
ル分析部６３が分析した周波数スペクトルを示す周波数スペクトル表示画像７３の一例で
ある。周波数スペクトル表示画像７３は、セグメント７３SGの数によって、周波数ｆ１〜
ｆｎまでそれぞれの周波数帯域におけるレベルを表している。

図１１の（ｃ）は、音声認識レベル算出部６４が算出した音声認識レベルを示す音声認
識レベル表示画像７５の一例である。音声認識レベル表示画像７５は、セグメント７５SG
の数によって音声認識レベルを表している。ここでは音声認識レベル表示画像７５を音圧
レベル表示画像７１と同じ形状の図形としているが、音圧レベル表示画像７１と音声認識
レベル表示画像７５とを互いに異なる形状の図形としてもよい。

周波数スペクトル表示画像７３及び音声認識レベル表示画像７５においても、音圧レベ
ル表示画像７２のように、セグメント７３SG，７５SGが水平方向に増減する図形としても
よい。

本実施形態においては、制御部２０による制御に基づいて、音声信号増幅部１３は、マ
ルチチャンネル音声信号のそれぞれのチャンネルを個別に増幅することができる。音声信
号増幅部１３は、選択した１または複数のチャンネルの音声信号のみ増幅することも可能
である。

図１２は、図８におけるポインタ画像154aが向いている方向が示すチャンネルの音声信
号の増幅度を例えば−３[dB]とし、ポインタ画像154bが向いている方向が示すチャンネル
の音声信号の増幅度を例えば３[dB]とした場合を示している。図１２では、増幅度を−３
[dB]とすることによって、音圧レベル表示画像７１が小さな音圧レベル表示画像７１Ｓに
変更され、増幅度を３[dB]とすることによって、音圧レベル表示画像７１が大きな音圧レ
ベル表示画像７１Ｌに変更されている。

このように、音圧レベル表示画像７１の大きさを音声信号の増幅度に応じた大きさとす
ることによって、ユーザは、どのチャンネルの音声信号の増幅度が調整されているかを容
易に認識することができる。即ち、ユーザは、収音している音声の状況を容易に理解する
ことができる。

図１３は、図９のように音圧レベル表示画像７２を表示させる場合で、それぞれのチャ
ンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１においては、音声信号
の増幅度が３[dB]で大きな音圧レベル表示画像７２Ｌが表示されている。領域Ｒ２におい
ては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが表示されている
。領域Ｒ３においては、音声信号の増幅度が０[dB]で基準となる通常の大きさである中間
の大きさの音圧レベル表示画像７２Ｍが表示されている。音圧レベル表示画像７２Ｍは、
図９の音圧レベル表示画像７２と同じである。

図１４は、図１０の（ｂ）のように音圧レベル表示画像７２を表示させる場合で、それ
ぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域Ｒ１１，Ｒ１２
，Ｒ２２においては、音声信号の増幅度が−３[dB]で小さな音圧レベル表示画像７２Ｓが
表示されている。領域Ｒ１３，Ｒ２１においては、音声信号の増幅度が３[dB]で大きな音
圧レベル表示画像７２Ｌが表示されている。領域Ｒ２３においては、音声信号の増幅度が
０[dB]で中間の大きさの音圧レベル表示画像７２Ｍが表示されている。

図１２〜図１４では、音圧レベル表示画像７１，７２を相似の関係を維持させて大きさ
を変更したが、他の表示方法によって、それぞれのチャンネルの音声信号の増幅度を表す
ようにしてもよい。例えば、図１５の（ａ）〜（ｃ）に示すように、増幅度小を示す音圧
レベル表示画像７７Ｓと、増幅度中を示す音圧レベル表示画像７７Ｍと、増幅度大を示す
音圧レベル表示画像７７Ｌとを用いてもよい。音圧レベル表示画像７７Ｓ，７７Ｍ，７７
Ｌは、垂直方向中央部の横幅が増幅度の程度を示している。

このように、画像データ発生部２６は、それぞれのチャンネルの音声信号の増幅度に応
じて、音圧レベル表示画像の大きさや形状を異ならせた画像データを発生すればよい。大
きさや形状に加えて、輝度や色、模様を異ならせてもよい。また、制御部２０は、これら
の音圧レベル表示画像の大きさや形状、輝度や色、模様を経時的に変化させるよう、画像
データ発生部２６を制御してもよい。

なお、音圧レベル表示画像の輝度を異ならせる場合には、増幅度が小さいほど暗くし、
増幅度が大きいほど明るくすることが好ましい。音圧レベル表示画像の色を異ならせる場
合には、増幅度が小さいほど寒色方向とし、増幅度が大きいほど暖色方向にすることが好
ましい。さらに、制御部２０は、音圧レベル表示画像の大きさや形状、輝度や色、模様を
周期的に変化させ、増幅度が大きいほど変化する周期を短くするよう、画像データ発生部
２６を制御してもよい。

周波数スペクトルを示す周波数スペクトル表示画像７３や音声認識レベルを示す音声認
識レベル表示画像７５でも、同様に、それぞれのチャンネルの音声信号の増幅度に応じて
大きさ、形状、輝度、色、模様の少なくとも１つを異ならせてもよい。画像データ発生部
２６は、収音レベル表示画像の大きさ，形状，輝度，色，模様の少なくとも１つを音声信
号増幅部１３で設定されている増幅度に応じて変更する画像データを発生すればよい。

図１６を用いて、以上のように構成されるビデオカメラ１１０における収音レベル表示
画像の表示動作について改めて説明する。図１６において、ビデオカメラ１１０の電源が
投入されると、制御部２０は、ステップS101にて、被写体の撮影を開始させる。制御部２
０は、ステップS102にて、操作部３０よって収音レベルを表示させる指示があったか否か
を判定する。収音レベルを表示させる指示があれば（YES）、処理をステップS103に移行
させ、収音レベルを表示させる指示がなければ（NO）、処理をステップS121に移行させる
。

制御部２０は、ステップS121にて、電源の切断により撮影終了の指示があったか否かを
判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源
を切断して処理を終了させる。撮影終了の指示がなければ（NO）、ステップS102を繰り返
す。

制御部２０は、ステップS103にて、画像２８０上の所定の位置に位置指示画像を表示さ
せる。図７におけるポインタ画像１５４、図８におけるポインタ画像155a，155b、図９ま
たは図１０における水平領域分割線１５５及び垂直領域分割線１５６は位置指示画像の例
である。

制御部２０は、ステップS104にて、位置指示画像の表示を解除する指示があったか否か
を判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS124にて、位置
指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ（NO
）、制御部２０は、ステップS105にて、位置指示画像を移動させる指示があったか否かを
判定する。

位置指示画像を移動させる指示があれば（YES）、制御部２０は、ステップS106にて、
位置指示画像を移動させて、ステップS107に移行させる。位置指示画像を移動させる指示
がなければ（NO）、ステップS107に移行させる。制御部２０は、ステップS107にて、位置
指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば（YE
S）、制御部２０は、ステップS124にて、位置指示画像の表示を解除して、処理をステッ
プS101に戻す。表示解除の指示がなければ（NO）、制御部２０は、処理をステップS108に
移行させる。

制御部２０は、ステップS108にて、位置指示画像の位置を決定する指示があったか否か
を判定する。位置決定の指示があれば（YES）、制御部２０は、処理をステップS109に移
行させ、位置決定の指示がなければ（NO）、制御部２０は、処理をステップS122に移行さ
せる。

制御部２０は、ステップS122にて、電源の切断により撮影終了の指示があったか否かを
判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源
を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS107に
戻す。

制御部２０は、ステップS109にて、決定した位置指示画像の位置を記憶する。指向性切
替部１４は、制御部２０の制御に基づいて、ステップS110にて、実効焦点距離を取得する
。指向性切替部１４は、ステップS111にて、画角と分解能からチャンネル数を決定する。
ここでのチャンネル数とは、アレーマイクロホン１０によって収音して生成するマルチチ
ャンネル音声信号のチャンネル数である。

実効焦点距離をｆ、画角２０１における撮像素子の受像領域の水平方向の長さ（画角２
０１の幅）をＬ_Ｗ、垂直方向の長さ（画角２０１の高さ）をＬ_Ｈとすれば、画角２０１の
水平方向の角度α_Ｗと垂直方向の角度α_Ｈは次の式（１），（２）ようにして求めること
ができる。
α_Ｗ＝２tan^-1（Ｌ_Ｗ／２ｆ） …（１）
α_Ｈ＝２tan^-1（Ｌ_Ｈ／２ｆ） …（２）

式（１），（２）より求めた画角２０１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈと
、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定すること
ができる。

指向性切替部１４は、ステップS112にて、位置指示画像が示す位置に対応したチャンネ
ルの角度方向の遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS113に
て、その角度方向の収音を演算処理する。音圧レベル演算部６２，周波数スペクトル分析
部６３，音声認識レベル算出部６４は、制御部２０の制御に基づいて、ステップS114にて
、収音レベルを算出する。制御部２０は、ステップS115にて、図７〜図１１で説明したよ
うに、収音レベル表示画像を画像２８０に重畳させた状態で表示させる。

制御部２０は、ステップS116にて、収音レベル表示画像の表示解除の指示があったか否
かを判定する。表示解除の指示があれば（YES）、制御部２０は、ステップS125にて、収
音レベル表示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなけ
れば（NO）、制御部２０は、ステップS117にて、ズーム倍率が変更されたか否かを判定す
る。ズーム倍率が変更されたら（YES）、制御部２０は、ステップS118にて、収音レベル
を示す画像の表示位置を変更する必要があるか否かを判定する。

ズーム倍率が変更されると、収音レベル表示画像が画角から外れて、画像２８０上に収
音レベル表示画像を表示することができない場合が発生する。収音レベル表示画像の表示
位置を変更する必要があれば（YES）、制御部２０は、ステップS119にて、収音レベル表
示画像が画角内となるよう収音レベル表示画像の位置を変更して、処理をステップS120に
移行させる。

ステップS117にてズーム倍率が変更されなければ（NO）、また、ステップS118にて収音
レベル表示画像の表示位置を変更する必要がなければ（NO）、制御部２０は、ステップS1
20にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指
示があれば（YES）、制御部２０は、ステップS125にて、収音レベル表示画像の表示を解
除して、処理をステップS101に戻す。

表示解除の指示がなければ（NO）、制御部２０は、ステップS123にて、電源の切断によ
り撮影終了の指示があったか否かを判定する。撮影終了の指示があれば（YES）、制御部
２０は、ビデオカメラ１１０の電源を切断して処理を終了させる。撮影終了の指示がなけ
れば（NO）、制御部２０は、処理をステップS116に戻す。

図１６に示す例では、ズーム倍率の変更があったときに、必要に応じて、収音レベル表
示画像の表示位置を変更しているが、ズーム倍率の変更があったら、収音レベル表示画像
の表示を解除してもよい。併せて、位置指示画像の表示を解除してもよい。また、ズーム
倍率の変更があったら、収音レベル表示画像が画角内に入っているときのみ表示を継続さ
せ、画角から外れたら表示を解除してもよい。同様に、収音レベルを示す画像の表示を解
除するに併せて位置指示画像の表示を解除してもよい。

図１６に示す例では、ステップS112にて、位置指示画像が示す位置に対応したチャンネ
ルの角度方向の遅延時間を決定し、ステップS113にて、その角度方向の収音を演算処理し
ている。マルチチャンネル音声信号における全ての角度方向の遅延時間を決定し、全ての
角度方向の収音を演算処理して、位置指示画像が示す位置に対応したチャンネルの角度方
向の収音の演算処理結果のみを用いるようにしてもよい。

図１７を用いて、映像信号及び音声信号を記録する指示がなされた場合の、ビデオカメ
ラ１１０による記録動作について説明する。図１６で説明したマルチチャンネル音声信号
におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中
において、記録動作を実行させることが可能である。また、図１６で説明した動作とは無
関係に記録動作を実行させることが可能である。図１７では、説明を簡略化するため、図
１６の表示動作と関連させず、記録動作のみを説明することとする。

ビデオカメラ１１０の電源が投入されると、制御部２０は、ステップS201にて、被写体
の撮影を開始させる。制御部２０は、ステップS202にて、操作部３０よって記録開始の指
示があったか否かを判定する。記録開始の指示がなければ（NO）、制御部２０は、処理を
ステップS211に移行させる。

記録開始の指示があれば（YES）、指向性切替部１４は、ステップS203にて、実効焦点
距離を取得する。指向性切替部１４は、ステップS204にて、画角と分解能からチャンネル
数を決定する。図１６にて説明したように、前述の式（１），（２）より求めた画角２０
１の水平方向の角度α_Ｗと垂直方向の角度α_Ｈと、予め設定されている分解能とから水平
方向及び垂直方向のチャンネル数を決定することができる。

指向性切替部１４は、ステップS205にて、それぞれのチャンネルに対応した角度方向の
遅延時間を決定する。音声信号演算部１２（１２’）は、ステップS206にて、それぞれの
角度方向の収音を演算処理する。

映像音声記録処理部１６は、ステップS207にて、映像信号と、ステレオ音声信号と、そ
れぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体４０に記録させ
る。映像音声記録処理部１６は、それぞれの角度方向の音声信号をマルチトラックで記録
させる。

制御部２０は、ステップS208にて、ズーム倍率が変更されたか否かを判定する。ズーム
倍率が変更されたら（YES）、処理をステップS203に戻す。ズーム倍率が変更されなかっ
たら（NO）、制御部２０は、ステップS209にて、記録終了の指示があったか否かを判定す
る。記録終了の指示がなければ（NO）、処理をステップS206に戻す。記録終了の指示があ
れば（YES）、制御部２０は、ステップS210にて、記録停止の処理を実行させ、処理をス
テップS211に移行させる。

制御部２０は、ステップS211にて、電源の切断により撮影終了の指示があったか否かを
判定する。撮影終了の指示があれば（YES）、制御部２０は、ビデオカメラ１１０の電源
を切断して処理を終了させる。撮影終了の指示がなければ（NO）、処理をステップS202に
戻す。

図１６で説明したマルチチャンネル音声信号におけるいずれかのチャンネルの音声信号
の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させる場合には
、次のようにすればよい。図１６のフローの所定の位置に、図１７のステップS202のよう
な記録開始の指示があったか否かを判定するステップを設ける。そして、記録開始の指示
があった場合には、図１７のステップS205〜S207，S209，S210と同様のステップを設ける
。

次に、記録媒体４０に記録された映像信号及び音声信号の再生動作について説明する。
図１において、操作部３０によって記録媒体４０に記録されている映像信号（撮影コンテ
ンツ）を再生する操作がなされると、映像音声再生処理部２１は、制御部２０による制御
に基づいて、記録媒体４０に記録されている映像信号及びステレオ音声信号を読み出して
再生処理を施す。

映像信号及びステレオ音声信号が所定の圧縮処理方式で圧縮されて記録媒体４０に記録
されている場合には、映像音声再生処理部２１は、映像信号及びステレオ音声信号を伸長
する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、
記録媒体４０より読み出される。映像音声再生処理部２１より出力されたステレオ音声信
号は、音声出力処理部２２に入力される。音声出力処理部２２は、ステレオ音声信号に基
づいた音をスピーカ２３より発生させる。

映像音声再生処理部２１より出力された映像信号は、映像信号処理部２４に入力されて
処理される。映像合成部２５は、画像データ発生部２６が上述した収音レベル表示画像の
画像データ等の付加情報を発生している場合には、映像信号処理部２４より出力された映
像信号に付加情報を重畳させるよう合成する。映像表示処理部２７は、映像信号処理部２
４より出力された映像信号または映像合成部２５によって付加情報が重畳された映像信号
を表示部２８に表示させるよう処理する。

図１８は、ビデオカメラ１１０をテレビジョン受像機３００に接続し、映像信号をテレ
ビジョン受像機３００の画面に表示させ、ステレオ音声信号による音声をテレビジョン受
像機３００に内蔵されているスピーカより発生させている状態を示している。図１８では
、リモートコントローラを操作部３０としている。テレビジョン受像機３００は、ビデオ
カメラ１１０外部の表示部である。

ユーザ４００が操作部３０によって、アレーマイクロホン１０によって収音して生成し
たマルチチャンネル音声信号を再生する所定の操作をしたら、制御部２０は、画像データ
発生部２６によって、映像信号に図１８に示すようなポインタ画像５１を示す付加情報信
号を発生させ、画面に表示されている画像にポインタ画像５１を重畳させる。ポインタ画
像５１は、予め設定した初期位置に表示させるようにすればよい。

図１９は、表示部２８及びテレビジョン受像機３００の画面に表示されている画像を示
している。アレーマイクロホン１０が図３の（ａ）に示すアレーマイクロホン１０Ａの場
合には、制御部２０は、画像データ発生部２６によって、映像信号に図１９に示すような
縦線の水平位置識別画像５２を示す付加情報信号を発生させ、画面に表示されている画像
に水平位置識別画像５２を重畳させることが好ましい。水平位置識別画像５２は、水平方
向の角度方向を区分けするための第１の識別画像である。

水平位置識別画像５２の本数は、マルチチャンネル音声信号のチャンネル数に対応した
本数することが好ましい。マルチチャンネル音声信号のチャンネル数が７であれば、水平
位置識別画像５２の本数を６本とすれば、画面を水平方向に７分割することができる。こ
の場合、画面は７つの領域に分割される。

ユーザ４００が操作部３０における例えば左右のカーソルキーによってポインタ画像５
１を左方向または右方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１
を左右方向に移動させる。図１９では、ポインタ画像５１は円内に右向きの矢印よりなる
画像であるが、ポインタ画像５１を左方向へと移動させたら、円内に左向きの矢印よりな
る画像とする。円内に右向きまたは左向きの矢印のポインタ画像５１は、マルチチャンネ
ル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加
情報に相当する。

アレーマイクロホン１０が図３の（ｂ）に示すアレーマイクロホン１０Ｂの場合には、
制御部２０は、画像データ発生部２６によって、映像信号に図２０に示すような縦線の水
平位置識別画像５２と横線の垂直位置識別画像５３それぞれを示す付加情報信号を発生さ
せ、画面に表示されている画像に水平位置識別画像５２及び垂直位置識別画像５３を重畳
させることが好ましい。垂直位置識別画像５３は、垂直方向の角度方向を区分けするため
の第２の識別画像である。

垂直位置識別画像５３の本数は、マルチチャンネル音声信号の垂直方向のチャンネル数
に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル
数が４であれば、垂直位置識別画像５３の本数を３本とすれば、画面を垂直方向に４分割
することができる。マルチチャンネル音声信号の水平方向のチャンネル数が７であれば、
水平位置識別画像５２と垂直位置識別画像５３によって画面は２８の領域に分割される。

ユーザ４００が操作部３０における例えば上下のカーソルキーによってポインタ画像５
１を上方向または下方向へと移動させる操作をしたら、制御部２０は、ポインタ画像５１
を上下方向に移動させる。ポインタ画像５１を上方向へと移動させたら、円内に上向きの
矢印よりなる画像とし、ポインタ画像５１を下方向へと移動させたら、円内に下向きの矢
印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる
。円内に上向きまたは下向きの矢印のポインタ画像５１は、マルチチャンネル音声信号に
おける垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当す
る。

図１９において、ユーザ４００が操作部３０における例えば決定キーを操作したら、制
御部２０は、マルチチャンネル音声信号のうち、ポインタ画像５１の位置に応じた再生す
べき角度方向のチャンネルを決定する。制御部２０は、映像音声再生処理部２１を制御し
て、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの
音声信号を記録しているトラックを再生させる。

このように、ビデオカメラ１１０は、ポインタ画像５１の水平方向の位置を移動させて
、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信
号を選択して再生させることができる。図２０において、右端部に位置しているこどもが
発している声を聞きたい場合には、ポインタ画像５１を右端部方向に移動させて決定キー
を操作すれば、そのこどもが発している声を再生して聞くことができる。

図２０の場合には、ポインタ画像５１の垂直方向の位置を移動させて、決定キーを操作
することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生
させることができる。

水平方向または垂直方向の角度方向を選択するための付加情報の画像は、図９，図１０
に示すようなポインタ画像５１に限定されるものではない。例えば、小さな円形画像でも
よい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい
。

図２１を用いて、映像信号及び音声信号を再生する指示がなされた場合の、ビデオカメ
ラ１１０による再生動作について改めて説明する。図２１において、制御部２０は、ステ
ップS301にて、記録されている映像信号（撮影コンテンツ）の再生指示がなされたか否か
を判定する。再生指示がなされなければ（NO）、制御部２０は、処理をステップS320に移
行させる。再生指示がなされたら（YES）、制御部２０は、ステップS302にて、映像信号
とステレオ音声信号を再生させる。

制御部２０は、ステップＳ303にて、ポインタ画像５１を表示させる指示があったか否
かを判定する。ここでは、ポインタ画像５１を用いる場合の動作について示す。制御部２
０は、指示があれば（YES）、処理をステップS304に移行させ、指示がなければ（NO）、
処理をステップS316に移行させる。制御部２０は、ステップS304にて、ポインタ画像５１
を初期位置に表示させる。

制御部２０は、ステップS305にて、ポインタ画像５１を移動させる指示があったか否か
を判定する。ポインタ画像５１を移動させる指示があれば（YES）、制御部２０は、ステ
ップS306にて、ポインタ画像５１を移動させる。ポインタ画像５１を移動させる指示がな
ければ（NO）、制御部２０は、処理をステップS307に移行させる。

制御部２０は、ステップS307にて、選択された角度方向の音声信号を再生する指示がな
されたか否かを判定する。制御部２０は、選択された角度方向の音声信号を再生する指示
がなされたら、処理をステップS308に移行させ、指示がなされなかったら、処理をステッ
プS317に移行させる。

制御部２０は、ステップS317にて、ポインタ画像５１の表示解除の指示があったか否か
を判定する。例えば、操作部３０における戻りキーを操作したら、ポインタ画像５１の表
示解除の指示があったとすればよい。ポインタ画像５１の表示解除の指示があれば（YES
）、制御部２０は、ステップS318にて、ポインタ画像５１の表示を解除して、処理をステ
ップS316に移行させる。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２
０は、処理をステップS305に戻す。

制御部２０は、ステップS308にて、ポインタ画像５１の位置から再生すべきトラック番
号を決定する。制御部２０は、ステップS309にて、決定したトラック番号の音声信号を再
生する。制御部２０は、ステップS310にて、再生しているトラック番号の音声信号の再生
を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら（YES）、制
御部２０は、ステップS311にて、再生している音声信号の再生を停止させ、処理をステッ
プS305に戻す。

再生停止の指示がなされなかったら（NO）、制御部２０は、ステップS312にて、ポイン
タ画像５１を移動させる指示があったか否かを判定する。制御部２０は、ポインタ画像５
１を移動させる指示があれば（YES）、処理をステップS308に戻し、ポインタ画像５１を
移動させる指示がなければ（NO）、処理をステップS313に移行させる。

制御部２０は、ステップS313にて、ポインタ画像５１の表示解除の指示があったか否か
を判定する。ポインタ画像５１の表示解除の指示がなければ（NO）、制御部２０は、処理
をステップS309に戻す。ポインタ画像５１の表示解除の指示があれば（YES）、制御部２
０は、ステップS314にて、ポインタ画像５１の表示を解除し、ステップS315にて、再生し
ている音声信号の再生を停止させて、ステップS316に移行させる。

制御部２０は、ステップS316にて、コンテンツデータの再生停止の指示がなされたか否
かを判定する。再生停止の指示がなされなければ（NO）、制御部２０は、処理をステップ
S302に戻す。再生停止の指示がなされたら（YES）、制御部２０は、ステップS319にて、
映像信号及びステレオ音声信号の再生を停止させて、処理をステップS320に移行させる。

制御部２０は、ステップS320にて、電源切断の指示がなされたか否かを判定する。電源
切断の指示がなされたら（YES）、制御部２０は、処理を終了させ、電源切断の指示がな
されなかったら（NO）、制御部２０は、処理をステップS301に戻す。

ところで、上記のステップS309では、単に決定したトラック番号の音声信号を再生する
と説明した。一般的には、図１８に示すテレビジョン受像機３００はステレオスピーカで
あり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向
の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生
することが必要である。

一般的に２チャンネルステレオでは、音の強度差をつけることによって音像定位の制御
ができる。ある音声信号が左（Ｌ）チャンネルには重み係数w_L、右（Ｒ）チャンネルには
w_Rの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカま
での角度をφ_０、正面から音声の定位位置までの角度をφ（正面から右側を正）とすると
、次式の関係になることが一般に知られている（非特許文献１、p.34参照）。ここで、φ
_０は表示装置の視野角に近いことが望ましい。
sinφ/sinφ_０＝（ｗ_L−ｗ_R）/（ｗ_L＋ｗ_R） …（３）

このことを利用して、音声出力処理部２２は、マルチチャンネル音声信号のうちの選択
したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号に
おけるＬチャンネルとＲチャンネルとに例えば次のように振り分ければよい。

マルチチャンネルのチャンネル数をN、マルチチャンネルの左端のチャンネルから順に
チャンネル番号ｎを1,2,3,…とすると、式（３）は次の式（４）のようになる。

例えば、水平方向にチャンネル数Nが７の場合を考える。ここで、THX（THX社の登録商
標）では2φ_０＝36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。
正面から左側へ１つ目、つまり左端から３つ目のチャンネルを選択した場合には、スピー
カ間の角度を２φ_０＝40°として、左辺分子のsin関数の変数部分のφ_０{(n-1)-(N-1)/2}
/Nより、40°・{(3-1)-(7-1)/2}/7＝約-5.71°、つまり約5.71°正面から左側にずれた位
置に定位させる必要がある。φ＝5.71°として式（４）より、ｗ_L：ｗ_R＝1.29：0.71＝0.
645：0.355となる。つまり、選択したチャンネルの音声信号を、Ｌチャンネルに35.5％、
Ｒチャンネルに64.5％で振り分ければよい。

正面から右側へ２つ目、つまり左端から６つ目のチャンネルを選択した場合には、同様
に式（４）より、Ｌチャンネルに21％、Ｒチャンネルに79％で振り分ければよい。

以上のようにすれば、ステレオ音声信号とマルチチャンネル音声信号のうちの選択した
チャンネルの音声信号とが自然に合成され、選択した位置（方向）の音声を的確に再生す
ることができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像
と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがな
い。

垂直方向に複数チャンネルを有するマルチチャンネル音声信号の場合には、例えば、複
数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数の
スピーカに対して比率を適宜設定して振り分ければよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しな
い範囲において種々変更可能である。

１０，１０Ａ，１０Ｂ アレーマイクロホン
１２，１２’ 音声信号演算部
１４ 指向性切替部
１７ ズーム調整部
１８ 映像撮影部
２０ 制御部
２２ 音声出力処理部
２３ スピーカ
２５ 映像合成部
２６ 画像データ発生部
２８ 表示部
６１ 音声認識部
６２ 音圧レベル演算部（収音レベル算出部）
６３ 周波数スペクトル分析部（収音レベル算出部）
６４ 音声認識レベル算出部（収音レベル算出部）

Claims (3)

1. 音声信号に含まれる人の声を認識し、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出する音声認識レベル算出部と、
   前記音声信号の増幅度を設定する音声信号増幅部と、
   前記音声認識レベル算出部が算出した音声認識レベルを示す音声認識レベル表示画像を、前記音声信号増幅部で設定されている増幅度に応じて変更した表示画像の画像データを発生する画像データ発生部と、
   を備えることを特徴とする画像データ発生装置。
2. 音声信号に含まれる人の声を認識し、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出する音声認識レベル算出部と、
   前記音声信号の増幅度を設定する音声信号増幅部と、
   前記音声認識レベル算出部が算出した音声認識レベルを示す音声認識レベル表示画像を、前記音声信号増幅部で設定されている増幅度に応じて変更した表示画像の画像データを発生する画像データ発生部と、
   を備え、
   前記画像データ発生部は、前記音声信号増幅部で設定されている増幅度に応じて、音声認識レベル表示画像の大きさ，形状，輝度，色，模様の少なくとも１つを変更することを特徴とする画像データ発生装置。
3. 音声信号に含まれる人の声を認識するステップと、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出するステップと、
   前記音声信号の増幅度を設定するステップと、
   算出した前記音声認識レベルを示す音声認識レベル表示画像を、前記増幅度に応じて変更した表示画像の画像データを発生するステップと、
   を備えることを特徴とする画像データ発生方法。
   

Images