JP6274251B2 - 画像データ発生装置及び画像データ発生方法 - Google Patents
画像データ発生装置及び画像データ発生方法 Download PDFInfo
- Publication number
- JP6274251B2 JP6274251B2 JP2016098598A JP2016098598A JP6274251B2 JP 6274251 B2 JP6274251 B2 JP 6274251B2 JP 2016098598 A JP2016098598 A JP 2016098598A JP 2016098598 A JP2016098598 A JP 2016098598A JP 6274251 B2 JP6274251 B2 JP 6274251B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- image
- unit
- voice
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
収音している音声の状況を容易に理解することができる撮像装置に関する。
って被写体からの音声を収音する。映像音声記録再生機能を搭載したビデオカメラにおい
ては、被写体を撮影した動画像の映像情報と、撮影中に収音した音声情報とを記録し再生
する。
はステレオマイクロホンである。モノラルマイクロホンで音声を収音する場合、音声は、
音声が発生する位置にかかわらず1チャンネルの音声信号として記録される。ステレオマ
イクロホンで音声を収音する場合、左右それぞれの音声が2チャンネルの音声信号として
記録される。
、画角内の複数の位置それぞれで発生する音声を的確に収音することは困難である。
側または右側端部で動物が鳴いて音を発生させたとする。このような状況で、動物が発生
させた音を的確に収音して記録することは難しい。そこで、画角内の複数の位置のいずれ
かで発生する音声を的確に収音できることが求められる。
に収音できているか否か等、ユーザが、収音している音声の状況を容易に理解することが
できることが求められる。
声を的確に収音することができ、ユーザが、収音している音声の状況を容易に理解するこ
とができる撮像装置を提供することを目的とする。
音することができ、ユーザが、収音している音声の状況を容易に理解することができる。
像装置は映像音声記録再生機能を搭載したビデオカメラを例とする。
オマイクロホン11を備える。ステレオマイクロホン11の代わりにモノラルマイクロホ
ンとしてもよいし、ステレオマイクロホン11を省略してアレーマイクロホン10のみと
してもよい。但し、ステレオマイクロホン11を備える方が好ましい。
200の例を示している。アレーマイクロホン10とステレオマイクロホン11は、ビデ
オカメラ110の筺体上面に例えば図2に示すように配置されている。図2に示す配置は
単なる例であり、アレーマイクロホン10とステレオマイクロホン11の筺体上の位置、
互いの位置関係は任意である。
を水平方向に一列に配列させた構成を有する。水平方向に隣接する2つのマイクロホン素
子MEの中心間距離はdである。図3の(a)に示すマイクロホン素子MEが水平一列の
アレーマイクロホン10をアレーマイクロホン10Aとする。
の水平一列の配列10b1,10b2,10b3を垂直方向に配列させた構成であってもよい。
垂直方向に隣接する2つのマイクロホン素子MEの中心間距離はdである。図3の(b)
に示す水平一列のマイクロホン素子MEを垂直方向に複数配列させたアレーマイクロホン
10をアレーマイクロホン10Bとする。ここで、垂直方向に隣接する2つのマイクロホ
ン素子MEの中心間距離はdでなくてもよい。
10Aまたは図3の(b)に示すアレーマイクロホン10Bである。図3の(a),(b
)では、マイクロホン素子MEを水平方向に6個としているが、マイクロホン素子MEの
水平方向の個数は6個に限定されない。アレーマイクロホン10Bは、垂直方向に3列と
しているが、垂直方向の配列個数も3個に限定されない。また、アレーマイクロホン10
は一直線状や一平面状への配置に限定されない。
度とすると、左右それぞれ90度までの方向の指向性を有する音声を収音することができ
る。アレーマイクロホン10Bは、左右それぞれ90度までの方向と上下それぞれ90度
までの方向の指向性を有する音声を収音することができる。
に入力されて、後述する演算処理が施される。音声信号演算部12は、アレーマイクロホ
ン10Aからの音声信号を演算処理する。音声信号演算部12’は、アレーマイクロホン
10Bからの音声信号を演算処理する。音声信号演算部12(12’)は、ビデオカメラ
110が撮影している撮影範囲である画角と予め設定した所定の分解能とによって決まる
チャンネル数の音声信号を演算処理によって生成して出力する。ここでの分解能とは、周
音の角度分解能のことである。
、音声信号演算部12(12’)より出力された所定のチャンネル数の音声信号(マルチ
チャンネル音声信号)とをそれぞれ増幅する。音声信号増幅部13によって増幅された音
声信号は、映像音声記録処理部16及びスイッチ65の端子Taに供給される。
部62,周波数スペクトル分析部63,音声認識レベル算出部64にも供給される。音声
認識部61は、複数の語彙を登録している辞書611を有する。
チャンネル音声信号として入力される音の中から、人が発している音声を認識する。音圧
レベル演算部62は音声信号増幅部13から入力された信号の音圧レベルを演算する。周
波数スペクトル分析部63は音声信号増幅部13から入力された信号の複数に分割された
音声周波数帯ごとの音圧レベルを演算する。音声認識レベル算出部64は、音声認識処理
に使用したメモリデータ量に基づいて音声認識レベルを算出する。これによって人の声の
認識度合いを数値化できる。
マルチチャンネル音声信号における1または複数の角度方向の音声信号の収音レベルを算
出する収音レベル算出部の例である。音圧レベル演算部62が求める音圧レベルと、周波
数スペクトル分析部63が分析する音声の周波数スペクトルと、音声認識レベル算出部6
4が算出する音声認識レベルを、人が発している音声の収音レベルと総称することとする
。
圧レベルを演算によって求めてもよい。周波数スペクトル分析部63は、音声認識部61
によって認識された人が発している音声の周波数スペクトルを分析してもよい。
れた音声信号が音声出力処理部22へと供給される。スイッチ65が端子Tbに接続して
いる状態では、記録媒体40に記録された音声信号が映像音声再生処理部21を介して音
声出力処理部22へと供給される。
ることができる。操作部30によって、音量を増加または減少させる指示がなされたら、
制御部20は、音声出力処理部22における音声信号の増幅度を制御する。また、音声信
号を、音声出力端子29aより外部へと出力させることができる。
整する操作がなされたら、ズーム調整部17は、指定されたズーム倍率となるよう映像撮
影部18を制御する。操作部30は、ビデオカメラ110の筐体に設けられている操作部
またはビデオカメラ110を遠隔制御するリモートコントローラである。映像撮影部18
は、ズームレンズと、CCDまたはCMOSの撮像素子とを有する。ズーム調整部17に
よるズーム調整によって決まる実効焦点距離を示す情報は、指向性切替部14に入力され
る。
メラ110によって映像情報が取り込まれる撮影範囲は、破線で囲んだ画角201の部分
である。画角201は、ズーム調整部17によるズーム調整によって大きくなったり小さ
くなったりする。指向性切替部14は、実効焦点距離に基づいて、画角201の大きさで
あるビデオカメラ110が実際に撮影している水平方向及び垂直方向の角度範囲を知るこ
とができる。
、指向性切替部14に設定する分解能を可変できるようにしてもよい。指向性切替部14
は、実効焦点距離に基づいて画角201の情報を得るようにしているが、他の方法によっ
て画角201の情報を得るようにしてもよい。
決まるチャンネル数それぞれのチャンネルの音声信号を演算処理して出力するよう、音声
信号演算部12(12’)を制御する。指向性情報生成部15は、音声信号演算部12(
12’)が生成するそれぞれのチャンネルの音声信号の指向性情報を生成して、映像音声
記録処理部16に供給する。指向性情報は、例えば、水平方向または垂直方向のどの角度
方向からの音声信号であるかを示す。
号処理部19は、入力された映像信号をA/D変換して所定の信号処理を施す。映像信号
処理部19によって所定の信号処理が施された映像信号は、映像音声記録処理部16及び
スイッチ66の端子Taに供給される。
号を表示部28に表示させるよう、映像信号処理部19より出力された映像信号が映像信
号処理部24へと供給される。スイッチ66が端子Tbに接続している状態では、記録媒
体40に記録されて再生された映像号号を表示部28に表示させるよう、映像音声再生処
理部21より出力された映像信号が映像信号処理部24へと供給される。
。映像合成部25は、画像データ発生部26が画像データを発生している場合には、制御
部20の制御に基づいて、映像信号処理部24より出力された映像信号に付加情報を重畳
させるよう合成する。映像表示処理部27は、映像信号処理部24より出力された映像信
号または映像合成部25によって付加情報が重畳された映像信号を表示部28に表示させ
るよう処理する。
いる液晶パネルである。映像信号を、映像出力端子29vより外部へと出力させることが
できる。
指向性を有するマルチチャンネル音声信号と、指向性情報生成部15より出力された指向
性情報と、映像信号処理部19より出力された映像信号とを所定の信号形式のデータとし
て、記録媒体40に記録する。映像音声記録処理部16は、映像信号及び音声信号を所定
の圧縮処理方式で圧縮して記録媒体40に記録してもよい。
クで記録される。記録媒体40は、半導体メモリやハードディスク・ドライブ等のビデオ
カメラ110に内蔵されている記録媒体でもよいし、メモリカード等の着脱自在の記録媒
体でもよい。
れている映像信号と、ステレオ音声信号と、マルチチャンネル音声信号及び指向性情報を
読み出して再生処理を施す。ステレオ音声信号及びマルチチャンネル音声信号は、スイッ
チ65の端子Tbに供給される。映像信号は、スイッチ66の端子Tbに供給される。指
向性情報は、制御部20に供給される。
に演算処理して生成するかについて説明する。図4では、アレーマイクロホン10Aを例
にして説明する。アレーマイクロホン10Aのマイクロホン素子MEの破線で示す配列方
向に対する法線をL0とする。法線L0の方向を0度とする。音声の入射方向が0度であ
れば、それぞれのマイクロホン素子MEにはほぼ同時に音声が到達する。
合を考える。アレーマイクロホン10Aに対して直線L30の方向から音声が入射すると、
6つのマイクロホン素子MEの中央を基準位置として、右側の3つのマイクロホン素子M
EにはそれぞれDL1,DL2,DL3なる遅延時間で音声が到達する。左側の3つのマイクロホ
ン素子MEにはそれぞれ基準位置よりも早く音声が到達することになり、負の遅延時間で
ある-DL1,-DL2,-DL3なる遅延時間で音声が到達する。
延させれば、アレーマイクロホン10Aの法線L0に対して30度の角度である直線L30
の方向から音声を収音することができることになる。実際には、負の遅延時間で音声を遅
延させることはできないため、例えば、最も左に位置するマイクロホン素子MEの遅延時
間を0として、右側のマイクロホン素子MEほど遅延時間を多くするように遅延させれば
、30度の方向からの音声を収音することができる。
声を法線方向からの左右の角度に応じた遅延時間だけ遅延させれば、水平方向の複数の角
度方向からの音声を収音することができる。同様にして、アレーマイクロホン10Bの場
合には、収音する音声を上下方向の角度に応じた遅延時間だけ遅延させれば、垂直方向の
複数の角度方向からの音声を収音することができる。
れの角度方向からの指向性を有する音声信号を演算処理して生成する。まず、図5を用い
て、アレーマイクロホン10Aからの音声信号を演算処理する音声信号演算部12の具体
的構成及び動作を説明する。
、増幅器123とを備える。可変遅延器121a〜121fは、マイクロホン素子MEの数に対応
して設けられている。可変遅延器121a〜121fには、制御部20から、可変遅延器121a〜12
1fそれぞれの遅延時間を設定するための水平遅延制御信号Sdlchが入力される。
声信号演算部12は、法線方向である0度、右方向に10度,20度,30度、左方向に
10度,20度,30度の7チャンネル分の方向の音声信号を演算処理して生成する。画
角201が水平方向30度であれば、4チャンネル分となる。制御部20は、それぞれの
チャンネルの方向とするための遅延時間を設定するための水平遅延制御信号Sdlchを、可
変遅延器121a〜121fに供給する。
30度、左方向に10度,20度,30度の7チャンネル分の音声信号を生成するための
それぞれの遅延時間を設定するよう、水平遅延制御信号Sdlchを順次切り替えて可変遅延
器121a〜121fに供給する。
対応した遅延時間に設定されている可変遅延器121a〜121fによって遅延される。加算器1
22は、可変遅延器121a〜121fより出力された音声信号を全て加算し、増幅器123は、
加算器122より出力された加算音声信号を増幅して、1つのチャンネルの音声信号とし
て出力する。音声信号演算部12は、水平遅延制御信号Sdlchによって可変遅延器121a〜
121fによるそれぞれのチャンネルに対応した遅延時間に設定することにより、7チャンネ
ル分の音声信号を順次生成して出力する。
号演算部12’の具体的構成及び動作を説明する。図6に示すように、音声信号演算部1
2’は、水平遅延部12b1,12b2,12b3と、垂直遅延部124と、加算器125と、
増幅器126とを備える。水平遅延部12b1,12b2,12b3は、図3の(b)に示すマ
イクロホン素子MEの配列10b1,10b2,10b3に対応して設けられている。
2b2は、可変遅延器121a2〜121f2と加算器1222とを有する。水平遅延部12b3は、可変遅
延器121a3〜121f3と加算器1223とを有する。可変遅延器121a1〜121f1,121a2〜121f2,12
1a3〜121f3には、図5で説明した水平遅延制御信号Sdlchが入力される。水平遅延部12
b1,12b2,12b3それぞれの動作は、図5の可変遅延器121a〜121f及び加算器122の
部分と同じである。
12b2,12b3より出力された音声信号に基づいて、画角201の垂直方向の角度と分解
能とで決まるそれぞれの指向性を有する声信号を生成するための垂直遅延制御信号Sdlcv
が入力される。水平遅延部12b1,12b2,12b3より出力された音声信号は、垂直方向
のいずれかのチャンネルに対応した遅延時間に設定されている可変遅延器1241〜1243によ
って遅延される。
126は、加算器125より出力された加算音声信号を増幅して、1つのチャンネルの音
声信号として出力する。音声信号演算部12’は、垂直遅延制御信号Sdlcvによって可変
遅延器1241〜1243によるそれぞれの垂直方向のチャンネルに対応した遅延時間に設定する
ことにより、複数チャンネル分の音声信号を順次生成して出力する。
向のチャンネル数をmとすれば、n×mチャンネルの音声信号を生成することになる。
ている被写体の映像信号を表示部28に表示させ、撮影中に収音している状態において、
マルチチャンネル音声信号のうち選択した1または複数のチャンネルの音声信号の収音レ
ベルを表示部28に表示させることができる。
は、画像データ発生部26によって、表示部28に表示された画像280の例えば水平方
向中央の下端部に、例えばマイクロホンの画像を用いたポインタ画像154を表示させる
。制御部20は、ポインタ画像154の向きが調整されて決定されたら、ポインタ画像1
54が向いている方向が示すチャンネルの音声信号の収音レベルを示す収音レベル表示画
像を画像280に重畳させる。
レベル演算部62によって求めた音圧レベルに基づいた音圧レベル表示画像71を画像2
80の右下端部に表示させている。ここでは画像280の右下端部を、音圧レベル表示画
像71を表示させる固定位置としている。音圧レベル表示画像71を表示させる位置は任
意である。音圧レベル表示画像71を表示させる位置を変更可能としてもよい。
のセグメント71SGを表示させた画像である。1または複数のセグメント71SGの代わり
に、数値で音圧レベルを示してもよい。
画像154の代わりに、くさび状の画像よりなる2つのポインタ画像155a,155bを表示さ
せ、ポインタ画像155a,155bが向いている方向にマイクロホンの画像を用いたポインタ画
像154a,154bを表示させたものである。ここでは、くさび状の画像を2つ、マイクロホン
の画像を2つとしているが、それぞれ3個以上であってもよい。
像154a,154bを表示させ、ポインタ画像154a,154bが向いている方向が示すチャンネルの
音声信号の音圧レベル表示画像71を画像280に重畳させる。ポインタ画像155a,155b
とポインタ画像154a,154bとを同時に表示した状態で、ポインタ画像155a,155bの向きを
調整するようにしてもよい。ポインタ画像154a,154bや音圧レベル表示画像71の表示位
置を調整可能にしてもよい。
にポインタ画像154a,154bや音圧レベル表示画像71を表示させてもよい。この場合、映
像信号処理部19より出力された映像信号を制御部20に入力すればよい。顔認識部を制
御部20とは別に設けてもよい。
縦線の水平領域分割線155を表示させ、画像280を水平方向に3つの領域R1〜R3
に分割させたものである。実線両矢印で示すように、水平領域分割線155は左右に移動
可能である。ユーザが操作30を操作することによって水平領域分割線155を移動させ
る操作をすると、制御部20は、水平領域分割線155を重畳する位置を移動させるよう
映像合成部25を制御する。
3それぞれの下端部に音圧レベル表示画像72を表示させる。制御部20は、領域R1〜
R3の水平方向の中央に位置する(または中央に最も近い)チャンネルの音声信号の音圧
レベルを求めて音圧レベル表示画像72を表示させればよい。
る。音圧レベル表示画像72は、音圧レベル表示画像71と同様、矩形形状の内部に、音
圧レベルに応じた個数のセグメント72SGを表示させた画像である。図9において、音圧
レベル表示画像72の代わりに、音圧レベル表示画像71を表示させてもよい。但し、図
9に示すような水平方向の領域分割の場合には、音圧レベル表示画像72を表示させる方
が好ましい。
る。図10の(a),(b)に示す例は、制御部20が、画像データ発生部26によって
、例えば破線よりなる縦線の水平領域分割線155と横線の垂直領域分割線156とを表
示させ、画像280を水平方向に3つ、垂直方向に2つの6つの領域R11〜R13,R
21〜R23に分割させたものである。実線両矢印で示すように、水平領域分割線155
は左右に移動可能であり、垂直領域分割線156は上下に移動可能である。
せた状態が図10の(b)である。
定されたら、R11〜R13それぞれの上端部に音圧レベル表示画像72を表示させ、領
域R21〜R23それぞれの下端部に音圧レベル表示画像72を表示させる。制御部20
は、領域R11〜R13,R21〜R23の水平方向の中央に位置(または中央に最も近
い)し、垂直方向の中央に位置する(または中央に最も近い)チャンネルの音声信号の音
圧レベルを求めて音圧レベル表示画像72を表示させればよい。
表示画像71,72を画像280に重畳させる例を示している。音圧レベル表示画像71
,72の代わりに、周波数スペクトル分析部63が分析した周波数スペクトルを示す画像
や、音声認識レベル算出部64が算出した音声認識データ量を示す画像を重畳させてもよ
い。
ル分析部63が分析した周波数スペクトルを示す周波数スペクトル表示画像73の一例で
ある。周波数スペクトル表示画像73は、セグメント73SGの数によって、周波数f1〜
fnまでそれぞれの周波数帯域におけるレベルを表している。
識レベル表示画像75の一例である。音声認識レベル表示画像75は、セグメント75SG
の数によって音声認識レベルを表している。ここでは音声認識レベル表示画像75を音圧
レベル表示画像71と同じ形状の図形としているが、音圧レベル表示画像71と音声認識
レベル表示画像75とを互いに異なる形状の図形としてもよい。
ル表示画像72のように、セグメント73SG,75SGが水平方向に増減する図形としても
よい。
ルチチャンネル音声信号のそれぞれのチャンネルを個別に増幅することができる。音声信
号増幅部13は、選択した1または複数のチャンネルの音声信号のみ増幅することも可能
である。
号の増幅度を例えば−3[dB]とし、ポインタ画像154bが向いている方向が示すチャンネル
の音声信号の増幅度を例えば3[dB]とした場合を示している。図12では、増幅度を−3
[dB]とすることによって、音圧レベル表示画像71が小さな音圧レベル表示画像71Sに
変更され、増幅度を3[dB]とすることによって、音圧レベル表示画像71が大きな音圧レ
ベル表示画像71Lに変更されている。
ることによって、ユーザは、どのチャンネルの音声信号の増幅度が調整されているかを容
易に認識することができる。即ち、ユーザは、収音している音声の状況を容易に理解する
ことができる。
ンネルの音声信号の増幅度を調整した状態を示している。領域R1においては、音声信号
の増幅度が3[dB]で大きな音圧レベル表示画像72Lが表示されている。領域R2におい
ては、音声信号の増幅度が−3[dB]で小さな音圧レベル表示画像72Sが表示されている
。領域R3においては、音声信号の増幅度が0[dB]で基準となる通常の大きさである中間
の大きさの音圧レベル表示画像72Mが表示されている。音圧レベル表示画像72Mは、
図9の音圧レベル表示画像72と同じである。
ぞれのチャンネルの音声信号の増幅度を調整した状態を示している。領域R11,R12
,R22においては、音声信号の増幅度が−3[dB]で小さな音圧レベル表示画像72Sが
表示されている。領域R13,R21においては、音声信号の増幅度が3[dB]で大きな音
圧レベル表示画像72Lが表示されている。領域R23においては、音声信号の増幅度が
0[dB]で中間の大きさの音圧レベル表示画像72Mが表示されている。
を変更したが、他の表示方法によって、それぞれのチャンネルの音声信号の増幅度を表す
ようにしてもよい。例えば、図15の(a)〜(c)に示すように、増幅度小を示す音圧
レベル表示画像77Sと、増幅度中を示す音圧レベル表示画像77Mと、増幅度大を示す
音圧レベル表示画像77Lとを用いてもよい。音圧レベル表示画像77S,77M,77
Lは、垂直方向中央部の横幅が増幅度の程度を示している。
じて、音圧レベル表示画像の大きさや形状を異ならせた画像データを発生すればよい。大
きさや形状に加えて、輝度や色、模様を異ならせてもよい。また、制御部20は、これら
の音圧レベル表示画像の大きさや形状、輝度や色、模様を経時的に変化させるよう、画像
データ発生部26を制御してもよい。
増幅度が大きいほど明るくすることが好ましい。音圧レベル表示画像の色を異ならせる場
合には、増幅度が小さいほど寒色方向とし、増幅度が大きいほど暖色方向にすることが好
ましい。さらに、制御部20は、音圧レベル表示画像の大きさや形状、輝度や色、模様を
周期的に変化させ、増幅度が大きいほど変化する周期を短くするよう、画像データ発生部
26を制御してもよい。
識レベル表示画像75でも、同様に、それぞれのチャンネルの音声信号の増幅度に応じて
大きさ、形状、輝度、色、模様の少なくとも1つを異ならせてもよい。画像データ発生部
26は、収音レベル表示画像の大きさ,形状,輝度,色,模様の少なくとも1つを音声信
号増幅部13で設定されている増幅度に応じて変更する画像データを発生すればよい。
画像の表示動作について改めて説明する。図16において、ビデオカメラ110の電源が
投入されると、制御部20は、ステップS101にて、被写体の撮影を開始させる。制御部2
0は、ステップS102にて、操作部30よって収音レベルを表示させる指示があったか否か
を判定する。収音レベルを表示させる指示があれば(YES)、処理をステップS103に移行
させ、収音レベルを表示させる指示がなければ(NO)、処理をステップS121に移行させる
。
判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源
を切断して処理を終了させる。撮影終了の指示がなければ(NO)、ステップS102を繰り返
す。
せる。図7におけるポインタ画像154、図8におけるポインタ画像155a,155b、図9ま
たは図10における水平領域分割線155及び垂直領域分割線156は位置指示画像の例
である。
を判定する。表示解除の指示があれば(YES)、制御部20は、ステップS124にて、位置
指示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなければ(NO
)、制御部20は、ステップS105にて、位置指示画像を移動させる指示があったか否かを
判定する。
位置指示画像を移動させて、ステップS107に移行させる。位置指示画像を移動させる指示
がなければ(NO)、ステップS107に移行させる。制御部20は、ステップS107にて、位置
指示画像の表示を解除する指示があったか否かを判定する。表示解除の指示があれば(YE
S)、制御部20は、ステップS124にて、位置指示画像の表示を解除して、処理をステッ
プS101に戻す。表示解除の指示がなければ(NO)、制御部20は、処理をステップS108に
移行させる。
を判定する。位置決定の指示があれば(YES)、制御部20は、処理をステップS109に移
行させ、位置決定の指示がなければ(NO)、制御部20は、処理をステップS122に移行さ
せる。
判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源
を切断して処理を終了させる。撮影終了の指示がなければ(NO)、処理をステップS107に
戻す。
替部14は、制御部20の制御に基づいて、ステップS110にて、実効焦点距離を取得する
。指向性切替部14は、ステップS111にて、画角と分解能からチャンネル数を決定する。
ここでのチャンネル数とは、アレーマイクロホン10によって収音して生成するマルチチ
ャンネル音声信号のチャンネル数である。
01の幅)をLW、垂直方向の長さ(画角201の高さ)をLHとすれば、画角201の
水平方向の角度αWと垂直方向の角度αHは次の式(1),(2)ようにして求めること
ができる。
αW=2tan-1(LW/2f) …(1)
αH=2tan-1(LH/2f) …(2)
、予め設定されている分解能とから水平方向及び垂直方向のチャンネル数を決定すること
ができる。
ルの角度方向の遅延時間を決定する。音声信号演算部12(12’)は、ステップS113に
て、その角度方向の収音を演算処理する。音圧レベル演算部62,周波数スペクトル分析
部63,音声認識レベル算出部64は、制御部20の制御に基づいて、ステップS114にて
、収音レベルを算出する。制御部20は、ステップS115にて、図7〜図11で説明したよ
うに、収音レベル表示画像を画像280に重畳させた状態で表示させる。
かを判定する。表示解除の指示があれば(YES)、制御部20は、ステップS125にて、収
音レベル表示画像の表示を解除して、処理をステップS101に戻す。表示解除の指示がなけ
れば(NO)、制御部20は、ステップS117にて、ズーム倍率が変更されたか否かを判定す
る。ズーム倍率が変更されたら(YES)、制御部20は、ステップS118にて、収音レベル
を示す画像の表示位置を変更する必要があるか否かを判定する。
音レベル表示画像を表示することができない場合が発生する。収音レベル表示画像の表示
位置を変更する必要があれば(YES)、制御部20は、ステップS119にて、収音レベル表
示画像が画角内となるよう収音レベル表示画像の位置を変更して、処理をステップS120に
移行させる。
レベル表示画像の表示位置を変更する必要がなければ(NO)、制御部20は、ステップS1
20にて、収音レベル表示画像の表示解除の指示があったか否かを判定する。表示解除の指
示があれば(YES)、制御部20は、ステップS125にて、収音レベル表示画像の表示を解
除して、処理をステップS101に戻す。
り撮影終了の指示があったか否かを判定する。撮影終了の指示があれば(YES)、制御部
20は、ビデオカメラ110の電源を切断して処理を終了させる。撮影終了の指示がなけ
れば(NO)、制御部20は、処理をステップS116に戻す。
示画像の表示位置を変更しているが、ズーム倍率の変更があったら、収音レベル表示画像
の表示を解除してもよい。併せて、位置指示画像の表示を解除してもよい。また、ズーム
倍率の変更があったら、収音レベル表示画像が画角内に入っているときのみ表示を継続さ
せ、画角から外れたら表示を解除してもよい。同様に、収音レベルを示す画像の表示を解
除するに併せて位置指示画像の表示を解除してもよい。
ルの角度方向の遅延時間を決定し、ステップS113にて、その角度方向の収音を演算処理し
ている。マルチチャンネル音声信号における全ての角度方向の遅延時間を決定し、全ての
角度方向の収音を演算処理して、位置指示画像が示す位置に対応したチャンネルの角度方
向の収音の演算処理結果のみを用いるようにしてもよい。
ラ110による記録動作について説明する。図16で説明したマルチチャンネル音声信号
におけるいずれかのチャンネルの音声信号の収音レベル表示画像を表示させる動作の途中
において、記録動作を実行させることが可能である。また、図16で説明した動作とは無
関係に記録動作を実行させることが可能である。図17では、説明を簡略化するため、図
16の表示動作と関連させず、記録動作のみを説明することとする。
の撮影を開始させる。制御部20は、ステップS202にて、操作部30よって記録開始の指
示があったか否かを判定する。記録開始の指示がなければ(NO)、制御部20は、処理を
ステップS211に移行させる。
距離を取得する。指向性切替部14は、ステップS204にて、画角と分解能からチャンネル
数を決定する。図16にて説明したように、前述の式(1),(2)より求めた画角20
1の水平方向の角度αWと垂直方向の角度αHと、予め設定されている分解能とから水平
方向及び垂直方向のチャンネル数を決定することができる。
遅延時間を決定する。音声信号演算部12(12’)は、ステップS206にて、それぞれの
角度方向の収音を演算処理する。
れぞれの角度方向の音声信号と、角度方向を示す指向性情報とを記録媒体40に記録させ
る。映像音声記録処理部16は、それぞれの角度方向の音声信号をマルチトラックで記録
させる。
倍率が変更されたら(YES)、処理をステップS203に戻す。ズーム倍率が変更されなかっ
たら(NO)、制御部20は、ステップS209にて、記録終了の指示があったか否かを判定す
る。記録終了の指示がなければ(NO)、処理をステップS206に戻す。記録終了の指示があ
れば(YES)、制御部20は、ステップS210にて、記録停止の処理を実行させ、処理をス
テップS211に移行させる。
判定する。撮影終了の指示があれば(YES)、制御部20は、ビデオカメラ110の電源
を切断して処理を終了させる。撮影終了の指示がなければ(NO)、処理をステップS202に
戻す。
の収音レベル表示画像を表示させる動作の途中において、記録動作を実行させる場合には
、次のようにすればよい。図16のフローの所定の位置に、図17のステップS202のよう
な記録開始の指示があったか否かを判定するステップを設ける。そして、記録開始の指示
があった場合には、図17のステップS205〜S207,S209,S210と同様のステップを設ける
。
図1において、操作部30によって記録媒体40に記録されている映像信号(撮影コンテ
ンツ)を再生する操作がなされると、映像音声再生処理部21は、制御部20による制御
に基づいて、記録媒体40に記録されている映像信号及びステレオ音声信号を読み出して
再生処理を施す。
されている場合には、映像音声再生処理部21は、映像信号及びステレオ音声信号を伸長
する。マルチチャンネル音声信号及び指向性情報は、後述する特定の操作がなされると、
記録媒体40より読み出される。映像音声再生処理部21より出力されたステレオ音声信
号は、音声出力処理部22に入力される。音声出力処理部22は、ステレオ音声信号に基
づいた音をスピーカ23より発生させる。
処理される。映像合成部25は、画像データ発生部26が上述した収音レベル表示画像の
画像データ等の付加情報を発生している場合には、映像信号処理部24より出力された映
像信号に付加情報を重畳させるよう合成する。映像表示処理部27は、映像信号処理部2
4より出力された映像信号または映像合成部25によって付加情報が重畳された映像信号
を表示部28に表示させるよう処理する。
ビジョン受像機300の画面に表示させ、ステレオ音声信号による音声をテレビジョン受
像機300に内蔵されているスピーカより発生させている状態を示している。図18では
、リモートコントローラを操作部30としている。テレビジョン受像機300は、ビデオ
カメラ110外部の表示部である。
たマルチチャンネル音声信号を再生する所定の操作をしたら、制御部20は、画像データ
発生部26によって、映像信号に図18に示すようなポインタ画像51を示す付加情報信
号を発生させ、画面に表示されている画像にポインタ画像51を重畳させる。ポインタ画
像51は、予め設定した初期位置に表示させるようにすればよい。
している。アレーマイクロホン10が図3の(a)に示すアレーマイクロホン10Aの場
合には、制御部20は、画像データ発生部26によって、映像信号に図19に示すような
縦線の水平位置識別画像52を示す付加情報信号を発生させ、画面に表示されている画像
に水平位置識別画像52を重畳させることが好ましい。水平位置識別画像52は、水平方
向の角度方向を区分けするための第1の識別画像である。
本数することが好ましい。マルチチャンネル音声信号のチャンネル数が7であれば、水平
位置識別画像52の本数を6本とすれば、画面を水平方向に7分割することができる。こ
の場合、画面は7つの領域に分割される。
1を左方向または右方向へと移動させる操作をしたら、制御部20は、ポインタ画像51
を左右方向に移動させる。図19では、ポインタ画像51は円内に右向きの矢印よりなる
画像であるが、ポインタ画像51を左方向へと移動させたら、円内に左向きの矢印よりな
る画像とする。円内に右向きまたは左向きの矢印のポインタ画像51は、マルチチャンネ
ル音声信号における水平方向のいずれかの角度方向からの音声信号を選択するための付加
情報に相当する。
制御部20は、画像データ発生部26によって、映像信号に図20に示すような縦線の水
平位置識別画像52と横線の垂直位置識別画像53それぞれを示す付加情報信号を発生さ
せ、画面に表示されている画像に水平位置識別画像52及び垂直位置識別画像53を重畳
させることが好ましい。垂直位置識別画像53は、垂直方向の角度方向を区分けするため
の第2の識別画像である。
に対応した本数することが好ましい。マルチチャンネル音声信号の垂直方向のチャンネル
数が4であれば、垂直位置識別画像53の本数を3本とすれば、画面を垂直方向に4分割
することができる。マルチチャンネル音声信号の水平方向のチャンネル数が7であれば、
水平位置識別画像52と垂直位置識別画像53によって画面は28の領域に分割される。
1を上方向または下方向へと移動させる操作をしたら、制御部20は、ポインタ画像51
を上下方向に移動させる。ポインタ画像51を上方向へと移動させたら、円内に上向きの
矢印よりなる画像とし、ポインタ画像51を下方向へと移動させたら、円内に下向きの矢
印よりなる画像する。この際、円内の矢印の先が領域の中央を指し示すように表示させる
。円内に上向きまたは下向きの矢印のポインタ画像51は、マルチチャンネル音声信号に
おける垂直方向のいずれかの角度方向からの音声信号を選択するための付加情報に相当す
る。
御部20は、マルチチャンネル音声信号のうち、ポインタ画像51の位置に応じた再生す
べき角度方向のチャンネルを決定する。制御部20は、映像音声再生処理部21を制御し
て、決定したチャンネルの角度方向を示す指向性情報に基づいて、決定したチャンネルの
音声信号を記録しているトラックを再生させる。
、決定キーを操作することによって、水平方向それぞれの角度方向のチャンネルの音声信
号を選択して再生させることができる。図20において、右端部に位置しているこどもが
発している声を聞きたい場合には、ポインタ画像51を右端部方向に移動させて決定キー
を操作すれば、そのこどもが発している声を再生して聞くことができる。
することによって、垂直方向それぞれの角度方向のチャンネルの音声信号を選択して再生
させることができる。
に示すようなポインタ画像51に限定されるものではない。例えば、小さな円形画像でも
よい。また、ポインタ画像の代わりに分割領域をハイライト、グレーアウトさせてもよい
。
ラ110による再生動作について改めて説明する。図21において、制御部20は、ステ
ップS301にて、記録されている映像信号(撮影コンテンツ)の再生指示がなされたか否か
を判定する。再生指示がなされなければ(NO)、制御部20は、処理をステップS320に移
行させる。再生指示がなされたら(YES)、制御部20は、ステップS302にて、映像信号
とステレオ音声信号を再生させる。
かを判定する。ここでは、ポインタ画像51を用いる場合の動作について示す。制御部2
0は、指示があれば(YES)、処理をステップS304に移行させ、指示がなければ(NO)、
処理をステップS316に移行させる。制御部20は、ステップS304にて、ポインタ画像51
を初期位置に表示させる。
を判定する。ポインタ画像51を移動させる指示があれば(YES)、制御部20は、ステ
ップS306にて、ポインタ画像51を移動させる。ポインタ画像51を移動させる指示がな
ければ(NO)、制御部20は、処理をステップS307に移行させる。
されたか否かを判定する。制御部20は、選択された角度方向の音声信号を再生する指示
がなされたら、処理をステップS308に移行させ、指示がなされなかったら、処理をステッ
プS317に移行させる。
を判定する。例えば、操作部30における戻りキーを操作したら、ポインタ画像51の表
示解除の指示があったとすればよい。ポインタ画像51の表示解除の指示があれば(YES
)、制御部20は、ステップS318にて、ポインタ画像51の表示を解除して、処理をステ
ップS316に移行させる。ポインタ画像51の表示解除の指示がなければ(NO)、制御部2
0は、処理をステップS305に戻す。
号を決定する。制御部20は、ステップS309にて、決定したトラック番号の音声信号を再
生する。制御部20は、ステップS310にて、再生しているトラック番号の音声信号の再生
を停止する指示がなされたか否かを判定する。再生停止の指示がなされたら(YES)、制
御部20は、ステップS311にて、再生している音声信号の再生を停止させ、処理をステッ
プS305に戻す。
タ画像51を移動させる指示があったか否かを判定する。制御部20は、ポインタ画像5
1を移動させる指示があれば(YES)、処理をステップS308に戻し、ポインタ画像51を
移動させる指示がなければ(NO)、処理をステップS313に移行させる。
を判定する。ポインタ画像51の表示解除の指示がなければ(NO)、制御部20は、処理
をステップS309に戻す。ポインタ画像51の表示解除の指示があれば(YES)、制御部2
0は、ステップS314にて、ポインタ画像51の表示を解除し、ステップS315にて、再生し
ている音声信号の再生を停止させて、ステップS316に移行させる。
かを判定する。再生停止の指示がなされなければ(NO)、制御部20は、処理をステップ
S302に戻す。再生停止の指示がなされたら(YES)、制御部20は、ステップS319にて、
映像信号及びステレオ音声信号の再生を停止させて、処理をステップS320に移行させる。
切断の指示がなされたら(YES)、制御部20は、処理を終了させ、電源切断の指示がな
されなかったら(NO)、制御部20は、処理をステップS301に戻す。
と説明した。一般的には、図18に示すテレビジョン受像機300はステレオスピーカで
あり、ステレオスピーカを用いて、マルチチャンネル音声信号のうちの選択した角度方向
の音声信号を、あたかも視聴時の画面に対応する角度方向から音が聞こえてくるよう再生
することが必要である。
ができる。ある音声信号が左(L)チャンネルには重み係数wL、右(R)チャンネルには
wRの重み係数を乗じて分配されるときに、聴取ポイントを中心とした正面からスピーカま
での角度をφ0、正面から音声の定位位置までの角度をφ(正面から右側を正)とすると
、次式の関係になることが一般に知られている(非特許文献1、p.34参照)。ここで、φ
0は表示装置の視野角に近いことが望ましい。
sinφ/sinφ0=(wL−wR)/(wL+wR) …(3)
したチャンネルの音声信号を、水平方向の角度方向に応じた比率で、ステレオ音声信号に
おけるLチャンネルとRチャンネルとに例えば次のように振り分ければよい。
チャンネル番号nを1,2,3,…とすると、式(3)は次の式(4)のようになる。
標)では2φ0=36°〜40°の視野角を推奨しており、視野角40°で視聴すると考える。
正面から左側へ1つ目、つまり左端から3つ目のチャンネルを選択した場合には、スピー
カ間の角度を2φ0=40°として、左辺分子のsin関数の変数部分のφ0{(n-1)-(N-1)/2}
/Nより、40°・{(3-1)-(7-1)/2}/7=約-5.71°、つまり約5.71°正面から左側にずれた位
置に定位させる必要がある。φ=5.71°として式(4)より、wL:wR=1.29:0.71=0.
645:0.355となる。つまり、選択したチャンネルの音声信号を、Lチャンネルに35.5%、
Rチャンネルに64.5%で振り分ければよい。
に式(4)より、Lチャンネルに21%、Rチャンネルに79%で振り分ければよい。
チャンネルの音声信号とが自然に合成され、選択した位置(方向)の音声を的確に再生す
ることができる。本実施形態によれば、再生ズームを行った際に、ズームアップした映像
と再生される音声とを対応させることができ、ユーザはほとんど違和感を覚えることがな
い。
数のスピーカを垂直方向に配置したマルチチャンネルスピーカを用いて、同様に、複数の
スピーカに対して比率を適宜設定して振り分ければよい。
い範囲において種々変更可能である。
12,12’ 音声信号演算部
14 指向性切替部
17 ズーム調整部
18 映像撮影部
20 制御部
22 音声出力処理部
23 スピーカ
25 映像合成部
26 画像データ発生部
28 表示部
61 音声認識部
62 音圧レベル演算部(収音レベル算出部)
63 周波数スペクトル分析部(収音レベル算出部)
64 音声認識レベル算出部(収音レベル算出部)
Claims (3)
- 音声信号に含まれる人の声を認識し、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出する音声認識レベル算出部と、
前記音声信号の増幅度を設定する音声信号増幅部と、
前記音声認識レベル算出部が算出した音声認識レベルを示す音声認識レベル表示画像を、前記音声信号増幅部で設定されている増幅度に応じて変更した表示画像の画像データを発生する画像データ発生部と、
を備えることを特徴とする画像データ発生装置。 - 音声信号に含まれる人の声を認識し、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出する音声認識レベル算出部と、
前記音声信号の増幅度を設定する音声信号増幅部と、
前記音声認識レベル算出部が算出した音声認識レベルを示す音声認識レベル表示画像を、前記音声信号増幅部で設定されている増幅度に応じて変更した表示画像の画像データを発生する画像データ発生部と、
を備え、
前記画像データ発生部は、前記音声信号増幅部で設定されている増幅度に応じて、音声認識レベル表示画像の大きさ,形状,輝度,色,模様の少なくとも1つを変更することを特徴とする画像データ発生装置。 - 音声信号に含まれる人の声を認識するステップと、前記音声信号のうち人の声として認識された度合いである音声認識レベルを算出するステップと、
前記音声信号の増幅度を設定するステップと、
算出した前記音声認識レベルを示す音声認識レベル表示画像を、前記増幅度に応じて変更した表示画像の画像データを発生するステップと、
を備えることを特徴とする画像データ発生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098598A JP6274251B2 (ja) | 2016-05-17 | 2016-05-17 | 画像データ発生装置及び画像データ発生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098598A JP6274251B2 (ja) | 2016-05-17 | 2016-05-17 | 画像データ発生装置及び画像データ発生方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012280998A Division JP5939444B2 (ja) | 2012-12-25 | 2012-12-25 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016181913A JP2016181913A (ja) | 2016-10-13 |
JP6274251B2 true JP6274251B2 (ja) | 2018-02-07 |
Family
ID=57132066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016098598A Active JP6274251B2 (ja) | 2016-05-17 | 2016-05-17 | 画像データ発生装置及び画像データ発生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6274251B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018037944A (ja) * | 2016-09-01 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像制御装置、撮像装置および撮像制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0462598A (ja) * | 1990-07-02 | 1992-02-27 | Oki Electric Ind Co Ltd | 音声認識装置における音声レベル表示方式 |
JPH09292895A (ja) * | 1996-04-25 | 1997-11-11 | Matsushita Electric Ind Co Ltd | ヒューマン・マシン・インタフェース装置 |
JP5111343B2 (ja) * | 2008-12-02 | 2013-01-09 | キヤノン株式会社 | 再生装置 |
JP5407476B2 (ja) * | 2009-03-26 | 2014-02-05 | ヤマハ株式会社 | コントローラ |
JP4837123B1 (ja) * | 2010-07-28 | 2011-12-14 | 株式会社東芝 | 音質制御装置及び音質制御方法 |
-
2016
- 2016-05-17 JP JP2016098598A patent/JP6274251B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016181913A (ja) | 2016-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5939444B2 (ja) | 撮像装置 | |
KR101061287B1 (ko) | 촬상 장치 | |
JP6289121B2 (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
JP2022036998A (ja) | 映像音響処理装置および方法、並びにプログラム | |
WO2015144020A1 (zh) | 增强录音的拍摄方法和摄像装置 | |
CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
US20080247567A1 (en) | Directional Audio Capturing | |
JP2013250838A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP2006314078A (ja) | 撮像装置、音声記録装置および音声記録方法 | |
PT1946606E (pt) | Captação de áudio direccional | |
WO2017149124A1 (en) | A method, system and device for generating associated audio and visual signals in a wide angle image system | |
CN108574904B (zh) | 音频取得装置、音频取得***以及音频取得方法 | |
JP2005159731A (ja) | 撮像装置 | |
JP5949398B2 (ja) | 映像音声記録再生装置 | |
JP6274251B2 (ja) | 画像データ発生装置及び画像データ発生方法 | |
JP6646116B2 (ja) | 映像音声処理プログラム及びゲーム装置 | |
US11665391B2 (en) | Signal processing device and signal processing system | |
JP6249047B2 (ja) | 音声処理装置、映像処理装置、音声処理方法及び映像処理方法 | |
JP6456171B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2004180197A (ja) | 情報処理装置、情報処理方法および記録媒体 | |
JP2010130403A (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
KR101844822B1 (ko) | 입체 음향 캡처링 시스템 및 방법 | |
JP7111202B2 (ja) | 収音制御システム及び収音制御システムの制御方法 | |
JP2001086588A (ja) | 音声信号処理装置及び方法、並びに電子機器 | |
JP2019140667A (ja) | 情報処理装置、情報処理システム、データ生成方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6274251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |