JP2016163181A - 信号処理装置及び信号処理方法 - Google Patents

Abstract

【課題】映像と音を表示及び再生する際に、映像と音の内容を一致させつつ、表示されている画像の範囲外の音も違和感なく自然となるよう指向性の制御を行えるようにする。【解決手段】一体となって姿勢が変化する複数のマイク素子を有するカメラの姿勢の情報を取得し、前記カメラの姿勢の情報に基づいて、前記カメラによって撮影された映像の画角外に対応する音の指向性を補正し、前記複数のマイク素子を介して得られる音響信号に基づいて、補正された指向性に対応する音を生成する。【選択図】図４

Description

本発明は、信号処理装置及び信号処理方法に関する。

複数のマイク素子（マイクアレイ）で収音した複数チャンネルの音響信号を処理して、所望方向の音を取り出す（生成する）技術として指向性制御技術が知られている。これは、複数チャンネルの音響信号にそれぞれ所望方向に応じたフィルタ係数を畳み込んで加算し、単一の出力信号を得るものである。このようなフィルタ係数を畳み込んで加算する処理が、マイクアレイで所望方向に指向性を形成することに対応している。特許文献１には、マイクアレイを有するＩＣレコーダ等の装置において、装置の傾き角度と想定角度の差分に応じてマイクアレイに係る指向性の指向方向を補正する技術が提案されている。

特開２０１０−５０５７１号公報

図２（ａ）に示すように、撮像素子を有するカメラ２０１、及びカメラ２０１に固定され、ユーザの撮影行為によって一体的に移動するマイクアレイ２０２で撮影及び録音を行うことを考える。マイクアレイ２０２は、例えばカメラ２０１の画角の起点を中心とする立方体の頂点位置に配置された、８個の無指向性マイク素子で構成されるものとする。図２（ａ）に示す例では、カメラ２０１はその正面方向（画角範囲）にいる人物２０３の映像を映像信号として捉え、マイクアレイ２０２は全方位の音を音響信号として捉える。また、カメラ２０１の正面下方に犬２０５、水平真後ろに車２０４、真後ろ上方にヘリコプタ２０６が存在しているものとする。

次に、このようにして取得した映像と音を表示及び再生することを考える。図３（ａ）に示すように、視聴者であるユーザ３３０の略水平前方に配置されたディスプレイ３２０に映像を表示する。この場合、ディスプレイ３２０には人物２０３の映像が表示される。また、ユーザ３３０の略水平周囲に配置された、例えば８台のスピーカ３１１〜３１８で音を再生する。このとき、水平各方向のスピーカ３１１〜３１８から、全方位の音のうち各スピーカの配置方向に対応する特定方向の音（方向音と呼ぶ）を再生すれば、録音現場にいるとユーザ３３０が感じるかのような臨場感の高い再生を実現することができる。

各スピーカ３１１〜３１８から再生する方向音は、音響信号に各スピーカの配置方向に応じたフィルタ係数を畳み込んで加算することで得られる。これはマイクアレイ２０２で各スピーカの配置方向に指向性を形成することに対応する。

例えば、図３（ａ）に示す例においてユーザ３３０の水平正面方向のスピーカ３１１から再生する方向音については、図２（ａ）に示したようにマイクアレイ２０２の水平正面方向に指向性２１１を向けることで、人物２０３の音が得られる。同様に、図３（ａ）に示す例においてユーザ３３０の水平真後ろ方向のスピーカ３１５から再生する方向音については、図２（ａ）に示したようにマイクアレイ２０２の水平真後ろ方向に指向性２１５を向けることで、車２０４の音が得られる。

このように各スピーカの配置方向を指向方向とする指向性制御を行うことで、図３（ａ）に示したように人物２０３の映像を表示しているディスプレイ３２０の方向に配置されたスピーカ３１１からは、人物２０３の音が再生される。図３（ａ）においては、模式的に人物音像３０３で表現している。また、水平真後ろ方向に配置されたスピーカ３１５からは、車２０４の音が再生される（車音像３０４）。すなわち、ディスプレイ３２０に表示される映像とスピーカ３１１から再生される音の内容が一致しており、また、撮影時に水平真後ろ方向に位置していた車２０４の音が同じく水平真後ろ方向のスピーカ３１５から聞こえるため、自然である。

次に、撮影及び録音において、カメラ２０１（及びマイクアレイ２０２）が傾く場合を考える。例えば、図２（ｂ）に示すようにカメラ２０１が前方に傾いた場合、カメラ２０１はその正面方向にいる犬２０５の映像を映像信号として捉える。

ここで、スピーカから再生する方向音の生成に関して、指向性制御に用いるフィルタ係数は、一般にマイクアレイ座標系（ｘ_m、ｙ_m、ｚ_m）で記述した指向方向と対応付けられている。一方、スピーカの配置方向については、重力の反対方向をｚ軸の正方向（天頂方向）とする、グローバル座標系（ｘ_g、ｙ_g、ｚ_g）で記述するのが普通である。

図２（ａ）に示した例のようにカメラ２０１が傾いていない場合、マイクアレイ座標系（＝カメラ座標系）がグローバル座標系と一致している。このため、グローバル座標系で記述したスピーカの配置方向を、そのままマイクアレイ座標系における指向方向として用いれば、グローバル座標系で見て水平正面方向や水平真後ろ方向の音が取り出される。グローバル座標系における極座標表現でのスピーカの配置方向は、例えばスピーカ３１１については（方位角θ_g1＝０°、仰角φ_g1＝０°）、スピーカ３１５については（方位角θ_g5＝１８０°、仰角φ_g5＝０°）のように記述される。

しかし、図２（ｂ）に示す例のようにカメラ２０１が傾いている場合、マイクアレイ座標系はグローバル座標系と一致しない。このため、グローバル座標系で記述したスピーカの配置方向を、そのままマイクアレイ座標系における指向方向として用いると、以下のようになる。

例えば、図３（ｂ）に示す例においてユーザ３３０の水平正面方向のスピーカ３１１から再生する方向音については、図２（ｂ）に示したようにマイクアレイ２０２の水平正面方向に指向性２２１を向けるため、犬２０５の鳴き声が得られる。また、図３（ｂ）に示す例においてユーザ３３０の水平真後ろ方向のスピーカ３１５から再生する方向音については、図２（ｂ）に示したようにマイクアレイ２０２の水平真後ろ方向に指向性２２５を向けるため、ヘリコプタ２０６の音が得られる。

この場合、マイクアレイ座標系における極座標表現の指向方向は、例えば指向性２２１については（方位角θ_m1＝θ_g1＝０°、仰角φ_m1＝φ_g1＝０°）のように設定されている。また、指向性２２５については（方位角θ_m5＝θ_g5＝１８０°、仰角φ_m5＝φ_g5＝０°）のように設定されている。このようにグローバル座標系で記述したスピーカの配置方向を、そのままマイクアレイ座標系における指向方向として用いると、以下のようになる。

まず、図３（ｂ）に示したように犬２０５の映像を表示しているディスプレイ３２０の方向に配置されたスピーカ３１１からは、犬２０５の鳴き声が再生される（犬音像３０５）。これは、撮影時にグローバル座標系で見て正面下方にいた犬２０５の鳴き声が、水平正面方向のスピーカ３１１から聞こえることになるが、ディスプレイ３２０に表示される映像とスピーカ３１１から再生される音の内容は一致しているため、違和感は無い。一方、撮影時にグローバル座標系で見て真後ろ上方に位置していたヘリコプタ２０６の音については、違和感が生じる。なぜなら、画角外で映像に映っていないためにユーザ３３０の目に見えない真後ろ上方のヘリコプタ２０６の音が、水平真後ろ方向のスピーカ３１５から聞こえる（ヘリコプタ音像３０６）からである。

そこで、カメラ２０１が傾いた場合でもグローバル座標系で見て水平正面方向や水平真後ろ方向の音を取り出せるよう、指向性制御における指向方向をカメラ２０１の姿勢に応じて補正することを考える。すなわち、カメラ２０１の姿勢（＝マイクアレイ２０２の姿勢）をもとに、グローバル座標系で記述したスピーカの配置方向をマイクアレイ座標系に座標変換してからマイクアレイ座標系における指向方向として用いる。

例えば、図２（ｂ）に示した例と同じく図２（ｃ）に示すように、カメラ２０１が前方に４５°傾いた場合を考える。カメラ２０１は、図２（ｂ）に示した例と同様に、その正面方向にいる犬２０５の映像を映像信号として捉える。

また、グローバル座標系で記述したスピーカ３１１の配置方向（θ_g1＝０°、φ_g1＝０°）をマイクアレイ座標系に座標変換（θ_g1→^mθ_g1＝０°、φ_g1→^mφ_g1＝４５°）する。そして、座標変換して得られた値をマイクアレイ座標系における指向性２３１の指向方向（θ_m1＝^mθ_g1、φ_m1＝^mφ_g1）とする。同様に、グローバル座標系で記述したスピーカ３１５の配置方向（θ_g5＝１８０°、φ_g5＝０°）をマイクアレイ座標系に座標変換（θ_g5→^mθ_g5＝１８０°、φ_g5→^mφ_g5＝−４５°）する。そして、座標変換して得られた値をマイクアレイ座標系における指向性２３５の指向方向（θ_m5＝^mθ_g5、φ_m5＝^mφ_g5）とする。

これにより、図３（ｃ）に示す例においてユーザ３３０の水平正面方向のスピーカ３１１から再生する方向音については、図２（ｃ）に示したようにグローバル座標系で見て水平正面方向に指向性２３１を向けるため、人物２０３の音が得られる。また、図３（ｃ）に示す例においてユーザ３３０の水平真後ろ方向のスピーカ３１５から再生する方向音については、図２（ｃ）に示したようにグローバル座標系で見て水平真後ろ方向に指向性２３５を向けるため、車２０４の音が得られる。

このようにグローバル座標系で記述したスピーカの配置方向をマイクアレイ座標系に座標変換してから、マイクアレイ座標系における指向方向として用いると、以下のようになる。まず、撮影時にグローバル座標系で見て水平真後ろ方向に位置していた車２０４の音は、図３（ｃ）に示したように同じく水平真後ろ方向のスピーカ３１５から聞こえる（車音像３０４）ため、自然である。一方、犬２０５の映像を表示しているディスプレイ３２０の方向のスピーカ３１１からは、人物２０３の音が聞こえる（人物音像３０３）。すなわち、ディスプレイ３２０に表示される映像とスピーカ３１１から再生される音の内容が一致していないため、違和感が生じる。

本発明は、このような事情に鑑みてなされたものであり、映像と音を表示及び再生する際に、映像と音の内容を一致させつつ、表示されている画像の範囲外の音も違和感なく自然となるよう指向性の制御を行う信号処理装置を提供することを目的とする。

本発明に係る信号処理装置は、一体となって姿勢が変化する複数のマイク素子を有するカメラの姿勢の情報を取得する手段と、前記カメラの姿勢の情報に基づいて、前記カメラによって撮影された映像の画角外に対応する音の指向性を補正する手段と、前記複数のマイク素子を介して得られる音響信号に基づいて、補正された指向性に対応する音を生成する手段とを有することを特徴とする。

本発明によれば、映像と音を表示及び再生する際に、映像と音の内容を一致させつつ、表示されている画像の範囲外の音も違和感なく自然となるよう指向性の制御を行うことができる。

本発明の実施形態における信号処理装置の構成例を示す図である。 指向性制御に係る説明図である。 表示及び再生時の映像と音像に係る説明図である。 第１の実施形態における指向性制御処理の例を示すフローチャートである。 第２の実施形態における指向性制御処理の例を示すフローチャートである。 本発明の実施形態における指向方向を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。以下に説明する実施形態においては、撮像素子を有するカメラ２０１で撮影を行い、カメラ２０１に固定されカメラ２０１と一体となって姿勢変化するマイクアレイ２０２で収音（録音）が行われるものとする。また、マイクアレイ２０２は、例えばカメラ２０１の画角の起点を中心とする立方体の頂点位置に配置された、８個の無指向性マイク素子で構成されるものとする。

（第１の実施形態）
本発明の第１の実施形態について説明する。はじめに、第１の実施形態の考え方を図２（ｄ）及び図３（ｄ）を用いて説明する。図２（ｃ）に示した例と同じく図２（ｄ）に示すように、カメラ２０１が前方に４５°傾いた場合を考える。カメラ２０１は、その正面方向にいる犬２０５の映像を映像信号として捉える。

まず、グローバル座標系で記述したスピーカの配置方向を、そのままマイクアレイ座標系における指向性制御の指向方向として初期設定する。例えば、図３（ｄ）に示す例において、ユーザ３３０の水平正面方向に配置されたスピーカ３１１用の方向音を生成する指向性については、（方位角θ_m1＝θ_g1＝０°、仰角φ_m1＝φ_g1＝０°）のように初期設定する。また、ユーザ３３０の水平真後ろ方向に配置されたスピーカ３１５用の方向音を生成する指向性については、（方位角θ_m5＝θ_g5＝１８０°、φ_m5＝φ_g5＝０°）のように初期設定する。

次に、このように初期設定した指向方向がカメラ２０１の画角内であれば、初期設定の指向方向に指向性を向ける。例えば、マイクアレイ座標系（＝カメラ座標系）で（方位角θ_m1＝０°、仰角φ_m1＝０°）の方向は、カメラ２０１の水平正面方向であるため画角内である。そこで、図３（ｄ）に示す例においてユーザ３３０の水平正面方向のスピーカ３１１から再生する方向音については、図２（ｄ）に示すようにマイクアレイ２０２の水平正面方向に指向性２４１を向けるため、犬２０５の鳴き声が得られる。すなわち、図３（ｄ）に示したように犬２０５の映像を表示しているディスプレイ３２０の方向に配置されたスピーカ３１１からは、犬２０５の鳴き声が再生される（犬音像３０５）。よって、ディスプレイ３２０に表示される映像とスピーカ３１１から再生される音の内容は一致しているため、違和感は無い。

一方、初期設定した指向方向がカメラ２０１の画角外であれば、グローバル座標系のスピーカ配置方向で初期設定した指向方向を、マイクアレイ座標系に座標変換することで補正（更新）する。すなわち、カメラ２０１の姿勢（＝マイクアレイ２０２の姿勢）をもとに、初期設定の指向方向をマイクアレイ座標系に座標変換することで補正し、その補正された指向方向に指向性を向ける。

例えば、マイクアレイ座標系（＝カメラ座標系）で（方位角θ_m5＝１８０°、仰角φ_m5＝０°）の方向は、カメラ２０１の水平真後ろ方向であるため画角外である。そこで、グローバル座標系のスピーカ３１５の配置方向で初期設定した指向方向（θ_m5＝θ_g5＝１８０°、φ_m5＝φ_g5＝０°）をマイクアレイ座標系に座標変換（θ_g5→^mθ_g5＝１８０°、φ_g5→^mφ_g5＝−４５°）する。そして、補正された指向方向（θ_m5＝^mθ_g5、φ_m5＝^mφ_g5）とする。これにより、図３（ｄ）に示す例においてユーザ３３０の水平真後ろ方向のスピーカ３１５から再生する方向音については、図２（ｄ）に示したようにグローバル座標系で見て水平真後ろ方向に指向性２４５を向けるため、車２０４の音が得られる。すなわち、撮影時にグローバル座標系で見て水平真後ろ方向に位置していた車２０４の音が、図３（ｄ）に示すように同じく水平真後ろ方向のスピーカ３１５から再生される（車音像３０４）ため、自然である。

このように第１の実施形態では、映像と音を表示及び再生する際、映像と音の内容を一致させつつ、画角外の音については撮影時と同じ方向から聞こえるよう指向性の制御を行う。

図１は、本発明の一実施形態における信号処理装置の構成例を示すブロック図である。信号処理装置１００は、全構成要素を統括的に制御するシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を有する。記憶部１０２は、カメラで撮影された映像信号、及びカメラと一体のマイクアレイで録音された音響信号を保持している。

また、映像の表示系の機能を実現する要素として、ユーザ１３０の略水平前方に配置され、映像を表示するディスプレイ１２０を有する。また、音の再生系の機能を実現する要素として、音響信号出力部１０４、及びユーザ１３０の略水平周囲に配置されたスピーカ１１１〜１１８を有する。なお、スピーカの数や配置は、図１に示す例に限られるものではなく任意でよい。

信号解析処理部１０３は、後述する指向性制御処理によって、各スピーカから再生する方向音を音響信号から生成する。音響信号出力部１０４は、信号解析処理部１０３により生成された方向音にＤＡ変換処理（デジタル−アナログ変換処理）及び増幅処理を施し、ディスプレイ１２０に表示する映像信号と同期して各スピーカから再生する。

以下、第１の実施形態における指向性制御処理について、図４に示すフローチャートに沿って説明する。図４は、第１の実施形態における指向性制御処理の例を示すフローチャートである。なお、図４に示すフローチャートの処理は、特に別記しない限り信号解析処理部１０３が行うものとし、音響信号の所定の時間フレーム長毎、すなわち音響フレーム毎の処理を表すものとする。

ステップＳ４０１では、記憶部１０２が予め保持している、方向音（所定の方向の音）の音像の配置に係るスピーカ１１１〜１１８の配置方向（方位角θ_gi、仰角φ_gi）の情報を取得する。取得したスピーカ１１１〜１１８の配置方向（方位角θ_gi、仰角φ_gi）の情報を指向性制御における各指向性の指向方向として初期設定する（θ_mi＝θ_gi、φ_mi＝φ_gi）。ｉは添え字であり、本例ではｉ＝１〜８の整数である（以下についても同様）。各スピーカの配置方向は、リスニングポイント（ユーザ１３０の頭部中心）を原点とするグローバル座標系（ｘ_g、ｙ_g、ｚ_g）において極座標表現で記述されているものとする。

なお、ユーザ１３０から見て水平正面方向のスピーカ１１１の方向をｘ_g軸正方向とし、重力の反対方向をｚ_g軸正方向とし、これらと右手系を成すようにｙ_g軸を取る。図１に示す例の場合、各スピーカの配置方向は（方位角θ_gi＝（ｉ−１）×４５°、仰角φ_gi＝０°）のように記述され、これにより初期設定された各指向性の指向方向は、図６（ａ）において太点線の指向方向６０１〜６０８で表されている。

ステップＳ４０２では、現音響フレームと時間的に対応する映像信号の映像フレームについて、その画角を取得する。映像信号の各映像フレームの画角は、映像信号の付加情報として撮影時に記録されているものとし、これはカメラ撮像系のズーム倍率等に応じて映像フレーム毎に変わり得る。なお、映像信号に画角情報が記録されていない場合には、一般的なカメラ撮像系の非ズーム時の画角を用いるようにしてもよい。ここでは、現音響フレームに対応する現映像フレームの画角（水平画角）を１００°とする。

ステップＳ４０３では、現映像フレームを撮影したとき（又は現音響フレームを録音したとき）のカメラの姿勢の情報を取得する。ここで、撮影に用いたカメラはジャイロセンサ等の姿勢センサを備えており、撮影時のカメラの姿勢をグローバル座標系の三軸（ｘ_g、ｙ_g、ｚ_g）に対する回転角で検出できるものとする。これにより、映像信号の各映像フレーム（又は音響信号の各音響フレーム）におけるカメラ姿勢が、映像信号（又は音響信号）の付加情報として撮影及び録音時に記録されているものとする。ここでは、現音響フレームを録音したときのマイクアレイ座標系（＝カメラ座標系）が、図６（ａ）に示すようにグローバル座標系に対してｙ_g軸周りに４５°回転しているとして、カメラ姿勢をｙ_g軸周りの回転角α_y＝４５°で表す。

ステップＳ４０４〜Ｓ４０８の処理は、ステップＳ４０１において初期設定した指向方向の指向性毎の処理であり、指向性ループの中で行う。ステップＳ４０４では、システム制御部１０１が、ディスプレイ１２０に映像を表示しているかを調べ、表示している場合にはステップＳ４０５へ、表示していない場合にはステップＳ４０６へ進む。これは、第１の実施形態では、指向性の指向方向が映像信号の画角外であれば指向方向の補正を行うが、映像信号の画角に関わらずディスプレイ１２０に映像を表示していなければ、指向方向が画角外であることと同義となるためである。

ステップＳ４０５では、現在の指向性ループで対象としている指向性の指向方向が、ステップＳ４０２において取得した画角内であるかを調べる。その結果、画角内であれば指向方向の補正は不要であるためステップＳ４０８へ、画角外であれば指向方向の補正が必要となる可能性があるためステップＳ４０６へ進む。図６（ａ）に示した指向方向６０１〜６０８（θ_mi＝θ_gi＝（ｉ−１）×４５°、φ_mi＝φ_gi＝０°）の場合、指向方向６０１、６０２、６０８はステップＳ４０２において取得した画角（１００°）内であるため、指向方向の補正は不要である。

ステップＳ４０６では、画角外の指向方向について、指向方向の補正が必要であるかを判定する。例えばカメラ（マイクアレイ）が傾いていない状態から、前方に傾いて行く場合を考える。このとき、図６（ａ）から分かるように、マイクアレイ座標系のｘ_m軸がグローバル座標系のｘ_g軸に対して徐々に角度を成して行くのに対し、マイクアレイ座標系のｙ_m軸は基本的にグローバル座標系のｙ_g軸と一致したままである。すなわち、グローバル座標系のｙ_g軸がカメラ姿勢の回転軸となっている。

ここで、指向方向の補正はグローバル座標系からマイクアレイ座標系への座標変換により行うため、カメラ姿勢の回転軸と略平行な指向方向については、本来、補正は行われないはずである。しかしながら、カメラ（マイクアレイ）の手ぶれ等によって、マイクアレイ座標系のｙ_m軸はグローバル座標系のｙ_g周りにわずかに変動するため、指向方向の補正によるフィルタ係数の連続的な切り替えが発生し得る。このとき、座標変換で生じる方向変化は小さいため、生成される方向音は大きくは変化しないが、あまり意味のない頻繁なフィルタの切り替えが、音の連続性など音質の劣化を招く可能性がある。

そこで、ステップＳ４０６では、指向性の指向方向とカメラ姿勢の回転軸との成す角を算出し、その値が閾値未満（すなわち指向方向と姿勢の回転軸が略平行）であればカメラ姿勢に応じた指向方向の補正は不要としてステップＳ４０８へ進む。一方、指向性の指向方向とカメラ姿勢の回転軸との成す角の値が閾値以上であれば、カメラ姿勢に応じた指向方向の補正が必要としてステップＳ４０７へ進む。指向方向とカメラ姿勢の回転軸との成す角は、例えば指向方向を直交座標表現の単位ベクトルとして記述し直して、カメラ姿勢の回転軸の正・負方向に対応する２つの単位ベクトルとの成す角（０°〜１８０°）の最小値として算出する。図６（ａ）に示した指向方向６０１〜６０８の場合、指向方向６０３、６０７はカメラ姿勢の回転軸であるｙ_g軸と平行であるため、指向方向の補正は不要である。

ステップＳ４０７では、グローバル座標系のスピーカ配置方向で初期設定した指向方向を、マイクアレイ座標系に座標変換することで補正（更新）する。図６（ａ）に示した例の場合、マイクアレイ座標系はグローバル座標系に対してｙ_g軸周りにα_y（＝４５°）回転している。そのため、グローバル座標系からマイクアレイ座標系への座標変換には、式（１）で表される回転行列Ｒ（α_y）の逆行列Ｒ^-1（α_y）＝Ｒ（−α_y）を用いる。

すなわち、補正が必要な指向方向６０４〜６０６（θ_mi＝θ_gi＝（ｉ−１）×４５°、φ_mi＝φ_gi＝０°）（ここではｉ＝４〜６の整数）を直交座標表現の単位ベクトルとして記述し直す。それに、Ｒ（−α_y）を掛けて座標変換してから再び極座標表現に戻す（θ_gi→^mθ_gi、φ_gi→^mφ_gi）ことで更新する（θ_mi＝^mθ_gi、φ_mi＝^mφ_gi）。具体的には、指向方向６０４（θ_m4＝θ_g4＝１３５°、φ_m4＝φ_g4＝０°）が指向方向６１４（θ_m4＝^mθ_g4≒１２５．３°、φ_m4＝^mφ_g4＝−３０°）に更新される。また、指向方向６０５（θ_m5＝θ_g5＝１８０°、φ_m5＝φ_g5＝０°）が指向方向６１５（θ_m5＝^mθ_g5＝１８０°、φ_m5＝^mφ_g5＝−４５°）に更新される。また、指向方向６０６（θ_m6＝θ_g6＝２２５°、φ_m6＝φ_g6＝０°）が指向方向６１６（θ_m6＝^mθ_g6≒２３４．７°、φ_m6＝^mφ_g6＝−３０°）に更新される。なお、このような座標変換による方向変化を、ステップＳ４０６における指向方向の補正要否の判定に用いてもよい。すなわち、補正前後の指向方向の成す角が閾値未満であれば、指向方向の補正は不要と判定してもよい。

ステップＳ４０８では、指向方向に指向性を向けることで、スピーカから再生する方向音を生成する。すなわち、記憶部１０２が予め保持している指向性制御のためのフィルタ係数から、指向方向（θ_mi、φ_mi）に対応するものを取得して現音響フレームの音響信号に畳み込み、加算することで方向音を得る。ここで、１つの方向のフィルタ係数（ベクトル）は、音響信号のチャンネル数、すなわち音響信号の録音に用いたマイクアレイのマイク素子数（例えば８個）の要素で構成される。なお、マイクアレイ毎にフィルタ係数は異なるため、録音に用いたマイクアレイの識別ＩＤを音響信号の付加情報として録音時に記録しておき、そのマイクアレイに対応するフィルタ係数を本ステップで用いるようにしてもよい。

ステップＳ４０９では、ステップＳ４０８において生成した方向音を各スピーカから再生する。すなわち、図６（ａ）に示した指向方向６０１〜６０３、６１４〜６１６、６０７〜６０８で生成した８つの方向音を、スピーカ１１１〜１１８からそれぞれ再生する。このようにして、第１の実施形態によれば、映像と音を表示及び再生する際、映像と音の内容を一致させつつ、画角外の音については撮影時と同じ方向から聞こえるよう指向性の制御を行うことができる。

なお、ユーザ１３０の周囲に方向音の音像を生成する方法として、前述のように方向音を再生するスピーカ１１１〜１１８をユーザ１３０の周囲に配置する方法の他に、ヘッドホン再生で仮想的にスピーカを配置する方法がある。すなわち、各スピーカの配置方向に対応する左右耳の頭部伝達関数（ＨＲＴＦ）を各方向音に畳み込み、左右それぞれ加算してヘッドホンによりユーザの両耳近傍で再生する。これにより、スピーカ１１１〜１１８に対応する仮想スピーカをユーザ１３０の周囲に配置することができる。

また、第１の実施形態ではカメラが前方に傾いた場合を例に説明したが、第１の実施形態での考え方は、横撮りや縦撮りのようにカメラの正面方向を回転軸とするような場合にも適用できる。その場合、縦撮りのときにステップＳ４０５で比較する映像フレームの画角は、水平画角ではなく垂直画角とするのが好適である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。はじめに、第２の実施形態の考え方を図２（ｅ）及び図３（ｅ）を用いて説明する。図２（ｄ）に示した例と同じく図２（ｅ）に示すように、カメラ２０１が前方に４５°傾いた場合を考える。カメラ２０１は、その正面方向にいる犬２０５の映像を映像信号として捉える。

まず、第１の実施形態と同様に、グローバル座標系で記述したスピーカの配置方向を、そのままマイクアレイ座標系における指向性制御の指向方向として初期設定する。例えば、図３（ｅ）に示す例において、ユーザ３３０の水平正面方向に配置されたスピーカ３１１用の方向音を生成する指向性については、（方位角θ_m1＝θ_g1＝０°、仰角φ_m1＝φ_g1＝０°）のように初期設定する。また、ユーザ３３０の水平真後ろ方向に配置されたスピーカ３１５用の方向音を生成する指向性については、（方位角θ_m5＝θ_g5＝１８０°、φ_m5＝φ_g5＝０°）のように初期設定する。

次に、このように初期設定した指向方向のうち、カメラ２０１の画角内の指向方向について、カメラ２０１の姿勢変化による仰角方向の変化が最大となるものを特定する。例えば、マイクアレイ座標系（＝カメラ座標系）で（方位角θ_m1＝０°、仰角φ_m1＝０°）の方向は、カメラ２０１の水平正面方向であるため画角内である。そこで、この指向方向についてカメラ２０１の姿勢変化による仰角方向の変化を見るために、カメラ２０１の姿勢（＝マイクアレイ２０２の姿勢）をもとにグローバル座標系に座標変換する（θ_m1→^gθ_m1＝０°、φ_m1→^gφ_m1＝−４５°）。これより、グローバル座標系で見たときの仰角方向の変化は｜φ_g1−^gφ_m1｜＝４５°となり、これは画角内の指向方向の中で最大の仰角方向の変化と考えられるため、この^gφ_m1＝−４５°をグローバル座標系における目標仰角^gφ_tとする。

第２の実施形態では、グローバル座標系で見てすべての指向方向の仰角が目標仰角と一致するよう、グローバル座標系における指向方向を決定する。そして、これをマイクアレイ座標系に座標変換することで、初期設定から更新されたマイクアレイ座標系における指向方向を算出する。

例えば、図３（ｅ）に示す例において、ユーザ３３０の水平正面方向に配置されたスピーカ３１１用の方向音を生成する指向性については、グローバル座標系における指向方向が（方位角^gθ_m1＝０°、仰角^gφ_m1＝^gφ_t＝−４５°）となる。これをマイクアレイ座標系に座標変換（^gθ_m1→θ_m1、^gφ_m1→φ_m1）することで、マイクアレイ座標系における指向方向（θ_m1＝０°、φ_m1＝０°）となる。なお、仰角が目標仰角として採用された指向方向については、初期設定の指向方向が維持されることになる。

これにより、図３（ｅ）に示す例においてユーザ３３０の水平正面方向のスピーカ３１１から再生する方向音については、図２（ｅ）に示すようにマイクアレイ２０２の水平正面方向に指向性２５１を向けるため、犬２０５の鳴き声が得られる。すなわち、図３（ｅ）に示したように犬２０５の映像を表示しているディスプレイ３２０の方向に配置されたスピーカ３１１からは、犬２０５の鳴き声が再生される（犬音像３０５）。よって、ディスプレイ３２０に表示される映像とスピーカ３１１から再生される音の内容は一致しているため、違和感は無い。

また、図３（ｅ）に示した例において、ユーザ３３０の水平真後ろ方向に配置されたスピーカ３１５用の方向音を生成する指向性については、グローバル座標系における指向方向が（方位角^gθ_m5＝１８０°、仰角^gφ_m5＝^gφ_t＝−４５°）となる。これをマイクアレイ座標系に座標変換（^gθ_m5→θ_m5、^gφ_m5→φ_m5）することで、マイクアレイ座標系における指向方向（θ_m5、φ_m5＝−９０°）となる。

これにより、図３（ｅ）に示す例においてユーザ３３０の水平真後ろ方向のスピーカ３１１から再生する方向音については、図２（ｅ）に示したようにグローバル座標系で見て真後ろ下方に指向性２５５を向けるため、猫２０７の鳴き声が得られる。すなわち、図３（ｅ）に示したようにスピーカ３１１と同じ高さの水平真後ろ方向のスピーカ３１５からは、ディスプレイ３２０に表示されている犬２０５と同じ目線の高さの猫２０７の鳴き声が聞こえる（猫音像３０７）、という効果が得られる。これは例えば、犬２０５と猫２０７が戯れながら足元の周りを走り回っている、というような場合に臨場感を高めてくれると考えられる。

このように第２の実施形態では、映像と音を表示及び再生する際、映像と音の内容を一致させつつ、画角外の音については画角内の音と同じ目線の高さの音が聞こえるよう指向性の制御を行う。

以下、第２の実施形態における指向性制御処理について、図５に示すフローチャートに沿って説明する。図５は、第２の実施形態における指向性制御処理の例を示すフローチャートである。なお、図５に示すフローチャートの処理は、特に別記しない限り信号解析処理部１０３が行うものとし、音響信号の所定の時間フレーム長毎、すなわち音響フレーム毎の処理を表すものとする。

ステップＳ５０１〜Ｓ５０３の処理は、図４に示した第１の実施形態におけるステップＳ４０１〜Ｓ４０３と同じであるため説明を省略する。ステップＳ５０１において初期設定された各指向性の指向方向は、図６（ｂ）において太点線の指向方向６０１〜６０８で表されている。

ステップＳ５０４〜Ｓ５０５の処理は、ステップＳ５０１において初期設定した指向方向の指向性毎の処理であり、指向性ループの中で行う。ステップＳ５０４では、現在の指向性ループで対象としている指向性の指向方向が、ステップＳ５０２において取得した画角内であるかを調べ、画角内であればステップＳ５０５へ進み、画角外であればステップＳ５０５をスキップする。図６（ｂ）に示した指向方向６０１〜６０８（θ_mi＝θ_gi＝（ｉ−１）×４５°、φ_mi＝φ_gi＝０°）の場合、指向方向６０１、６０２、６０８についてはステップＳ５０２において取得した画角（１００°）内であるため、ステップＳ５０５へ進む。

ステップＳ５０５では、カメラの姿勢変化による指向方向の仰角方向変化を算出する。まず、初期設定の指向方向をグローバル座標系に座標変換する。図６（ｂ）に示した例の場合、マイクアレイ座標系はグローバル座標系に対してｙ_g軸周りにα_y（＝４５°）回転しているため、マイクアレイ座標系からグローバル座標系への座標変換には、式（１）で表される回転行列Ｒ（α_y）を用いる。

すなわち、指向方向６０１、６０２、６０８（θ_mi＝θ_gi＝（ｉ−１）×４５°、φ_mi＝φ_gi＝０°）（ここではｉ＝１、２、８）を直交座標表現の単位ベクトルとして記述し直す。それに、Ｒ（α_y）を掛けて座標変換してから再び極座標表現に戻す（θ_mi→^gθ_mi、φ_mi→^gφ_mi）。具体的には、指向方向６０１が（^gθ_m1＝０°、^gφ_m1＝−４５°）、指向方向６０２が（^gθ_m2≒５４．７°、^gφ_m2＝−３０°）、指向方向６０８が（^gθ_m8≒３０５．３°、^gφ_m8＝−３０°）となる。これより、グローバル座標系で見たときの仰角方向の変化は、指向方向６０１において｜φ_g1−^gφ_m1｜＝４５°、指向方向６０２において｜φ_g2−^gφ_m2｜＝３０°、指向方向６０８において｜φ_g8−^gφ_m8｜＝３０°となる。

ステップＳ５０６では、ステップＳ５０５において算出した仰角方向変化が最大となる指向方向を特定し、その仰角をグローバル座標系における目標仰角^gφ_tとする。この場合、指向方向６０１の仰角方向変化（＝４５°）が最大であるため、^gφ_t＝^gφ_m1＝−４５°とする。

ステップＳ５０７〜Ｓ５０９の処理は指向性毎の処理であり、指向性ループの中で行う。ステップＳ５０７では、グローバル座標系で見てすべての指向方向の仰角が目標仰角^gφ_tと一致するよう、グローバル座標系における指向方向を（方位角^gθ_mi＝θ_gi＝（ｉ−１）×４５°、^gφ_mi＝^gφ_t＝−４５°）のように決定する。ここで、グローバル座標系における方位角については、スピーカの配置方向を用いている。

ステップＳ５０８では、ステップＳ５０７において決定したグローバル座標系における指向方向をマイクアレイ座標系に座標変換することで、初期設定から更新されたマイクアレイ座標系における指向方向を算出する。すなわち、第１の実施形態におけるステップＳ４０７と同様に、グローバル座標系における指向方向を直交座標表現の単位ベクトルとして記述し直し、Ｒ（−α_y）を掛けて座標変換してから再び極座標表現に戻す（^gθ_mi→θ_mi、^gφ_mi→φ_mi）。具体的には、図６（ｂ）に示した指向方向６０１〜６０８（θ_mi＝（ｉ−１）×４５°、φ_mi＝０°）がそれぞれ以下のように更新される。指向方向６０１が指向方向６２１（θ_m1＝０°、φ_m1＝０°）、指向方向６０２が指向方向６２２（θ_m2≒３０．４°、φ_m2≒−８．４°）、指向方向６０３が指向方向６２３（θ_m3≒５４．７°、φ_m3＝−３０°）に更新される。指向方向６０４が指向方向６２４（θ_m4≒７３．７°、φ_m4≒−５８．６°）、指向方向６０５が指向方向６２５（θ_m5、φ_m5＝−９０°）、指向方向６０６が指向方向６２６（θ_m6≒２８６．３°、φ_m6≒−５８．６°）に更新される。指向方向６０７が指向方向６２７（θ_m7≒３０５．３°、φ_m7＝−３０°）、指向方向６０８が指向方向６２８（θ_m8≒３２９．６°、φ_m8≒−８．４°）に更新される。

ステップＳ５０９の処理は、第１の実施形態におけるステップＳ４０８の処理と同じであるため説明を省略する。ステップＳ５１０では、ステップＳ５０９において生成した方向音を各スピーカから再生する。すなわち、図６（ｂ）に示した指向方向６２１〜６２８で生成した８つの方向音を、スピーカ１１１〜１１８からそれぞれ再生する。このようにして、第２の実施形態によれば、映像と音を表示及び再生する際、映像と音の内容を一致させつつ、画角外の音については画角内の音と同じ目線の高さの音が聞こえるよう指向性の制御を行うことができる。

以上説明したように本発明によれば、映像と音を表示及び再生する際に、映像と音の内容を一致させつつ、表示されている画像の範囲外の音も違和感なく自然となるよう指向性の制御を行うことができる。

なお、前述した実施形態では、映像信号、音響信号、スピーカ配置方向、指向性制御のためのフィルタ係数は、記憶部１０２が予め保持しているとしていたが、記憶部１０２と相互に結ばれた不図示のデータ入出力部を介して外部から入力するようにしてもよい。また、第１の実施形態における指向性制御手法と第２の実施形態における指向性制御手法を、システム制御部１０１と相互に結ばれたＧＵＩを介してユーザが切り替えられるようにしてもよい。このとき、例えばディスプレイ１２０をタッチパネル等で構成し、ＧＵＩとして機能するようにしてもよい。また、信号処理装置１００が表示（ディスプレイ）及び再生（スピーカ）の機能に加えて、撮影（カメラ）及び録音（マイクアレイ）の機能を備えていてもよい。このとき、例えば撮影・録音系と表示・再生系がそれぞれ遠隔地で同期的に動作すれば、遠隔ライブシステムを実現することができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：信号処理装置 １０１：システム制御部 １０２：記憶部 １０３：信号解析処理部 １０４：音響信号出力部 １１１〜１１８：スピーカ １２０：ディスプレイ

Claims (11)

1. 一体となって姿勢が変化する複数のマイク素子を有するカメラの姿勢の情報を取得する手段と、
   前記カメラの姿勢の情報に基づいて、前記カメラによって撮影された映像の画角外に対応する音の指向性を補正する手段と、
   前記複数のマイク素子を介して得られる音響信号に基づいて、補正された指向性に対応する音を生成する手段とを有することを特徴とする信号処理装置。
2. 前記指向性の補正では、前記複数のマイク素子に対応する音像の配置方向を指向方向としたとき、前記指向方向が映像の画角内である場合には前記指向方向に指向性を向け、前記指向方向が映像の画角外である場合には前記姿勢の情報に応じて補正した指向方向に指向性を向けることを特徴とする請求項１記載の信号処理装置。
3. 映像を表示する手段をさらに有し、前記カメラによって撮影された映像が表示されていないときには、前記姿勢の情報に応じて補正した指向方向に指向性を向けることを特徴とする請求項２記載の信号処理装置。
4. 前記指向方向が映像の画角外であっても、前記指向方向と前記姿勢の回転軸との成す角が閾値未満である場合には、前記補正を行わないことを特徴とする請求項２又は３記載の信号処理装置。
5. 前記指向方向が映像の画角外であっても、前記姿勢の変化による方向変化が閾値未満である場合には、前記補正を行わないことを特徴とする請求項２又は３記載の信号処理装置。
6. 前記指向性の補正では、前記複数のマイク素子に対応する音像の配置方向を指向方向としたとき、画角中心から所定範囲内の前記指向方向について、前記姿勢の変化による仰角方向の変化が最大となるような指向方向の仰角を目標仰角として、グローバル座標系ですべての指向方向の仰角が前記目標仰角と一致するよう補正することを特徴とする請求項１記載の信号処理装置。
7. 前記所定の範囲は、映像の画角の範囲であることを特徴とする請求項６記載の信号処理装置。
8. ユーザの周囲に前記複数のマイク素子に対応する音像を生成する手段をさらに有することを特徴とする請求項１〜７の何れか１項に記載の信号処理装置。
9. 前記音像を生成する手段は、前記ユーザの周囲に配置されるスピーカであることを特徴とする請求項８記載の信号処理装置。
10. 前記音像を生成する手段は、前記複数のマイク素子に対応する音像の配置方向に対応する方向の頭部伝達関数を畳み込んでユーザの両耳近傍で再生することを特徴とする請求項８記載の信号処理装置。
11. 一体となって姿勢が変化する複数のマイク素子を有するカメラの姿勢の情報を取得する工程と、
    前記カメラの姿勢の情報に基づいて、前記カメラによって撮影された映像の画角外に対応する音の指向性を補正する工程と、
    前記複数のマイク素子を介して得られる音響信号に基づいて、補正された指向性に対応する音を生成する工程とを有することを特徴とする信号処理方法。

Images