JP2016119621A - キャリブレーション方法 - Google Patents

Abstract

【課題】全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整する。【解決手段】全方位カメラの筐体の一部を開いてマーカ６１を撮像し、全方位カメラにより撮像されたマーカ６１を含む３６０度の撮像画像９９と画像中心１０１から半径方向に向かうカメラ基準線９５とを表示し、撮像画像９９のマーカ６１の位置が指定されることによりその指定位置と画像中心１０１を通る半径方向に向かうマイク基準線９７を撮像画像９９に重ねて表示し、カメラ基準線９５とマイク基準線９７とのなす角度をズレ量ωとして算出し、このズレ量ωを用いてマイクアレイの収音方向の水平角を調整する。【選択図】図６

Description

本発明は、３６０度の撮像範囲を有する全方位カメラと、３６０度の収音範囲を有するマイクアレイとのそれぞれの水平角の基準方向とのズレを調整するキャリブレーション方法に関する。

３６０度の撮像範囲を有する全方位カメラと、３６０度の方向からの音を収音するマイクアレイとを一体にして併用することにより、ユーザが希望する画像の表示や音声の検出をより最適化する技術が提案されている。

例えば特許文献１には、オーディオ信号を生じる音の方向を決定する全方位カメラ及びマイクロフォンアレイのためのシステムが開示される。この技術によれば、話者を含む画像／ビデオの部分を識別し、これをオーディオ信号に関連付けて、テレビ会議において見られるカメラのビューを、話者が話すときにその方向に向けることができる。

また、特許文献２には、任意の方向の音声データを強調した音声データを生成することが可能な音声処理システム及び音声処理方法が開示されている。この技術によれば、映像の再生中、或いは一時停止中、ユーザから音声強調の指定箇所が画面上で指定されると、マイクアレイから指定箇所に対応する位置（音源）に向かう方向の音声データが強調される。

上記の従来技術においては、マイクアレイは、複数のマイクロホンを円周方向に並べて配置した円環状となる。全方位カメラは、ほぼ同一平面上で、このマイクアレイの内穴に同軸で配置される。全方位カメラ及びマイクアレイは、例えば天井面等の水平面に平行に取り付けられる場合、上記の同一平面に垂直で、それぞれ共通の中心軸を中心とする回転方向の角度を水平角と称すことができる。全方位カメラ及びマイクアレイは、一体的に併用することにより、画像の表示や音声の検出をより最適化する場合（例えば画像上の指定箇所に対応する音声データを強調したい場合）、上記した中心軸を中心とする回転方向の角度（水平角）のそれぞれの基準方向（例えば０度方向）位置が一致している必要がある。なお、同軸に配置される全方位カメラ及びマイクアレイを一体的に併用する場合では、全方位カメラ及びマイクアレイから見た、全方位カメラを通る水平面となす俯角や仰角（垂直角）は同一の値である。

特開２００４−３２７８２号公報 特開２０１４−１４３６７８号公報

しかしながら、全方位カメラは、通路等の被写体によっては、ユーザ（例えば監視者）の視認性向上の要請から、通路が真直となるように撮像画像の範囲を規定する画角（つまり、レンズ）を回転して調整したい場合がある。例えば全方位カメラ及びマイクアレイを一体的に使用するために初期設置する時、又は既設の全方位カメラを一旦取り外してから全方位カメラ及びマイクアレイを一体的に使用するために設置する時に、それぞれの水平角の基準方向が一致するように設置されるが、上記したユーザの視認性向上の要請に基づく撮像画像の画角の調整が行われると、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向（例えば０度方向）が一致しなくなる。その結果、画像上の所望の指定箇所に対応する音声データが強調できない等の事態が生じる。

上記した事態に対し、全方位カメラにより撮像された画像（撮像画像）をユーザが目視しながら、マイクアレイの実際の収音方向を測定して、それぞれの水平角の基準位置を較正すれば、多大な労力及び時間を要することになる。

本発明は、上記従来の状況に鑑みて案出され、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整するキャリブレーション方法を提供することを目的とする。

本発明は、全方位を撮像可能な全方位カメラを包囲して同軸で取り付けられ、かつ全方位の音を収音可能なマイクアレイの収音方向を調整するキャリブレーション方法であって、前記全方位カメラの筐体の一部の開放に応じて、前記一部に設けたマーカを前記全方位カメラにおいて撮像するマーカ撮像ステップと、前記全方位カメラにより撮像された前記マーカを含む全方位の撮像画像と、前記全方位カメラの撮像方向の基準方向を示すカメラ基準線とを表示部に表示するカメラ基準線表示ステップと、前記表示部に表示された前記撮像画像における前記マーカの指定に応じて、前記マイクアレイの収音方向の基準方向を示すマイク基準線を前記撮像画像に重ねて表示するマイク基準線表示ステップと、前記カメラ基準線と前記マイク基準線とのなす角度を調整角度として算出し、前記調整角度を用いて、前記マイクアレイの収音方向の水平角を調整する調整ステップと、を有する、キャリブレーション方法である。

本発明によれば、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整できる。

本実施形態のキャリブレーション方法を実行する撮像収音システムの概念図 （Ａ）図１に示す撮像収音ユニットの斜視図、（Ｂ）全方位カメラが後付される場合の撮像収音ユニットの分解斜視図 取付部材によって天井に取り付けられた撮像収音ユニットの断面図 全方位カメラのサブカバーが開放された撮像収音ユニットの斜視図 撮像収音システムのブロック図 （Ａ）撮像画像の表示開始時の設定画面を表す模式図、（Ｂ）マーカをクリックしたときの設定画面を表す模式図、（Ｃ）マーカの位置を確定したときの設定画面を表す模式図 キャリブレーション設定時の全方位カメラの処理手順を説明するフローチャート キャリブレーション設定時のＰＣの処理手順を説明するフローチャート

以下、本発明に係るキャリブレーション方法を具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して詳細に説明する。本実施形態のキャリブレーション方法では、全方位（つまり、３６０度）の画像を撮像可能な全方位カメラと、全方位（つまり、３６０度）の音を収音可能なマイクアレイとが一体的に使用される場合に、全方位カメラの撮像方向の水平角の基準方向とマイクアレイの収音方向の水平角の基準方向とが一致するようにマイクアレイの収音方向の水平角の基準方向を調整可能とする。

図１は、本実施形態のキャリブレーション方法を実行する撮像収音システムの概念図である。本実施形態のキャリブレーション方法は、例えば全方位カメラとマイクアレイとにより構成される撮像収音システム１１に好適に用いることができる。撮像収音システム１１は、例えば工場、店舗（例えば小売店、銀行）、会議室、或いは公共の場（例えば、駅、図書館、イベント会場）に設置できる。図１に示す撮像収音システム１１は、一体となって併用される全方位カメラ１３及びマイクアレイ１５と、ＰＯＥハブ１７と、ネットワーク１９と、ＰＣ２１とを含む構成である。全方位カメラ１３及びマイクアレイ１５は、それぞれがＩＰアドレスを有し、２本のケーブル２３、ケーブル２５を介してＰＯＥハブ１７に接続される。

図２（Ａ）は、図１に示す撮像収音ユニットの斜視図である。図２（Ｂ）は、全方位カメラが後付される場合の撮像収音ユニットの分解斜視図である。全方位カメラ１３及びマイクアレイ１５は、図２（Ａ）に示すように、それぞれ別体の全方位カメラ１３及びマイクアレイ１５を一体にセットして出荷する製品（一体製品）と、図２（Ｂ）に示すように、全方位カメラ１３のみ又はマイクアレイ１５のみの単体製品を一体に組み合わせる組み合わせ品として使用される場合がある。本実施形態のキャリブレーション方法は、これら一体製品及び組み合わせ品のいずれにも適用できる。全方位カメラ１３及びマイクアレイ１５は、一体製品の場合、図２（Ａ）に示すように、環状のマイクアレイ１５の内穴２７に、全方位カメラ１３が嵌合して取り付けられる。また、組み合わせ品の場合には、図２（Ｂ）に示すように、マイクアレイ１５の内穴２７を塞ぐカバー２９を外した後、内穴２７に全方位カメラ１３が取り付けられることで一体となる。

全方位カメラ１３は、例えば魚眼レンズが設けられ、全方位（つまり、３６０度）の撮像画像を得ることができる。また、マイクアレイ１５は、円周方向に複数のマイクロホンが等間隔に配置された筐体を有し、全方位（つまり、３６０度）の音を収音できる。全方位カメラ１３及びマイクアレイ１５は、上記の一体製品及び組み合わせ品のいずれの場合においても、中心軸が一致して取り付けられる。即ち、マイクアレイ１５は、複数のマイクロホンを、同軸を中心に円周方向に並べて配置した円環状となる。全方位カメラ１３は、ほぼ同一平面上で、マイクアレイ１５の内穴２７に同軸で配置される。全方位カメラ１３及びマイクアレイ１５は、例えば天井面等の水平面に平行に取り付けられる場合、上記の同一平面に垂直で、それぞれ共通の中心軸（同軸）を中心とする回転方向の角度が水平角となる。なお、全方位カメラ１３及びマイクアレイ１５は、本実施形態のように一体的に使用される場合には同軸に配置されることにより、全方位カメラ１３を通る水平面となす垂直角（言い換えると、全方位カメラ１３から見た撮像方向の垂直角とマイクアレイ１５から見た収音方向の垂直角）は、同一として扱われる。

図３は、取付部材によって天井に取り付けられた撮像収音ユニットの断面図である。全方位カメラ１３及びマイクアレイ１５は、設置面（例えば天井３１）に取付部材３３が取り付けられて固定され、全方位カメラ１３及びマイクアレイ１５の両方が取付部材３３に取り付けられる。これにより、全方位カメラ１３及びマイクアレイ１５は、一体化して合体する。取付部材３３は、表面に凹凸を有する略円盤状に形成された金属製の部材である。なお、取付部材３３は、セラミックス製又は合成樹脂（例えばプラスチック又はエラストマ）製の部材でもよい。

取付部材３３の表面、即ち、天井面に対向する取付部材３３の表面には、同軸の方向に突出し、全方位カメラ１３を取り付けて固定するためのカメラ係止片３５が同心円上の３箇所に形成されている。更に、取付部材３３の表面には、同軸の方向に突出し、マイクアレイ１５を取り付けて固定するためのマイク係止片３７が、カメラ係止片３５が形成された同心円よりも大きな直径の同心円上の３箇所に形成されている。

カメラ係止片３５には、全方位カメラ１３の底面に設けられたカメラ固定ピン３９と係合する係合孔４１が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。同様に、マイク係止片３７には、マイクアレイ１５の底面に設けられたマイク固定ピン４３と係合する係合孔４５が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。カメラ固定ピン３９、マイク固定ピン４３は、それぞれ係合孔４１、係合孔４５の一端部と他端部との間の太さ（直径）を有する頭部と頭部より細い胴部とからなる。

全方位カメラ１３及びマイクアレイ１５を取付部材３３に取り付ける場合、先ず、全方位カメラ１３が取付部材３３に取り付けられる。この場合、カメラ固定ピン３９をカメラ係止片３５に形成された係合孔４１に係合させる。そして、カメラ固定ピン３９の頭部が係合孔４１から突出した状態で、全方位カメラ１３を回転させることでカメラ固定ピン３９を係合孔４１において移動させる。そして、カメラ固定ピン３９の頭部が係合孔４１の他端部側に移動した状態で、カメラ固定ピン３９と係合孔４１とは係合したことになり、全方位カメラ１３は同軸の方向に固定される。

全方位カメラ１３を取付部材３３に取り付けた後、マイクアレイ１５を、マイクアレイ１５の内穴２７から全方位カメラ１３が露出するように、取付部材３３に取り付ける。この場合、マイク固定ピン４３をマイク係止片３７に形成された係合孔４５に係合させる。なお、マイク固定ピン４３を係合孔４５に固定する手順は、カメラ固定ピン３９を係合孔４１に固定する手順と同様である。

以上により、全方位カメラ１３及びマイクアレイ１５は、天井面に取り付けて固定された取付部材３３に、中心軸４７を共有して、全方位カメラ１３の撮像方向の水平方向及びマイクアレイ１５の収音方向の水平方向の各基準方向（例えば０度を示す方向）が一致した状態で一体的に取り付けられる。これら一体となった全方位カメラ１３及びマイクアレイ１５は、撮像収音ユニット４９と称すことができる。

但し、ここで、ユーザの全方位カメラ１３の撮像画像の視認性向上のために、後述するサブカバー５７の開放に応じて露出した調整ねじ５９の調整により、撮像画像の画角の調整が行われると（図４参照）、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向（例えば０度方向）が一致しなくなったとする。例えば、図６（Ａ）に示すように、通路が上下方向に真直になるように撮像画像の画角の調整が調整され、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向（例えば０度方向）が一致しなくなったとする。

図４は、全方位カメラのサブカバーが開放された撮像収音ユニットの斜視図である。全方位カメラ１３は、筐体５１が、円錐部の頂部に穴５３を有した扁平な筒状に形成される。筐体５１には、穴５３からケース外部に突出するドームカバー５５が取り付けられる。ドームカバー５５は、内方でレンズユニット（図示略）を覆う。レンズユニットは、調整ギアユニット（不図示）によって、筐体５１に対して回転自在となる。レンズユニットは、撮像素子（不図示）と一体となって回転される。つまり、全方位カメラ１３は、レンズユニットの回転によって、撮像画像が回転（イメージローテーション）可能となっている。

全方位カメラ１３は、筐体５１の一部であるサブカバー５７が開閉自在に取り付けられている。サブカバー５７は、ヒンジ軸を介して回転自在に取り付けられ、ヒンジ軸を中心とした回転方向以外には移動が規制される。即ち、サブカバー５７は、回転方向の軌跡から外れてガタツキが生じないように開閉される。従って、開放端まで開放されたサブカバー５７は変位しない。サブカバー５７は、この開放端の位置で、節度機構によって解除可能に保持されることが好ましい。

全方位カメラ１３は、サブカバー５７が開放されることによって、筐体５１の内部に、調整ねじ５９が露出する。調整ねじ５９は、調整ギアユニットを駆動する。即ち、全方位カメラ１３は、サブカバー５７を開けて、調整ねじ５９を工具によって回転することで、調整ギアユニットを介してレンズユニットを回転調整可能としている。上記のように、全方位カメラ１３及びマイクアレイ１５は、取付部材３３によって天井３１に固定される。固定された全方位カメラ１３及びマイクアレイ１５は、相対回転が規制されている。この状態で、全方位カメラ１３は、レンズユニットのみが調整ねじ５９によって回転されることとなる。これにより、全方位カメラ１３は、ユーザが、撮像画像を所望の角度に回転して視認することができるようになされている。但し、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向（例えば０度方向）が一致しなくなる。

なお、全方位カメラ１３は、調整ギアユニットの回転量を検出可能な構成とすることができる。即ち、全方位カメラ１３は、調整ギアユニットや、この調整ギアユニットが噛合するレンズユニットのセグメントギア、或いはレンズユニット自体（例えば鏡筒）の回転量を検出する角度センサ等を設けたカメラ調整部を備えることができる。これにより、全方位カメラ１３は、常に撮像方向の水平角の基準方向（例えば水平角が０度を示す方向）を数値情報として持って、記憶部に格納することが可能となる。

ところで、サブカバー５７の背面には、マーカ６１が設けられている。このマーカ６１は、サブカバー５７が開放されることによって、全方位カメラ１３の撮像範囲に含まれる。つまり、サブカバー５７を開いた状態の全方位カメラ１３の撮像画像に、マーカ６１は映し出される。このマーカ６１は、マイクアレイ１５の収音方向の水平角の基準位置を表す。収音方向とは、マイクアレイ１５から、例えばＰＣ２１の操作部７９の操作により表示部７３に表示された全方位カメラ１３の撮像画像上の指定位置に対応する音声位置に向かう方向（言い換えると、ＰＣ２１において指向性が形成されてマイクアレイ１５により収音された音声の音声データが強調されて音声出力される方向）である。全方位カメラ１３及びマイクアレイ１５は、一旦、取付部材３３によって固定された後は、相対回転しない。従って、サブカバー５７には、マイクアレイ１５の収音方向の水平角の基準方向（例えば水平角が０度を示す方向）に関連付けしたマーカ６１を設けることができる。

撮像収音システム１１において、通常の運用時、サブカバー５７が閉められているので、マーカ６１は撮像されない。勿論、通常の運用時、マイクアレイ１５は、撮像されることがない。このように、本実施形態のキャリブレーション方法が適用可能な撮像収音システム１１では、通常の運用時にはサブカバー５７が閉じられてマーカ６１を隠すことができ、全方位カメラ１３及びマイクアレイ１５の較正時には、サブカバー５７を開いて、マイクアレイ１５の基準位置となるマーカ６１を表出可能となる。

図５は、撮像収音システムのブロック図である。マイクアレイ１５は、複数（例えば図５では３個）のマイクロホン６３と、制御部６５と、記憶部６７と、通信部６９とを含む構成である。

マイクロホン６３は、マイクアレイ１５の円周方向に沿って複数、配置される。マイクロホン６３には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。

制御部６５は、マイクアレイ１５の各部の動作を制御し、更に、各々のマイクロホン６３により収音された音声データをＡ／Ｄ変換し、デジタルの音声信号に対して所定の音声処理を実行する。

記憶部６７は、マイクアレイ１５において収音された音声信号を格納する。

通信部６９は、制御部６５からの指示に応じて、記憶部６７に記憶された音声信号を、ネットワーク１９を介してＰＣ２１に送信する。

ＰＣ２１は、通信部７１と、表示部７３と、記憶部７５と、音声出力部７７と、操作部７９と、制御部８１とを含む構成である。

通信部７１は、ネットワーク１９を介してマイクアレイ１５と、全方位カメラ１３との間で信号の送受を行う。

表示部７３は、全方位カメラ１３から送信された撮像信号（つまり、撮像画像のデータ）や、後述するキャリブレーション（図６参照）において用いる操作エリアに設けられる入力操作部等を表示する。

記憶部７５は、演算データや、マイクアレイ１５の基準方向（つまり、マイクアレイ１５の収音方向の水平角の基準方向や、マイクアレイ１５の収音方向の水平角の基準方向を示すマイク基準線の描画データ）、全方位カメラ１３の基準方向（つまり、全方位カメラ１３の水平角の基準方向や、全方位カメラ１３の水平角の基準方向を示すカメラ基準線の描画データ）を記憶する。

音声出力部７７は、マイクアレイ１５により収音された音声データ、若しくはその音声データを基に、制御部８１において特定方向への強調処理を行った音声データ（つまり、マイクアレイ１５から、操作部７９に対する操作により指定された表示部７３の画面上の位置に対応する音声位置に向かう方向（収音方向）に指向性が形成された音声データ）を音声出力する。

操作部７９は、例えばディスプレイの画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部７９は、マウス又はキーボード等のポインティングデバイスを用いて構成されてもよい。

制御部８１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。制御部８１は、画像処理、音声処理の動作を全体的に統括するための制御処理（例えば指向性の形成処理）、全方位カメラ１３、マイクアレイ１５との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を実行する。

全方位カメラ１３は、撮像部８３と、カメラ調整部８５と、通信部８７と、記憶部８９と、制御部９１と、マイク連携部９３とを含む構成である。

撮像部８３は、レンズユニットと、ＣＣＤ（Charge Device Couples）やＣＭＯＳ（Complementary Metal Oxide Semiconductors）を用いて構成可能な撮像素子とを少なくとも有する。レンズユニットは、回転されることで、撮像素子と一体となって回転される。

カメラ調整部８５は、上記の調整ギアユニットを有する。カメラ調整部８５は、調整ねじ５９が回転操作されることで、調整ギアユニットを介してレンズユニットを回転する。このカメラ調整部８５は、レンズユニットの回転量を回転情報として得る角度センサを設けることができる。これにより、カメラ調整部８５は、レンズユニットの基準位置が常に把握可能となる。

通信部８７は、撮像部８３により撮像された撮像信号（つまり、撮像画像のデータ）を撮像情報の一部として、ネットワーク１９を介してＰＣ２１に送信する。また、通信部８７は、ＰＣ２１との間で、全方位カメラ１３の基準方向に関するデータの送受を行う。

記憶部８９は、撮像部８３により撮像された撮像信号（つまり、撮像画像のデータ）を記憶する。また、記憶部８９は、全方位カメラ１３の現在の撮像方向の水平角の基準方向（調整方向）や、出荷時（つまり、本実施形態のキャリブレーション方法が実行される当初）の全方位カメラ１３の基準方向（全方位カメラ１３の撮像方向の水平角の基準方向や、全方位カメラ１３の撮像方向の水平角の基準方向を示すカメラ基準線の描画データ）の情報を記憶する。全方位カメラ１３の基準方向に関する情報（上述参照）は、ＰＣ２１の記憶部７５と重複して記憶される。

制御部９１は、全方位カメラ１３の各部の動作を制御し、全方位カメラ１３の撮像に関する各種パラメータを調整する。

マイク連携部９３は、マイクアレイ１５の収音方向の水平角の基準方向や、本実施形態のキャリブレーション方法により調整された後のマイクアレイ１５の収音方向の水平角の基準方向に関する情報を、通信部８７を介してＰＣ２１との間での送受を制御する。

次に、本実施形態のキャリブレーション方法について、図６（Ａ）〜図６（Ｃ）を参照して説明する。図６（Ａ）は、撮像画像の表示開始時の設定画面を表す模式図である。図６（Ｂ）は、マーカをクリックしたときの設定画面を表す模式図である。図６（Ｃ）は、マーカの位置を確定したときの設定画面を表す模式図である。

本実施形態のキャリブレーション方法は、マーカ６１を表出させるステップ（マーカ表出ステップ）と、カメラ基準線９５を表示するステップ（カメラ基準線表示ステップ）と、マイク基準線９７を表示するステップ（マイク基準線表示ステップ）と、マイクアレイ１５の収音方向の水平角を調整するステップ（調整ステップ）と、を有する。

マーカ６１を表出させるステップでは、全方位カメラ１３の筐体５１の一部であるサブカバー５７を開く（図４参照）。これにより、サブカバー５７に設けたマーカ６１が表出される。

カメラ基準線９５を表示するステップでは、図６（Ａ）に示すように、ＰＣ２１は、全方位カメラ１３により撮像されたマーカ６１を含む全方位（つまり、３６０度）の撮像画像９９と、撮像画像９９の画像中心１０１から半径方向に向かう全方位カメラ１３の撮像方向の基準方向を示すカメラ基準線９５とを表示部７３に表示する。撮像画像９９がカラー表示である場合、カメラ基準線９５は、例えば青色で表示される。

マイク基準線９７を表示するステップで順は、ＰＣ２１は、撮像画像９９の中に表示されたマーカ６１の位置が操作部７９により指定されると、図６（Ｂ）に示すように、その指定位置と画像中心１０１とを通る半径方向に向かう、マイクアレイ１５の収音方向の基準方向を示すマイク基準線９７を、撮像画像９９に重ねて表示する。

本実施形態のキャリブレーション方法では、マーカ６１の位置が指定されることにより初期表示されるマイク基準線９７は、例えば図６（Ｂ）のように破線によって表示される。撮像画像９９がカラー表示である場合、マイク基準線９７は、例えば赤色で表示される。

破線で表示されたマイク基準線９７は、ユーザによる確定の指示の入力（例えば設定ボタン１０３のクリック）によって、図６（Ｃ）に示すように、実線で表示される。これにより、ＰＣ２１は、マイクアレイ１５の収音方向の水平角の基準方向と全方位カメラ１３の撮像方向の水平角の基準方向との差分の値を保持できる。

なお、本実施形態のキャリブレーション方法では、マイク基準線９７が確定されると、カメラ基準線９５がマイク基準線９７に移動する（つまり、カメラ基準線９５がマイク基準線９７と一致する）のではなく、カメラ基準線９５及びマイク基準線９７はそのまま残る。従って、マイクアレイ１５の収音方向の水平角の基準方向と全方位カメラ１３の撮像方向の水平角の基準方向との差分の値は、ＰＣ２１や全方位カメラ１３において差分パラメータとして保持され、ＰＣ２１は、ユーザが操作部７９を用いて、表示部７３に表示された全方位カメラ１３の撮像画像上の位置を指定した場合に、指定位置に対応する音声位置に指向性を形成する際、差分パラメータを考慮して指向性の方向（指向方向）を算出する。

また、キャリブレーション方法は、上記した撮像画像上におけるマーカ６１の位置の入力に加え、操作部７９により角度を数値入力することによってもマイク基準線９７が表示される。この場合、表示部７３には、操作エリア１０５が表示される。操作エリア１０５には、キーボードやマウスによって数値が入力可能な入力操作部１０７（テキストボックスやコンボボックス）を配置する。

マイクアレイ１５の収音方向の水平角を調整するステップでは、ＰＣ２１が、カメラ基準線９５とマイク基準線９７とのなす角度をズレ量として算出し、このズレ量を用いて、マイクアレイ１５の収音方向の水平角を調整する。これにより、ＰＣ２１は、例えば指向性を形成する際に、マイクアレイ１５の収音方向の水平角の基準方向を、ズレ量を用いて補正し、その補正後の値が示す方向（つまり、全方位カメラ１３の撮像方向の水平角の基準方向と同一の方向）を用いることができるので、全方位カメラ１３の撮像方向と基準が合った状態で適正に指向性を形成できる。

図７は、キャリブレーション設定時の全方位カメラの処理手順を説明するフローチャートである。

全方位カメラ１３の処理手順としては、先ず、映像信号が通信部８７からネットワーク１９に送信される（ｓｔ１）。次いで、全方位カメラ１３の撮像方向の水平角の基準方向に関する情報がネットワーク１９を介してＰＣ２１に送信される（ｓｔ２）。なお、映像信号と全方位カメラ１３の撮像方向の水平角の基準方向に関する情報とは、同時に送信されてもよい（点線参照）。全方位カメラ１３は、ＰＣ２１から送られる調整位置に関する情報（つまり、本実施形態のキャリブレーション方法の終了により調整された後のマイクアレイ１５の収音方向の水平角の基準方向に関する情報）の受信を待って待機する（ｓｔ３）。ステップｓｔ３における調整位置に関する情報が全方位カメラ１３において受信されると、全方位カメラ１３は、調整位置に関する情報を確定し（ｓｔ４）、この調整位置に関する情報を記憶部８９に格納する。

図８は、キャリブレーション設定時のＰＣ２１の処理手順を説明するフローチャートである。

ＰＣ２１の処理手順としては、先ず、ＰＣ２１は、映像データを受信した後、撮像画像９９を表示部７３に表示する（ｓｔ５）。次いで、ＰＣ２１は、全方位カメラ１３の記憶部８９に記憶された全方位カメラ１３の撮像方向の水平角の基準方向に関する情報を受信した後、全方位カメラ１３の撮像方向の水平角の基準方向を示すカメラ基準線９５を撮像画像９９に重ねて表示する（ｓｔ６）。なお、撮像画像９９とカメラ基準線９５とは、同時に表示されてもよい（点線参照）。

ＰＣ２１は、マイクアレイ１５の収音方向の水平角の基準方向を示すマーカ６１の位置の指定待ち状態で待機する（ｓｔ７）。マーカ６１の位置が指定されると、ＰＣ２１は、画像中心１０１からマーカ６１まで半径方向に破線表示する（ｓｔ８）。マイクアレイ１５の収音方向の水平角の基準方向を示すマイク基準線９７が確定され（ｓｔ９）、ユーザによって設定ボタン１０３がクリックされると、マイク基準線９７が破線から実線に変わり、マイクアレイ１５の収音方向の水平角の基準方向が確定される。確定されたマイクアレイ１５の収音方向の水平角の基準方向（調整位置）に関する情報は、ＰＣ２１から全方位カメラ１３及びマイクアレイ１５へ送信される（ｓｔ１０）。

次に、上記した撮像収音システム１１における作用を説明する。

本実施形態のキャリブレーション方法では、全方位カメラ１３は、レンズユニットと撮像素子とが一体となったレンズユニットが、筐体５１に対して回転可能となって取り付けられている。全方位カメラ１３とマイクアレイ１５とがそれぞれの水平角の基準方向が一致した状態で天井面等の水平面に取り付けられた後、全方位カメラ１３の撮像画像がＰＣ２１の表示部７３に表示された状態で、ユーザが希望する画角が得られるように、調整ねじ５９が工具により回転されてレンズユニットが回転すると、全方位カメラ１３とマイクアレイ１５とがそれぞれの水平角の基準方向が一致しなくなる。

そこで、本実施形態のキャリブレーション方法では、ＰＣ２１の表示部７３に、全方位カメラ１３の撮像画像９９が表示された際に、全方位カメラ１３の撮像方向の水平角の基準方向を示すカメラ基準線９５が表示される。

この撮像画像９９には、ユーザが開放した全方位カメラ１３の筐体５１の一部（サブカバー５７）が表示される。筐体５１の一部（サブカバー５７）には、マイクアレイ１５の収音方向の水平角の基準位置（基準方向）を示すマーカ６１が予め設けられている。

ユーザは、ＰＣ２１の表示部７３上でこのマーカ６１にカーソルを合わせ、その位置を指定（例えばマウスボタンを押下）する。これにより、全方位カメラ１３は、撮像画像９９に、マイクアレイ１５の収音方向の水平角の基準位置（基準方向）を示すマイク基準線９７を破線で表示する。

従って、撮像画像９９には、画像中心１０１から半径方向に向かって描かれたカメラ基準線９５とマイク基準線９７とが表示される。

これらカメラ基準線９５とマイク基準線９７とのなす角度が、全方位カメラ１３及びマイクアレイ１５の中心軸４７を中心とする回転方向（水平角）の基準方向のズレ量ω（言い換えると、ユーザの撮像画像の視認性向上のために調整ねじ５９の回転によりレンズユニットが回転したことに基づくマイクアレイ１５の収音方向の水平角の基準方向のズレ量）となる。ＰＣ２１は、例えばユーザにより指定された方向に音声データの指向性を形成する際、このズレ量ωを考慮して、マイクアレイ１５の収音方向の水平角を補正する。

また、このキャリブレーション方法では、ユーザがマーカ６１の位置を指定した直後、撮像画像９９には、マイク基準線９７が破線によって表示される。これにより、ユーザは、入力位置が未確定であることが容易に視認できる。

破線のマイク基準線９７は、ユーザが確定の指示をＰＣ２１に指定することで、実線に変わって表示される。これにより、ユーザは、キャリブレーション処理の完了したことを容易に視認できる。

更に、このキャリブレーション方法では、撮像画像９９と共に表示されている操作エリア１０５に、角度が数値入力されると、入力された数値に基づいて、マイク基準線９７が描き直される。つまり、マイク基準線９７は、手動での修正が可能となる。これにより、マイク基準線９７を、より正確にマーカ６１に一致させることができるようになる。

従って、本実施形態のキャリブレーション方法によれば、撮像収音システム１１は、全方位カメラ１３とマイクアレイ１５とが一体的に用いられる場合に、ユーザの容易な操作で、全方位カメラ１３の撮像方向の水平角の基準方向とマイクアレイ１５の収音方向の水平角の基準方向とを調整できる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば上述した本実施形態では、マイクアレイ１５の収音方向の水平角の基準方向を調整する際に、全方位カメラ１３の撮像方向の水平角の基準方向を示すカメラ基準線９５と、撮像画像９９の画像中心１０１からマーカ６１に向かうマイク基準線９７とが共に表示され、カメラ基準線９５とマイク基準線９７とのなす角度を用いる例を説明した。

しかし、本実施形態は上記例に限定されず、例えば、ＰＣ２１は、カメラ基準線９５及びマイク基準線９７を表示部７３に表示せず、サブカバー５７が開放された場合に全方位カメラ１３が撮像したマーカ６１を撮像画像９９に重畳して表示する。ユーザがマーカ６１をクリックすれば、ＰＣ２１は、マイクアレイ１５の収音方向の水平角の基準方向を画像中心１０１からマーカ６１に向かう方向と認識し、更に、全方位カメラ１３の撮像方向の水平角の基準方向に関する情報を記憶部７５に保持しているので、マイクアレイ１５の収音方向の水平角の基準方向と全方位カメラ１３の撮像方向の水平角の基準方向との差分の値を保持できる。つまり、カメラ基準線９５及びマイク基準線９７が表示部７３に表示されなくても、上述した本実施形態のキャリブレーション方法と同様に、マイクアレイ１５の収音方向の水平角の基準方向を調整できる。

また、本発明は、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とを一致するようにマイクアレイの収音方向の基準方向を調整するキャリブレーション方法、又はキャリブレーション方法に用いる収音撮像システムとして有用である。

１１ 撮像収音システム
１３ 全方位カメラ
１５ マイクアレイ
５１ 筐体
５７ サブカバー（一部）
６１ マーカ
７９ 操作部
９５ カメラ基準線
９７ マイク基準線
９９ 撮像画像
１０１ 画像中心
ω ズレ量

Claims (3)

1. 全方位を撮像可能な全方位カメラを包囲して同軸で取り付けられ、かつ全方位の音を収音可能なマイクアレイの収音方向を調整するキャリブレーション方法であって、
   前記全方位カメラの筐体の一部の開放に応じて、前記一部に設けたマーカを前記全方位カメラにおいて撮像するマーカ撮像ステップと、
   前記全方位カメラにより撮像された前記マーカを含む全方位の撮像画像と、前記全方位カメラの撮像方向の基準方向を示すカメラ基準線とを表示部に表示するカメラ基準線表示ステップと、
   前記表示部に表示された前記撮像画像における前記マーカの指定に応じて、前記マイクアレイの収音方向の基準方向を示すマイク基準線を前記撮像画像に重ねて表示するマイク基準線表示ステップと、
   前記カメラ基準線と前記マイク基準線とのなす角度を調整角度として算出し、前記調整角度を用いて、前記マイクアレイの収音方向の水平角を調整する調整ステップと、を有する、
   キャリブレーション方法。
2. 請求項１に記載のキャリブレーション方法であって、
   前記マイク基準線表示ステップでは、
   前記マーカの位置の指定に応じて、前記マイク基準線は破線によって表示され、
   前記マーカの位置の確定指示に応じて、前記破線によって表示された前記マイク基準線が実線によって表示される、
   キャリブレーション方法。
3. 請求項１又は２に記載のキャリブレーション方法であって、
   前記調整ステップでは、
   操作部を介した前記調整角度の数値入力に応じて、前記マイク基準線が調整され、破線によって表示される、
   キャリブレーション方法。