JP2016119621A - キャリブレーション方法 - Google Patents
キャリブレーション方法 Download PDFInfo
- Publication number
- JP2016119621A JP2016119621A JP2014259327A JP2014259327A JP2016119621A JP 2016119621 A JP2016119621 A JP 2016119621A JP 2014259327 A JP2014259327 A JP 2014259327A JP 2014259327 A JP2014259327 A JP 2014259327A JP 2016119621 A JP2016119621 A JP 2016119621A
- Authority
- JP
- Japan
- Prior art keywords
- omnidirectional camera
- camera
- microphone
- microphone array
- reference line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整する。【解決手段】全方位カメラの筐体の一部を開いてマーカ61を撮像し、全方位カメラにより撮像されたマーカ61を含む360度の撮像画像99と画像中心101から半径方向に向かうカメラ基準線95とを表示し、撮像画像99のマーカ61の位置が指定されることによりその指定位置と画像中心101を通る半径方向に向かうマイク基準線97を撮像画像99に重ねて表示し、カメラ基準線95とマイク基準線97とのなす角度をズレ量ωとして算出し、このズレ量ωを用いてマイクアレイの収音方向の水平角を調整する。【選択図】図6
Description
本発明は、360度の撮像範囲を有する全方位カメラと、360度の収音範囲を有するマイクアレイとのそれぞれの水平角の基準方向とのズレを調整するキャリブレーション方法に関する。
360度の撮像範囲を有する全方位カメラと、360度の方向からの音を収音するマイクアレイとを一体にして併用することにより、ユーザが希望する画像の表示や音声の検出をより最適化する技術が提案されている。
例えば特許文献1には、オーディオ信号を生じる音の方向を決定する全方位カメラ及びマイクロフォンアレイのためのシステムが開示される。この技術によれば、話者を含む画像/ビデオの部分を識別し、これをオーディオ信号に関連付けて、テレビ会議において見られるカメラのビューを、話者が話すときにその方向に向けることができる。
また、特許文献2には、任意の方向の音声データを強調した音声データを生成することが可能な音声処理システム及び音声処理方法が開示されている。この技術によれば、映像の再生中、或いは一時停止中、ユーザから音声強調の指定箇所が画面上で指定されると、マイクアレイから指定箇所に対応する位置(音源)に向かう方向の音声データが強調される。
上記の従来技術においては、マイクアレイは、複数のマイクロホンを円周方向に並べて配置した円環状となる。全方位カメラは、ほぼ同一平面上で、このマイクアレイの内穴に同軸で配置される。全方位カメラ及びマイクアレイは、例えば天井面等の水平面に平行に取り付けられる場合、上記の同一平面に垂直で、それぞれ共通の中心軸を中心とする回転方向の角度を水平角と称すことができる。全方位カメラ及びマイクアレイは、一体的に併用することにより、画像の表示や音声の検出をより最適化する場合(例えば画像上の指定箇所に対応する音声データを強調したい場合)、上記した中心軸を中心とする回転方向の角度(水平角)のそれぞれの基準方向(例えば0度方向)位置が一致している必要がある。なお、同軸に配置される全方位カメラ及びマイクアレイを一体的に併用する場合では、全方位カメラ及びマイクアレイから見た、全方位カメラを通る水平面となす俯角や仰角(垂直角)は同一の値である。
しかしながら、全方位カメラは、通路等の被写体によっては、ユーザ(例えば監視者)の視認性向上の要請から、通路が真直となるように撮像画像の範囲を規定する画角(つまり、レンズ)を回転して調整したい場合がある。例えば全方位カメラ及びマイクアレイを一体的に使用するために初期設置する時、又は既設の全方位カメラを一旦取り外してから全方位カメラ及びマイクアレイを一体的に使用するために設置する時に、それぞれの水平角の基準方向が一致するように設置されるが、上記したユーザの視認性向上の要請に基づく撮像画像の画角の調整が行われると、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向(例えば0度方向)が一致しなくなる。その結果、画像上の所望の指定箇所に対応する音声データが強調できない等の事態が生じる。
上記した事態に対し、全方位カメラにより撮像された画像(撮像画像)をユーザが目視しながら、マイクアレイの実際の収音方向を測定して、それぞれの水平角の基準位置を較正すれば、多大な労力及び時間を要することになる。
本発明は、上記従来の状況に鑑みて案出され、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整するキャリブレーション方法を提供することを目的とする。
本発明は、全方位を撮像可能な全方位カメラを包囲して同軸で取り付けられ、かつ全方位の音を収音可能なマイクアレイの収音方向を調整するキャリブレーション方法であって、前記全方位カメラの筐体の一部の開放に応じて、前記一部に設けたマーカを前記全方位カメラにおいて撮像するマーカ撮像ステップと、前記全方位カメラにより撮像された前記マーカを含む全方位の撮像画像と、前記全方位カメラの撮像方向の基準方向を示すカメラ基準線とを表示部に表示するカメラ基準線表示ステップと、前記表示部に表示された前記撮像画像における前記マーカの指定に応じて、前記マイクアレイの収音方向の基準方向を示すマイク基準線を前記撮像画像に重ねて表示するマイク基準線表示ステップと、前記カメラ基準線と前記マイク基準線とのなす角度を調整角度として算出し、前記調整角度を用いて、前記マイクアレイの収音方向の水平角を調整する調整ステップと、を有する、キャリブレーション方法である。
本発明によれば、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とが一致するようにマイクアレイの収音方向の基準方向を調整できる。
以下、本発明に係るキャリブレーション方法を具体的に開示した実施形態(以下、「本実施形態」という)について、図面を参照して詳細に説明する。本実施形態のキャリブレーション方法では、全方位(つまり、360度)の画像を撮像可能な全方位カメラと、全方位(つまり、360度)の音を収音可能なマイクアレイとが一体的に使用される場合に、全方位カメラの撮像方向の水平角の基準方向とマイクアレイの収音方向の水平角の基準方向とが一致するようにマイクアレイの収音方向の水平角の基準方向を調整可能とする。
図1は、本実施形態のキャリブレーション方法を実行する撮像収音システムの概念図である。本実施形態のキャリブレーション方法は、例えば全方位カメラとマイクアレイとにより構成される撮像収音システム11に好適に用いることができる。撮像収音システム11は、例えば工場、店舗(例えば小売店、銀行)、会議室、或いは公共の場(例えば、駅、図書館、イベント会場)に設置できる。図1に示す撮像収音システム11は、一体となって併用される全方位カメラ13及びマイクアレイ15と、POEハブ17と、ネットワーク19と、PC21とを含む構成である。全方位カメラ13及びマイクアレイ15は、それぞれがIPアドレスを有し、2本のケーブル23、ケーブル25を介してPOEハブ17に接続される。
図2(A)は、図1に示す撮像収音ユニットの斜視図である。図2(B)は、全方位カメラが後付される場合の撮像収音ユニットの分解斜視図である。全方位カメラ13及びマイクアレイ15は、図2(A)に示すように、それぞれ別体の全方位カメラ13及びマイクアレイ15を一体にセットして出荷する製品(一体製品)と、図2(B)に示すように、全方位カメラ13のみ又はマイクアレイ15のみの単体製品を一体に組み合わせる組み合わせ品として使用される場合がある。本実施形態のキャリブレーション方法は、これら一体製品及び組み合わせ品のいずれにも適用できる。全方位カメラ13及びマイクアレイ15は、一体製品の場合、図2(A)に示すように、環状のマイクアレイ15の内穴27に、全方位カメラ13が嵌合して取り付けられる。また、組み合わせ品の場合には、図2(B)に示すように、マイクアレイ15の内穴27を塞ぐカバー29を外した後、内穴27に全方位カメラ13が取り付けられることで一体となる。
全方位カメラ13は、例えば魚眼レンズが設けられ、全方位(つまり、360度)の撮像画像を得ることができる。また、マイクアレイ15は、円周方向に複数のマイクロホンが等間隔に配置された筐体を有し、全方位(つまり、360度)の音を収音できる。全方位カメラ13及びマイクアレイ15は、上記の一体製品及び組み合わせ品のいずれの場合においても、中心軸が一致して取り付けられる。即ち、マイクアレイ15は、複数のマイクロホンを、同軸を中心に円周方向に並べて配置した円環状となる。全方位カメラ13は、ほぼ同一平面上で、マイクアレイ15の内穴27に同軸で配置される。全方位カメラ13及びマイクアレイ15は、例えば天井面等の水平面に平行に取り付けられる場合、上記の同一平面に垂直で、それぞれ共通の中心軸(同軸)を中心とする回転方向の角度が水平角となる。なお、全方位カメラ13及びマイクアレイ15は、本実施形態のように一体的に使用される場合には同軸に配置されることにより、全方位カメラ13を通る水平面となす垂直角(言い換えると、全方位カメラ13から見た撮像方向の垂直角とマイクアレイ15から見た収音方向の垂直角)は、同一として扱われる。
図3は、取付部材によって天井に取り付けられた撮像収音ユニットの断面図である。全方位カメラ13及びマイクアレイ15は、設置面(例えば天井31)に取付部材33が取り付けられて固定され、全方位カメラ13及びマイクアレイ15の両方が取付部材33に取り付けられる。これにより、全方位カメラ13及びマイクアレイ15は、一体化して合体する。取付部材33は、表面に凹凸を有する略円盤状に形成された金属製の部材である。なお、取付部材33は、セラミックス製又は合成樹脂(例えばプラスチック又はエラストマ)製の部材でもよい。
取付部材33の表面、即ち、天井面に対向する取付部材33の表面には、同軸の方向に突出し、全方位カメラ13を取り付けて固定するためのカメラ係止片35が同心円上の3箇所に形成されている。更に、取付部材33の表面には、同軸の方向に突出し、マイクアレイ15を取り付けて固定するためのマイク係止片37が、カメラ係止片35が形成された同心円よりも大きな直径の同心円上の3箇所に形成されている。
カメラ係止片35には、全方位カメラ13の底面に設けられたカメラ固定ピン39と係合する係合孔41が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。同様に、マイク係止片37には、マイクアレイ15の底面に設けられたマイク固定ピン43と係合する係合孔45が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。カメラ固定ピン39、マイク固定ピン43は、それぞれ係合孔41、係合孔45の一端部と他端部との間の太さ(直径)を有する頭部と頭部より細い胴部とからなる。
全方位カメラ13及びマイクアレイ15を取付部材33に取り付ける場合、先ず、全方位カメラ13が取付部材33に取り付けられる。この場合、カメラ固定ピン39をカメラ係止片35に形成された係合孔41に係合させる。そして、カメラ固定ピン39の頭部が係合孔41から突出した状態で、全方位カメラ13を回転させることでカメラ固定ピン39を係合孔41において移動させる。そして、カメラ固定ピン39の頭部が係合孔41の他端部側に移動した状態で、カメラ固定ピン39と係合孔41とは係合したことになり、全方位カメラ13は同軸の方向に固定される。
全方位カメラ13を取付部材33に取り付けた後、マイクアレイ15を、マイクアレイ15の内穴27から全方位カメラ13が露出するように、取付部材33に取り付ける。この場合、マイク固定ピン43をマイク係止片37に形成された係合孔45に係合させる。なお、マイク固定ピン43を係合孔45に固定する手順は、カメラ固定ピン39を係合孔41に固定する手順と同様である。
以上により、全方位カメラ13及びマイクアレイ15は、天井面に取り付けて固定された取付部材33に、中心軸47を共有して、全方位カメラ13の撮像方向の水平方向及びマイクアレイ15の収音方向の水平方向の各基準方向(例えば0度を示す方向)が一致した状態で一体的に取り付けられる。これら一体となった全方位カメラ13及びマイクアレイ15は、撮像収音ユニット49と称すことができる。
但し、ここで、ユーザの全方位カメラ13の撮像画像の視認性向上のために、後述するサブカバー57の開放に応じて露出した調整ねじ59の調整により、撮像画像の画角の調整が行われると(図4参照)、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向(例えば0度方向)が一致しなくなったとする。例えば、図6(A)に示すように、通路が上下方向に真直になるように撮像画像の画角の調整が調整され、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向(例えば0度方向)が一致しなくなったとする。
図4は、全方位カメラのサブカバーが開放された撮像収音ユニットの斜視図である。全方位カメラ13は、筐体51が、円錐部の頂部に穴53を有した扁平な筒状に形成される。筐体51には、穴53からケース外部に突出するドームカバー55が取り付けられる。ドームカバー55は、内方でレンズユニット(図示略)を覆う。レンズユニットは、調整ギアユニット(不図示)によって、筐体51に対して回転自在となる。レンズユニットは、撮像素子(不図示)と一体となって回転される。つまり、全方位カメラ13は、レンズユニットの回転によって、撮像画像が回転(イメージローテーション)可能となっている。
全方位カメラ13は、筐体51の一部であるサブカバー57が開閉自在に取り付けられている。サブカバー57は、ヒンジ軸を介して回転自在に取り付けられ、ヒンジ軸を中心とした回転方向以外には移動が規制される。即ち、サブカバー57は、回転方向の軌跡から外れてガタツキが生じないように開閉される。従って、開放端まで開放されたサブカバー57は変位しない。サブカバー57は、この開放端の位置で、節度機構によって解除可能に保持されることが好ましい。
全方位カメラ13は、サブカバー57が開放されることによって、筐体51の内部に、調整ねじ59が露出する。調整ねじ59は、調整ギアユニットを駆動する。即ち、全方位カメラ13は、サブカバー57を開けて、調整ねじ59を工具によって回転することで、調整ギアユニットを介してレンズユニットを回転調整可能としている。上記のように、全方位カメラ13及びマイクアレイ15は、取付部材33によって天井31に固定される。固定された全方位カメラ13及びマイクアレイ15は、相対回転が規制されている。この状態で、全方位カメラ13は、レンズユニットのみが調整ねじ59によって回転されることとなる。これにより、全方位カメラ13は、ユーザが、撮像画像を所望の角度に回転して視認することができるようになされている。但し、全方位カメラ及びマイクアレイのそれぞれの水平角の基準方向(例えば0度方向)が一致しなくなる。
なお、全方位カメラ13は、調整ギアユニットの回転量を検出可能な構成とすることができる。即ち、全方位カメラ13は、調整ギアユニットや、この調整ギアユニットが噛合するレンズユニットのセグメントギア、或いはレンズユニット自体(例えば鏡筒)の回転量を検出する角度センサ等を設けたカメラ調整部を備えることができる。これにより、全方位カメラ13は、常に撮像方向の水平角の基準方向(例えば水平角が0度を示す方向)を数値情報として持って、記憶部に格納することが可能となる。
ところで、サブカバー57の背面には、マーカ61が設けられている。このマーカ61は、サブカバー57が開放されることによって、全方位カメラ13の撮像範囲に含まれる。つまり、サブカバー57を開いた状態の全方位カメラ13の撮像画像に、マーカ61は映し出される。このマーカ61は、マイクアレイ15の収音方向の水平角の基準位置を表す。収音方向とは、マイクアレイ15から、例えばPC21の操作部79の操作により表示部73に表示された全方位カメラ13の撮像画像上の指定位置に対応する音声位置に向かう方向(言い換えると、PC21において指向性が形成されてマイクアレイ15により収音された音声の音声データが強調されて音声出力される方向)である。全方位カメラ13及びマイクアレイ15は、一旦、取付部材33によって固定された後は、相対回転しない。従って、サブカバー57には、マイクアレイ15の収音方向の水平角の基準方向(例えば水平角が0度を示す方向)に関連付けしたマーカ61を設けることができる。
撮像収音システム11において、通常の運用時、サブカバー57が閉められているので、マーカ61は撮像されない。勿論、通常の運用時、マイクアレイ15は、撮像されることがない。このように、本実施形態のキャリブレーション方法が適用可能な撮像収音システム11では、通常の運用時にはサブカバー57が閉じられてマーカ61を隠すことができ、全方位カメラ13及びマイクアレイ15の較正時には、サブカバー57を開いて、マイクアレイ15の基準位置となるマーカ61を表出可能となる。
図5は、撮像収音システムのブロック図である。マイクアレイ15は、複数(例えば図5では3個)のマイクロホン63と、制御部65と、記憶部67と、通信部69とを含む構成である。
マイクロホン63は、マイクアレイ15の円周方向に沿って複数、配置される。マイクロホン63には、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。
制御部65は、マイクアレイ15の各部の動作を制御し、更に、各々のマイクロホン63により収音された音声データをA/D変換し、デジタルの音声信号に対して所定の音声処理を実行する。
記憶部67は、マイクアレイ15において収音された音声信号を格納する。
通信部69は、制御部65からの指示に応じて、記憶部67に記憶された音声信号を、ネットワーク19を介してPC21に送信する。
PC21は、通信部71と、表示部73と、記憶部75と、音声出力部77と、操作部79と、制御部81とを含む構成である。
通信部71は、ネットワーク19を介してマイクアレイ15と、全方位カメラ13との間で信号の送受を行う。
表示部73は、全方位カメラ13から送信された撮像信号(つまり、撮像画像のデータ)や、後述するキャリブレーション(図6参照)において用いる操作エリアに設けられる入力操作部等を表示する。
記憶部75は、演算データや、マイクアレイ15の基準方向(つまり、マイクアレイ15の収音方向の水平角の基準方向や、マイクアレイ15の収音方向の水平角の基準方向を示すマイク基準線の描画データ)、全方位カメラ13の基準方向(つまり、全方位カメラ13の水平角の基準方向や、全方位カメラ13の水平角の基準方向を示すカメラ基準線の描画データ)を記憶する。
音声出力部77は、マイクアレイ15により収音された音声データ、若しくはその音声データを基に、制御部81において特定方向への強調処理を行った音声データ(つまり、マイクアレイ15から、操作部79に対する操作により指定された表示部73の画面上の位置に対応する音声位置に向かう方向(収音方向)に指向性が形成された音声データ)を音声出力する。
操作部79は、例えばディスプレイの画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部79は、マウス又はキーボード等のポインティングデバイスを用いて構成されてもよい。
制御部81は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。制御部81は、画像処理、音声処理の動作を全体的に統括するための制御処理(例えば指向性の形成処理)、全方位カメラ13、マイクアレイ15との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を実行する。
全方位カメラ13は、撮像部83と、カメラ調整部85と、通信部87と、記憶部89と、制御部91と、マイク連携部93とを含む構成である。
撮像部83は、レンズユニットと、CCD(Charge Device Couples)やCMOS(Complementary Metal Oxide Semiconductors)を用いて構成可能な撮像素子とを少なくとも有する。レンズユニットは、回転されることで、撮像素子と一体となって回転される。
カメラ調整部85は、上記の調整ギアユニットを有する。カメラ調整部85は、調整ねじ59が回転操作されることで、調整ギアユニットを介してレンズユニットを回転する。このカメラ調整部85は、レンズユニットの回転量を回転情報として得る角度センサを設けることができる。これにより、カメラ調整部85は、レンズユニットの基準位置が常に把握可能となる。
通信部87は、撮像部83により撮像された撮像信号(つまり、撮像画像のデータ)を撮像情報の一部として、ネットワーク19を介してPC21に送信する。また、通信部87は、PC21との間で、全方位カメラ13の基準方向に関するデータの送受を行う。
記憶部89は、撮像部83により撮像された撮像信号(つまり、撮像画像のデータ)を記憶する。また、記憶部89は、全方位カメラ13の現在の撮像方向の水平角の基準方向(調整方向)や、出荷時(つまり、本実施形態のキャリブレーション方法が実行される当初)の全方位カメラ13の基準方向(全方位カメラ13の撮像方向の水平角の基準方向や、全方位カメラ13の撮像方向の水平角の基準方向を示すカメラ基準線の描画データ)の情報を記憶する。全方位カメラ13の基準方向に関する情報(上述参照)は、PC21の記憶部75と重複して記憶される。
制御部91は、全方位カメラ13の各部の動作を制御し、全方位カメラ13の撮像に関する各種パラメータを調整する。
マイク連携部93は、マイクアレイ15の収音方向の水平角の基準方向や、本実施形態のキャリブレーション方法により調整された後のマイクアレイ15の収音方向の水平角の基準方向に関する情報を、通信部87を介してPC21との間での送受を制御する。
次に、本実施形態のキャリブレーション方法について、図6(A)〜図6(C)を参照して説明する。図6(A)は、撮像画像の表示開始時の設定画面を表す模式図である。図6(B)は、マーカをクリックしたときの設定画面を表す模式図である。図6(C)は、マーカの位置を確定したときの設定画面を表す模式図である。
本実施形態のキャリブレーション方法は、マーカ61を表出させるステップ(マーカ表出ステップ)と、カメラ基準線95を表示するステップ(カメラ基準線表示ステップ)と、マイク基準線97を表示するステップ(マイク基準線表示ステップ)と、マイクアレイ15の収音方向の水平角を調整するステップ(調整ステップ)と、を有する。
マーカ61を表出させるステップでは、全方位カメラ13の筐体51の一部であるサブカバー57を開く(図4参照)。これにより、サブカバー57に設けたマーカ61が表出される。
カメラ基準線95を表示するステップでは、図6(A)に示すように、PC21は、全方位カメラ13により撮像されたマーカ61を含む全方位(つまり、360度)の撮像画像99と、撮像画像99の画像中心101から半径方向に向かう全方位カメラ13の撮像方向の基準方向を示すカメラ基準線95とを表示部73に表示する。撮像画像99がカラー表示である場合、カメラ基準線95は、例えば青色で表示される。
マイク基準線97を表示するステップで順は、PC21は、撮像画像99の中に表示されたマーカ61の位置が操作部79により指定されると、図6(B)に示すように、その指定位置と画像中心101とを通る半径方向に向かう、マイクアレイ15の収音方向の基準方向を示すマイク基準線97を、撮像画像99に重ねて表示する。
本実施形態のキャリブレーション方法では、マーカ61の位置が指定されることにより初期表示されるマイク基準線97は、例えば図6(B)のように破線によって表示される。撮像画像99がカラー表示である場合、マイク基準線97は、例えば赤色で表示される。
破線で表示されたマイク基準線97は、ユーザによる確定の指示の入力(例えば設定ボタン103のクリック)によって、図6(C)に示すように、実線で表示される。これにより、PC21は、マイクアレイ15の収音方向の水平角の基準方向と全方位カメラ13の撮像方向の水平角の基準方向との差分の値を保持できる。
なお、本実施形態のキャリブレーション方法では、マイク基準線97が確定されると、カメラ基準線95がマイク基準線97に移動する(つまり、カメラ基準線95がマイク基準線97と一致する)のではなく、カメラ基準線95及びマイク基準線97はそのまま残る。従って、マイクアレイ15の収音方向の水平角の基準方向と全方位カメラ13の撮像方向の水平角の基準方向との差分の値は、PC21や全方位カメラ13において差分パラメータとして保持され、PC21は、ユーザが操作部79を用いて、表示部73に表示された全方位カメラ13の撮像画像上の位置を指定した場合に、指定位置に対応する音声位置に指向性を形成する際、差分パラメータを考慮して指向性の方向(指向方向)を算出する。
また、キャリブレーション方法は、上記した撮像画像上におけるマーカ61の位置の入力に加え、操作部79により角度を数値入力することによってもマイク基準線97が表示される。この場合、表示部73には、操作エリア105が表示される。操作エリア105には、キーボードやマウスによって数値が入力可能な入力操作部107(テキストボックスやコンボボックス)を配置する。
マイクアレイ15の収音方向の水平角を調整するステップでは、PC21が、カメラ基準線95とマイク基準線97とのなす角度をズレ量として算出し、このズレ量を用いて、マイクアレイ15の収音方向の水平角を調整する。これにより、PC21は、例えば指向性を形成する際に、マイクアレイ15の収音方向の水平角の基準方向を、ズレ量を用いて補正し、その補正後の値が示す方向(つまり、全方位カメラ13の撮像方向の水平角の基準方向と同一の方向)を用いることができるので、全方位カメラ13の撮像方向と基準が合った状態で適正に指向性を形成できる。
図7は、キャリブレーション設定時の全方位カメラの処理手順を説明するフローチャートである。
全方位カメラ13の処理手順としては、先ず、映像信号が通信部87からネットワーク19に送信される(st1)。次いで、全方位カメラ13の撮像方向の水平角の基準方向に関する情報がネットワーク19を介してPC21に送信される(st2)。なお、映像信号と全方位カメラ13の撮像方向の水平角の基準方向に関する情報とは、同時に送信されてもよい(点線参照)。全方位カメラ13は、PC21から送られる調整位置に関する情報(つまり、本実施形態のキャリブレーション方法の終了により調整された後のマイクアレイ15の収音方向の水平角の基準方向に関する情報)の受信を待って待機する(st3)。ステップst3における調整位置に関する情報が全方位カメラ13において受信されると、全方位カメラ13は、調整位置に関する情報を確定し(st4)、この調整位置に関する情報を記憶部89に格納する。
図8は、キャリブレーション設定時のPC21の処理手順を説明するフローチャートである。
PC21の処理手順としては、先ず、PC21は、映像データを受信した後、撮像画像99を表示部73に表示する(st5)。次いで、PC21は、全方位カメラ13の記憶部89に記憶された全方位カメラ13の撮像方向の水平角の基準方向に関する情報を受信した後、全方位カメラ13の撮像方向の水平角の基準方向を示すカメラ基準線95を撮像画像99に重ねて表示する(st6)。なお、撮像画像99とカメラ基準線95とは、同時に表示されてもよい(点線参照)。
PC21は、マイクアレイ15の収音方向の水平角の基準方向を示すマーカ61の位置の指定待ち状態で待機する(st7)。マーカ61の位置が指定されると、PC21は、画像中心101からマーカ61まで半径方向に破線表示する(st8)。マイクアレイ15の収音方向の水平角の基準方向を示すマイク基準線97が確定され(st9)、ユーザによって設定ボタン103がクリックされると、マイク基準線97が破線から実線に変わり、マイクアレイ15の収音方向の水平角の基準方向が確定される。確定されたマイクアレイ15の収音方向の水平角の基準方向(調整位置)に関する情報は、PC21から全方位カメラ13及びマイクアレイ15へ送信される(st10)。
次に、上記した撮像収音システム11における作用を説明する。
本実施形態のキャリブレーション方法では、全方位カメラ13は、レンズユニットと撮像素子とが一体となったレンズユニットが、筐体51に対して回転可能となって取り付けられている。全方位カメラ13とマイクアレイ15とがそれぞれの水平角の基準方向が一致した状態で天井面等の水平面に取り付けられた後、全方位カメラ13の撮像画像がPC21の表示部73に表示された状態で、ユーザが希望する画角が得られるように、調整ねじ59が工具により回転されてレンズユニットが回転すると、全方位カメラ13とマイクアレイ15とがそれぞれの水平角の基準方向が一致しなくなる。
そこで、本実施形態のキャリブレーション方法では、PC21の表示部73に、全方位カメラ13の撮像画像99が表示された際に、全方位カメラ13の撮像方向の水平角の基準方向を示すカメラ基準線95が表示される。
この撮像画像99には、ユーザが開放した全方位カメラ13の筐体51の一部(サブカバー57)が表示される。筐体51の一部(サブカバー57)には、マイクアレイ15の収音方向の水平角の基準位置(基準方向)を示すマーカ61が予め設けられている。
ユーザは、PC21の表示部73上でこのマーカ61にカーソルを合わせ、その位置を指定(例えばマウスボタンを押下)する。これにより、全方位カメラ13は、撮像画像99に、マイクアレイ15の収音方向の水平角の基準位置(基準方向)を示すマイク基準線97を破線で表示する。
従って、撮像画像99には、画像中心101から半径方向に向かって描かれたカメラ基準線95とマイク基準線97とが表示される。
これらカメラ基準線95とマイク基準線97とのなす角度が、全方位カメラ13及びマイクアレイ15の中心軸47を中心とする回転方向(水平角)の基準方向のズレ量ω(言い換えると、ユーザの撮像画像の視認性向上のために調整ねじ59の回転によりレンズユニットが回転したことに基づくマイクアレイ15の収音方向の水平角の基準方向のズレ量)となる。PC21は、例えばユーザにより指定された方向に音声データの指向性を形成する際、このズレ量ωを考慮して、マイクアレイ15の収音方向の水平角を補正する。
また、このキャリブレーション方法では、ユーザがマーカ61の位置を指定した直後、撮像画像99には、マイク基準線97が破線によって表示される。これにより、ユーザは、入力位置が未確定であることが容易に視認できる。
破線のマイク基準線97は、ユーザが確定の指示をPC21に指定することで、実線に変わって表示される。これにより、ユーザは、キャリブレーション処理の完了したことを容易に視認できる。
更に、このキャリブレーション方法では、撮像画像99と共に表示されている操作エリア105に、角度が数値入力されると、入力された数値に基づいて、マイク基準線97が描き直される。つまり、マイク基準線97は、手動での修正が可能となる。これにより、マイク基準線97を、より正確にマーカ61に一致させることができるようになる。
従って、本実施形態のキャリブレーション方法によれば、撮像収音システム11は、全方位カメラ13とマイクアレイ15とが一体的に用いられる場合に、ユーザの容易な操作で、全方位カメラ13の撮像方向の水平角の基準方向とマイクアレイ15の収音方向の水平角の基準方向とを調整できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば上述した本実施形態では、マイクアレイ15の収音方向の水平角の基準方向を調整する際に、全方位カメラ13の撮像方向の水平角の基準方向を示すカメラ基準線95と、撮像画像99の画像中心101からマーカ61に向かうマイク基準線97とが共に表示され、カメラ基準線95とマイク基準線97とのなす角度を用いる例を説明した。
しかし、本実施形態は上記例に限定されず、例えば、PC21は、カメラ基準線95及びマイク基準線97を表示部73に表示せず、サブカバー57が開放された場合に全方位カメラ13が撮像したマーカ61を撮像画像99に重畳して表示する。ユーザがマーカ61をクリックすれば、PC21は、マイクアレイ15の収音方向の水平角の基準方向を画像中心101からマーカ61に向かう方向と認識し、更に、全方位カメラ13の撮像方向の水平角の基準方向に関する情報を記憶部75に保持しているので、マイクアレイ15の収音方向の水平角の基準方向と全方位カメラ13の撮像方向の水平角の基準方向との差分の値を保持できる。つまり、カメラ基準線95及びマイク基準線97が表示部73に表示されなくても、上述した本実施形態のキャリブレーション方法と同様に、マイクアレイ15の収音方向の水平角の基準方向を調整できる。
また、本発明は、全方位カメラとマイクアレイとを一体的に用いる場合に、容易な操作で、全方位カメラの撮像方向の基準方向とマイクアレイの収音方向の基準方向とを一致するようにマイクアレイの収音方向の基準方向を調整するキャリブレーション方法、又はキャリブレーション方法に用いる収音撮像システムとして有用である。
11 撮像収音システム
13 全方位カメラ
15 マイクアレイ
51 筐体
57 サブカバー(一部)
61 マーカ
79 操作部
95 カメラ基準線
97 マイク基準線
99 撮像画像
101 画像中心
ω ズレ量
13 全方位カメラ
15 マイクアレイ
51 筐体
57 サブカバー(一部)
61 マーカ
79 操作部
95 カメラ基準線
97 マイク基準線
99 撮像画像
101 画像中心
ω ズレ量
Claims (3)
- 全方位を撮像可能な全方位カメラを包囲して同軸で取り付けられ、かつ全方位の音を収音可能なマイクアレイの収音方向を調整するキャリブレーション方法であって、
前記全方位カメラの筐体の一部の開放に応じて、前記一部に設けたマーカを前記全方位カメラにおいて撮像するマーカ撮像ステップと、
前記全方位カメラにより撮像された前記マーカを含む全方位の撮像画像と、前記全方位カメラの撮像方向の基準方向を示すカメラ基準線とを表示部に表示するカメラ基準線表示ステップと、
前記表示部に表示された前記撮像画像における前記マーカの指定に応じて、前記マイクアレイの収音方向の基準方向を示すマイク基準線を前記撮像画像に重ねて表示するマイク基準線表示ステップと、
前記カメラ基準線と前記マイク基準線とのなす角度を調整角度として算出し、前記調整角度を用いて、前記マイクアレイの収音方向の水平角を調整する調整ステップと、を有する、
キャリブレーション方法。 - 請求項1に記載のキャリブレーション方法であって、
前記マイク基準線表示ステップでは、
前記マーカの位置の指定に応じて、前記マイク基準線は破線によって表示され、
前記マーカの位置の確定指示に応じて、前記破線によって表示された前記マイク基準線が実線によって表示される、
キャリブレーション方法。 - 請求項1又は2に記載のキャリブレーション方法であって、
前記調整ステップでは、
操作部を介した前記調整角度の数値入力に応じて、前記マイク基準線が調整され、破線によって表示される、
キャリブレーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259327A JP2016119621A (ja) | 2014-12-22 | 2014-12-22 | キャリブレーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014259327A JP2016119621A (ja) | 2014-12-22 | 2014-12-22 | キャリブレーション方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016119621A true JP2016119621A (ja) | 2016-06-30 |
Family
ID=56244537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014259327A Pending JP2016119621A (ja) | 2014-12-22 | 2014-12-22 | キャリブレーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016119621A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019050261A1 (ko) * | 2017-09-11 | 2019-03-14 | 삼성전자주식회사 | 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법 |
WO2019049494A1 (ja) * | 2017-09-08 | 2019-03-14 | パナソニックIpマネジメント株式会社 | 収音装置、収音システム、収音方法、プログラム、及びキャリブレーション方法 |
CN113313767A (zh) * | 2021-04-25 | 2021-08-27 | 普联国际有限公司 | 一种多麦克风阵列的标定方法、装置、***及存储介质 |
-
2014
- 2014-12-22 JP JP2014259327A patent/JP2016119621A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049494A1 (ja) * | 2017-09-08 | 2019-03-14 | パナソニックIpマネジメント株式会社 | 収音装置、収音システム、収音方法、プログラム、及びキャリブレーション方法 |
WO2019050261A1 (ko) * | 2017-09-11 | 2019-03-14 | 삼성전자주식회사 | 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법 |
CN113313767A (zh) * | 2021-04-25 | 2021-08-27 | 普联国际有限公司 | 一种多麦克风阵列的标定方法、装置、***及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10536681B2 (en) | Sound processing system and sound processing method that emphasize sound from position designated in displayed video image | |
US10244162B2 (en) | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method | |
US9860635B2 (en) | Microphone array, monitoring system, and sound pickup setting method | |
TWI644572B (zh) | 匣偏置型麥克風 | |
US20160100092A1 (en) | Object tracking device and tracking method thereof | |
US9871974B2 (en) | Computing device camera view controller and shutter | |
US11900935B2 (en) | System and method for securing electronic devices | |
US20090167867A1 (en) | Camera control system capable of positioning and tracking object in space and method thereof | |
WO2017005979A1 (en) | Distributed audio capture and mixing control | |
KR20180079824A (ko) | 홈 로봇 및 그 동작 방법 | |
JP6447844B2 (ja) | オーディオ空間効果のための超音波スピーカアセンブリ | |
US20180054228A1 (en) | Teleoperated electronic device holder | |
JP2016119621A (ja) | キャリブレーション方法 | |
JP2018533264A (ja) | ビデオ通信のための装置 | |
US10225650B2 (en) | Directivity control system, directivity control device, abnormal sound detection system provided with either thereof and directivity control method | |
JP2017028529A (ja) | モニタリングシステム及びモニタリング方法 | |
JP2016020873A (ja) | 音速補正装置 | |
KR101718081B1 (ko) | 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 | |
JP2016118987A (ja) | 異常音検出システム | |
WO2017147825A1 (zh) | 智能设备 | |
US20080204552A1 (en) | Device for monitoring with at least one video camera | |
JP5866504B2 (ja) | 音声処理システム及び音声処理方法 | |
JP2017158030A (ja) | マイクアレイシステム及びマイクアレイシステムの製造方法 | |
EP4406219A1 (en) | Conferencing systems and methods for room intelligence | |
WO2020006664A1 (zh) | 拍摄装置的控制方法、拍摄装置、拍摄***和存储介质 |