JP5988842B2 - ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム - Google Patents
ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム Download PDFInfo
- Publication number
- JP5988842B2 JP5988842B2 JP2012252827A JP2012252827A JP5988842B2 JP 5988842 B2 JP5988842 B2 JP 5988842B2 JP 2012252827 A JP2012252827 A JP 2012252827A JP 2012252827 A JP2012252827 A JP 2012252827A JP 5988842 B2 JP5988842 B2 JP 5988842B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- unit
- master
- calibration
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Description
なお、図10の注視点Q1〜Q5は、マスターカメラMCの光軸βの上を移動する注視点Qについて、時間t=1〜5での位置を示している。
P=T+Depth・Qptaxis
Depth=k・d (0≦d≦dmax)
なお、実距離とは、例えば、10メートルのように、単位(スケール)が伴って表される実空間上の距離である。
なお、相対距離とは、弱校正カメラキャリブレーションで算出される、単位(スケール)が伴っていない距離のことである。
かかる構成によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御することができる。
本願第1,2,4,5発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がなく、制御角度幅に基づいてデプス値を算出するため、実距離を計測する必要がなく、撮影現場での準備作業の手間を軽減することができる。
本願第3発明によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御するため、多視点映像を容易に撮影することができる。
[多視点ロボットカメラシステムの構成]
図1を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム100の構成について、説明する。
図1に示すように、多視点ロボットカメラシステム100は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置1と、マスターカメラMCと、スレーブカメラSC1,…,SCn(SC)とを備える。
スレーブカメラSCは、n台であることとする(但し、n≧1を満たす整数)。
ここで、図2(b)に示すように、回転ダイヤル16を時計回りに回転させる程、エンコーダ17のエンコーダ値(移動操作の検出値)が増大する。そして、回転ダイヤル16に刻まれた指標16aが指標位置「△最大」に達したときに、エンコーダ17のエンコーダ値が最大となる。
一方、回転ダイヤル16を反時計回りに回転させる程、エンコーダ17のエンコーダ値が減少する。そして、回転ダイヤル16に刻まれた指標16aが指標位置「△最小」に達したときに、エンコーダ17のエンコーダ値が最小となる。
そして、デプス操作部15は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ17で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部15は、変換されたデプス値を以下で説明するように変化(増減)させて、注視点算出部40に出力する。
図3〜図5を参照して、デプス操作部15によるデプス値の変化について、説明する(適宜図1,2参照)。
図3に示すように、カメラマンは、マスターカメラMCの撮影映像90を見ながら、マスターカメラMCが被写体αを捉えるようにパン・チルト操作部11及びズーム操作部13を操作する。従って、マスターカメラMCの撮影映像90は、画面中央に被写体αが捉えられている。一方、スレーブカメラSCの撮影映像91は、被写体αが捉えてられていない。
なお、ズーム操作部13は、カメラマン以外が遠隔操作することもある。
以後、選択された1台のスレーブカメラを「選択スレーブカメラ」と呼ぶ。
なお、図5では、説明を解かりやすくするため、単位ベクトルvの始点に単位ベクトルuの始点が一致するように、マスターカメラMCを破線で図示した。
この最大値dmaxは、0≦d≦dmaxを満たすように予め設定される。
フォーカス・アイリス指令部18は、マスターカメラMC及びスレーブカメラSCに対し、オートフォーカス及びオートアイリスを指令するものである。具体的には、フォーカス・アイリス指令部18は、カメラマンから指令が入力されると、オートフォーカス及びオートアイリスの指令信号を生成し、フォーカス・アイリス制御部33と、フォーカス・アイリス制御部53とに出力する。
なお、添え字mがマスターカメラMCを示す。
参考URL:「http://phototour.cs.washington.edu/bundler/」
図6(a)の注視点Q1〜Q4は、マスターカメラMCの光軸βの上を移動する注視点について、時間t=1〜4での位置を示している。
前記したように、デプス操作部15がデプス値を非線形に変化させるため、注視点Q1〜Q4の単位時間あたりの移動距離は、マスターカメラMCから離れる程、広くなる。つまり、注視点Q1,Q2の距離よりも注視点Q2,Q3の距離が広くなり、注視点Q2,Q3の距離よりも注視点Q3,Q4の距離が広くなる。このため、時間t=1〜2におけるスレーブカメラSCの制御角度Aと、時間t=3〜4におけるスレーブカメラSCの制御角度Bとが、等しくなる。
図6(b)に示すように、指標16aが指標位置「Q1」に重なるとき、図6(a)の注視点Q1を指す。これと同様、指標16aが指標位置「Q2」に重なるときに図6(a)の注視点Q2を指し、指標16aが指標位置「Q3」に重なるときに図6(a)の注視点Q3を指し、指標16aが指標位置「Q4」に重なるときに図6(a)の注視点Q4を指す。
スレーブカメラ制御部501,…,50nは、スレーブカメラSC1,…,SCnを制御するものであり、パン・チルト制御部511,…,51n(51)と、フォーカス・アイリス制御部531,…,53n(53)と、ズーム制御部551,…,55n(55)とを備える。
なお、スレーブカメラ制御部501,…,50nは、スレーブカメラSC1,…,SCnに対応するように備えられており、全て同一構成である。
なお、“‖‖”はノルムを示す。
なお、e1,e2,e3は、それぞれ、単位ベクトルOptaxisCnのX軸、Y軸、Z軸成分を示す。
図7を参照し、図1の多視点ロボットカメラシステム100の動作について、説明する(適宜図1参照)。
多視点ロボットカメラシステム100は、カメラキャリブレーション部20によって、マスターカメラMC及びスレーブカメラSCのカメラパラメータを算出し(ステップS1)、記憶装置に格納する(ステップ2)。
多視点ロボットカメラシステム100は、ズーム操作部13によって、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部31と、ズーム制御部55とに出力する。
多視点ロボットカメラシステム100は、デプス操作部15によって、式(1)を用いてデプス値を算出し、注視点算出部40に出力する。
多視点ロボットカメラシステム100は、フォーカス・アイリス指令部18によって、カメラマンからの指令に応じて指令信号を生成し、フォーカス・アイリス制御部33と、フォーカス・アイリス制御部53とに出力する(ステップS3)。
多視点ロボットカメラシステム100は、フォーカス・アイリス制御部33によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラMCのフォーカス・アイリス制御信号を生成して、マスターカメラMCに出力する(ステップS4)。
多視点ロボットカメラシステム100は、フォーカス・アイリス制御部53によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラSCのフォーカス・アイリス制御信号を生成して、スレーブカメラSCに出力する。
多視点ロボットカメラシステム100は、ズーム制御部55によって、ズーム値をズーム制御信号に変換して、スレーブカメラSCに出力する(ステップS6)。
前記した実施形態では、デプス操作部15が回転ダイヤル16を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部15は、回転ダイヤル16の代わりにスライダを備えてもよい。
図1の多視点ロボットカメラシステム100を用いて、マスターカメラMC及びスレーブカメラSCで多視点映像を撮影する実験を行った。まず、図8に示すように、9台のロボットカメラを3段3列に配置し、中央のロボットカメラ1台をマスターカメラMCとして設定し、残り8台のロボットカメラをスレーブカメラSCとして設定した。また、選択スレーブカメラSC1は、図面左列で下段に位置する。さらに、被写体αとして、人形を配置した。
10 操作インターフェース部
11 パン・チルト操作部(カメラ姿勢操作部)
13 ズーム操作部
15 デプス操作部(デプス値算出部)
16 回転ダイヤル(操作部)
17 エンコーダ
18 フォーカス・アイリス指令部
20 カメラキャリブレーション部
30 マスターカメラ制御部
31 パン・チルト・ズーム制御部
33 フォーカス・アイリス制御部
40 注視点算出部
50 スレーブカメラ制御部
51 パン・チルト制御部
53 フォーカス・アイリス制御部
55 ズーム制御部
100 多視点ロボットカメラシステム
MC マスターカメラ
SC スレーブカメラ
Claims (5)
- 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された1台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記1台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。 - 前記デプス値算出部は、
前記注視点の移動操作が行われる操作部と、
前記操作部に対する移動操作を検出するエンコーダと、を備え、
前記ベースラインの相対距離Base及び前記制御角度幅θが含まれ、かつ、前記エンコーダにおける移動操作の最大検出値dmaxが予め設定された以下の式(1)を用いて、前記エンコーダにおける移動操作の検出値d(但し、0≦d≦dmax)から、前記デプス値を示すDepthを算出することを特徴とする請求項1に記載のロボットカメラ制御装置。
- 前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように、前記マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備えることを特徴とする請求項1又は請求項2に記載のロボットカメラ制御装置。
- 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された1台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記1台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。 - 複数台のロボットカメラのうち、予め設定された1台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、弱校正カメラキャリブレーションで算出されるベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び予め設定された1台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部とを備えるコンピュータを、
前記弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、前記1台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012252827A JP5988842B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012252827A JP5988842B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014103474A JP2014103474A (ja) | 2014-06-05 |
JP5988842B2 true JP5988842B2 (ja) | 2016-09-07 |
Family
ID=51025638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012252827A Active JP5988842B2 (ja) | 2012-11-19 | 2012-11-19 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5988842B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4700476B2 (ja) * | 2005-11-10 | 2011-06-15 | 日本放送協会 | 多視点映像合成装置及び多視点映像合成システム |
JP5096048B2 (ja) * | 2007-06-15 | 2012-12-12 | 富士フイルム株式会社 | 撮像装置、立体画像再生装置及び立体画像再生プログラム |
JP2011146762A (ja) * | 2010-01-12 | 2011-07-28 | Nippon Hoso Kyokai <Nhk> | 立体モデル生成装置 |
JP5509044B2 (ja) * | 2010-11-22 | 2014-06-04 | 日本放送協会 | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
-
2012
- 2012-11-19 JP JP2012252827A patent/JP5988842B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014103474A (ja) | 2014-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11303823B2 (en) | Camera array for a mediated-reality system | |
JP4775474B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP5509044B2 (ja) | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム | |
WO2018032436A1 (zh) | 云台控制方法、装置、存储介质以及无人机 | |
CN104853105B (zh) | 基于可控制镜头倾斜的摄像装置的三维快速自动对焦方法 | |
JP2019159950A5 (ja) | ||
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
KR20160047846A (ko) | 영상 정합 방법 | |
JP6609112B2 (ja) | 多視点映像表現装置及びそのプログラム | |
JP6055223B2 (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
JP2015207861A (ja) | 撮像装置および撮像方法 | |
JP2017216592A5 (ja) | ||
JP5847591B2 (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
US9420161B2 (en) | Image-capturing apparatus | |
JP7470518B2 (ja) | パン・チルト角算出装置及びそのプログラム | |
JP5223096B2 (ja) | 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム | |
JP5988842B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2014103490A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP6073114B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP6180925B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2015126402A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP6609201B2 (ja) | 多視点映像生成システム、多視点映像生成装置およびそのプログラム | |
JP2014096761A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US9083955B2 (en) | Three-dimensional image pickup system | |
JP5610579B2 (ja) | 3次元寸法測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5988842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |