JP2017152999A - 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム - Google Patents
多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム Download PDFInfo
- Publication number
- JP2017152999A JP2017152999A JP2016035122A JP2016035122A JP2017152999A JP 2017152999 A JP2017152999 A JP 2017152999A JP 2016035122 A JP2016035122 A JP 2016035122A JP 2016035122 A JP2016035122 A JP 2016035122A JP 2017152999 A JP2017152999 A JP 2017152999A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- view
- viewpoint
- angle
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
なお、IP立体映像の再現領域とは、IP立体表示装置がIP立体映像を再現する実空間内の領域のことである。
そして、多視点カメラ制御装置は、リファレンスカメラ制御手段によって、IP立体映像の再現領域がリファレンスカメラの画角に収まるようにリファレンスカメラの姿勢及び画角を制御する。
このとき、多視点カメラが高さ方向で二次元状に配置されているため、IP立体の視域における垂直方向の光線を取得できる。
さらに、多視点映像撮影システムは、リファレンスカメラの画角からIP立体映像の再現領域が外れたり、その画角が広過ぎて再現領域の解像度が低下するのを防止できる。
本願発明に係る多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システムは、IP立体の視域における水平方向の光線に加えて垂直方向の光線も取得できると共に、IP立体映像の再現領域が外れることやその解像度が低下するのを防止できるので、IP立体映像の品質を向上させることができる。
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図1,図2を参照し、本願発明の実施形態に係る多視点映像撮影システム1(図3)の概略について説明する。
なお、添え字nは、何台目のリファレンスカメラCnであるかを表しており、1≦n≦6を満たす整数である。
なお、図2では、説明を分かり易くするため、再現領域αを図示したが、実際の多視点映像には再現領域αが表示されない。
図3を参照し、多視点映像撮影システム1の全体構成について説明する。
図3のように、多視点映像撮影システム1は、多視点カメラCと、多視点カメラ制御装置2と、三次元モデル生成装置3とを備える。
参考文献:“多視点映像からのインテグラル立体像生成手法”、池谷、久富、片山、岩舘、映像情報メディア学会誌、Vol.67、No.7、pp.J229-J240(2013)
図5を参照し、多視点カメラ制御装置2の構成について説明する。
図5のように、多視点カメラ制御装置2は、撮影パラメータ設定手段20と、再現領域設定手段22と、ベースライン算出手段24と、リファレンスカメラ制御手段26と、撮影指令手段28とを備える。
撮影パラメータ設定手段20は、マスターカメラCMから、マスターカメラCMの姿勢、画角θ及びデプスdが、マスターカメラCMに関する撮影パラメータとして設定(入力)されるものである。そして、撮影パラメータ設定手段20は、設定された撮影パラメータを再現領域設定手段22に出力する。
なお、デプスdとは、マスターカメラCMと注視点Gとの距離のことである。
また、注視点Gとは、被写体90の位置のことである。つまり、注視点Gは、IP立体映像として主に表示したい被写体90の位置を表す。
再現領域設定手段22は、撮影パラメータ設定手段20から入力された撮影パラメータ、及び、予め設定された表示パラメータに基づいて、マスターカメラCMの画角θに収まるように再現領域αを設定するものである。
表示パラメータは、IP立体映像を表示するIP立体表示装置(不図示)に関するパラメータである。この表示パラメータは、IP立体映像を表示するIP立体空間において定義されている。また、表示パラメータには、IP立体表示装置の再現範囲Dと、IP立体表示装置の視域Ωと、IP立体表示装置における画面のサイズWと、IP立体表示装置の画面からの被写体90の飛び出し量Δとが含まれる
また、実空間とは、世界座標系と同意である。
また、世界座標系とは、任意位置を原点として設定された三次元座標系のことである。
ベースライン算出手段24は、多視点カメラCにおける隣接カメラ間のベースライン(隣接カメラ間の距離)を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な三次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理(奥行推定アルゴリズム)に応じて、適切な値で予め設定される。
なお、図5では、ベースラインBを手動で設定するため、ベースライン算出手段24からリファレンスカメラCnへの出力を破線で図示した。
リファレンスカメラ制御手段26は、再現領域αがリファレンスカメラCnの画角に収まるように、リファレンスカメラCnの姿勢及び画角を制御するものである。
まず、リファレンスカメラ制御手段26は、再現領域情報から、再現領域αを形成する四角錐台における頂点gkの世界座標を取得する。添え字kは、8個の頂点のうち、何れの頂点であるかを表しており、1≦k≦8を満たす整数である。
なお、カメラ座標系xnとは、リファレンスカメラCnの主点を原点とした三次元座標系のことである。
また、R0nはカメラキャリブレーション時のリファレンスカメラCnの回転行列を表し、t0nはカメラキャリブレーション時のリファレンスカメラCnの並進ベクトルを表す。
また、RnはリファレンスカメラCnの回転行列を表し、tnはリファレンスカメラCnの並進ベクトルを表す。
なお、P0nはカメラキャリブレーション時のリファレンスカメラCnのパン値を表し、T0nはカメラキャリブレーション時のリファレンスカメラCnのチルト値を表す。また、Maxは最大値を選択する関数を表し、Minは最小値を選択する関数を表す。また、添え字Tは、転置を表す。
一方、式(10)の条件式が成立しない場合、再現領域αの高さが幅以上と言えるので、この再現領域αの高さを基準として、リファレンスカメラCnの画角θnを算出する。
撮影指令手段28は、マスターカメラCMの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラCnに撮影を指令するものである。本実施形態では、撮影指令手段28は、マスターカメラCMから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラCnに指令する。
図12を参照し、多視点カメラ制御装置2の動作について説明する(適宜図5参照)。
図12のように、多視点カメラ制御装置2は、撮影パラメータ設定手段20によって、マスターカメラCMのパン、チルト、画角θ、デプスd等の撮影パラメータを設定する(ステップS1)。
次に、多視点カメラ制御装置2は、再現領域設定手段22によって、IP立体空間と実空間との縮尺比kを前記式(1)により算出する。
次に、多視点カメラ制御装置2は、縮尺比kを用いて、再現領域αを設定する(ステップS2)。
次に、多視点カメラ制御装置2は、リファレンスカメラ制御手段26によって、前記式(6)を用いて、リファレンスカメラCnから頂点gkまでの単位ベクトルOnkを算出する。
次に、多視点カメラ制御装置2は、リファレンスカメラ制御手段26によって、前記式(7)〜式(9)を用いて、各リファレンスカメラCnのパン値Pn及びチルト値Tnを算出する。
次に、多視点カメラ制御装置2は、リファレンスカメラ制御手段26によって、前記式(10)を用いて、リファレンスカメラCnの画角θnを算出する。
次に、多視点カメラ制御装置2は、リファレンスカメラ制御手段26によって、算出したリファレンスカメラCnのパン値Pn、チルト値Tn及び画角θnの制御信号をリファレンスカメラCnに出力する(ステップS4)。
以上のように、本願発明の実施形態に係る多視点映像撮影システム1は、多視点カメラCが正六角形状に配置されているので、IP立体の視域における垂直方向の光線も取得することができる。
さらに、多視点映像撮影システム1は、再現領域αが丁度収まるようにリファレンスカメラCnの姿勢及び画角θnを制御するので、リファレンスカメラCnの画角θnから再現領域αが外れたり、画角θnが広すぎて再現領域αの解像度が低下するのを防止できる。
さらに、多視点映像撮影システム1は、許容視差角Φから、隣接カメラ間のベースラインBを算出するので、ステレオカメラペア数を十分に確保でき、奥行推定処理の精度が低下しない。
このようにして、多視点映像撮影システム1は、IP立体映像の品質を向上させることができる。
以上、本願発明の実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、多視点カメラが正六角形状に配置されることとして説明したが、本願発明は、多視点カメラが四角形状、円状、又は、正多角形状に配置されてもよい。
このシミュレータは、再現領域及び視域の視覚化(図13)、ステレオカメラペア数の色による視覚化(図14)、及び、画角内の再現領域の視覚化(図15)を行うことができる。
被写体までの距離(デプスd) 5m
ベースラインB 1.26m
画角θ 59°
許容視差角Φ 20°
再現範囲D 10cm
視域Ω 30°
画面サイズW 24.31cm(11インチ)
飛び出し量Δ 5cm
図18のように、この比較実験では、再現領域におけるステレオカメラペア数を色で表現した。つまり、赤色の場合はステレオカメラペア数が0であり、黄色から青色になるにつれてステレオカメラペア数が増加し、青色のときステレオカメラペア数が最大で12となる。
図21は、実施例において、多視点映像と再現領域との関係を表したものである。図21では、図1のマスターカメラCMの撮影映像が一番左側であり、リファレンスカメラC3の撮影映像が左から2番目であり、リファレンスカメラC6の撮影映像が左から3番目である。また、図21では、リファレンスカメラC2の撮影映像が左から4番目であり、リファレンスカメラC1の撮影映像が左から5番目であり、リファレンスカメラC5の撮影映像が左から6番目であり、リファレンスカメラC4の撮影映像が一番右側である。
2 多視点カメラ制御装置
3 三次元モデル生成装置
20 撮影パラメータ設定手段
22 再現領域設定手段
24 ベースライン算出手段
26 リファレンスカメラ制御手段
28 撮影指令手段
C 多視点カメラ
CM マスターカメラ
Cn(C1〜C6) リファレンスカメラ
Claims (6)
- マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、IP立体表示装置で表示するIP立体映像を生成するために、前記多視点カメラを制御する多視点カメラ制御装置であって、
前記マスターカメラの画角、及び、前記被写体の位置である注視点から前記マスターカメラまでの距離を表すデプスが、撮影パラメータとして予め設定される撮影パラメータ設定手段と、
前記IP立体表示装置における画面のサイズ、及び、前記画面に対する前記被写体の飛び出し量が表示パラメータとして予め設定され、前記撮影パラメータ及び前記表示パラメータに基づいて、前記マスターカメラの画角に収まるように前記IP立体映像の再現領域を設定する再現領域設定手段と、
前記IP立体映像の再現領域が前記リファレンスカメラの画角に収まるように前記リファレンスカメラの姿勢及び画角を制御するリファレンスカメラ制御手段と、
前記マスターカメラの撮影に同期させて、姿勢及び画角が制御された前記リファレンスカメラに撮影を指令する撮影指令手段と、
を備えることを特徴とする多視点カメラ制御装置。 - 前記マスターカメラ及び前記マスターカメラを中心として正六角形状に配置された前記リファレンスカメラからなる前記多視点カメラにおける隣接カメラ間のベースラインを、予め設定された許容視差角から算出するベースライン算出手段、をさらに備えることを特徴とする請求項1に記載の多視点カメラ制御装置。
- 前記再現領域設定手段は、IP立体空間と実空間との縮尺比kを、前記撮影パラメータに含まれる画角θ及びデプスd、前記IP立体空間で定義された前記表示パラメータに含まれる画面のサイズW及び飛び出し量Δが含まれる式(1)により算出し、
- 前記リファレンスカメラ制御手段は、
n台目の前記リファレンスカメラが前記IP立体映像の再現領域でk個目の頂点gkを向いたときの単位ベクトルOnkを、前記リファレンスカメラの回転行列Rn及び並進ベクトルtnが含まれる式(6)により算出し、
- コンピュータを、請求項1から請求項4の何れか一項に記載の多視点カメラ制御装置として機能させるための多視点カメラ制御プログラム。
- マスターカメラ及び前記マスターカメラの周囲に二次元状に配置されたリファレンスカメラからなる多視点カメラと、
請求項1から請求項4の何れか一項に記載の多視点カメラ制御装置と、
を備えることを特徴とする多視点映像撮影システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035122A JP6622621B2 (ja) | 2016-02-26 | 2016-02-26 | 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035122A JP6622621B2 (ja) | 2016-02-26 | 2016-02-26 | 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017152999A true JP2017152999A (ja) | 2017-08-31 |
JP6622621B2 JP6622621B2 (ja) | 2019-12-18 |
Family
ID=59742068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016035122A Expired - Fee Related JP6622621B2 (ja) | 2016-02-26 | 2016-02-26 | 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6622621B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705565A (zh) * | 2017-09-27 | 2018-02-16 | 于贵庆 | 一种基于数据分析的停车控制方法 |
JP2019193002A (ja) * | 2018-04-20 | 2019-10-31 | 日本放送協会 | 多視点カメラ制御装置及びそのプログラム |
WO2020138541A1 (ko) * | 2018-12-26 | 2020-07-02 | 포디리플레이코리아 주식회사 | 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196532A (ja) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | 3次元モデル−インテグラル画像変換装置およびそのプログラム |
-
2016
- 2016-02-26 JP JP2016035122A patent/JP6622621B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196532A (ja) * | 2012-03-22 | 2013-09-30 | Nippon Hoso Kyokai <Nhk> | 3次元モデル−インテグラル画像変換装置およびそのプログラム |
Non-Patent Citations (1)
Title |
---|
池谷健佑 他3名: "多視点映像からのインテグラル立体像の生成", NHK技研R&D, JPN7019003371, March 2014 (2014-03-01), pages 47 - 59, ISSN: 0004135309 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705565A (zh) * | 2017-09-27 | 2018-02-16 | 于贵庆 | 一种基于数据分析的停车控制方法 |
JP2019193002A (ja) * | 2018-04-20 | 2019-10-31 | 日本放送協会 | 多視点カメラ制御装置及びそのプログラム |
JP7068906B2 (ja) | 2018-04-20 | 2022-05-17 | 日本放送協会 | 多視点カメラ制御装置及びそのプログラム |
WO2020138541A1 (ko) * | 2018-12-26 | 2020-07-02 | 포디리플레이코리아 주식회사 | 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 |
KR20200080041A (ko) * | 2018-12-26 | 2020-07-06 | 포디리플레이코리아 주식회사 | 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 |
KR102149004B1 (ko) | 2018-12-26 | 2020-08-28 | 포디리플레이코리아 주식회사 | 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6622621B2 (ja) | 2019-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5456020B2 (ja) | 情報処理装置および方法 | |
JP6395423B2 (ja) | 画像処理装置、制御方法及びプログラム | |
KR20170123666A (ko) | 카메라 리그 및 입체 이미지 캡쳐 | |
KR102225617B1 (ko) | 영상 정합 알고리즘을 설정하는 방법 | |
KR101808129B1 (ko) | 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법 | |
TWI786157B (zh) | 用於產生場景之舖磚式三維影像表示之設備及方法 | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
JP6406853B2 (ja) | 光フィールド映像を生成する方法及び装置 | |
US20140015920A1 (en) | Virtual perspective image synthesizing system and its synthesizing method | |
JP2010154052A (ja) | 複数カメラ制御システム | |
JP6300346B2 (ja) | Ip立体映像推定装置及びそのプログラム | |
JP6622621B2 (ja) | 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム | |
KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
JP5452801B2 (ja) | 立体像生成装置およびそのプログラム | |
US9161020B2 (en) | 3D video shooting control system, 3D video shooting control method and program | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101088364B1 (ko) | 달리 효과의 줌기능을 갖는 3차원 영상획득 장치 및 방법 | |
JPWO2018167918A1 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
JP4523538B2 (ja) | 立体映像撮影表示装置 | |
JP5223096B2 (ja) | 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム | |
KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
JP2014135714A (ja) | 立体映像信号処理装置及び立体映像撮像装置 | |
JP2019133214A (ja) | 画像表示装置、該装置を含む映像表示システム、画像表示方法および画像表示用プログラム | |
JP7068906B2 (ja) | 多視点カメラ制御装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6622621 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |