JP5362157B1 - 立体視用映像撮影装置、および立体視用映像撮影方法 - Google Patents
立体視用映像撮影装置、および立体視用映像撮影方法 Download PDFInfo
- Publication number
- JP5362157B1 JP5362157B1 JP2013529461A JP2013529461A JP5362157B1 JP 5362157 B1 JP5362157 B1 JP 5362157B1 JP 2013529461 A JP2013529461 A JP 2013529461A JP 2013529461 A JP2013529461 A JP 2013529461A JP 5362157 B1 JP5362157 B1 JP 5362157B1
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- image
- shooting
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
第1の撮影部(101)および第2の撮影部(111)と、撮影パラメータを決定する撮影パラメータ決定部(11a)と、撮影パラメータを設定して立体視用の映像を撮影する制御を行う撮影制御部(11b)とを備え、撮影制御部(11b)が、所定の撮影パラメータで第1映像を撮影した場合、撮影パラメータ決定部(11a)は、第1映像において最大視差量が所定の範囲外となる第1期間を特定し、当該第1期間における第1映像の最大視差量が所定の範囲内に収まる第1補正パラメータを決定し、撮影制御部(11b)は、第1映像の撮影後に第2映像を撮影する場合、当該第2映像を撮影中の、第1期間に対応する第2期間においては、第1補正パラメータで第2映像を撮影する制御を行う立体視用映像撮影装置。
Description
本開示は、立体視用の映像を撮影する立体視用映像撮影装置に関する。
特許文献1に記載されているように、立体映像を撮影する際に、レンズ間隔等の撮影パラメータを被写体の深度範囲から導出して撮像する方法が提案されている。特許文献1に開示された技術によれば、撮影者が専門的な知識を有することなく立体視用の映像(ステレオ3D映像)を撮影することが可能である。
しかしながら、上述の特許文献1の技術では、例えば、カメラがパン・ティルト等の動きを伴いながら映像を撮影しているようなときに、より近くに位置する被写体またはより遠くに位置する被写体が撮影範囲(撮影画角)に入ってきた場合は、撮影された映像のうち該被写体が映っている場面は過大視差を伴うという課題がある。
本開示は、上記のような過大視差を伴う映像が撮影される危険性を容易に低減できる立体視用映像撮影装置を提供する。
本開示の一態様に係る立体視用映像撮影装置は、立体視用の映像を撮影する第1の撮影部および第2の撮影部と、前記第1の撮影部および前記第2の撮影部のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを決定する撮影パラメータ決定部と、前記第1の撮影部および前記第2の撮影部に前記撮影パラメータを設定して前記立体視用の映像を撮影する制御を行う撮影制御部とを備え、前記撮影制御部が、所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって第1映像を撮影した場合、前記撮影パラメータ決定部は、前記第1映像において最大視差量が所定の範囲外となる第1期間を特定し、前記第1期間における前記第1映像の最大視差量が前記所定の範囲内に収まる前記撮影パラメータである第1補正パラメータを決定し、前記撮影制御部は、前記第1映像の撮影後に前記第1映像に対応する第2映像を撮影する場合、前記所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像の撮影を開始し、前記第2映像を撮影中の、前記第1期間に対応する第2期間においては、前記第1補正パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像を撮影する制御を行う。
このように、事前の撮影(第1映像の撮影)によって、第1補正パラメータを決定することにより、本番撮影(第2映像の撮影)においては、撮影途中にカットインする被写体に適した第1補正パラメータを自動的に設定することができる。すなわち、過大視差を伴う映像が撮影される危険性を容易に低減できる。
また、前記撮影制御部は、前記第2映像の撮影中の、前記第2期間に時間的に連続する所定の長さの期間である第3期間においては、前記第1補正パラメータに設定した前記第1の撮影部および第2の撮影部によって前記第2映像を撮影する制御を行ってもよい。
これにより、第1映像の撮影時と第2映像の撮影時とにおいて、撮影時間や撮影位置に多少のずれが生じた場合であっても、過大視差が発生するリスクを低減することができる。
また、前記撮影パラメータ決定部は、前記第2映像の撮影中の、前記第2期間に時間的に連続する所定の長さの期間である第3期間のための前記撮影パラメータとして、前記レンズ間距離が時間の経過とともに単調に増加もしくは減少する、または前記輻輳角が時間の経過とともに単調に増加もしくは減少する前記撮影パラメータである第2補正パラメータを決定し、前記撮影制御部は、前記第3期間においては、前記第2補正パラメータに設定した前記第1の撮影部および第2の撮影部によって前記第2映像を撮影する制御を行ってもよい。
これにより、第1補正パラメータへの撮影パラメータの変更がスムーズに行われるため、映像の視認者が撮影パラメータの変更に気づきにくい、より高品位な映像を撮影することができる。
また、本開示の一態様に係る立体視用映像撮影装置は、立体視用の映像を撮影する第1の撮影部および第2の撮影部を有するカメラ部と、前記カメラ部の位置を動かす可動部と、前記第1の撮影部および前記第2の撮影部のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを決定する撮影パラメータ決定部と、前記第1の撮影部および前記第2の撮影部に前記撮影パラメータを設定し、前記立体視用の映像を撮影する制御を行う撮影制御部とを備え、前記撮影制御部が、前記可動部によって前記カメラ部の位置を動かしながら、所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって第1映像を撮影した場合、前記撮影パラメータ決定部は、最大視差量が所定の範囲外となる前記カメラ部の位置である第1位置を特定し、前記第1位置において撮影した前記第1映像の最大視差量が前記所定の範囲内に収まる前記撮影パラメータである第1補正パラメータを決定し、前記撮影制御部は、前記第1映像の撮影後に前記第1映像に対応する前記第2映像を撮影する場合、前記所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像の撮影を開始し、前記第2映像の撮影中に前記カメラ部が前記第1位置に位置するときは、前記第1補正パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像を撮影する制御を行う。
このように、撮影位置に応じて撮影パラメータを制御する構成とすることで、撮影時間によらず、過大視差を伴う映像が撮影される危険性を低減できる。
上記構成において、さらに、前記第1映像の撮影時の前記カメラ部の位置の時間変化である位置情報が記憶される記憶部を備え、前記撮影制御部は、前記第2映像を撮影中は、さらに、前記可動部を制御することによって、前記位置情報にしたがって前記カメラ部の位置を動かしながら前記第2映像を撮影する制御を行ってもよい。
上記構成によれば、最初の撮影と二回目以降の撮影のカメラの動きを合わせることができ、二回目以降の撮影における立体撮影パラメータの動的な変化を、撮影している映像により正確に合わせることが可能となる。
本開示に係る立体視用映像撮影装置は、過大視差を伴う映像が撮影される危険性を容易に低減できる。
以下、実施の形態に係る立体視用映像撮影装置について図面を参照しながら説明する。
但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
図1は、実施の形態1に係る立体視用映像撮影装置の構成を示す図である。
図1は、実施の形態1に係る立体視用映像撮影装置の構成を示す図である。
図1(a)は、実施の形態1に係る立体視用映像撮影装置の側面図を示す。図1(b)は本実施形態に係る立体視用映像撮影装置の平面図(上面視した図)を示す。さらに、図2は、立体視用映像撮影装置の詳細な構成を示すブロック図である。
図1(a)および図1(b)に示す立体視用映像撮影装置200は、制御ユニット100、第1のレンズ鏡筒101、第1のレンズ鏡筒保持部材102、ビームスプリッター蒸着面105、第2のレンズ鏡筒111、第2のレンズ鏡筒保持部材112、レンズ間距離可変機構113、基礎部材120、垂直固定部材121、前面窓122、ビームスプリッタープリズム130、プリズム保持部材131、第1のレンズ鏡筒支持部材135、および第2のレンズ鏡筒支持部材136を備える。
制御ユニット100は、立体視用映像撮影装置200の全体を制御する。制御ユニット100の具体的な内容については後述する。
第1のレンズ鏡筒101および第2のレンズ鏡筒111は、立体視用の映像を構成する対になる映像、つまり左眼用の映像および右眼用の映像をそれぞれ撮影する。説明の便宜上、第1のレンズ鏡筒101は左眼用の映像を撮影するものとする。また、第2のレンズ鏡筒111は、右眼用の映像を撮影するものとする。
なお、図2に示すように、第1のレンズ鏡筒101は、第1のレンズ群211、第1の撮像部212および第1のA/D変換部213から構成される。また、第2のレンズ鏡筒111は、第2のレンズ群221、第2の撮像部222および、第2のA/D変換部223から構成される。以下、第1のレンズ鏡筒101および第2のレンズ鏡筒111をカメラ部1とも記載する。
第1のレンズ群211および第2のレンズ群221は、複数の光学レンズから構成される。第1のレンズ群211および第2のレンズ群221は、被写体からの光をそれぞれ第1の撮像部212および第2の撮像部222に集光する。
第1の撮像部212および第2の撮像部222は、少なくとも撮像素子を含み、第1のレンズ群211および第2のレンズ群221を介して入力された光を撮像する。具体的には、第1の撮像部212および第2の撮像部222は、入力された光信号をアナログ信号(電気信号)に変換して、当該アナログ信号をそれぞれ第1のA/D変換部213および第2のA/D変換部223に出力する。
第1のA/D変換部213および第2のA/D変換部223は、第1の撮像部212および第2の撮像部222から出力されたアナログ信号をデジタル信号に変換する。第1のA/D変換部213および第2のA/D変換部223は、変換したデジタル信号を構成する画像データをそれぞれ制御ユニット100内部の視差量算出部2および信号処理部3に出力する。
第1のレンズ鏡筒保持部材102および第2のレンズ鏡筒保持部材112は、それぞれ第1のレンズ鏡筒101および第2のレンズ鏡筒111を垂直固定部材121および基礎部材120に支持する支持部材である。
なお、第2のレンズ鏡筒保持部材112は、レンズ間距離可変機構113を介して基礎部材120に支持される。
使用者は、第1のレンズ鏡筒保持部材102および第2のレンズ鏡筒保持部材112における第1のレンズ鏡筒101および第2のレンズ鏡筒111の取付け位置を調整することにより、光軸の平行度を調整することができる。
また、第1のレンズ鏡筒保持部材102および第2のレンズ鏡筒保持部材112は、図示しない内蔵モータでの駆動もしくは外部モータからのベルトドライブでの駆動等により、輻輳角を自動制御可能な構成となっている。自動制御のための制御信号は、制御ユニット100から与えられる。
レンズ間距離可変機構113は、第2のレンズ鏡筒111を基礎部材120に支持する支持部材である。レンズ間距離可変機構113は、制御ユニット100からの制御信号に基づいて、第2のレンズ鏡筒111の光軸と直交する方向(レンズ間距離可変機構113の長手方向)に第2のレンズ鏡筒111を移動させることができる。この移動機構により、使用者は第1のレンズ鏡筒101および第2のレンズ鏡筒111におけるレンズ間の距離を調整することができる。レンズ間距離可変機構113は、一般的なレールとスライダ等で実現することが可能であり、モータで駆動される。
なお、レンズ間の距離は、例えば、第1のレンズ鏡筒101および第2のレンズ鏡筒111の前玉間の距離となる。なお、第1のレンズ鏡筒101の光軸と第2のレンズ鏡筒111の光軸との間の距離をレンズ間距離としても構わない。つまり、第1のレンズ鏡筒101の撮影位置と第2のレンズ鏡筒111の撮影位置との間の距離を示すものであれば、どのようなものを利用しても構わない。
ビームスプリッター蒸着面105は、ビームスプリッタープリズム130が備える蒸着面である。ビームスプリッター蒸着面105は、ビームスプリッタープリズム130に入射される光を分光する特性を有する。具体的には、ビームスプリッター蒸着面105は、入射される光のうち一部を透過光として第2のレンズ鏡筒111に入射させる。また、ビームスプリッター蒸着面105は、入射される光のうち一部を反射光として第1のレンズ鏡筒101に入射させる。なお、ビームスプリッター蒸着面105における分光特性は、立体視用映像撮影装置200の製造者が意図的に設定できるものであり、第1のレンズ鏡筒101および第2のレンズ鏡筒111の特性によって設定されても構わない。
基礎部材120は、第2のレンズ鏡筒保持部材112を介して第2のレンズ鏡筒111を支持する。
垂直固定部材121は、第1のレンズ鏡筒保持部材102を介して第1のレンズ鏡筒101を支持する。なお、垂直固定部材121には前面窓122が設けられ、被写体からの光をビームスプリッタープリズム130に導光できるように構成される。
ビームスプリッタープリズム130は、被写体からの光を分光するビームスプリッター蒸着面105を有する略立方形状のプリズムである。
プリズム保持部材131は、ビームスプリッタープリズム130を保持する。
第1のレンズ鏡筒支持部材135は、ビームスプリッタープリズム130と第1のレンズ鏡筒101を接合する。
第2のレンズ鏡筒支持部材136は、ビームスプリッタープリズム130と第2のレンズ鏡筒111を接合する。
なお、立体視用の映像を撮影する際、第1のレンズ鏡筒保持部材102、第2のレンズ鏡筒保持部材112およびレンズ間距離可変機構113を調整し、第1のレンズ鏡筒101の第1のレンズ鏡筒光軸104と、第2のレンズ鏡筒111の第2のレンズ鏡筒光軸114を略平行に調整するのが好ましい。このように調整することにより、撮影して得られる画像の左右差が小さくなり、高品位な立体視用の映像を撮影することができる。
なお、第1のレンズ鏡筒101の第1のレンズ鏡筒光軸104と、第2のレンズ鏡筒111の第2のレンズ鏡筒光軸114とが平行か否かは、図1(a)において、第1のレンズ鏡筒光軸104をビームスプリッター蒸着面105で反射した左方向の軸と、第2のレンズ鏡筒光軸114がビームスプリッター蒸着面105を透過した左方向の軸とが、ビームスプリッター蒸着面と平行なプリズム横方向から見たときに、1本にそろった状態か否かで確認できる。
以下、制御ユニット100の具体的構成について説明する。
図2に示すように制御ユニット100は、視差量算出部2、信号処理部3、表示処理部4、表示部5、GUI生成部6、入力部9、制御部11、記録処理部12およびカメラ制御部13で構成される。なお、各構成要素はバス10を介して接続される。
視差量算出部2は、入力された第1の画像および第2の画像を構成する画像データを基に、当該第1の画像および当該第2の画像で構成される立体視用の映像の視差に関する情報(以下、視差情報と称す)を算出する。そして、視差量算出部2は算出した視差情報をGUI生成部6にバス10経由で出力する。なお、実施の形態1では、第1の画像は、第1のレンズ鏡筒101によって撮影される左眼用の画像であり、第2の画像は、第2のレンズ鏡筒111によって撮影される右眼用の画像であるものとする。
例えば、視差量算出部2は、第1の画像および前記第2の画像を複数の領域に分割し、分割した領域毎に視差情報を算出する。この領域は例えば16×16画素単位など、どのような大きさでも構わない。なお、視差量算出部2は、視差情報を算出する際、ブロックマッチング法など、どのような方法を用いても構わない。ここで、視差情報とは、第1の画像と第2の画像ともに写っているオブジェクトの第1の画像の当該オブジェクト位置を基準にした際の第2の画像における水平方向の移動量を示す値である。例えば、視差情報は、水平方向の移動量であるピクセル値であっても構わない。
また、視差量算出部2は算出した視差情報のうち、最大の視差情報に関する情報を制御部11に出力する。ここで、最大の視差情報とは、使用者が第1の画像および第2の画像を立体映像として視認した際、最も飛び出して視認されるオブジェクトにおける視差情報および最も引っ込んで視認されるオブジェクトの視差情報のうち、少なくとも一方を示す。
要するに、最も飛び出して視認されるオブジェクトにおける視差情報を最大の視差情報としても構わない。また、最も引っ込んで視認されるオブジェクトの視差情報を最大の視差情報としても構わない。さらに、最も飛び出して視認されるオブジェクトにおける視差情報および最も引っ込んで視認されるオブジェクトの視差情報の双方を最大の視差情報としても構わない。
信号処理部3は、カメラ部1で生成された第1の画像および第2の画像に対して各種の処理を施す。信号処理部3は、第1の画像および第2の画像のうちいずれか1つまたは双方の画像を構成する画像データに対して処理を施し、表示部5に表示するための画像データであるレビュー画像を生成したり、記録する映像信号を生成したりする。
例えば、信号処理部3は、第1の画像および第2の画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。信号処理部3は、生成したレビュー画像を表示処理部4に出力する。なお、信号処理部3が生成するレビュー画像は、2次元の画像でも構わないし、3次元の画像でも構わない。
さらに、信号処理部3は、上記処理された第1の画像および第2の画像に対して、それぞれH.264/AVC等の動画圧縮規格に準拠した圧縮形式等により圧縮処理する。第1の画像および第2の画像を圧縮して得られる圧縮信号は2つが関連付けられて、記録処理部12を介して記憶部14(記録媒体)に記憶(記録)される。
なお、2つが記録される際、動画の各フレーム、あるいは動画撮影中にユーザが選択した画像をJPEG規格に準拠した圧縮形式等により圧縮処理して記録しても良い。この場合、MPF(Multi Picture Format)を用いて記録されるのが望ましい。また、MPFと、JPEG画像若しくはMPEG動画とを同時に記録する構成にしても構わない。なお、第1の画像および第2の画像を記録する際に適用する圧縮形式およびファイルフォーマットは、立体視用の映像に適した形式であればどのようなものを利用しても構わない。
信号処理部3は、DSPやマイコンなどで実現可能である。なお、レビュー画像の解像度は、表示部5の画面解像度に設定されても構わないし、JPEG規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定されても構わない。
表示処理部4は、信号処理部3から入力されるレビュー画像と、GUI生成部6から入力されたGUI画像とを重畳する。そして表示処理部4は、重畳して得られる映像信号を表示部5に出力する。
表示部5は、表示処理部4から入力された映像信号を表示する。また、GUI生成部6が生成したGUI画像を表示する。
GUI生成部6は、制御部11から入力される信号に基づいてGUI画像を生成する。例えばGUI生成部6は、視差量算出部2が算出した視差情報が表示されるGUI画像を生成する。或いはGUI生成部6は、使用者が入力部9を用いて指定した動作を確認するためのGUI画像を生成する。
入力部9は、スイッチ、タッチパネル等で構成され、使用者による操作を受け付ける。入力部9は、使用者の操作を受け付けた場合、当該操作を電気信号に変換して制御部11に出力する。なお、入力部9は、スイッチ、タッチパネルに限定されるものではなく、使用者の操作を受け付けるデバイスであれば、どのようなものを利用しても構わない。
入力部9は、事前学習指示部7および本番録画指示部8を少なくとも備える。
事前学習指示部7は、撮影パラメータを設定するための立体視用の映像の撮影を制御部11に指示する指示部である。ここでの撮影パラメータは、時間的に後で撮影する立体視用の映像に適用されるパラメータである。また、撮影パラメータは、第1のレンズ鏡筒光軸104および第2のレンズ鏡筒光軸114のレンズ間距離および第1のレンズ鏡筒光軸104および第2のレンズ鏡筒光軸114が構成する輻輳角のうち少なくとも一方を含む。
また、本番録画指示部8は、記録用の立体視用の映像の撮影を制御部11に指示する指示部である。本番録画指示部8が撮影を指示した場合、事前学習指示部7の指示により行われた撮影時に得られる撮影パラメータを用いて撮影する。
つまり、事前学習指示部7は、事前学習のために立体視用の映像の撮影を指示する指示部であり、本番録画指示部8は、事前学習指示部7の撮影指示に基づく事前学習した結果を用いて立体視用の映像の撮影を指示する指示部である。なお、説明の便宜上、図2において事前学習指示部7および本番録画指示部8は、独立した構成と成っているが、事前学習指示部7および本番録画指示部8が一体の構成でも構わない。この場合、立体視用映像撮影装置200にはモード選択ダイアルが備えられ、事前学習指示部7と本番録画指示部8に対応するモードが選択できる構成となる。以下、実施の形態1では、事前学習を行うための撮影モードを事前学習モード(第1撮影モード)と記載し、事前学習した結果を用いて撮影を行う撮影モードを本番撮影モード(第2撮影モード)と記載する。
バス10は、各構成要素間でデータの授受を可能とするデータ伝送路である。
制御部11は、立体視用映像撮影装置200全体の制御を行う。制御部11は、撮影パラメータ決定部11aと、撮影制御部11bとを備える。
撮影パラメータ決定部11aは、第1のレンズ鏡筒101(第1の撮影部)および第2のレンズ鏡筒111(第2の撮影部)のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを決定する。
また、撮影制御部11bは、第1のレンズ鏡筒101および第2のレンズ鏡筒111に撮影パラメータを設定して立体視用の映像を撮影する制御を行う。すなわち、撮影制御部11bは、視差量算出部2から入力された最大の視差情報に関する情報を用いて、図1における第1のレンズ鏡筒保持部材102、第2のレンズ鏡筒保持部材112、レンズ間距離可変機構113を制御することにより、第1のレンズ鏡筒101と第2のレンズ鏡筒111との輻輳角とレンズ間距離を自動制御する。
記録処理部12は、信号処理部3から入力される第1の画像および第2の画像を、図示しない記憶部14に記憶(記録)する。
カメラ制御部13は、制御部11からの制御に基づき、第1のレンズ鏡筒101および第2のレンズ鏡筒111の各部が焦点距離や絞り値など必要な撮影パラメータに対応した動作を行うよう制御する。
記憶部14には、本番撮影モードで撮影された映像(画像)または当該映像(画像)が圧縮された映像が記憶される。記憶部14は、具体的には、HDD(Hard Disc Drive)、DRAM(Dynamic Random Access Memory)、または強誘電体メモリなどである。記憶部14は、立体視用映像撮影装置200に着脱可能な形態であってもよい。
(レンズ間距離、輻輳角の調整について)
以下、制御部11におけるレンズ間距離および輻輳角の自動調整について図面を参照しながら説明する。
以下、制御部11におけるレンズ間距離および輻輳角の自動調整について図面を参照しながら説明する。
図3Aおよび図3Bは、立体視用映像撮影装置を用いた立体視用の映像の撮影方法を説明するための図である。
なお、図3Aでは、説明を簡単にするため、ビームスプリッタープリズム130を省略し、第1のレンズ鏡筒101と第2のレンズ鏡筒111とが同一平面に位置するとして図示されている。
図3Aは、図1の立体視用映像撮影装置における、第1および第2のレンズ鏡筒およびレンズ鏡筒の光軸と被写体の位置関係を示す図である。図3Bは、第1のレンズ鏡筒101および第2のレンズ鏡筒111が生成する画像を示す図である。なお、図3B中のLは、第1のレンズ鏡筒101が撮影する左眼画像、図3B中のRは、第2のレンズ鏡筒111が撮影する右眼画像である。
図3Aにおいて、第1のレンズ鏡筒101の光軸28と、第2のレンズ鏡筒111の光軸29とが交わる点には、被写体24が位置する。よって、被写体24の左眼画像内の水平方向の位置と、被写体24の右眼画像内の水平方向における位置とは、同じ位置となる。
これに対し、被写体22は、被写体24よりも手前に位置する。ここで、被写体22は、被写体24を含む、図3A中のY方向に垂直な面である仮想スクリーン(画面)26を想定した場合、この仮想スクリーンに投影された像として撮影される。すなわち、被写体22は、左眼視点に相当する第1のレンズ鏡筒101によって仮想スクリーン26に投影された像25として撮影される。また、被写体22は、右眼視点に相当する第2のレンズ鏡筒111によって、仮想スクリーン26に投影された像23として撮影される。
したがって、左眼画像における被写体22の像25と右眼画像における被写体22の像23とは、図3Bに示した視差量27だけ離れて位置する。この視差量27により、左眼画像および右眼画像を視認する視認者は、被写体22を立体視することが可能となる。
図3Bに示されるように像23が、像25よりも水平方向において左側に位置する場合、視差量27の絶対値が大きくなるほど(像23と像25の間隔が開くほど)、被写体22の像は、画面26より手前に飛び出して見える。また、像23と像25との位置関係が逆転し、像23が像25よりも水平方向において右側に位置する場合、視差量27の絶対値が大きくなるほど被写体22の像は、画面26よりも奥に引っ込んで見える。
すなわち、像23が、像25よりも水平方向において左側に位置する場合の視差量を正の値、像23が、像25よりも水平方向において右側に位置する場合の視差量を負の値とした場合、視差量27が大きくなるほど被写体22は、飛び出して見え、視差量が小さくなるほど被写体22は、奥に引っ込んで見える。
ここで、上記のような視差量27が大きくなりすぎる(像が飛び出しすぎるまたは引っ込みすぎる)ことは、視認者の眼精疲労を引き起こす。これは、実際に目が焦点を結んでいる画面26と被写体22との距離が開き過ぎることに起因する。また、同じ画面26のなかで視差の範囲(飛び出し方向の最大視差量と、引っ込み方向の最大視差量との差)が大きすぎる場合、すなわち飛び出す像と引っ込む像の間の距離が開き過ぎることも、視認者の眼精疲労を引き起こす。さらには、時間経過に応じた視差量の変化が急であることも、視認者の目が追従できなくなるため、視認者の眼精疲労を引き起こす。
このような視認者の眼精疲労の要因を考慮しつつ、立体視の効果が得られるように立体視用の映像を撮影するためには、レンズ間距離20と、輻輳角21のうち少なくとも一方を撮影対象の被写体の位置分布と照らし合わせて最適な値に設定する必要がある。ここでレンズ間距離20とは、第1のレンズ鏡筒光軸104上の結像位置と、第2のレンズ鏡筒光軸114上の結像位置との間隔(図3AにおけるX方向の距離)を意味する。輻輳角21とは、第1のレンズ鏡筒光軸104と、第2のレンズ鏡筒光軸114とがなす角度を意味する。
例えば、制御部11は、視差量算出部2から入力された最大の視差情報に関する情報を用いて、立体映像内の飛出し方向の最大視差量と、引っ込み方向の最大視差量とが所定の範囲に収まるようにレンズ間距離と輻輳角のうちいずれか一方を制御する。例えば、制御部11は、飛び出し方向の最大視差量の絶対値と、引っ込み方向の最大視差量の絶対値とが同じ値となるように輻輳角21を制御する。そのうえで、制御部11は、最大視差量が所定の範囲を超えていれば、レンズ間距離20を小さくすることで最大視差量を減らし、立体映像内の視差量が所定の範囲に収まるように制御する。
なお、レンズ間距離20と輻輳角21とを制御する方法は、上記の方法に限定されるものではない。例えば、制御部11は、図3Aにおける被写体24の位置に焦点が合うように輻輳角を調整したうえで、最大視差量が所定の範囲に収まるようにレンズ間距離20を制御しても構わない。また、制御部11は、最大視差量が事前に設定した値より小さい場合には、レンズ間距離20を大きくすることで最大視差量を上記所定の範囲内で増やしてもよい。すなわち、視差量算出部2から入力された最大の視差情報に関する情報を用いて、輻輳角とレンズ間距離のうち少なくとも一方を制御する方法であれば、制御部11は、どのような方法を用いても良い。
(カメラの動きによる過大視差発生)
上述のように、例えば、立体視用映像撮影装置200がパン・ティルト等の動きを伴いながら映像を撮影しているようなときに、より近くに位置する被写体またはより遠くに位置する被写体が撮影範囲に入ってくる場合がある。このような場合、大きな視差を持つ映像(動画像)が撮影されてしまう。
上述のように、例えば、立体視用映像撮影装置200がパン・ティルト等の動きを伴いながら映像を撮影しているようなときに、より近くに位置する被写体またはより遠くに位置する被写体が撮影範囲に入ってくる場合がある。このような場合、大きな視差を持つ映像(動画像)が撮影されてしまう。
以下、立体視用映像撮影装置200を用いて動画像を撮影した際、大きな視差を持つ動画像が得られる例を図面を参照しながら説明する。
図4は、立体視用映像撮影装置200を用いた撮影において大きな視差を持つ動画像が得られる例を説明するための図である。なお、図4は、立体視用映像撮影装置200および被写体を上面から見た図である。
図4において、撮影位置30は、立体視用映像撮影装置200の撮影開始時の撮影位置を表す。撮影位置31は、立体視用映像撮影装置200のパン動作後の撮影位置を表す。
立体視用映像撮影装置200は当初、上面から見たときに撮影位置30で被写体40を撮影している。このとき、第1のレンズ鏡筒101の光軸36、および第2のレンズ鏡筒111の光軸35は被写体40の方向を向いている。このときの撮影パラメータは、被写体40が適切に(最大視差が所定の範囲内に収まるように)立体視できるように最適化されている。
この状態から、立体視用映像撮影装置200が撮影位置30から撮影位置31までパン動作しながら撮影した場合、上述のように撮影パラメータは、被写体40が適切に立体視できるように設定されている。ここで、立体視用映像撮影装置200から被写体41および42までの距離それぞれは、立体視用映像撮影装置200から被写体40までの距離に近いため、被写体41および42は視認者が適切に立体視できるように撮影される。
しかし、パン動作の途中において、より立体視用映像撮影装置200に近い位置にある被写体43が入りこむ。
ここで、図示されるように、第1のレンズ鏡筒101の光軸38にのみ被写体43が入り込むような場合、被写体43は、第2のレンズ鏡筒111によって撮影される右眼画像には写らないため、被写体43が撮影された場面は、視認者が見づらい映像となる。
また、被写体43が光軸37および38の両方に入り込むような場合も、上述のように撮影パラメータは、被写体43を考慮して設定されていないため、被写体43は、非常に大きい視差を持って撮影されてしまう。
(撮影パラメータの制御について)
上記のような課題を解決するための、立体視用映像撮影装置200の撮影パラメータの制御について図面を参照しながら説明する。
上記のような課題を解決するための、立体視用映像撮影装置200の撮影パラメータの制御について図面を参照しながら説明する。
図5は、立体視用映像撮影装置200における、撮影パラメータ制御の例を示す図である。図5に示される各図はいずれも、図4に示されるように、撮影位置をパンさせながら所定の撮影時間、撮影を行った場合の最大視差量と撮影パラメータの時間変化を示す図である。
なお、図5を用いた以下の説明では、一例として、視差量を輻輳角で表し、視差量の所定の範囲は、輻輳角が±0.7度以内であるとする。また、図5を用いた以下の説明では、撮影パラメータの一例として、レンズ間距離が制御されるものとする。なお、図5では、視差量としての輻輳角は、正の符号を持つ値である場合に、映像が飛び出して視認されるものとする。
図5(a1)は、撮影中に撮影パラメータが制御されない場合の撮影パラメータの時間変化を示す図である。図5(a2)は、撮影中に撮影パラメータが制御されない場合の最大視差量の時間変化を示す図である。
図5(a1)に示されるように、撮影中に撮影パラメータが制御されない場合(レンズ間距離がL1で一定の場合)、図5(a2)に示されるように時刻50までは、最大視差量は所定の範囲内である。しかしながら、時刻50以降は、撮影位置がパンするとともに、図4において説明した被写体43が撮影範囲に入るため、最大視差量が飛び出し側である+0.7度を超えてしまう。
ここで、図4に示されるような、風景画像をパン動作で撮影する場合においては、事前に被写体配置や、撮影装置と被写体との距離が分かっていれば、予め最大視差量を考慮して撮影パラメータを設定し、過大視差の発生を回避する方法がある。
図5(b1)は、最大視差量を考慮して撮影パラメータを設定した場合の撮影パラメータの時間変化を示す図である。図5(b2)は、最大視差量を考慮して撮影パラメータを設定した場合の最大視差量の時間変化を示す図である。
この場合は、被写体43が撮影装置の撮影範囲に入った状態で、飛び出し側の最大視差量が+0.7度以下になるようにレンズ間距離をL1よりも小さいL2に設定した状態で最初から撮影が行われている(図5(b1))。この方法によれば、図5(b2)に示されるように過大視差を回避することが可能である。しかしながら、この方法では、時刻50以前の時間帯においてもレンズ間距離が小さくなる、すなわち得られる視差量が小さくなるため、全体的に立体感に乏しい映像になるという課題がある。
これに対し、図5(c1)および(c2)は、立体視用映像撮影装置200によって撮影パラメータが制御された場合の最大視差量と撮影パラメータの関係を示す図である。
立体視用映像撮影装置200は、事前にリハーサルとしてレンズ間距離L1で撮影した第1映像に基づき、第1映像において最大視差量が所定の範囲外となる第1期間を特定する。なお、ここで第1映像は、図4に示されるように撮影位置をパンさせながら上記所定の撮影時間、撮影を行った映像である。すなわち、第1映像の最大視差量の時間変化は、図5(a2)に示される特性となり、第1期間は、図5(a2)に示される期間t1に相当する。
また、立体視用映像撮影装置200は、さらに、第1期間における第1映像の最大視差量が所定の範囲内に収まるように設定されたレンズ間距離L2(第1補正パラメータ)を第1期間における第1映像の最大視差量に基づいて決定する。
続いて、立体視用映像撮影装置200は、再度、第1映像と同一の被写体(シーン)について、最初から撮影を開始する(このとき撮影される映像を第2映像とする)。ここで、図5(c1)に示されるように、撮影中の上記第1期間に対応する期間t2(第2期間)においては、レンズ間距離L2で映像を撮影する制御を行う。また、期間t0においては、立体視用映像撮影装置200は、レンズ間距離L1で映像を撮影する制御を行う。
すなわち、図5(c2)に示される期間t0では、図5(a2)の場合と、ほぼ同様の視差量の映像が撮影される。その後の、時刻50以降では、図5(b2)の場合と、ほぼ同様の視差量の映像が撮影される。
以上のように、立体視用映像撮影装置200によれば、撮影者は、全体的な立体感を確保しつつ、最大視差量を所定の範囲に収めた映像を簡単に撮影することができる。
また、図5の(c1)の例では、最大視差量が所定の範囲内である期間t3(第3期間)においても、レンズ間距離の制御が行われている。すなわち、立体視用映像撮影装置200は、期間t1と時間的に連続する所定の長さの期間である期間t3においてレンズ間距離を制御している。なお、期間t3は、期間t1および期間t2のいずれの期間よりも短い期間でも構わない。
第1映像の撮影と第2映像の撮影とは、撮影時間や、撮影位置をパンするタイミングが完全に一致することが望ましい。しかしながら、例えば、撮影者が手動で立体視用映像撮影装置200を動かして撮影位置をパンさせるような場合、過大視差が発生するタイミングと、レンズ間距離を小さくするタイミングとが完全に一致しない場合がある。
このような場合、期間t2に加えて、期間t3においてもレンズ間距離を制御する期間とすることによって、過大視差が発生するタイミングと、レンズ間距離を制御するタイミングとがずれた場合に過大視差が発生するリスクを低減することができる。
期間t3においては、期間t2と同様にレンズ間距離L2で撮影が行われてもよいが、図5(c1)に示されるようにレンズ間距離を動的に制御してもよい。
具体的には、期間t3においては、レンズ間距離が時間の経過とともに単調に減少するように制御される。これにより、急激にレンズ間距離が変更されないため、視認者にとってより見やすい映像を撮影することができる。
なお、図5(c1)に示されるようにレンズ間距離が期間t3において時間の経過とともに比例して減少する必要はない。期間t3においてレンズ間距離の減少が続けばよい。なお、期間t3における上記のような撮影パラメータは、撮影パラメータ決定部が決定する。
以下、立体視用映像撮影装置200の動作の詳細について説明する。
図6は、立体視用映像撮影装置200の動作を示すフローチャートである。
まず、立体視用映像撮影装置200は、所定の撮影パラメータで第1映像を撮影する(S101)。具体的には、撮影者は、事前学習指示部7を操作して、制御部11を事前学習モードに設定したうえで、図4で説明したように撮影位置をパンしながら第1映像を撮影する。事前学習モードでは、所定の撮影パラメータによって撮影が行われる。実施の形態1では、レンズ間距離はL1に固定された状態で撮影が行なわれる。
第1映像の撮影中または撮影後には、制御部11は、視差量算出部2が算出した視差量の時間変化をデータとして取得し、制御部11に内蔵されるメモリに記憶する。このとき、図5(a2)に示されるような視差量の時間変化データが得られる。
次に、撮影パラメータ決定部11aは、上記視差量の時間変化に基づいて、最大視差量が第1映像において最大視差量が所定の範囲外となる第1期間を特定する(S102)。
続いて、撮影パラメータ決定部11aは、第1期間における第1映像の最大視差量が所定の範囲内に収まる撮影パラメータである補正パラメータを決定する(S103)。具体的には、撮影パラメータ決定部11aは、第1期間における第1映像の最大視差量が輻輳角±0.7度以内に収まるように第1のレンズ鏡筒101と第2のレンズ鏡筒111とのレンズ間距離をL2に決定する。
次に、立体視用映像撮影装置200は、所定の撮影パラメータで第2映像の撮影を開始する(S104)。具体的には、撮影者は、本番録画指示部8を操作して、制御部11を本番撮影モードに設定したうえで、図4で説明したように撮影位置をパンしながら第2映像を撮影する。
第2映像を撮影中の、第1期間に対応する第2期間(図5(c1)および(c2)に示される期間t2)においては、撮影制御部11bは、撮影パラメータ決定部11aが決定した補正パラメータで第2映像を撮影する(S105)。具体的には、撮影制御部11bは、第1のレンズ鏡筒101と第2のレンズ鏡筒111とのレンズ間距離をL2に変更する。
なお、図6のフローチャートでは省略されているが、撮影制御部11bは、期間t3では、レンズ間距離が時間の経過とともに単調に減少するようにレンズ間距離を制御する。
このように、本番撮影モードにおいて、撮影制御部11bは、事前学習モードで取得した視差量の時間変化データに基づいてレンズ間距離を自動制御する。
つまり、立体視用映像撮影装置200では、撮影パラメータを所定の撮影パラメータに固定して撮影するのではなく、撮影中の時間の経過とともに動的に撮影パラメータを変化させる。これにより、撮影パラメータを調整せずともいい場面と、突然物体が飛び込んでくる場面のそれぞれにおける立体感の低減を抑制することができる。
以上、説明したように、実施の形態1に係る立体視用映像撮影装置200は、過大視差を伴う映像が撮影される危険性を容易に低減できる。
なお、実施の形態1では、撮影制御部11bは、補正パラメータとしてレンズ間距離を制御したが、撮影制御部11bは、輻輳角を制御してもよい。また、撮影制御部11bは、補正パラメータとしてレンズ間距離および輻輳角を組み合わせて制御してもよい。
具体的には、期間t1において、飛び出し方向の過大視差が発生する場合には、レンズ間距離を小さくする代わりに輻輳角が大きくなるように制御されてもよい。また、期間t1において、引っ込み方向の過大視差が発生する場合には、レンズ間距離を小さくする代わりに輻輳角が小さくなるように制御されてもよい。
また、例えば、期間t3においては、輻輳角が時間の経過とともに単調に増加または単調に減少するように制御されてもよい。また、期間t3が最大視差量が所定の範囲外となる期間t1に後続する期間である場合は、当該期間t3においては、レンズ間距離が単調に増加するように制御されてもよい。
なお、実施の形態1では、所定の視差範囲を輻輳角が±0.7度以内としたが、所定の視差範囲は任意に設定されてもよい。例えば、所定の視差範囲として、生体安全ガイドラインで定められた視差範囲を用いてもよい。
なお、実施の形態1では、期間t3(第3期間)は、期間t1の直前の期間であって、期間t1に時間的に連続する期間であるが、期間t1の直後の期間であって、期間t1に時間的に連続する期間であってもよい。また、期間t1の直前および直後の期間であって、期間t1に時間的に連続する期間を期間t3としてもよい。また、期間t3は、設けられなくてもよい。
なお、実施の形態1では、期間t1および期間t2において用いられる撮影パラメータは、時間の経過とともに変化しない固定の撮影パラメータであるとしたが、時間の経過とともに変化する動的な撮影パラメータであってもよい。
なお、実施の形態1では、撮影位置をパンする場合について説明したが、その他の撮影位置の変更を伴う撮影においても、立体視用映像撮影装置200は適用可能である。また、撮影位置が固定される場合であっても、撮影範囲に被写体が飛び込んでくるようなシチュエーションであれば、立体視用映像撮影装置200の撮影パラメータの制御を適用することができる。
なお、実施の形態1では、動画像を撮影する例について説明したが、静止画を連続して撮影するような場合においても、立体視用映像撮影装置200は適用可能である。すなわち、静止画の撮影においても立体視用映像撮影装置200は適用可能である。
(実施の形態2)
上述のように、第2映像の撮影時(本番撮影モードにおける撮影時)には、過大視差が発生するタイミングと、レンズ間距離を小さくするタイミングとが完全に一致しない場合がある。
上述のように、第2映像の撮影時(本番撮影モードにおける撮影時)には、過大視差が発生するタイミングと、レンズ間距離を小さくするタイミングとが完全に一致しない場合がある。
単純でなおかつ回転角度の少ない撮影位置のパンを伴う撮影等においては、撮影者の感覚だけで本番撮影モードの撮影を行っても、本番撮影モードの撮影位置の時間変化を、事前学習モードの撮影位置の時間変化に概ね問題ない程度に合わせることは可能である。よって、この場合、本番撮影モードの撮影位置の時間変化(パンの速度)が、事前学習モードの撮影位置の時間変化よりも所定の値以上変化したときに、失敗警告を出すことが有効である。
図7は、立体視用映像撮影装置200における、撮影の失敗例を示す図である。
図7(a)は、事前学習モードでの撮影で取得された最大視差量の時間変化を示す図である。これに対し、図7(b)は、本番撮影モードでのパンの速度が速すぎる場合の最大視差量の時間変化を示す図である。なお、図7(a)および図7(b)はいずれも、図4に示されるように、撮影位置をパンさせながら撮影を行った場合の最大視差量の時間変化を示す図である。
図7(a)および図7(b)では、時刻60以降において、レンズ間距離が小さい値に自動制御される。しかしながら、図7(b)に示されるように、本番撮影モードでのパンの速度が速すぎる場合、レンズ間距離が小さい値に自動制御される前の時刻61において図4の被写体43が撮影範囲(画角)に入ってきてしまう。よって、結果として、撮影した映像において、時刻61から時刻60までの間は、過大視差が発生する。
発生した過大視差の視差量は、視差量算出部2が検出して制御部11に入力されるため、制御部11は、本番撮影モードの撮影時に何らかの失敗があったことを検出可能である。
また、制御部11は、入力部9を操作して事前学習モードおよび本番撮影モードのそれぞれにおいて撮影開始時点から、過大視差が発生する時点までの時間を測定することで本番撮影モードにおける撮影位置の時間変化(パンの速度)が速過ぎる、遅過ぎるという状況を把握することも可能である。
このような場合、制御部11は、GUI生成部6を制御し、表示部5に表示しているレビュー画像に対して、図8に示されるような警告表示を重畳する。すなわち、制御部11(通知部)は、最大視差量が所定の範囲外となる期間が第2映像に含まれる場合に、第2映像の撮影が失敗であることを撮影者に通知する。これにより、立体視用映像撮影装置200は、撮影者に本番撮影モードによる撮影のやり直しを求め、その際の修正方針を示すことが可能である。
なお、事前学習モードおよび本番撮影モードのそれぞれにおいて、撮影開始時点から撮影終了時点までの時間が所定の時間以上異なる場合に、制御部11は、警告表示を表示してもよい。すなわち、制御部11(通知部)は、第2映像の撮影時間と、初期撮影時間(第1映像の撮影時間)との差が所定の時間以上である場合に、第2映像の撮影が失敗であることを撮影者に通知してもよい。このとき、初期撮影時間は、記憶部14または制御部11に内蔵されるメモリ内に記憶される。
これにより、立体視用映像撮影装置200は、より簡単な処理で撮影者に本番撮影モードによる撮影のやり直しを求めることができる。
なお、実施の形態2では、制御部11は、撮影者への通知の一態様として、表示部5に警告表示を行ったが、制御部11の通知は、これに限定されるものではない。例えば、制御部11の通知は、音声によるものであってもよい。
(実施の形態3)
また、立体視用映像撮影装置200と三脚とを用いたパン動作、チルト動作での撮影においては、立体視用映像撮影装置200(または三脚)に、撮影方向を検出することによって制御部11(撮影制御部11b)が制御可能な可動部を設ければよい。これにより、事前学習モードにおける撮影位置の時間変化を本番撮影モードにおいて再現することが可能になる。以下、図9を用いて説明する。
また、立体視用映像撮影装置200と三脚とを用いたパン動作、チルト動作での撮影においては、立体視用映像撮影装置200(または三脚)に、撮影方向を検出することによって制御部11(撮影制御部11b)が制御可能な可動部を設ければよい。これにより、事前学習モードにおける撮影位置の時間変化を本番撮影モードにおいて再現することが可能になる。以下、図9を用いて説明する。
図9は、可動部を備える立体視用映像撮影装置200aの一例を示す図である。
図9に示されるように、立体視用映像撮影装置200aは可動部70を備え、可動部70を介して三脚に接続される。可動部70は、三脚の回転軸回りに回転可能であり、同時にセンサにより回転速度を検出可能である。可動部70は、具体的には、三脚を自動回転させるモータと、その回転軸に合わせて設けられるロータリーエンコーダを組み合わせた構成等で実現できる。
事前学習モードでは、撮影者は、手動で可動部を回転させながら第1映像の撮影を行う。すなわち、立体視用映像撮影装置200aの撮影位置をパンさせながら撮影を行う。このとき、撮影制御部11bは、可動部70の回転速度を測定し、測定結果を制御部11に内蔵されるメモリ(または記憶部14)に記憶する。すなわち、撮影制御部11bは、撮影位置の時間変化である位置情報を記憶する。
本番撮影モードでは、撮影制御部11bは、可動部を制御し、上記測定結果(位置情報)にしたがって立体視用映像撮影装置200a(カメラ部1)の位置を動かしながら第2映像を撮影する制御を行う。
これにより、事前学習モードにおける撮影位置の時間変化を本番撮影モードにおいて再現することが可能になる。すなわち、事前学習モードにおいて、過大視差が発生するタイミングと、レンズ間距離を小さくするタイミングとを一致させることができる。
また、このように、可動部70を備える立体視用映像撮影装置200aを用いれば、撮影位置に応じて撮影パラメータを制御することも可能である。図9においては、本番撮影モードでは、可動部70を制御部11が制御した。これを本番撮影モードでも撮影者が手動で可動部70を回転させながら撮影を行い、可動部70から入力される情報を用いて制御部11が立体視用映像撮影装置200a(カメラ部1)を制御する構成とするものである。この構成について、以下、説明する。
図10は、立体視用映像撮影装置200aにおける、撮影位置を用いた撮影パラメータ制御の例を示す図である。図10は、図4に示されるように、撮影位置をパン、すなわち撮影角度を変化させながら撮影を行った場合の最大視差量の時間変化を示す図である。撮影角度は、撮影開始時のカメラ部1の向きを0度として、0度から45度に変化するものとする。
この場合、事前学習モードでは、実施の形態1と同様に、撮影者は、手動で可動部を0度から45度に回転させながら第1映像の撮影を行う。
第1映像においては、図10に示されるように、撮影角度が0度〜30度の場合は、最大視差量は、所定の範囲内である。撮影角度が30度を超えると、立体視用映像撮影装置200aに近い位置にある被写体43が入りこむため、撮影角度が0度〜30度の場合は、最大視差量は、所定の範囲外である。
続いて、撮影パラメータ決定部11aは、実施の形態1のように第1映像における第1期間t1を特定する代わりに、最大視差量が所定の範囲外となるカメラ部1の位置である第1位置を特定する。実施の形態3では、撮影パラメータ決定部11aは、最大視差量が所定の範囲外となるカメラ部1の撮影角度である30度〜45度の撮影角度を第1位置として特定する。なお、撮影位置の特定は、可動部70にセンサを設け、センサが検出した撮影位置を制御部11(撮影パラメータ決定部11a)が取得することで実現可能である。
また、撮影パラメータ決定部11aは、実施の形態1と同様に、第1位置において撮影した第1映像の最大視差量が所定の範囲内に収まる撮影パラメータである補正パラメータを決定する。
本番撮影モードでは、撮影者は、再度、手動で可動部を0度〜45度に回転させながら第2映像の撮影を行う。
このとき、撮影制御部11bは、上述のように可動部70から撮影角度を取得し、第2映像の撮影中にカメラ部1の撮影角度が30度〜45度であるときは、補正パラメータで第2映像を撮影する制御を行う。
このように、撮影位置に応じて撮影パラメータを制御する構成とすることで、撮影時間によらず、過大視差を伴う映像が撮影される危険性を低減できる。
なお、実施の形態3では、立体視用映像撮影装置が可動部70により回転する例について説明したが、例えば、立体視用映像撮影装置が備える可動部によりレール上を移動するような構成であってもよい。この場合、制御部11は、立体視用映像撮影装置のレール上における位置に応じて撮影パラメータの制御を行う。このように、可動部の構成は、実施の形態3の例に限定されず、どのようなものであってもよい。
なお、実施の形態3では、事前学習モードでは、撮影者が手動で撮影するものとしたが、事前学習モードにおける撮影は、自動で行われてもよい。例えば、撮影位置をプログラムしておき、制御部11が可動部70をプログラムにしたがって制御することで事前学習モードにおける撮影が自動で行われてもよい。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態1〜3を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1〜3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
上記実施の形態においては、第1のレンズ鏡筒、第2のレンズ鏡筒、それらの保持機構、および制御ユニットをまとめた一つの撮像装置(立体視用映像撮影装置)として利用可能な形態について説明した。しかしながら、本開示は、これらの形態に限られるものではない。例えば、第1のレンズ鏡筒、第2のレンズ鏡筒、保持機構、制御ユニットをそれぞれ個別の装置として実現したうえで、立体視用映像の撮影時にのみ組み合わせて利用する形態としてもよい。
また、以下のような場合も本開示に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ROMからRAMにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールには、上記の超多機能LSIが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有してもよい。
(4)本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示の立体視用映像撮影装置は、映像制作者が行う、風景撮影や、テレビドラマ等の作品撮影等、リハーサルを行うことが可能な撮影であって、特に、パンやチルトなどのカメラの動きを伴う撮影において、簡単に高品位な立体映像を撮影することが可能である。すなわち、本開示の立体視用映像撮影装置は、カメラもしくはビデオカメラとして好適に利用可能である。
1 カメラ部
2 視差量算出部
3 信号処理部
4 表示処理部
5 表示部
6 GUI生成部
7 事前学習指示部
8 本番録画指示部
9 入力部
10 バス
11 制御部
11a 撮影パラメータ決定部
11b 撮影制御部
12 記録処理部
13 カメラ制御部
14 記憶部
20 レンズ間距離
21 輻輳角
22、24 被写体
23、25 像
26 仮想スクリーン(画面)
27 視差量
28、29、35、36、37、38 光軸
30、31 撮影位置
40、41、42、43 被写体
50、60、61 時刻
70 可動部
100 制御ユニット
101 第1のレンズ鏡筒(第1の撮影部)
102 第1のレンズ鏡筒保持部材
104 第1のレンズ鏡筒光軸
105 ビームスプリッター蒸着面
111 第2のレンズ鏡筒(第2の撮影部)
112 第2のレンズ鏡筒保持部材
113 レンズ間距離可変機構
114 第2のレンズ鏡筒光軸
120 基礎部材
121 垂直固定部材
122 前面窓
130 ビームスプリッタープリズム
131 プリズム保持部材
135 第1のレンズ鏡筒支持部材
136 第2のレンズ鏡筒支持部材
200、200a 立体視用映像撮影装置
211 第1のレンズ群
212 第1の撮像部
213 第1のA/D変換部
221 第2のレンズ群
222 第2の撮像部
223 第2のA/D変換部
2 視差量算出部
3 信号処理部
4 表示処理部
5 表示部
6 GUI生成部
7 事前学習指示部
8 本番録画指示部
9 入力部
10 バス
11 制御部
11a 撮影パラメータ決定部
11b 撮影制御部
12 記録処理部
13 カメラ制御部
14 記憶部
20 レンズ間距離
21 輻輳角
22、24 被写体
23、25 像
26 仮想スクリーン(画面)
27 視差量
28、29、35、36、37、38 光軸
30、31 撮影位置
40、41、42、43 被写体
50、60、61 時刻
70 可動部
100 制御ユニット
101 第1のレンズ鏡筒(第1の撮影部)
102 第1のレンズ鏡筒保持部材
104 第1のレンズ鏡筒光軸
105 ビームスプリッター蒸着面
111 第2のレンズ鏡筒(第2の撮影部)
112 第2のレンズ鏡筒保持部材
113 レンズ間距離可変機構
114 第2のレンズ鏡筒光軸
120 基礎部材
121 垂直固定部材
122 前面窓
130 ビームスプリッタープリズム
131 プリズム保持部材
135 第1のレンズ鏡筒支持部材
136 第2のレンズ鏡筒支持部材
200、200a 立体視用映像撮影装置
211 第1のレンズ群
212 第1の撮像部
213 第1のA/D変換部
221 第2のレンズ群
222 第2の撮像部
223 第2のA/D変換部
Claims (10)
- 立体視用の映像を撮影する第1の撮影部および第2の撮影部と、
前記第1の撮影部および前記第2の撮影部のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを決定する撮影パラメータ決定部と、
前記第1の撮影部および前記第2の撮影部に前記撮影パラメータを設定して前記立体視用の映像を撮影する制御を行う撮影制御部とを備え、
前記撮影制御部が、所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって第1映像を撮影した場合、前記撮影パラメータ決定部は、前記第1映像において最大視差量が所定の範囲外となる第1期間を特定し、前記第1期間における前記第1映像の最大視差量が前記所定の範囲内に収まる前記撮影パラメータである第1補正パラメータを決定し、
前記撮影制御部は、前記第1映像の撮影後に前記第1映像に対応する第2映像を撮影する場合、前記所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像の撮影を開始し、前記第2映像を撮影中の、前記第1期間に対応する第2期間においては、前記第1補正パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像を撮影する制御を行う
立体視用映像撮影装置。 - 前記撮影制御部は、前記第2映像の撮影中の、前記第2期間に時間的に連続する所定の長さの期間である第3期間においては、前記第1補正パラメータに設定した前記第1の撮影部および第2の撮影部によって前記第2映像を撮影する制御を行う
請求項1に記載の立体視用映像撮影装置。 - 前記撮影パラメータ決定部は、前記第2映像の撮影中の、前記第2期間に時間的に連続する所定の長さの期間である第3期間のための前記撮影パラメータとして、前記レンズ間距離が時間の経過とともに単調に増加もしくは減少する、または前記輻輳角が時間の経過とともに単調に増加もしくは減少する前記撮影パラメータである第2補正パラメータを決定し、
前記撮影制御部は、前記第3期間においては、前記第2補正パラメータに設定した前記第1の撮影部および第2の撮影部によって前記第2映像を撮影する制御を行う
請求項1に記載の立体視用映像撮影装置。 - 前記撮影制御部は、前記第2映像の撮影中の前記第2期間以外の期間においては、前記所定の撮影パラメータに設定した前記第1の撮影部および第2の撮影部によって前記第2映像を撮影する制御を行う
請求項1に記載の立体視用映像撮影装置。 - さらに、
前記第1映像の撮影時間が初期撮影時間として記憶される記憶部と、
前記第2映像の撮影時間と、前記初期撮影時間との差が所定の時間以上である場合に、前記第2映像の撮影が失敗であることを撮影者に通知する通知部とを備える
請求項1〜4のいずれか1項に記載の立体視用映像撮影装置。 - さらに、最大視差量が前記所定の範囲外となる期間が前記第2映像に含まれる場合に、前記第2映像の撮影が失敗であることを撮影者に通知する通知部を備える
請求項1〜4のいずれか1項に記載の立体視用映像撮影装置。 - 前記第2映像は、前記第1映像において撮影対象となったシーンと略同一のシーンを撮影した映像である
請求項1〜6のいずれか1項に記載の立体視用映像撮影装置。 - 立体視用の映像を撮影する第1の撮影部および第2の撮影部を有するカメラ部と、
前記カメラ部の位置を動かす可動部と、
前記第1の撮影部および前記第2の撮影部のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを決定する撮影パラメータ決定部と、
前記第1の撮影部および前記第2の撮影部に前記撮影パラメータを設定し、前記立体視用の映像を撮影する制御を行う撮影制御部とを備え、
前記撮影制御部が、前記可動部によって前記カメラ部の位置を動かしながら、所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって第1映像を撮影した場合、前記撮影パラメータ決定部は、最大視差量が所定の範囲外となる前記カメラ部の位置である第1位置を特定し、前記第1位置において撮影した前記第1映像の最大視差量が前記所定の範囲内に収まる前記撮影パラメータである第1補正パラメータを決定し、
前記撮影制御部は、前記第1映像の撮影後に前記第1映像に対応する前記第2映像を撮影する場合、前記所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像の撮影を開始し、前記第2映像の撮影中に前記カメラ部が前記第1位置に位置するときは、前記第1補正パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像を撮影する制御を行う
立体視用映像撮影装置。 - さらに、前記第1映像の撮影時の前記カメラ部の位置の時間変化である位置情報が記憶される記憶部を備え、
前記撮影制御部は、前記第2映像を撮影中は、さらに、前記可動部を制御することによって、前記位置情報にしたがって前記カメラ部の位置を動かしながら前記第2映像を撮影する制御を行う
請求項8に記載の立体視用映像撮影装置。 - 第1の撮影部および第2の撮影部のレンズ間距離および輻輳角のうちの少なくとも一方である撮影パラメータを前記第1の撮影部および前記第2の撮影部に設定して立体視用の映像を撮影する立体視用映像撮影方法であって、
所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって第1映像を撮影する撮影ステップと、
前記第1映像において最大視差量が所定の範囲外となる第1期間を特定する特定ステップと、
前記第1期間における前記第1映像の最大視差量が前記所定の範囲内に収まる前記撮影パラメータである補正パラメータを決定する決定ステップと、
前記第1映像の撮影後に前記第1映像に対応する第2映像を撮影する場合、前記所定の撮影パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像の撮影を開始し、前記第2映像を撮影中の、前記第1期間に対応する第2期間においては、前記補正パラメータに設定した前記第1の撮影部および前記第2の撮影部によって前記第2映像を撮影する制御を行う制御ステップとを含む
立体視用映像撮影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013529461A JP5362157B1 (ja) | 2012-03-08 | 2013-02-28 | 立体視用映像撮影装置、および立体視用映像撮影方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012051359 | 2012-03-08 | ||
JP2012051359 | 2012-03-08 | ||
PCT/JP2013/001220 WO2013132797A1 (ja) | 2012-03-08 | 2013-02-28 | 立体視用映像撮影装置、および立体視用映像撮影方法 |
JP2013529461A JP5362157B1 (ja) | 2012-03-08 | 2013-02-28 | 立体視用映像撮影装置、および立体視用映像撮影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5362157B1 true JP5362157B1 (ja) | 2013-12-11 |
JPWO2013132797A1 JPWO2013132797A1 (ja) | 2015-07-30 |
Family
ID=49116293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013529461A Expired - Fee Related JP5362157B1 (ja) | 2012-03-08 | 2013-02-28 | 立体視用映像撮影装置、および立体視用映像撮影方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5362157B1 (ja) |
WO (1) | WO2013132797A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148869A (ja) * | 1999-09-15 | 2001-05-29 | Sharp Corp | 快適な知覚深度の立体画像 |
JP2008116790A (ja) * | 2006-11-07 | 2008-05-22 | Fujifilm Corp | 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム |
WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
WO2012002018A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1085769B1 (en) * | 1999-09-15 | 2012-02-01 | Sharp Kabushiki Kaisha | Stereoscopic image pickup apparatus |
-
2013
- 2013-02-28 JP JP2013529461A patent/JP5362157B1/ja not_active Expired - Fee Related
- 2013-02-28 WO PCT/JP2013/001220 patent/WO2013132797A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148869A (ja) * | 1999-09-15 | 2001-05-29 | Sharp Corp | 快適な知覚深度の立体画像 |
JP2008116790A (ja) * | 2006-11-07 | 2008-05-22 | Fujifilm Corp | 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム |
WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
WO2012002018A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013132797A1 (ja) | 2015-07-30 |
WO2013132797A1 (ja) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5789793B2 (ja) | 3次元撮像装置、レンズ制御装置、およびプログラム | |
US9523836B2 (en) | Image pickup device and program | |
JP5258722B2 (ja) | 複眼カメラ及びその制御方法 | |
US8743174B2 (en) | Digital camera and method for controlling the same | |
US9077976B2 (en) | Single-eye stereoscopic image capturing device | |
US8384802B2 (en) | Image generating apparatus and image regenerating apparatus | |
WO2012002046A1 (ja) | 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法 | |
KR101824439B1 (ko) | 모바일 스테레오 카메라 장치 및 그 촬영방법 | |
US20110280563A1 (en) | Camera body, imaging device, method for controlling camera body, program, and storage medium storing program | |
WO2011162227A1 (ja) | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム | |
JP5166650B2 (ja) | 立体撮像装置、画像再生装置及び編集ソフトウエア | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP5371845B2 (ja) | 撮影装置及びその表示制御方法並びに3次元情報取得装置 | |
JP5420075B2 (ja) | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 | |
CN102135722B (zh) | 摄像机结构、摄像机***和方法 | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP2012090259A (ja) | 撮像装置 | |
CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
JP2011095431A (ja) | 立体映像撮像装置および立体映像撮像方法 | |
US20130088580A1 (en) | Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, program, and recording medium on which program is recorded | |
JP5362157B1 (ja) | 立体視用映像撮影装置、および立体視用映像撮影方法 | |
US20120069148A1 (en) | Image production device, image production method, program, and storage medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130903 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |