JP4496122B2

JP4496122B2 - 立体映像撮影再生装置

Info

Publication number: JP4496122B2
Application number: JP2005107903A
Authority: JP
Inventors: 大介大森
Original assignee: 大介大森
Priority date: 2005-04-04
Filing date: 2005-04-04
Publication date: 2010-07-07
Anticipated expiration: 2025-04-04
Also published as: JP2006287811A

Description

この発明は両眼視差を利用した立体映像撮影再生装置に関する。

２次元のディスプレイ上に立体画像・映像を再現するために、両眼視差が利用されている。両眼視差を利用した映像撮影再現技術としては、二眼式立体表示と呼ばれるものがよく知られている。この二眼式立体表示の基本原理は、右目用の映像を右目だけに、左目用の映像を左目だけに入力することにある。周知の通り、二眼式立体表示のための映像や画像を撮影するための装置としてステレオカメラがある。ステレオカメラは、水平方向に離間するとともに、その撮影光軸が平行となる左右１対の対物光学系を備え、左右それぞれの対物光学系からの画像を個別に記録する。ステレオカメラで撮影された画像に基づいて立体表示画像を見るためには、同時に撮影した視差のある左右の画像を１つの画面に重ねた上で、左右それぞれの画像を左右の眼に選択的に入力させる。あるいは、それぞれの画像を左右に並べ、平行法や交差法などの視認方法により、人間の視覚上で２つの平面画像が１つの立体画像として認識されるようにして見る。

なお、２つの画像を１つの画面に重なる方式の二眼式立体表示としては、例えば、ステレオカメラの左右それぞれの対物光学系に偏光方向が異なるフィルタを装着して被写体を撮影し、再生表示の際には左右の眼で偏光方向が異なる偏光眼鏡を用いて右目用と左目用の映像を選択的に肉眼に入力させる方式や、１フレームを２フィールドで構成し、各フィールドを右目用、左目用映像とするとともに、フィールドの切替周期に同期する液晶シャッタを用いて右目用と左目用の映像をそれぞれ選択的に入力させる方法などがある。

二眼式立体表示において、特に動画は、撮影者自身がその画像を見るという用途ではあまり利用されない。遊戯施設におけるアトラクションとして提供されていることが多い。したがって、表示再生される画像は両眼の距離が異なる不特定多数の人を対象としており、撮影時に両眼視差を大きく（２台のカメラの距離を長く）して立体感を強調したり、平均的な両眼距離基づく視差で撮影したりされている。そのため表示再生された画像は、実際にリアルタイムで見ている被写体と比べ現実感に乏しい。また、ステレオカメラに極めて近接した被写体を撮影する場合、被写体が左右の対物光学系の撮影角度の死角に入る可能性があり、ステレオカメラはマクロ撮影には不向きである。

さらに、二眼式立体表示に使用されるハードウエアも撮影系と表示再生系とが異なるため、家庭用カメラで撮影した画像のように、撮影した立体画像を自身で楽しむことができない。もちろん、家庭で立体映像を手軽に作成できる装置自体が存在しない。

本発明は上記課題を解決するためになされたもので、その目的は、マクロ撮影にも対応して二眼式立体表示用の映像作品を簡単に作成できるとともに、再生表示用途に供されている二眼式立体表示用の映像作品を自然な現実感により立体視できる立体映像撮影再生装置を提供することにある。

上記目的を達成するための本発明は、筐体が双眼鏡型形状で、
左目用および右目用の２つの対物光学系と、
左目用および右目用のそれぞれの対物光学系を介して写体画像が個別に結像される左目用および右目用２つの撮像素子と、
左目用および右目用の対物光学系を、それぞれの光軸が互いに平行となる状態から交差方向となる状態へ左右対称に連動して回動させる対物光学系回転手段と、
左目用および右目用２つの表示素子と、
前記２つの対物光学系の光軸が平行であるときの光軸間距離とほぼ等しい両眼距離となるように、後面から左右両眼で覗くための左目用および右目用２つのファインダ部と、
左目用および右目用の表示素子のそれぞれに表示されている画像をそれぞれ左目用および右目用のファインダ部に導くための左目用および右目用２つの接眼光学系と、
左目用および右目用の撮像素子からの電気信号に基づく所定形式の画像信号を個別に外部出力する画像信号出力手段と、
左目用および右目用の撮像素子からの電気信号に基づく画像をそれぞれ左目用および右目用の表示素子にそれぞれ個別に表示させる撮影画像表示制御手段と、
外部から個別に入力される２系統の画像信号を左目用および右目用の表示素子にそれぞれ個別に表示出力するための入力画像表示制御手段と、
前記対物光学系の前記光軸間距離と前記ファインダ部の前記両眼距離とを連動させながら調整可能とする両眼距離調整手段を基本的な構成として備えている。

そして、本発明の第１の発明は、上記基本的な構成に加え、外部から入力される両眼距離情報を左目用または右目用、あるいは双方の表示素子に表示出力するための両眼距離情報表示手段を備えた立体映像撮影再生装置としている。

また第２の発明は、上記基本的な構成において、両眼距離調整手段は、外部から入力される両眼距離情報に基づいて前記光軸間距離および両眼距離を連動させて調整する立体映像撮影再生装置としている。

第３の発明は、第１または第２の発明において、前記対物光学系回転機構による対物光学系の回転角度を両眼視角として検出する両眼視角検出手段と、当該両眼視角の情報を前記画像信号出力手段による前記画像情報の外部出力と同時に所定のデータ形式で外部出力する出力する両眼視角情報出力手段と、外部から入力される両眼視角情報に基づく適宜な情報を左目用または右目用、あるいは双方の表示素子に表示出力するための両眼視角情報表示手段とを備えた立体映像撮影再生装置としている。

第４の発明は、第３の発明において、前記両眼視角情報表示手段は、両眼視覚情報と両眼距離情報とに基づいて、被写体までの距離を計算し、当該距離を左目用または右目用、あるいは双方の表示素子に表示出力するための被写体距離提示手段を備えた立体映像撮影再生装置とした。

本発明の立体映像撮影再生装置によれば、マクロ撮影に対応しつつ、二眼式立体表示用の映像作品を簡単に作成できる。また、再生表示用途に供されている二眼式立体表示用の映像作品を自然な現実感により立体視できる。

＝＝＝立体映像撮影再生装置の構成＝＝＝
図１（Ａ）（Ｂ）に本発明の実施例における立体映像撮影再生装置（以下、立体カメラ）の外観図を示した。（Ａ）は前方上からの斜視図であり、（Ｂ）は後方上からの斜視図である。また図２に立体カメラ１を上から見たときの光学系の概略構成を示した。このカメラ１は、電子カメラであり、オペラグラス型双眼鏡と同様の外観形状を有し、その双眼鏡型筐体２内に左右両眼に対応する左目用（Ｌ）および右目用（Ｒ）の撮像素子（３ａ，３ｂ）とＬおよびＲの表示素子（４ａ，４ｂ）とが内蔵されている。

本実施例では、撮像素子（３ａ，３ｂ）としてＣＣＤを使用し、表示素子（４ａ，４ｂ）としてバックライト付きの液晶ディスプレイパネル（ＬＣＤ）を使用している。そして、ＬおよびＲの対物光学系（５ａ，５ｂ）を介してＬおよびＲ−ＣＣＤ（３ａ，３ｂ）に結像した被写体の画像をそれぞれＬおよびＲ−ＬＣＤ（４ａ，４ｂ）により表示出力するように構成されている。ＬＣＤ（４ａ，４ｂ）に表示された画像は、接眼光学系（６ａ，６ｂ）を介してファインダ（７ａ，７ｂ）に案内され、被写体の撮影画像がファインダ（７ａ，７ｂ）を覗く人の両眼に投影される。

また、立体カメラ１に極めて近接している被写体を撮影するマクロ撮影の場合、対物光学系（５ａ，５ｂ）がＬ、Ｒの２系統を持つ立体カメラ１だと、被写体が対物レンズの死角に入る可能性がある。このような場合に対応し、本実施例の立体カメラ１において、撮像素子（３ａ，３ｂ）と対物光学系（５ａ，５ｂ）が一体的なユニット（９ａ，９ｂ）として構成され、このユニットをＬＲの対物光学系（５ａ，５ｂ）の光軸方向が交差する方向へ回転する機構を備えている。なお、この回転機構は、ＬＲの光軸（８ａ，８ｂ）が平行となる状態（８ａｐ，８ｂｐ）から、この平行方向に対して線対称（θ_L＝θ_R）となるようにＬＲの対物光学ユニット（９ａ，９ｂ）が連動して回転する。この回転機構は、ギヤによるリンク機構によりＬＲのユニット（９ａ，９ｂ）を対称的に回転させるなど適宜な機構を採用すればよい。また、ＬＲのユニット（９ａ，９ｂ）のそれぞれの回転中心軸（１０ａ，１０ｂ）は、対物光学系（５ａ，５ｂ）の光軸が平行状態（８ａｐ，８ｂｐ）にあるときの光軸間距離ｔ１に可能な限り一致するように、対物光学系（５ａ，５ｂ）において最も被写体に近い側に設けることが望ましい。なお、回転駆動を電動とすることも可能である。

本実施例の立体カメラ１は、ＬＲの対物光学系（５ａ，５ｂ）が平行状態にあるときのＬＲの光軸（８ａｐ，８ｂｐ）の距離ｔ１とファインダ（７ａ，７ｂ）の両眼距離ｔ２とがほぼ等しくなっている。さらに立体カメラ１で被写体を撮影する際、撮影者によって左右の眼の間隔が異なることから、立体カメラ１には、Ｌファインダ７ａとＲファインダ７ｂとの間隔が調整できる機構が組み込まれている。それによって、撮影者と立体カメラの両眼距離を一致させるとともに、その両眼距離ｔ２が対物光学系の光軸間距離ｔ１ともほぼ一致するため、極めて現実感のある立体画像をリアルタイムで得ることができる。

この両眼間隔調整機構としては、本実施例に示したオペラグラス型の筐体２であれば、筐体２が左右方向にスライドして伸縮する機構とすればよい。すなわち、ＬＲそれぞれの１対の撮影系（対物光学系、ＣＣＤ、ＬＣＤ、接眼光学系、ファインダ）が筐体２のスライド動作に連動して一体的に左右に可動する構成とすればよい。あるいは、ボシュロム（登録商標）型、あるいはツアイス（登録商標）型としてよく知られるポロプリズム双眼鏡と同様の筐体を採用してもよい。すなわち、ＬＲそれぞれの撮影系が収納されたＬＲ２つの鏡筒からなり、これら２つの鏡筒を前後方向を軸として回転可能なヒンジを介して並列に接続した筐体構造とするのである。２つの鏡筒をヒンジを介して回転させて筐体を屈曲させることで２つの撮影光軸間距離と両眼距離とが連動する。

そして、本実施例の立体カメラ１は、両眼に対応するＬＲのＣＣＤ（３ａ，３ｂ）の撮影画像をそれぞれ個別の画像信号として外部出力する機能（撮影機能）と、外部入力されたＬＲ個別の画像信号に基づく画像をＬＲ個別のＬＣＤ（４ａ，４ｂ）に表示する機能（再生機能）の２つの動作モードを備えている。

＝＝＝撮影機能＝＝＝
まず立体カメラ１の撮影機能について説明する。図３に立体カメラ１の機能ブロック図を示した。ＣＰＵ１１は操作ボタンなどの操作入力部１２を介して利用者の操作入力情報を受け付け、その入力情報に応じて各構成部を制御し、この立体カメラ１を統括している。筐体２前方の被写体の光学画像は、左右両眼に対応した左目用（以下、Ｌ）対物光学系５ａ、および右目用（以下、Ｒ）対物光学系５ｂを介してＬ−ＣＣＤ３ａおよびＲ−ＣＣＤ３ｂにそれぞれ個別に結像する。利用者により撮影機能の起動指示がなされると、ＣＣＤ駆動部１３はＬおよびＲのＣＣＤ（３ａ，３ｂ）を駆動してそれぞれのＣＣＤ（３ａ，３ｂ）が出力する電気信号をそれぞれ個別に取得し、この信号を映像信号処理部１４に順次転送していく。映像信号処理部１４は、ＣＣＤ（３ａ，３ｂ）からの電気信号を所定のサンプリング周期ごとにＡ／Ｄ変換してＬとＲの個別のデジタルデータとして出力する。そして、Ｌ、Ｒ２つのビットマップ画像をそれぞれＬビデオＲＡＭ１５ａとＲビデオＲＡＭ１５ｂに所定のフレーム周期ごとに展開・更新していく。

ＬＣＤ駆動部１６は、ＬとＲの各ビデオＲＡＭ（１５ａ，１５ｂ）に展開されているＬおよびＲのビットマップ画像に基づいてＬおよびＲ２つのＬＣＤ（４ａ，４ｂ）を個別に駆動する。それによって、Ｌ−ＬＣＤ４ａとＲ−ＬＣＤ４ｂには、それぞれＬ対物光学系５ａとＲ対物光学系５ｂを介して入射した被写体のＬ画像およびＲ画像がそれぞれ表示出力される。ＬおよびＲそれぞれのＬＣＤ（４ａ，４ｂ）の表示画像は、それぞれＬ接眼光学系６ａおよびＲ接眼光学系６ｂを介してＬファインダ７ａおよびＲファインダ７ｂに導かれ、ＬとＲのファインダ（７ａ，７ｂ）を覗く利用者の左右両眼に投影される。そして利用者は、ＬおよびＲ対物光学系（５ａ，５ｂ）の撮影光軸（８ａ，８ｂ）の距離ｔ１、すなわち利用者の両眼距離ｔ２とほぼ同じ距離を視差として、これらＬとＲの各ファインダ（７ａ，７ｂ）から投影された２つの画像を視差に応じた実時間の立体画像として認識する。

映像信号処理部１４は、ＣＣＤ駆動部１３からのＬおよびＲのＣＣＤ（３ａ，３ｂ）に対応する２系統の電気信号をそれぞれＮＴＳＣ規格のＬおよびＲ画像信号（Ｌ撮影映像信号、Ｒ撮影映像信号）として個別に変換する。そして、２系統のＬおよびＲの各撮影映像信号をＬ外部出力端子１７ａおよびＲ外部出力端子１７ｂにより個別に出力する。マイクロホンを内蔵させるとともに、音声出力端子を設け、マイクロホンが採取した音声信号をこの音声出力端子から出力する構成としてもよい。

本実施例の立体カメラ１は、上記の画像撮影機能に付帯し、両眼距離検出部１９により検出した両眼距離ｔ２（両眼距離）と、両眼視角検出部２０が検出したＬＲの対物光学系の光軸の角度（両眼視角）とを検出し、それらの情報を数値データとして出力する機能も備えている。なお両眼視角データとしては、平行状態にある対物光学系（５ａ，５ｂ）の光軸（８ａｐ，８ｂｐ）からの回転角θ_L（＝θ_R）を出力している。そして、両眼距離データと両眼視角データをＬＲいずれかの撮影映像信号の帰還周期中に多重化して映像信号と共に出力している。あるいは、映像信号をＭＰＥＧ２規格のトランスポートストリーム（ＴＳ）など、適宜なデジタルデータにして出力し、両眼距離データや両眼視角データはそのＴＳに多重化し、その多重化ＴＳを所定の通信インタフェース（ＵＳＢ、ＩＥＥＥ１３９４など）を介して外部出力するようにしてもよい。なお、両眼距離データや両眼視角データは、例えば、映像信号におけるフレーム周期ごとに随時検出して出力すれば、例えば、外部出力される映像信号を適宜な記録装置で録画する場合、撮影中に両眼距離や両眼視角が変更されても、その変更状態を撮影の時系列に同期させることが可能となる。

＝＝＝再生機能＝＝＝
立体カメラ１から出力されるＬ撮影映像信号とＲ撮影映像信号とが個別に外部の適宜な映像記録手段により記録され、これら映像信号を同期させて出力できる再生装置があるものとする。あるいは二眼式立体表示用に作成されて記録されている映像作品がＬとＲのそれぞれの映像信号として分離されるとともに同期再生可能な状態で用意されているものとする。そして、ＬとＲの映像信号（Ｌ入力映像信号、Ｒ入力映像信号）がそれぞれＬ映像入力端子１８ａとＲ映像入力端子１８ｂを介して立体カメラ１に入力されているものとする。

利用者により再生機能の起動指示が入力されると、映像信号処理部１４は、ＬおよびＲ映像入力端子（１８ａ，１８ｂ）を介して入力されているＬおよびＲの入力映像信号をＡ／Ｄ変換するとともに、映像信号の帰還周期中に多重化されている両眼距離データと両眼視角データとを抽出する。そして、ＬおよびＲの各入力信号に対応するビットマップ画像を所定のフレーム周期ごとにＬおよびＲのビデオＲＡＭ（１５ａ，１５ｂ）にビットマップ展開していく。このとき、多重化されたデータをテキストに変換し、そのテキストをＬあるいはＲのいずれか、または両方のビデオＲＡＭに映像信号を起源としたビットマップ画像にスーパーインポーズする。

ＬＣＤ駆動部１６は、各ビデオＲＡＭ（１５ａ，１５ｂ）に展開されているビットマップ画像に従ってＬおよびＲのＬＣＤ（４ａ，４ｂ）を駆動する。それによって、ＬおよびＲの映像入力端子（１８ａ，１８ｂ）にそれぞれ入力された映像信号に両眼距離や視角度に関する文字情報がスーパーインポーズされてＬおよびＲのＬＣＤ（４ａ，４ｂ）により表示出力される。

利用者は、二眼式表示用として用意された映像作品をこの立体カメラ１で立体視する。また、表示された両眼距離情報にもとづいて立体カメラ１の機械的な両眼距離を調整する。入力した両眼距離データに基づいて、立体カメラ１の機械的な両眼距離を自動的に移動／調整できる機構を採用することも可能である。それによって、例えば、撮影者と視聴者が同じである場合、撮影時に見た被写体が現実感を伴って再現される。なお、スピーカやイヤホン出力端子などを設けておき、入力映像信号とともに音声信号を入力して音響出力できる構成としておけば、音声が含まれている作品であってもその音声を映像とともに視聴することができる。

＝＝＝両眼視角情報の用途＝＝＝
撮影時に記録された両眼視角情報は、再生時に立体映像を見る、という用途に限定すれば必要がない。再生時にはすでに両眼視角が調整済みの状態で撮影された映像が表示されているからである。しかし、立体カメラ１における両眼視角の調整機構は、マクロ撮影の用途に限らず、両眼距離情報と合わせて周知の３角測量ができる。それによって、例えば、被写体までの距離を計算し、再生時に被写体までの距離を撮影映像にスーパーインポーズすることなどが考えられる。

本発明の実施例における立体映像撮影再生装置の外観図である。上記立体映像撮影再生装置の光学構成図である上記立体映像撮影再生装置の機能ブロック図である。

符号の説明

１立体映像撮影再生装置
２双眼鏡型筐体
３ａ、３ｂＣＣＤ
４ａ、４ｂ液晶ディスプレイパネル
５ａ、５ｂ対物光学系
６ａ、６ｂ接眼光学系
７ａ、７ｂファインダ
１４映像信号処理部
１７ａ、１７ｂ映像信号出力端子
１８ａ、１８ｂ映像信号入力端子

Claims

筐体が双眼鏡型形状で、
左目用および右目用の２つの対物光学系と、
左目用および右目用のそれぞれの対物光学系を介して写体画像が個別に結像される左目用および右目用２つの撮像素子と、
左目用および右目用の対物光学系を、それぞれの光軸が互いに平行となる状態から交差方向となる状態へ左右対称に連動して回動させる対物光学系回転手段と、
左目用および右目用２つの表示素子と、
前記２つの対物光学系の光軸が平行であるときの光軸間距離とほぼ等しい両眼距離となるように、後面から左右両眼で覗くための左目用および右目用２つのファインダ部と、
左目用および右目用の表示素子のそれぞれに表示されている画像をそれぞれ左目用および右目用のファインダ部に導くための左目用および右目用２つの接眼光学系と、
左目用および右目用の撮像素子からの電気信号に基づく所定形式の画像信号を個別に外部出力する画像信号出力手段と、
左目用および右目用の撮像素子からの電気信号に基づく画像をそれぞれ左目用および右目用の表示素子にそれぞれ個別に表示させる撮影画像表示制御手段と、
外部から個別に入力される２系統の画像信号を左目用および右目用の表示素子にそれぞれ個別に表示出力するための入力画像表示制御手段と、
前記対物光学系の前記光軸間距離と前記ファインダ部の前記両眼距離とを連動させながら調整可能とする両眼距離調整手段と、
当該両眼距離調整手段により調整された両眼距離の情報を前記画像信号出力手段による前記画像情報の外部出力と同時に所定のデータ形式で外部出力する両眼距離情報出力手段と、
外部から入力される両眼距離情報を左目用または右目用、あるいは双方の表示素子に表示出力するための両眼距離情報表示手段と、
を備えたことを特徴とする立体映像撮影再生装置。
筐体が双眼鏡型形状で、
左目用および右目用の２つの対物光学系と、
左目用および右目用のそれぞれの対物光学系を介して写体画像が個別に結像される左目用および右目用２つの撮像素子と、
左目用および右目用の対物光学系を、それぞれの光軸が互いに平行となる状態から交差方向となる状態へ左右対称に連動して回動させる対物光学系回転手段と、
左目用および右目用２つの表示素子と、
前記２つの対物光学系の光軸が平行であるときの光軸間距離とほぼ等しい両眼距離となるように、後面から左右両眼で覗くための左目用および右目用２つのファインダ部と、
左目用および右目用の表示素子のそれぞれに表示されている画像をそれぞれ左目用および右目用のファインダ部に導くための左目用および右目用２つの接眼光学系と、
左目用および右目用の撮像素子からの電気信号に基づく所定形式の画像信号を個別に外部出力する画像信号出力手段と、
左目用および右目用の撮像素子からの電気信号に基づく画像をそれぞれ左目用および右目用の表示素子にそれぞれ個別に表示させる撮影画像表示制御手段と、
外部から個別に入力される２系統の画像信号を左目用および右目用の表示素子にそれぞれ個別に表示出力するための入力画像表示制御手段と、
前記対物光学系の前記光軸間距離と前記ファインダ部の前記両眼距離とを連動させながら調整可能とする両眼距離調整手段と、
当該両眼距離調整手段により調整された両眼距離の情報を前記画像信号出力手段による前記画像情報の外部出力と同時に所定のデータ形式で外部出力する両眼距離情報出力手段とを備え、
前記両眼距離調整手段は、外部から入力される両眼距離情報に基づいて前記光軸間距離および両眼距離を連動させて調整する、
ことを特徴とする立体映像撮影再生装置。
請求項１または２において、前記対物光学系回転機構による対物光学系の回転角度を両眼視角として検出する両眼視角検出手段と、
当該両眼視角の情報を前記画像信号出力手段による前記画像情報の外部出力と同時に所定のデータ形式で外部出力する出力する両眼視角情報出力手段と、
外部から入力される両眼視角情報に基づく適宜な情報を左目用または右目用、あるいは双方の表示素子に表示出力するための両眼視角情報表示手段と、
を備えたことを特徴とする立体映像撮影再生装置。
請求項３において、前記両眼視角情報表示手段は、両眼視覚情報と両眼距離情報とに基づいて、被写体までの距離を計算し、当該距離を左目用または右目用、あるいは双方の表示素子に表示出力するための被写体距離提示手段を備えたことを特徴とする立体映像撮影再生装置。