JPH0784326A

JPH0784326A - 立体画像撮影像・表示システム

Info

Publication number: JPH0784326A
Application number: JP5232883A
Authority: JP
Inventors: Tomotaka Muramoto; 知孝村本; Hiroaki Hoshi; 宏明星; Tsunefumi Tanaka; 常文田中; Katsumi Iijima; 克己飯島; Nobuo Fukushima; 信男福島; Shigeki Okauchi; 茂樹岡内; Jun Tokumitsu; 純徳光
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-20
Filing date: 1993-09-20
Publication date: 1995-03-31
Anticipated expiration: 2014-12-06
Also published as: JP2986659B2

Abstract

(57)【要約】【目的】撮影者の意図を正しく反映した映像表示が可
能な立体化像撮像・表示システムを提供する。【構成】左右の表示ユニット３３３，３３４は、バッ
クライト光源３４１，３４２で照明される。液晶パネル
３３９，３４０の表示画像は、リレー光学系３３７，３
３８と虚像結像光学素子３３５，３３６により、左右の
眼に独立に遠方の虚像として拡大表示される。虚像結像
光学素子３３５，３３６は非球面ハーフミラーで、透明
保護窓を通して外界の景色と液晶パネル２３９，２４０
からの画像とを重畳して観察できるコンバイナとして機
能する。バックライト光源３４１，３４２と液晶パネル
３３９，３４０は左右それぞれ一体となって、制御部３
０３によって制御されるアクチュエータ３５７，３５８
によって回動ガイドに沿って、左右の眼球中心Ｏ_L ，Ｏ
_R と光学的に等価な位置を中心に回動される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は立体画像やワイド画像が
撮影表示可能な立体画像撮像・表示システムに関し、特
に複数の撮像部を有する複眼カメラ装置と、頭部に搭載
固定される小型表示装置により画像の拡大された虚像画
面を観察可能にする表示装置とから成る立体画像撮像・
表示システムに関する。

【０００２】

【従来の技術】近年、臨場感の高い映像が求められるよ
うになり、立体画像や水平方向にワイドな映像が撮影可
能な複眼カメラが提供されている。

【０００３】また、これら複眼カメラで撮影された映像
を表示する立体画像表示装置が各種提案されている。こ
れらの立体画像表示装置の中に、頭部に搭載固定される
小型表示装置により画像の拡大された虚像画面を観察可
能にする表示装置、いわゆるヘッドマウンテッドディス
プレイ（以下ＨＭＤと略称する）がある。

【０００４】これら主として複眼カメラとＨＭＤとから
なる撮影・表示システムにおいて、今までのように風景
を撮影してそれを鑑賞するというだけではない撮影像・
表示システムが提案されている。例えば従来ＵＳＰ２、
７１１、５９４、ＵＳＰ３、２０５、３０３、ＵＳＰ
３、６７０、０９７などがある。これらは表示装置であ
るＨＭＤに観察者の顔の移動方向を検出するセンサーを
設け、このセンサーからの移動方向情報をカメラの姿勢
制御を行なう制御装置に送り、カメラの撮影視野を観察
者の顔の動いた方向に追従させるものである。この構成
により観察者が見たい方向に顔を向けるだけで、カメラ
がその方向に向き、その方向の外界映像を撮影信号とし
て観察者のＨＭＤに送り、観察者はその方向の映像を見
ることができる。

【０００５】また、これに近いものとして、遠隔地や危
険箇所においてマニュプレータを備えたロボットに複眼
カメラを設け、このカメラからのステレオ立体映像信号
を受信し、観察者のＨＭＤに表示することにより、遠隔
地での作業を可能にするテレイグジスタンスシステムが
研究されている。

【０００６】また、既に本出願人から３次元映像を撮影
できるとともに、水平方向にワイドな映像が撮影可能な
複眼カメラが提案されている（特願平５−２１１７７７
号「複眼撮像装置」）。さらに、既に本出願人から３次
元映像を表示するとともに、水平方向にワイドな映像を
表示できるＨＭＤ表示装置が提案されている（特願平５
−９２１１３号）。

【０００７】

【発明が解決しようとする課題】前記従来例において
は、複眼カメラとＨＭＤ表示装置というシステム構成で
ありながら、カメラの姿勢制御、立体画像でモニターし
ながら遠隔作業が提案されているだけで、３次元映像撮
影像・表示システムとしての新しい撮影表示技術の提案
が成されていない。

【０００８】また、従来の立体画像撮影像・表示システ
ムにおいては、以下のような問題点があった。１）輻輳角等撮影時の撮影条件の変化を表示装置で再現
することができないため、表示画像において撮影者の意
図を反映することができず、また不自然な立体画像を見
ることにもなり、長時間の鑑賞において生理的な疲れが
発生する。２）撮影時に複眼カメラで撮影された立体画像を、その
場で撮影条件、撮影意図にそった立体画像として正しく
表示できないため、撮影者自身が撮影意図が正しく反映
されているかの確認をすることができない。

【０００９】また、本出願人から、３次元画像とともに
ワイドな２次元画像が撮影できる複眼撮影カメラ、さら
には３次元画像を表示するだけではなく、水平方向にワ
イドな２次元画像を表示できるＨＭＤ表示装置が提案さ
れているが、これらの撮影カメラ、ＨＭＤ表示装置の特
徴を生かしたシステムが提案されていない。

【００１０】本発明の目的は、撮影者の意図を正しく反
映した映像表示が可能な立体画像撮像・表示システムを
提供することにある。

【００１１】

【課題を解決するための手段】本発明の立体画像撮像・
表示システムは、異なる視点からの光学像に対応する複
数の映像信号を生成する撮像手段を有する立体画像撮像
カメラ装置と、１対の映像表示手段に表示される１対の
画像を１対の投影光学系で観察者の両眼に導き、前記１
対の画像の拡大虚像を各々の眼で観察可能にする表示装
置とから成り、前記立体画像撮像カメラ装置からの複数
の映像信号を前記表示装置の１対の映像表示手段に表示
し、観察する立体画像撮像・表示システム、または異な
る視点からの光学像に対応する複数の映像信号を生成す
る撮像手段を有する立体画像撮像カメラ装置と、１対の
映像表示手段に表示される１対の画像を１対の投影光学
系で観察者の両眼に導き、前記１対の画像の拡大虚像を
各々の眼で観察可能し、前記表示装置の前記投影光学系
に対する位置、または前記投影光学系の結像状態を制御
することにより、前記２つの虚像面の空間位置を２つの
重なりあう状態から隣接並置する状態までの制御可能な
表示装置とから成り、前記立体画像撮像カメラ装置から
の複数の映像信号を前記表示装置の１対の表示手段に表
示し、観察する立体画像撮像・表示システムにおいて、
前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする。

【００１２】また、本発明の立体画像撮像・表示システ
ムは、異なる視点からの光学像に対応する複数の映像信
号を生成する撮像手段を有する立体画像撮像カメラ装置
と、映像情報記録媒体へ前記立体画像撮像カメラ装置か
らの複数の映像信号を記録する映像情報記録装置と、１
対の映像表示手段に表示された１対の画像を１対の投影
光学系で観察者の両眼に導き、前記１対の画像の拡大虚
像を各々の眼で観察可能にする表示装置とから成り、前
記映像情報記録装置内の映像情報記録媒体から再生され
る複数の映像信号を前記表示装置内の１対の表示手段に
表示し、観察する立体画像撮像・表示システム、または
異なる視点からの光学像に対応する複数の映像信号を生
成する撮像手段を有する立体画像撮像カメラ装置と、映
像情報記録媒体へ前記立体画像撮像カメラ装置からの複
数の映像信号を記録する映像情報記録装置と、１対の映
像表示手段に表示された１対の画像を１対の投影光学系
で観察者の両眼に導き、前記１対の画像の拡大虚像を各
々の眼で観察可能にし、前記表示装置の前記投影光学系
に対する位置、または前記投影光学系の結像状態を制御
することにより、前記２つの虚像面の空間位置を２つの
重なりあう状態から隣接並置する状態までの制御可能な
表示装置とから成り、前記映像情報記録装置内の映像情
報記録媒体から再生される複数の映像信号を前記表示装
置内の１対の表示手段に表示し、観察する立体画像撮像
・表示システムにおいて、前記複数の映像信号に加え
て、前記立体画像撮像カメラ装置の制御情報を前記映像
情報記録装置内の映像情報記録媒体へ記録し、前記映像
情報記録媒体から再生された複数の映像信号ならびに前
記制御情報を前記表示装置へ与え、前記制御情報に応じ
て、前記表示装置の前記１対の拡大虚像の相対的空間位
置を変化させることを特徴とする。

【００１３】

【作用】本発明はすでに本出願人から提案されている、
３次元映像システムとともにワイドな２次元映像が撮影
できる複眼撮影カメラ、ならびに３次元映像を表示する
だけではなく、水平方向にワイドな２次元映像を表示で
きるＨＭＤ表示装置の各々の特徴を生かしたシステムと
して撮影像・表示システムを構成することにより、上記
問題点を解決しようとするものである。

【００１４】すなわち、本発明は、映像信号の送信とと
もに撮影時の複眼カメラ制御情報をＨＭＤ表示装置へ送
り、この制御情報に基づき、ＨＭＤ表示装置内の表示器
の位置を制御する、またはＨＭＤ表示装置内の投影光学
系の結像状態を制御することにより、撮影者の意図を正
しく反映した３次元画像表示を行い、発明が解決しよう
とする課題の１），２）の問題点を解決しょうとするも
のである。

【００１５】また、本発明は、映像信号の送信とともに
撮影時の複眼カメラがワイドな２次元映像を撮影してい
る状態か、ステレオ画像（３次元画像）を撮影している
状態かを示す制御情報をＨＭＤ表示装置へ送り、この制
御情報に基づき、ＨＭＤ表示装置内の表示器の位置を制
御する、またはＨＭＤ表示装置内の投影光学系の結像状
態を制御し、ワイドな２次元画像表示か、３次元画像表
示かをＨＭＤ内で切り替えることにより、撮影者の意図
を正しく反映した映像表示を可能とし、３次元画像、ま
たはワイドな２次元画像、またはそれらが混在したよう
な新たな映像装置を楽しむことができるようにしたもの
である。

【００１６】

【実施例】図１は本発明の第１の実施例の立体画像撮像
・表示システムを示すブロック図である。本実施例の立
体画像撮像・表示システムは、撮像部１０１と、映像信
号と制御情報を出力する出力部１０２と、映像信号と制
御情報を伝送する伝送部１０３と、映像信号と制御情報
を入力する入力部１０４と、表示部１０５と、映像信号
及び制御情報を記録する回路からなる記録部１０６と、
記録媒体１０８と、記録媒体１０８から映像信号及び制
御情報を再生する回路からなる再生部１０７と、本シス
テム全体を制御するシステムコントローラ１０９とから
構成されている。図１中では図示しないがシステムコン
トローラ１０９は図中の各ブロックと接続されているも
のとする。

【００１７】図１における信号の流れを以下に説明す
る。

【００１８】撮像部１０１から映像信号と共に、制御情
報が出力部１０２に送られる。この制御情報は、撮像部
１０１の撮像手段の相互の光学的位置関係および個々の
撮像手段の撮影条件等の情報からなる。ここで、複数の
撮像手段の相互の光学的位置関係の情報とは、たとえば
二つの撮像手段の光軸の交差角、すなわち輻輳角の情報
等であり、また個々の撮像手段の撮影条件とは、絞り情
報、距離情報、ズーム（焦点距離）情報等を表わす。出
力部１０２は、撮像手段からの映像信号と上記制御情報
との時間軸のずれ等を調整する機能を持ち、この出力部
１０２で双方の信号の対応関係を調整した上で、伝送部
１０３と記録部１０６に対して信号を出力する。なお、
この図では映像信号を２系統、制御信号を１系統の出力
線で表示しているが、この出力部１０２において映像信
号に対して制御情報の一部あるいはすべてを付加した形
で出力しても良い。また、映像信号を時間軸圧縮あるい
は間引き等の操作によって１系統の信号としても良い。
伝送部１０３は通常は信号を伝送するためのケーブルに
より構成されるものであるが、撮像部１０１と出力部１
０２が遠隔地にある場合には伝送に適した形に変復調す
る回路を持つ。入力部１０４は伝送部１０３と再生部１
０７とからの信号を受け、必要に応じて両方の入力系を
切り換える機能を持つ。また、映像信号に制御情報が付
加されている場合はそれらを分離して、元の映像信号と
制御情報とに分離する。表示部１０５では映像信号を表
示に適した形に処理すると共に、制御情報に基づいて複
数の表示部の輻輳各等を制御する。一方、撮像部１０１
からの信号を一旦記録媒体１０８に記録する場合には、
記録部１０６において記録に適した形に信号を変換して
記録媒体１０８に記録する。ここで、記録媒体１０８は
動画像を記録する場合はたとえば磁気テープなどの媒体
を用いても良いし、また短時間の動画像や静止画像を記
録する場合であれば、磁気ディスクや光磁気ディスク等
を用いることができる。再生部１０７では記録媒体１０
８からの信号（映像信号、制御情報）を再生して入力部
１０４におくる。

【００１９】また、伝送、記録に先立って、画像データ
を圧縮してもよい（例えば、ＪＰＥＧ、ＭＰＥＧ方式な
どでよい）。

【００２０】図２は図１の撮像部１０１と出力部１０２
からなる複眼カメラ部１１０のブロック図である。複眼
カメラの撮像系２０１，２０２はそれぞれ光学系２０１
ａ，２０２ａ、撮像素子２０１ｂ，２０２ｂを有してい
る。また、２０１ｃ，２０２ｃはそれぞれ撮像系２０
１，２０２の撮像光軸である。アーム２０３，２０４は
それぞれ撮像系２０１，２０２を支持するアームで、図
示しない複眼カメラ本体に固定されている軸２０５を中
心に回動可能となっている。また、軸２０５は撮像光軸
２０１ｃ，２０２ｃから等距離離れている。アクチュエ
ータ２０６，２０７はそれぞれアーム２０３，２０４を
軸２０５を中心に回動させる、なお、同図において撮像
系２０１，２０２は無限遠にフォーカシングされている
ので、撮像系２０１，２０２の輻輳角は０°、即ち撮像
系２０１，２０２は互いに平行になっている。信号処理
部２１０，２０９はそれぞれ撮像系２０１，２０２の撮
像信号を適当な映像信号に変換するための信号処理部で
ある。撮像素子２０１ｂ，２０２ｂが単板カラー撮像素
子である場合は、この部分でサンプルホールド、色分
離、γ交換等の処理を行なう。なお、図２に示した実施
例においては、信号処理部２０９，２１０で映像信号を
たとえばＮＴＳＣ方式のようなコンポジットビデオ信号
に変換しているため１系統の信号ラインとして出力され
ているが、これはＲＧＢ信号のようなコンポーネントカ
ラー信号として出力しても良い。制御部２１１は撮像系
２０１，２０２の絞り、フォーカス、輻輳角を制御す
る。システムコントローラ２１４は信号処理部２０９，
２１０と制御部２１１を制御する。

【００２１】図３は撮像部１０１の輻輳角がθの場合を
表わした図である。

【００２２】図４は複眼カメラの撮像系２０１，２０
２、機構系の他の構成を示す概略図である。２３１は被
写体であり、また２３２，２３３は等価な仕様を有する
第１及び第２の撮像光学系であり、一般的にはズームレ
ンズが用いられる。２３４，２３５は同様に等価な仕様
を有するイメージセンサであり、サチコン等の撮像管ま
たはＣＣＤ等の固体撮像素子が用いられる。

【００２３】各々の撮像光学系２３２及び２３３はスラ
イド機構２３８により水平方向に移動することができ、
これにより基線長の調整を行なう。また、各々の撮像光
学系２３２及び２３３の光軸２３６，２３７はそれぞれ
Ｆ₁ ，Ｆ₂ を中心として回転できるようになっている。
撮像光学系２３２，２３３はそれぞれ独立に回転が可能
であり、図４では軸２３６，２３７が被写体２３１を通
り、Ｆ₁ ，Ｆ₂ を結ぶ線の垂線となす角がθ₁ ，θ₂ に
なっている。

【００２４】図５は図１の入力部１０４と表示部１０５
からなるＨＭＤ部１１１のブロック図で、立体画像の表
示配置を示している。不図示の本体はプラスチックでゴ
ーグル状に成型されベルトで頭部へ装着され、前面部に
は不図示の透明保護窓を有する。３３３，３３４は左右
の表示ユニットである。左右の表示ユニット３３３，３
３４は、それぞれ冷陰極管より構成されるバックライト
光源３４１，３４２で照明され、液晶パネル（以下ＬＣ
Ｄと呼ぶ）３３９，３４０の表示画像は、リレー光学系
３３７，３３８と虚像結像光学素子３３５，３３６によ
り、左右の眼に独立に遠方の虚像として拡大表示され
る。虚像結像光学素子３３５，３３６は非球面ハーフミ
ラーで、前記透明保護窓を通して外界の景色とＬＣＤ３
３９，３４０からの画像とを重畳して観察できるコンバ
イナとして機能する。バックライト光源３４１，３４２
とＬＣＤ３３９，３４０は左右それぞれ一体となって後
に述べるアクチュエータ３５７，３５８によって不図示
の回動ガイドに添って、左右の眼球中心Ｏ_L ，Ｏ_R と光
学的に等価な位置を中心に回動される。なお、機構の簡
略化のために光軸に対して垂直な方向に直線的な動きを
するよう構成してもよい。なお、虚像結像光学素子３３
５，３３６としては球面レンズ系、ホログラム等でも本
発明は実施可能であり、反射型では無く透過型光学素子
のみで虚像を拡大表示する構成にすることもできる。リ
レー光学系３３７，３３８は残余収差の補正、表示器か
らの光束の集光・中間結像等の機能を持たせ得る。左右
の虚像３６１，３６２は像の大きさがＨでそれぞれ眼球
中心Ｏ_L ，Ｏ_R より距離ａの位置にある。３６３，３６
４は左右の虚像画面中心と観察者の瞳中心とをむすぶ線
で、それぞれ虚像３６１，３６２に対して垂直で、左右
の虚像の中心Ｍ，Ｍ’で交わる。３６５は、両眼球中心
Ｏ_L ，Ｏ_R を結んだ基線Ｏ_LＯ_R （長さＬ）の垂直二等
分面で、両軸３６３，３６４との角度を±θとする。信
号処理部３５１，３５２はそれぞれＬＣＤ３３９，３４
０に入力された映像信号をＬＣＤ表示に適した形に変換
するための信号処理部である。コンポジット信号をＲＧ
Ｂに変換するためのデコード回路や、諧調特性を整える
逆γ変換回路等がこのブロックに含まれる。ＬＣＤ３３
９，３４０の駆動回路３５３，３５４は反転駆動を行な
うための極性反転回路やオフセット電圧を設けるための
回路等が含まれる。インバータ回路３５５，３５６はそ
れぞれバックライト光源３４１，３４２を駆動する。ア
クチュエータ３５７，３５８は制御部３０３からの制御
信号によって駆動され、それぞれ表示用ユニット３３
３，３３４を回動させる。システムコントローラ３６０
はＨＭＤ部１１１を制御する。なお、不図示の音声信号
装置により送られてくる音声信号を増幅し、不図示のヘ
ッドホンスピーカにより画像に対応したステレオ音声を
再生する。

【００２５】図６，７にバックライト光源３４１，３４
２及びＬＣＤ３３９，３４０の動作を示す。一般に、立
体視は両眼視差を有する２枚の画像（ステレオペア）を
左右の眼に独立に提示することで可能となる。ＨＭＤ部
１１１において２つの虚像の位置が重なるように提示す
ればステレオペアの融像が容易になる。図６，７に示し
たように、左右の虚像の中心Ｍ，Ｍ’がともにほぼ垂直
二等分面３６５上にくる位置までバックライト光源３４
１，３４２及びＬＣＤ３３９，３４０を移動させる。左
右の虚像は面３６５をはさんで対称的に結像する。左右
眼球の光軸がそれぞれ表示ユニット３３３，３３４の表
示画像の中心軸に一致した時ステレオペアの融像が完了
する。図７は図６の場合に比べて近距離の物体を見る場
合で、θ ₁ の輻輳角を持つ。図６の場合は図７の場合に
比べて遠距離の物体を見る場合で、θ₂ の輻輳角を持つ
様になる。この輻輳角θ₁ ，θ₂ は通常は複眼カメラ１
１０で撮影された時の輻輳角を再現するように制御され
る。

【００２６】図８は図１〜４で説明した複眼カメラ−Ｈ
ＭＤシステムの動作を示すフローチャートで、同図に沿
って動作を説明する。なお、特に限らない限り、動作は
システムコントローラ１０９が行なうものとし、また左
右の映像信号はほぼ同期しているものとする。さらに、
撮影または記録の際に画像データが圧縮されたものであ
れば、表示の際に伸張処理されるものとする。まず、図
示しない電源スイッチが投入されると撮像系２０１，２
０２より撮像信号が出力される（ステップＳ１０１）。
撮像信号は、システムコントローラ２１４に入力され、
撮像系２０１，２０２の両方の絞りやフォーカスの制御
を行なう（ステップＳ１０２）。また、前記撮像信号は
ＨＭＤ部１１１にも入力され、表示が行なわれる（ステ
ップＳ１０３）。また、システムコントローラ２１４で
はフォーカスの情報から輻輳角の制御量の演算を行な
い、その結果に基づいて撮像系２０１，２０２を支持し
ているアーム２０３，２０４を軸２０５を中心に回動さ
せるためのアクチュエータ２０６，２０７を所定量回動
させる（ステップＳ１０４）。複眼カメラの輻輳角の情
報はＨＭＤ部１１１のシステムコントローラ３６０に通
信され、制御部３０３はアクチュエータ３５７，３５８
により表示ユニット３３９，３４１，３４０，３４２を
所定量回動させる（ステップＳ１０５）。そして図示し
ない撮影開始スイッチが操作されているか否かの選択を
行ない（ステップＳ１０６）、前記撮影開始スイッチが
操作されていると記録再生ブロック１１２に映像信号並
びに制御情報の記録を開始する（ステップＳ１０７）。

【００２７】図９は本発明の第２の実施例を示すブロッ
ク図である。

【００２８】本実施例は立体画像のみでなくパノラマ画
像を撮像・表示することができるよう構成したものであ
る。カメラシステムの詳しい説明は、表示装置に与える
画像や輻輳角等の情報で十分であるので省略し、表示装
置について図９を用いて説明する。図９の構成要素のう
ち図２〜４と共通するものについては説明を省略する。
図９において新たに２Ｄ３Ｄ検出回路４０１が加わって
る。この回路４０１は複眼カメラ部から送られてくる制
御情報に基づいて、立体撮影（３Ｄ撮影）されたものか
パノラマ撮影（２Ｄ撮影）されたものかを判別するため
のものである。通常は複眼カメラ部において２Ｄか３Ｄ
かを識別するための情報を制御情報に付加して伝送して
くるが、それが付加されていない場合は輻輳角情報や焦
点距離情報に基づいて判定を行なう。制御部３０３は２
Ｄ３Ｄ検出回路４０１の判別結果に基づいて立体表示状
態とパノラマ表示状態の切り換えを行なう。パノラマ表
示の時、表示装置は図９に示すように左右両眼用の虚像
が面３６５上で隙間ができないように隣合う必要があ
る。このため右眼用の虚像の左端と右眼用の虚像の右端
が面３６５上の点Ｎで接するよう輻輳角を調整する。図
示したように虚像３６１，３６２の画角をω（ω＞
０）、左右の眼球中心を結んだ直線である基線Ｏ_LＯ_R
と直線Ｏ_LＮ，Ｏ_RＮとのそれぞれの角度をα（α＞０）
とすると、θ＝９０°−ω−αである。ただし、ω＝ｔ
ａｎ^-1（Ｈ／２ａ）、α＝ｃｏｓ^-1（Ｌｃｏｓω／２
ａ）である。本実施例では、複眼カメラからの情報より
計算した結果、Ｌ＝６５ｍｍ、Ｈ＝１２１９．２ｍｍ、
ａ＝１５００ｍｍであるので、θ＝−２０．９７°とな
る。輻輳角θがこの角度になるよう表示ユニット３３
３，３３４の配置を調整している。上記の手段によって
パノラマ画像を観察している時、見かけ上の画角は約４
ω＝８８．４８°となり、非常に広画角の画像を提供す
ることができた。ただし、通常人間の眼は外側へは回転
しないのでこのとき観察者の視線の軸は輻輳角とは異な
る方法を向いている。

【００２９】図１０はＬＣＤ３３９，３４０上に表示さ
れる左右の画像の例である。図１０（１），（２）は左
右それぞれ表示部に表示するための画像である。これを
本システムでパノラマ視することによって、図１０
（３）に示すように、二つに分離されていた立方体の画
像５０２，５０３が５０５のように一つにつながり、全
体として非常に広い画角の画像５０１，５０５，５０４
を得ることができる。

【００３０】なお、上記説明においては、ＨＭＤ投影光
学系に対してもＬＣＤ、バックライト位置を変化させて
輻輳角を追従させる、あるいはパノラマ表示、立体表示
を切り替える場合について述べたが、本発明はこれに限
られるものではなく、すでに本出願人から提案されてい
る特願平５−９２１１３号に述べたような他の手段によ
っても同様の効果が達成される。すなわち、１）表示器、投影光学系の相対的位置関係を保持したま
ま全体として観察者の瞳中心を中心として水平方向に回
転運動する。

【００３１】２）表示器および投影光学系を水平方向に
移動させる。

【００３２】３）表示器は固定したまま、投影光学系の
みを水平方向に移動させる。

【００３３】４）観察者の瞳と表示器の間に光学的偏向
手段、または可動反射光学手段を設け、この光学的偏向
手段、または可動反射光学手段により虚像位置を水平方
向に移動させる。

【００３４】５）表示器および投影光学系を固定したま
ま、表示画像を電気的に水平方向に移動させる。

【００３５】などの方法によっても、本発明の効果は達
成される。

【００３６】また、今までの説明ではＨＭＤにおいて投
影される左右の虚像面が完全にオーバーラップするか、
まったくオーバーラップしないで接するかの場合を説明
したが、特願平５−９２１１３号に述べたように、２つ
の虚像面が一部オーバーラップする状態においても、輻
輳角を追従させることができる。

【００３７】

【発明の効果】以上説明したように本発明は、下記の効
果がある。（１）請求項１，２，５，６の発明は、映像信号に加え
て、立体画像撮像カメラ装置の制御情報を表示装置へ与
え、この制御情報に基づき、表示装置内の１対の拡大虚
像の相対的空間位置を変化させることにより、撮影者の
意図を正しく反映した映像表示が可能となる。（２）請求項３，７の発明は、映像信号に加えて、立体
画像撮像カメラからの複数の映像信号の組が２次元画像
の映像か、ステレオ画像（３次元画像）の映像かを区別
する情報を表示装置へ与え、この情報に基づいて表示装
置の２つの虚像面の空間位置状態を制御することによ
り、３次元画像、または２次元画像、またはそれらが混
在した画像の映像表現を楽しむことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の立体画像撮像・表示シ
ステムのブロック図である。

【図２】撮像部１０１のブロック図である。

【図３】輻輳角がθの場合の撮像部１０１を示す図であ
る。

【図４】複眼カメラの撮像系、機構系の他の構成を示す
図である。

【図５】ＨＭＤ部１１１のブロック図である。

【図６】バックライト光源３４１，３４２及びＬＣＤ３
３９，３４０の動作の様子を示す図である。

【図７】バックライト光源３４１，３４２及びＬＣＤ３
３９，３４０の動作の様子を示す図である。

【図８】図１〜図５の立体画像撮像・表示システムの動
作を示すフローチャートである。

【図９】本発明の第２の実施例の立体画像撮像・表示シ
ステムのブロック図である。

【図１０】ＬＣＤ３３９，３４０上に表示される左右の
画像の例を示す図である。

【符号の説明】

１０１撮像部１０２出力部１０３伝送部１０４入力部１０５出力部１０６記録部１０７再生部１０８記録媒体１０９システムコントローラ１１０カメラ部１１１ＨＭＤ部１１２記録再生ブロック２０１，２０２撮像系２０１ａ，２０２ａ光学系２０１ｂ，２０２ｂ撮像素子２０１ｃ，２０２ｃ撮像光軸２０３，２０４アーム２０５軸２０６，２０７アクチュエータ２０９，２１０信号処理部２１１制御部２１４システムコントローラ２３１被写体２３２，２３３撮像光学系２３４，２３５イメージセンサ２３６，２３７光軸２３８スライド機構３３３，３３４表示ユニット３３７，３３８リレー光学系３３９，３４０液晶パネル（ＬＣＤ）３４１，３４２バックライト光源３５１，３５２信号処理部３５３，３５４液晶駆動回路３５５，３５６バックライト駆動回路３５７，３５８アクチュエータ３６０システムコントローラ３６１，３６２虚像３６３，３６４線３６５垂直二等分面４０１２Ｄ３Ｄ検出回路５０１〜５０５画像Ｓ１０１〜Ｓ１０７ステップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者飯島克己東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者福島信男東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者岡内茂樹東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者徳光純東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】異なる視点からの光学像に対応する複数
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、１対の映像表示手段に表示される１対の画
像を１対の投影光学系で観察者の両眼に導き、前記１対
の画像の拡大虚像を各々の眼で観察可能にする表示装置
とから成り、前記立体画像撮像カメラ装置からの複数の
映像信号を前記表示装置の１対の映像表示手段に表示
し、観察する立体画像撮像・表示システムにおいて、前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする立体画像撮像・表示システム。
【請求項２】異なる視点からの光学像に対応する複数
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、１対の映像表示手段に表示される１対の画
像を１対の投影光学系で観察者の両眼に導き、前記１対
の画像の拡大虚像を各々の眼で観察可能とし、前記表示
装置の前記投影光学系に対する位置、または前記投影光
学系の結像状態を制御することにより、前記２つの虚像
面の空間位置を２つの重なりあう状態から隣接並置する
状態までの制御可能な表示装置とから成り、前記立体画
像撮像カメラ装置からの複数の映像信号を前記表示装置
の１対の表示手段に表示し、観察する立体画像撮像・表
示システムにおいて、前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記表
示装置へ与え、前記制御情報に応じて、前記表示装置の
前記１対の拡大虚像の相対的空間位置を変化させること
を特徴とする立体画像撮像・表示システム。
【請求項３】前記制御情報が、前記立体画像撮像カメ
ラ装置からの複数の映像信号の組が２次元画像の映像
か、ステレオ画像の映像かを区別する情報を少なくとも
含み、前記情報に基づいて前記表示装置の２つの虚像面
の空間位置状態を制御する請求項２記載の立体画像撮像
・表示システム。
【請求項４】前記情報が前記立体画像撮像カメラ装置
からの複数の撮像光学系のなす輻輳角情報を少なくとも
含む請求項２記載の立体画像撮像・表示システム。
【請求項５】異なる視点からの光学像に対応する複数
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、映像情報記録媒体へ前記立体画像撮像カメ
ラ装置からの複数の映像信号を記録する映像情報記録装
置と、１対の映像表示手段に表示された１対の画像を１
対の投影光学系で観察者の両眼に導き、前記１対の画像
の拡大虚像を各々の眼で観察可能にする表示装置とから
成り、前記映像情報記録装置内の映像情報記録媒体から
再生される複数の映像信号を前記表示装置内の１対の表
示手段に表示し、観察する立体画像撮像・表示システム
において、前記立体画像撮像カメラ装置からの複数の映像信号に加
えて、前記立体画像撮像カメラ装置の制御情報を前記映
像情報記録装置内の映像情報記録媒体へ記録し、前記映
像情報記録媒体から再生された複数の映像信号ならびに
前記制御情報を前記表示装置へ与え、前記制御情報に応
じて、前記表示装置の前記１対の拡大虚像の相対的空間
位置を変化させることを特徴とする立体画像撮像・表示
システム。
【請求項６】異なる視点からの光学像に対応する複数
の映像信号を生成する撮像手段を有する立体画像撮像カ
メラ装置と、映像情報記録媒体へ前記立体画像撮像カメ
ラ装置からの複数の映像信号を記録する映像情報記録装
置と、１対の映像表示手段に表示された１対の画像を１
対の投影光学系で観察者の両眼に導き、前記１対の画像
の拡大虚像を各々の眼で観察可能にし、前記表示装置の
前記投影光学系に対する位置、または前記投影光学系の
結像状態を制御することにより、前記２つの虚像面の空
間位置を２つの重なりあう状態から隣接並置する状態ま
での制御可能な表示装置とから成り、前記映像情報記録
装置内の映像情報記録媒体から再生される複数の映像信
号を前記表示装置内の１対の表示手段に表示し、観察す
る立体画像撮像・表示システムにおいて、前記複数の映像信号に加えて、前記立体画像撮像カメラ
装置の制御情報を前記映像情報記録装置内の映像情報記
録媒体へ記録し、前記映像情報記録媒体から再生された
複数の映像信号ならびに前記制御情報を前記表示装置へ
与え、前記制御情報に応じて、前記表示装置の前記１対
の拡大虚像の相対的空間位置を変化させることを特徴と
する立体画像撮像・表示システム。
【請求項７】前記制御情報が、前記立体画像撮像カメ
ラ装置からの複数の映像信号の組が２次元画像の映像
か、ステレオ画像の映像かを区別する情報を少なくとも
含み、前記情報に基づいて前記表示装置の２つの虚像面
の空間位置状態を制御する請求項６記載の立体画像撮像
・表示システム。
【請求項８】前記情報が前記立体画像撮像カメラ装置
からの複数の撮像光学系のなす輻輳角情報を少なくとも
含む請求項６記載の立体画像撮像・表示システム。