JPH0591545A - 立体画像記録再生システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、平面画像を疑似的に立体視するシ
ステムの提供を目的とする。 【構成】 平面画像の幾何学関係を推定する装置と、原
画像を奥行方向の階層毎に分割し再記録する装置と、こ
れを順次空間成立位置が異なる実像として再生する装置
で構成される。 【効果】 既に記録された平面画像から立体視用の画像
を生成することが可能であり、奥行方向に画像位置が異
なる像を形成するので裸眼で立体視が可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラ等の画像
撮影装置により取込まれた画像や画像記録媒体から再生
された画像等の二次元画像を立体画像を投影する立体画
像機器の画像ソースに変換する画像変換に関する。

【０００２】

【従来の技術】従来、奥行感を伴った画像、いわゆる立
体画像を提供する試みが種々行われている。立体画像を
形成する方法には様々な手法が提案されているが、動画
像への適用や制作の容易さからいわゆる両眼視差を利用
する方法が多く用いられている。この方式は、一つの撮
影対象を人の両眼に相当する２つの方向から撮影し、各
々の画像を適当な方法で観察者の対応する眼に提示する
ことにより、観察者に立体感を生じさせる。

【０００３】この両眼視差方式では２方向からの画像を
必要とするため、撮影の際に２台の撮影装置を用意し、
両眼に対応した２つの方向から同時に２つの撮影画像を
撮影して記録する。従って、記録された画像は撮影の際
の撮影装置の設置条件に依存し、再生された画像を観察
する人間の観察条件もこの撮影条件に合わせる必要があ
る。例えば、小画面として提供することを前提に撮影さ
れた画像を大画面に投影すると、観察者と画面との距離
が撮影条件とあまり異ならない場合には、左右眼用の２
つの映像が相対的に離間しすぎて立体像とならず二重像
に観察される不具合がある。逆に、大画面として提供す
ることを前提に撮影された画像を小画面で観察すると、
観察者と画面との距離が撮影条件とあまり異ならない場
合には、視差が殆ど認識されず、立体感が生じない不具
合がある。

【０００４】このような不具合は、両眼視差方式のもの
のみならず、複数の視差を必要とする立体画像観察方式
に共通するものである。

【０００５】

【発明が解決しようとする課題】上述のように従来の立
体視用の画像再生装置では、立体画像専用の撮影装置で
撮影された複数の平面的な画像を個々に記録しておき、
再生の際に各々の画像を撮影の際に設定された条件と同
じ条件で再生することを要し、画像再生の画面の大きさ
が変わると画像が適当な視差で再現されない結果、立体
感が十分に得られにくい。また、立体画専用の撮影装置
は装置設定の難しさ、装置の大きさ等の点で、一般向き
でない。

【０００６】よって、本発明は平面画像として記録され
た画像情報から立体視像を形成し、３次元画像を再生す
ることを両眼視差方式によらずに可能とした立体画像変
換方法及び立体画像変換装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
本発明の立体画像記録再生システムを構成する立体画像
記録装置は、基本フレーム間隔の画像信号の１つの基本
フレームから立体画像を形成するための追加フレームを
形成し、これを前記基本フレーム間に挿入して立体画像
信号を形成してこれを記録する立体画像記録装置におい
て、上記基本フレームに含まれる被写体の幾何学的要素
の輪郭等から被写体の遠近を抽出して被写体の奥行を求
め、この奥行に基づいて上記被写体を画面奥行方向にお
いて分割する分割平面数を求める手段と、分割された被
写体を至近の分割平面に投影して分割平面に投影された
投影像を得て、これを該分割平面の上記画面奥行方向に
おける位置を表す奥行位置情報と共に画像記録媒体に記
録する同一距離画像抽出記録手段とを備えることを特徴
とする。

【０００８】また、本発明の立体画像記録再生システム
を構成する立体画像再生装置は、二次元画像を担う画像
信号と上記二次元画像が投影されるべき位置を表す奥行
位置信号とが記録された画像記録媒体を演奏して上記画
像信号及び上記奥行位置信号とを復調する画像記録媒体
演奏手段と、上記奥行位置信号の供給に応答して画像投
影レンズを光軸方向に駆動して画像形成位置を制御する
投影レンズ制御手段と、上記画像信号を二次元画像に変
換し、これを上記画像投影レンズを経由して投射する画
像投射手段とを備えることを特徴とする。

【０００９】

【作用】立体画像記録装置は、平面画像から幾何学的要
素を抽出し、被写体の奥行を推定する。このような推定
は、例えばパターン認識により画面から抽出した幾何学
的要素から被写体を判別し、各種被写体の形状のデータ
ベースから被写体の立体形状のデータを読み取り、形状
データから被写体の奥行を推定することが可能である。
被写体が複数あるときは被写体相互の位置関係を考慮し
て平面的な被写体の奥行方向の距離関係を推定すること
が可能である。推定された画面の奥行に基づいて被写体
を奥行方向と垂直な面で分割する分割面の数を求め、画
面の奥行方向の所定距離に分割面を配置して被写体を分
割する。分割された被写体を分割面に投影し、分割面に
投影された像を追加フレームとして分割面の奥行方向に
おける位置と共に原画像の基本フレーム間に挿入して画
像媒体に記録する。立体画像再生装置は、再生画像の投
影位置をフレーム毎に設定しながら一連の画像フレーム
を高速で映写する。

【００１０】この結果、立体視用に撮影されたものでは
ない記録済みの平面的な画像情報を立体像として観察す
ることが可能になる。また、立体視用に撮影され記録さ
れた画像でも、再生の際の画面サイズや画面と観察者と
の距離が異なる等の観察条件の違いが生じても、上述の
装置により画像記録の際に修正を行うことが可能であ
り、適正な立体視画像として記録あるいは再生され得
る。

【００１１】

【実施例】本発明の立体視装置に係る立体視の原理を図
５を参照して説明する。図５（Ａ）は、被写体たる２つ
の立方体Ａ及びＢが平面画像として記録されている状態
を示している。この立方体Ａ及びＢを立体像として形成
する手順について説明する。

【００１２】まず、平面画像から画像を形成している幾
何学図形を抽出し、パターン認識等の手法を用いて抽出
された図形が何であるかを判別する。このため、予め平
面画像ソースの内容を調べて画面に表われる被写体の種
類及びその立体形状のモデルを蓄積してデーターベース
を構築しておく。抽出された図形から被写体が判別さ
れ、立体形状のモデルが選択される。この立体モデルを
図５（Ｂ）に示されるコンピュータ内に形成された仮想
三次元空間に配置する。配置は幾何学的図形の輪郭から
遠近法等を用いて設定することができる。データベース
に登録される単位のモデルを固体要素とすれば、仮想空
間には立方体の固体要素Ａ及びＢが配置される。画面の
奥手前方向を仮想空間のＸ軸方向に対応させれば、立体
モデルの形状を表わすデータによって固体要素Ａ及びＢ
相互の奥行が判明する。例えば、各モデルの表面を形成
するＰ点（ｘ，ｙ，ｚ）のうち、最大のｘ_max と最小の
ｘ_min との差からモデル群の奥行距離が求められる。こ
の奥行に応じてＹ−Ｚ平面によって固体要素を分割す
る。奥行が大きければ分割数を増す。図５（Ｂ）ではｌ
₁ 〜ｌ₃ の３つの平面によって分割している。この分割
数は、後に再生される立体像の解像度に関係する。そし
て、分割した平面から固体要素が突出する部分を求め
る。図５（Ｃ）のＳ₁ は平面ｌ₁ から手前方に突出した
固体要素の部分を示している。Ｓ₂ は平面ｌ₁ とｌ₂ 間
に存在する固体要素を示している。Ｓ₃ は平面ｌ₂ とｌ
₃ 間に存在する固体要素を示している。Ｓ₄ は平面ｌ₃
と背景となる図示しない平面ｌ_∞との間に存在する固体
要素を示している。このように平面ｌ₁ 〜ｌ₃ によって
分割された固体要素Ｓ₁ 〜Ｓ₄ を夫々正面方向から平面
ｌ₁ 〜ｌ_∞に投影して追加フレームＦ₁₁〜Ｆ₁₄を得る。
すなわち、分割された固体要素Ｓ₁ 〜Ｓ₄ の切断面以外
の正面から見える表面の画素を夫々ＹＺ成分で表示する
ことにより、追加フレームＦ₁₁〜Ｆ₁₄を得る。この追加
フレームＦ₁₁〜Ｆ₁₄には画像情報に加えて、投影される
べきフレーム位置を表わすフレーム位置情報ｘ₁ ´〜ｘ
₄ ´が付加される。これ等の立体像を形成すべきフレー
ムに基本フレームＦ₁₀から固体要素Ａ及びＢを除いた背
景フレームＦ₁₀、位置情報ｘ_∞を追加してフレームＦ₁₀
〜Ｆ₁₄、Ｆ_10∞からなる１フレームの立体画面情報が形
成される。このような画像処理を図６（Ｂ）の原画像の
各フレームｆ₇ 〜ｆ₁₂について繰り返えすと図６（Ａ）
に示される一連の立体画像信号が得られる。これは、実
線で示される原画像信号の各フレーム間に立体像を形成
するための点線で示される追加フレームが必要な立体解
像度に応じた数で挿入された構成となっている。

【００１３】各フレームを表わすビデオ信号にはフレー
ムのアドレスたるフレーム番号、初期フレームからの映
写時間の経過を示すタイムコード、被写体の奥行に対応
してフレームを投影すべき位置を表わす位置情報が例え
ばフレーム間に挿入される。

【００１４】かかる立体画像信号はビデオディスク、ビ
デオテープ等の画像記録媒体に記録される。

【００１５】図示しない立体画像再生装置においては、
フレーム毎に記録された位置情報を復調して各フレーム
を投影すべき位置をプロジェクタの可動投影レンズある
いは光路長変化用ミラー等によって設定し、かつ、ビデ
オ信号を復調して各フレームの画像をプロジェクタによ
って投影して画面の奥手前方向に移動する一連の画像を
形成する。かかる投影位置が画面の奥手前方向に高速で
変化する一連の画像を観察者が見ると、視覚の残像効果
によって一連の平面画像が立体像として認識される。

【００１６】本発明の実施例について図１及び図２を参
照して説明する。図１は本発明の立体画変換系の構成を
示しており、図２は、立体画像再生系の構成を示してい
る。

【００１７】ビデオディスク、ビデオテープ、ＣＤ−Ｒ
ＯＭ、ハードディスク等の画像記録媒体１には原画像が
記録されている。この画像記録媒体１は、ビデオディス
クプレーヤ、デジタルＶＴＲ等の画像再生装置２によっ
て演奏され、後段の画像メモリの容量に応じたフレーム
数、例えば１フレームが再生される。再生された各フレ
ームは各画素の明度、色相の色情報を担うデジタル値に
変換されて画像メモリ４に記憶される。例えば、一画素
を８ビットで表示すれば２５６色を表わすことができ
る。また、テレビカメラ等の撮影装置３から得られる映
像信号をデジタル値に変換して所定フレームを画像メモ
リ４に記憶することができる。

【００１８】画像メモリ４は、１フレーム分の画像を奥
行推定装置５に与える。奥行推定装置５は、画像データ
処理に好適に構成されたコンピュータであり、図示しな
いメモリに上述した三次元仮想空間を形成する。そし
て、画像メモリ４に形成されている被写体の幾何学的な
特性値からこれが何であるかを識別する画像認識部５
ａ、識別した被写体相互の前後関係を推定する全***置
推定部５ｂ及び各被写体相互間の全体的な位置関係を推
定する個別位置推定部５ｃ等の機能を担っている。ま
た、後述の同一距離画像抽出記録装置９の画像抽出の機
能を担わせることも可能である。これ等の推定は被写体
の一般的なサイズや幾何学関係の基本データを登録した
データベース装置６に蓄積されたデータを逐次参照しな
がら実行される。

【００１９】予め被写体の形状等が登録されたデータベ
ースを用いても、被写体判別の精度を表わす適合度が低
く推定が難しいときは、オペレータによるマニュアル操
作でデータを適宜に添削加工することを可能にしたデー
タ添削装置８が使用される。オペレータとのインタフェ
ースはキーボードや画像等の情報表示器等を備えたデー
タ入力端末装置１０によって行われる。添削されたデー
タはデータベース添削装置８を介して上記データベース
内に新しいデータとして登録される。また、上述の推定
結果から得られた新しいデータはデータ更新装置７によ
って、前記データベース内に新しいデータとして登録さ
れる。

【００２０】奥行位置推定装置５による推定結果は、同
一距離画像抽出記録装置９に送られ、後述の画像再生装
置１３の種類や特性に合わせた原画像の修正追加が行わ
れる。同一距離画像抽出記録装置９は画像記録装置を備
えた画像処理に適当なコンピュータであり、原画面を三
次元画面に変換した画面の奥行方向において同一距離の
部分、あるいは奥行方向において所定距離範囲内に属す
る部分を抽出して原画面から一画面を形成し、これを画
像記録媒体１１に記録する。原画像の１フレームから複
数の追加フレームを形成し、背景となるフレーム及び追
加フレーム群を逐次画像記録媒体１１に記録することを
繰り返すことにより、連続なビデオ信号が形成される。

【００２１】なお、画像再生装置１３が両眼視差方式の
立体視装置を兼ねる場合には、左右両眼用画像の視差や
相互の距離を立体像を提示する画面サイズや観察者との
距離に応じて適正な値となるように修正を加えて記録す
る。

【００２２】次に、奥行位置推定装置５の動作について
図３に示されるフローチャートを参照して説明する。前
述したように奥行位置推定装置５の主要部はコンピュー
タ（以下、ＣＰＵと略称する）によって構成されてお
り、関連する装置の制御をも行うことができる。ＣＰＵ
は、平面画像から立体画像を得るべく装置が画像処理を
開始すると、原画像となる画像記録媒体１を演奏する画
像記録媒体再生装置２あるいは撮影装置３から画像メモ
リ４に画像情報を記憶させ（ステップＳ１０３）、以下
の処理を実行する。

【００２３】まず、画面内に映った被写体の形状認識を
する工程（ステップＳ１０４〜Ｓ１１３）、被写体の輪
郭を検出しあるまとまった形の図形を図形要素として抽
出する工程（ステップＳ１０４〜Ｓ１０６）、抽出され
た複数個の図形要素の結合状態を調べて独立した固体要
素として推定する工程（ステップＳ１０７〜Ｓ１０
８）、自動的な判別では適合度が低い部分を人間がチェ
ックする工程（ステップＳ１０９〜Ｓ１１０）、チェッ
クの終了した上記固体要素をネーミングする工程（ステ
ップＳ１１１）、これ等をデータベースに登録する工程
（ステップＳ１１２〜Ｓ１１３）を実行する。いずれの
工程も、上述の操作の完了状況を判定する過程と、判定
が否定のときはこれ等を決定するための処理を行う補足
操作とからなっている。

【００２４】輪郭抽出過程（Ｓ１０４）では、一例とし
て画像の明度分布や色合分布によりまとまった領域を抽
出したり、これ等の変化からエッジを強調し（ステップ
Ｓ１０５）、その後基本的な図形形状や補間曲線によっ
て輪郭をきめる（ステップＳ１０６）ような公知の手法
を採る。

【００２５】結合状態は（Ｓ１０７）、前段で決定した
各図形要素の包含関係を幾何学や実際の物体の見え方か
ら推定する（ステップＳ１０８）ことで、これ等の図形
要素が包摂される固体要素が決定される。推定の適合度
が低く、決定しきれない部分は（ステップＳ１０９）、
オペレータがデータ入力端末１０からデータベース添削
装置８を介して添削修正作業をを行うことができる（ス
テップＳ１１０）。図形要素へのネーミングやラベル付
けをオペレータが行う場合には（Ｓ１１１）、上記デー
タ入力端末１０等を用いる（Ｓ１１０）。全てが決定し
たらデータベース装置６に登録する（Ｓ１１２）が、こ
のときのデータベース更新作業（ステップＳ１１３）は
データ更新装置７によって行われる。これ等のオペレー
タによる操作は第１図に記載した画像認識部５ａの機能
の補完、あるいは画像認識部５ａの一種の学習に相当す
る。

【００２６】続いて、ＣＰＵは上記固体要素の画面内で
の前後位置を決定する工程（ステップＳ１２１〜Ｓ１３
０）を実行する。これは全***置推定部５ｂが担う機能
の一部である。これらの工程も判断する処理と判定が否
定のときの処理とからなっている。すなわち、図形要素
形状自体からの前後関係の判別工程（ステップＳ１２
１）、陰影や明度や色相など環境光との関わりでの判別
工程（ステップＳ１２３）、撮影時の合焦・ボケ度合等
撮影時の光学条件に基づく推定工程（ステップＳ１２
５）、オペレータによるチェック工程（ステップＳ１２
７）、データベースへの登録工程（ステップＳ１２９）
を備えている。これ等の各過程で判断結果の適合度が低
い場合には補足操作が行なわれる。

【００２７】まず、形状からの前後判断（Ｓ１２１）で
は幾何学的図形の重なりや連続性等の幾何学的な知識が
データベース装置６から引き出され、原画像と対比して
推定操作を行なう（ステップＳ１２２）。環境条件（Ｓ
１２３）では、光りの反射や散乱状態・影の曲り具合に
関する知識データベース（ステップＳ１２４）を用い
る。撮影時のレンズのフォーカシングの程度と画面の奥
行方向の相対関係に関するデータベース（ステップＳ１
２６）があれば、それも有用である。オペレータによる
チェックやデータベースの更新操作が必要な場合（ステ
ップＳ１２７）は、先に述べた内容と同様の工程が採ら
れる（ステップＳ１２８、Ｓ１３０）。

【００２８】次に、上記処理で求めた各固体要素の前後
関係を定量化する工程（ステップＳ１３１〜Ｓ１４
１）、標準寸法となる図形の抽出工程（ステップＳ１３
２）、遠近法の消失点の抽出工程（ステップＳ１３
４）、光や影や色による離間程度の導出工程（ステップ
Ｓ１３６）及びこれ等のチェック・登録工程（ステップ
Ｓ１３８、Ｓ１４０）を実行する。ステップＳ１３１〜
Ｓ１４１は全***置推定装置５ｂが担う他の機能の一部
である。

【００２９】既に定量化作業が終了している場合（Ｓ１
３１）は、チェック・登録作業及び先述したのと同様な
これ等の付帯作業（ステップＳ１３９、Ｓ１４１）を経
て次の段階に移行する。そうでない場合は（Ｓ１３
１）、固体要素の寸法抽出を行っていないと（Ｓ１３
２）、既に登録されている固体要素と知識データベース
を比較して標準寸法となる固体要素（山、標識、ビル、
人、工業製品等）を探索する（ステップＳ１３３）。次
に、消失点の抽出が行われていない（Ｓ１３４）と、既
に登録されている物体の一画面内の変形状態から消失点
を求め、幾何学的な特徴と固体要素の形状を比較し、各
固体要素間の距離関係を遠近法に基づいて推定する（ス
テップＳ１３５）。また、陰影等による定量化が行われ
ていないと（Ｓ１３６）、影の伸び具合や色のあせ具合
あるいは光量の減衰から定量化を図ることも可能である
（ステップＳ１３７）。以上の工程において推定結果の
適合度が低いとき（Ｓ１３８）、上記データ入力端末装
置１０やデータベース添削装置８を介してオペレータが
データの添削や新規データの入力を行っても良い（Ｓ１
３９）。

【００３０】次に、各固体要素に含まれる図形要素の前
後関係を定量化する工程（ステップＳ１５１〜Ｓ１５
９）を実行する。例えば、人間の鼻の高さや手足の振り
上げ程度等、固体要素の凹凸に関するものが一般的であ
る。これ等の一連の過程も判断操作が中心となり、その
内容は上述した固体要素の前後関係の定量化過程と略同
様である。異なる工程は消失点の抽出工程（ステップＳ
１３４）で、既に求めてあるのでここでは行う必要がな
い。この工程（Ｓ１５１〜Ｓ１５９）は個別位置推定部
５ｃが担う機能に相当する。

【００３１】これまで述べた工程は一つの画面について
の説明であるが、一画面だけでは判断困難で前後の画面
に関するデータベースが必要な場合（ステップＳ１６
１）には、更に他の画面を画像メモリ４に呼び出して、
あるいは画像メモリ４に他の画面も記憶されているとき
は、この他の画面について上記した各種処理を行い（Ｓ
１６２）、その結果と前回結果とを比較することによ
り、推定作業の適合度を向上させる（Ｓ１６３）。これ
にも先と同様のチェック・登録作業（ステップＳ１６４
〜Ｓ１６７）が付帯する。

【００３２】以上の工程を終了した後、実際に使用する
画像再生装置１３の奥行分解能及び画面の奥行に基づい
て奥行画面（追加フレーム）の枚数と奥行画面の位置を
定める（ステップＳ１７１）。この奥行画面の枚数及び
位置に応じて対応する固体要素・図形要素を図５（Ｃ）
の如く固体要素・図形要素を分割する奥行画面に再投影
して同一距離画像抽出記録装置９によって適当な画像記
録媒体に再生可能な状態で記録する（ステップＳ１７
２）。原画像の各フレームについてステップＳ１０３〜
Ｓ１７２を繰り返して画像記録媒体１１に平面画像ソー
スから立体画像投影用に変換された立体画像ソースが得
られる。この立体画像ソースには、各フレーム毎に奥行
情報、フレーム番号、タイムコード等の演奏情報が例え
ばフレーム間の帰線期間領域に挿入されている。

【００３３】そして、立体画像の生成にあっては画像記
録媒体１１を再生装置１２によって演奏し、記録された
画像情報と共に奥行情報を復調し、これをビデオ信号及
び投影位置制御信号として画像再生装置１３に供給す
る。画像再生装置１３はビデオ信号の画像情報によって
画面を形成し、投影位置制御信号の奥行情報によって画
面の投影位置を画像投影空間の奥手前方向に各フレーム
毎に設定する。各画面の形成位置が奥手前方向において
高速で変化することにより、人間の視覚上残像として残
る画像群が合成されて、観察する者にはあたかも立体像
が存在するように見える。

【００３４】なお、奥手前方向における奥行画面の奥行
分解能（Ｘ軸方向における画面密度）は視覚の特性に応
じて観察者に近い程高くし、ある奥行距離以遠のものは
背景の平面画像のみとすることができる。

【００３５】図７は、上述した画像再生装置１３のう
ち、同一距離の画像を連続的に再生しながら立体像を観
察する装置を用いた立体視装置の構成例を示している。

【００３６】画像記録媒体演奏装置１２によって復調さ
れたビデオ信号は、画像再生装置１３の画像修正部１３
ａに送られる。画像修正部１３ａは、ビデオ信号を実際
に使用する画像再生システムの特性に応じて映写される
画像の歪やペデスタルレベル等を微調整するもので、調
整が不要な場合は入力信号と同じ信号を出力する。この
出力信号のうち画像信号部分はプロジェクタＣＲＴ等の
画像投影装置１３ｂに送られて光学像に変換される。こ
の光学像は、モータによって移動する可動レンズ装置１
３ｃによって実像１４の成立位置を奥行方向の任意の地
点１４ａ，１４ｂに設定できる。可動レンズ制御部１３
ｄは投影位置制御信号に基づいて可動レンズ装置１３ｃ
のボイスコイルモータを駆動する。これによって、投影
レンズは光軸上を前後に高速移動し、空間に形成される
実像１４の位置が奥行方向の前後に移動する。なお、ビ
デオ信号及び投影位置制御信号がコンポジット信号とし
て復調されて供給される場合には信号分離部１３ｉによ
って画像情報を担うビデオ信号とレンズ制御情報を担う
投影位置制御信号とを分離する。

【００３７】空間に成立する実像の画像の上下方向の位
置は画像修正部１３ａや上記可動レンズ部１３ｃでは調
整しきれない場合があるが、このときは２台の反射鏡１
３ｅ、１３ｇを用いて画像の成立位置を変更できる。反
射鏡１３ｅ及び１３ｇは夫々反射鏡姿勢制御装置１３ｆ
及び１３ｈによって１台の反射鏡当たり２自由度の動作
を行う。

【００３８】画像再生装置１３からの投影像は画像光軸
１５に沿って成立し、凹面鏡１７を経由して観察者１６
に呈示される。上記凹面鏡は図のように凹面鏡の上下部
１７ａ、１７ｂを残しただけの形態でも、凹面鏡の全面
が残った形態でも、あるいは凹面を多数の小型の平面鏡
で形成した形態でも構わない。前述した投影像の位置が
１８ａ、１８ｂとすると、凹面鏡で形成される反射像は
１４ａ、１４ｂとなる。

【００３９】本例では上記画像光軸１５と凹面鏡の光軸
１９は平行に設定されているが、ある程度角度を持って
設定されていても良い。このときには、前記画像再生装
置１３内の各部は適正な状態に再設定される。

【００４０】図８は、上述の画像メモリに一時記録され
た画像が両眼立体視用の左右眼用画像の場合の例であ
る。実際には、画像メモリの一画面分には片眼用の画像
しか記録されていないが、便宜上、両眼用画像を同時に
描くと２１ａのように左右にｌ₁ だけ離れた二重画像と
して示される。図では説明の簡単のため、画像を円とし
て説明している。この距離ｌ₁ が人間の瞳孔間隔に対応
する必要があるが、提示画面のサイズが大きくなると、
画像のサイズも２１ｂのように大きくなり、結果的に左
右眼用画像の離間距離ｌ₂ も増し、瞳孔間隔に合わなく
なる。逆に、提示画面サイズが２１ｃのように小さくな
ると、左右眼用映像の離間距離ｌ₃ は減少し、この場合
も瞳孔間隔に合わない。いずれの場合も、立体像の観察
には不適当な条件となる可能性が大きい。そこで、提示
画面のサイズに応じて左右眼用画像の離間距離を適正距
離ｌ₁ に修正した画像を同一距離画像抽出記録装置９に
記録する。この場合、記録される画像は、厳密に言えば
同一距離のものが抽出されているのではないが、前述の
例と同様に奥行位置推定装置５が使用される。すなわ
ち、単に左右眼用画像の離間距離を調整するだけでは、
再生された立体画像に歪みの生じる可能性があるため、
上記画像認識部５ａと上記位置推定部５ｂで観察対象の
立体形状を推定した後、上記個別位置推定部５ｃで適正
な視差で観察したときの画像を左右眼用画像を生成す
る。この生成にあたっては、原画像の他の部分から相当
する視差の画像を検索して利用したり、あるいは先の推
定結果を利用して新たな画像を作り出す。

【００４１】以上説明した内容は本発明に係る装置の一
例であって、例えば、各処理過程の順番の入替え、処理
過程の目的を達成するその他の公知の手法の導入等、種
々の変形や応用が可能である。

【００４２】

【発明の効果】以上説明したように本発明によれば、平
面画像からこの画像中の被写体を立体化するので特殊の
立体視撮影装置を必要とせず、既に記録されている平面
画像を立体視用の画像として変換して再記録し、再生す
ることができる。また、立体視のために観察者に特殊の
眼鏡等を着用させることなく、画面のサイズが自由な立
体像を呈示することが可能である。更に、立体視用に記
録されている画像に適用することも可能である。

【図面の簡単な説明】

【図１】本発明の立体画像変換の変換系を示すブロック
図。

【図２】立体画像再生系を示すブロック図。

【図３】画像処理手順を示すフローチャート。

【図４】画像処理手順を示すフローチャート。

【図５】平面画像の奥行方向の関係を抽出し、再記録さ
れる状態を説明する図。

【図６】立体画像信号を説明する図。

【図７】立体画像を発生する再生系を示す図。

【図８】両眼視差用に記録された画像の修正を説明する
ための図。

【符号の説明】

１，１１ 画像記録媒体 ４ 画像メモリ ５ 奥行位置推定装置 ９ 同一距離画像抽出記録装置 １２ 画像記録媒体演奏装置 １３ 画像再生装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】三次元空間に配置された少なくとも１つの
   被写体を含む平面画像情報から幾何学的要素を抽出し、 前記平面画像情報から前記幾何学要素の遠近を表す奥行
   情報を抽出し、 予め幾何学的要素と被写体の関係が記録されているデー
   タベースを参照して抽出した前記幾何学的要素に対応す
   る被写体を推定し、 予め被写体の立体形状が記録されているデータベースか
   ら推定した各被写体の立体形状を読み出して、仮想三次
   元空間に配置し、 前記奥行情報に基づいて各被写体相互の奥行方向におけ
   る位置関係を推定し、 前記位置関係に基づいて追加フレーム数を求め、 前記仮想三次元空間に配置された立体形状を奥行方向と
   垂直な面によって追加フレーム数だけ分割して分割され
   た立体形状を得、 分割された各立体形状を至近の立体形状を分割した面に
   夫々投影して得られた平面画像群とこの分割された各立
   体形状の前記奥行方向における位置を表す奥行情報群と
   を共に記録媒体に記録することを特徴とする立体画像記
   録方法。
2. 【請求項２】基本フレーム間隔の画像信号の１つの基本
   フレームから立体画像を形成するための追加フレームを
   形成し、これを前記基本フレーム間に挿入して立体画像
   信号を形成して記録する立体画像記録装置であって、 前記基本フレームに含まれる被写体の幾何学的要素の遠
   近を抽出して被写体の奥行を求め、この奥行に基づいて
   前記被写体を画面奥行方向において分割する分割平面の
   数を求める手段と、 分割された被写体を至近の分割平面に投影して該分割平
   面に投影された投影像を得て、これを該分割平面の前記
   画面奥行方向における位置を表す奥行位置情報と共に画
   像記録媒体に記録する同一距離画像抽出記録手段と、 を備える立体画像記録装置。
3. 【請求項３】二次元画像を担う画像信号と前記二次元画
   像が投影されるべき位置を表す奥行位置信号とが記録さ
   れた画像記録媒体を演奏して前記画像信号及び前記奥行
   位置信号とを復調する画像記録媒体演奏手段と、 前記奥行位置信号の供給に応答して画像投影レンズを光
   軸方向に駆動して画像形成位置を制御する投影レンズ制
   御手段と、 前記画像信号を二次元画像に変換し、これを前記画像投
   影レンズを経由して投射する画像投射手段と、 を備える立体画像再生装置。