JPH0955962A - 立体視化装置及び立体視化方法 - Google Patents

Abstract

(57)【要約】 【課題】記録情報量又は伝送情報量を増やさずに良好な
ステレオ画像を形成する。 【解決手段】入力テレビジヨン信号Ｓ１を、各注目点毎
に当該注目点の周辺画素状態応じてクラス分類するクラ
ス分類手段５と、各クラスに対応して用意された予測係
数のうち、クラス分類手段による分類結果に応じた予測
係数を用いた予測演算処理を行うことにより左目用の画
像信号Ｄ３Ａ及び右目用の画像信号Ｄ４Ａを生成する予
測処理手段１１及び１２とを設けるようにしたことによ
り、左右の目に対応したテレビジヨン信号を入力させず
とも左右の目に対応した画像信号Ｄ３Ａ、Ｄ４Ａを生成
でき、かくして記録情報量又は伝送情報量を増やさずに
良好なステレオ画像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態 （１）第１実施例（図１〜図８） （２）第２実施例（図９〜図１１） （３）第３実施例（図１２〜図１４） （４）第４実施例（図１５及び図１６） （５）第５実施例（図１７及び図１８） （６）第６実施例（図１９〜図２２） （７）第７実施例（図２３〜図２５） （８）第８実施例（図２６） （９）他の実施例（図２７） 発明の効果

【０００２】

【発明の属する技術分野】本発明は立体視化装置及びそ
の方法に関し、特に入力テレビジヨン信号に基づくステ
レオ画像を表示する立体視化装置に適用して好適なもの
である。

【０００３】

【従来の技術】従来、テレビジヨン信号の立体視化を実
現する装置として、例えばテレビジヨン学会誌 Vol.4
5,No.4,pp.446〜452 (1991)に記載されているように種
々のものが提案されている。

【０００４】これらの立体視化装置の中で、両眼に対応
した視差のある画像をテレビジヨンモニタにフイールド
毎に交互に切り換えて表示し、この表示画像を、表示画
像の切換えに同期して左目用シヤツタ及び右目用シヤツ
タが開閉する液晶シヤツタ眼鏡を通して視ることによ
り、ステレオ視を実現するものがある。

【０００５】

【発明が解決しようとする課題】ところが、両眼に対応
した画像をテレビジヨンモニタに交互に表示することに
よりステレオ視を実現する方法においては、通常、予め
左右の目に対応する２台のテレビジヨンカメラによつて
撮影した画像を用意し、これらの画像を記録又は伝送す
る必要があるために、画像の時間分解能を落とさないよ
うにすると２倍の情報量が必要であり、また情報量を増
やさないようにすると時間分解能が落ちるためフリツカ
が生じ画質が劣化する欠点があつた。

【０００６】本発明は以上の点を考慮してなされたもの
で、記録情報量又は伝送情報量を増やさずに良好なステ
レオ画像を得ることができる立体視化装置及びその方法
を提案しようとするものである。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力テレビジヨン信号を、各注目
点毎に当該注目点の周辺画素の分布パターンに基づいて
クラス分類するクラス分類手段と、各クラスに対応して
用意された予測係数のうち、クラス分類手段による分類
結果に応じた予測係数を用いた予測演算処理を行うこと
により左目用の画像信号及び右目用の画像信号を生成す
る予測処理手段とを設けるようにした。

【０００８】この結果、１つの入力テレビジヨン信号か
ら左目用及び右目用の画像信号が生成されるようにな
り、表示する画像情報量も入力情報量のほぼ２倍とな
る。

【０００９】

【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。

【００１０】（１）第１実施例 （１−１）全体構成 図１において、１は全体として立体視化装置を示し、１
つの入力テレビジヨン信号からそれぞれ視差のある左目
用の画像信号及び右目用の画像信号を形成し、これらを
テレビジヨンモニタに交互に表示すると共に、この表示
画像を液晶シヤツタ付き眼鏡を通して視るようにしたこ
とにより、少ない入力情報から良好なステレオ画像を得
ることができるようになされている。

【００１１】立体視化装置１は、受信した入力テレビジ
ヨン信号Ｓ１をアナログデイジタル変換回路（Ａ／Ｄ）
２によつて例えば13.5〔MHz 〕のサンプリングクロツク
でアナログ信号からデイジタル信号に変換し、これを直
接ブロツク化回路４に供給すると共に遅延回路３を介し
てブロツク化回路４に供給する。なお上述したサンプリ
ングクロツクでサンプリングした場合、画像のサイズは
フレームあたり横 720画素×縦 480ライン程度となる。

【００１２】ブロツク化回路４は後段のクラス分類回路
５によるクラス分類のための画素を集めるためのブロツ
ク化処理を行う。実際上ブロツク化回路４は、注目点の
時空間における周辺画素を集めるようなブロツク化処理
を、画素クロツク単位で行う。この結果時空間でみた場
合に、注目点を中心として例えばダイヤモンド形状の領
域内に存在する時空間画素により１ブロツクが形成され
る。

【００１３】クラス分類回路５はブロツク内画素に対し
て例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）
等の圧縮処理を施すことによりレベル分布パターンに基
づくクラス分類を行う。そして当該分類結果をクラスの
識別番号であるインデツクスデータ（クラスコード）CL
ASS1として出力する。なおこのインデツクスデータCLAS
S1は圧縮率に応じたｐビツトのデータとして出力され
る。

【００１４】立体視化装置１は、クラス分類回路５によ
つて分類されたクラスに応じた予測演算処理を行うこと
により左目用の画像信号を生成する左目用クラス分類適
応処理部６と、分類されたクラスに応じた予測演算処理
を行うことにより右目用の画像信号を生成する右目用ク
ラス分類適応処理部７とを有する。立体視化装置１は、
アナログデイジタル変換回路２の出力及び遅延回路３の
出力を、遅延回路８によつて上述したクラス分類処理に
要した時間分だけ遅延させた後、左目用クラス分類適応
処理部６の予測ブロツク化回路９及び右目用クラス分類
適応処理部７の予測ブロツク化回路１０に供給する。

【００１５】予測ブロツク化回路９及び１０は注目点の
時空間周辺画素を集めることによりブロツクを形成し、
当該ブロツク内画素データ（以下、これを予測画素デー
タと呼ぶ）Ｄ１及びＤ２をそれぞれ予測処理回路１１及
び１２に供給する。実際上、図２に示すように、予測ブ
ロツク化回路９によるブロツク領域ＡＲ１は予測ブロツ
ク化回路１０によるブロツク領域ＡＲ２に対して数画素
分だけ左側にずれたものとなるようになされている。な
おこのずれ量は、生成しようとする左目用画像と右目用
画像との間にどの程度の視差を設けるかに応じて設定す
るようにする。

【００１６】予測処理回路１１及び１２には、それぞれ
予測画素データＤ１及びＤ２と共にクラス分類回路５か
らのインデツクスデータCLASS1が供給される。予測処理
回路１１及び１２は後述する学習により予め獲得された
クラス毎の予測係数が記憶された係数ＲＯＭ（Read Onl
y Memory）を有し、インデツクスデータCLASS1によつて
係数ＲＯＭをアドレツシングすることにより、インデツ
クスデータCLASS1で表わされるクラスに対応した予測係
数を読み出す。そして予測処理回路１１及び１２は、そ
れぞれ読み出された予測係数と予測画素データＤ１及び
Ｄ２とを用いて予測演算処理を行うことにより、それぞ
れ左目用画像データＤ３Ａ及び右目用画像データＤ４Ａ
を生成する。

【００１７】ここで予測処理回路１１及び１２の出力
（すなわち左目用画像データＤ３Ａ及び右目用画像デー
タＤ４Ａ）は、それぞれ13.5〔MHz 〕の画素クロツク単
位で出力され、それぞれの画面サイズはフレームあたり
横 720画素×縦 480ライン程度となる。従つて、情報量
としては入力テレビジヨン信号Ｓ１の２倍に増加されて
いることにより、時間分解能及び空間分解能の劣化は発
生しない。

【００１８】この左目用画像データＤ３Ａ及び右目用画
像データＤ４Ａはそれぞれフレームメモリ（ＦＭ）１３
及び１４に蓄えられ、当該フレームメモリ１３及び１４
から読み出されたデータがマルチプレクサ（ＭＵＸ）１
５を介して表示画像データＤ５Ａとしてデイジタルアナ
ログ変換回路（Ｄ／Ａ）１６に供給される。フレームメ
モリ１３、１４からのデータの読出し及びマルチプレク
サ１５の出力切換はタンミングコントローラ１７によつ
て制御される。このときフレームメモリ１３、１４の読
出しは書込み時に対して倍速となるように行われ、マル
チプレクサ１５からは例えばフイールド単位に交互に左
目用画像データＤ３Ａ及び右目用画像データＤ４Ａが切
り換えられて表示画像データＤ５Ａが出力される。従つ
てマルチプレクサ１５から出力される表示画像データＤ
５Ａのフイールド周波数は入力テレビジヨン信号Ｓ１に
対して２倍となる。

【００１９】表示画像データＤ５Ａはデイジタルアナロ
グ変換回路１６によつてアナログ変換されることにより
表示画像信号Ｓ２Ａとされ、当該表示画像信号Ｓ２Ａが
テレビジヨンモニタ１８に供給される。かくして、立体
視化装置１においては、予め左目用の画像信号及び右目
用の画像信号を入力させることなく、通常の放送用テレ
ビジヨン信号と同等の入力テレビジヨン信号Ｓ１だけを
使つて、テレビジヨンモニタ１８上にそれぞれ視差のあ
る左目用及び右目用の画像を表示することができる。

【００２０】タイミングコントローラ１７は、上述した
フレームメモリ１３、１４及びマルチプレクサの制御に
同期したタイミングで液晶ドライバ１９を制御する。液
晶ドライバ１９は液晶シヤツタ付き眼鏡２０に例えば赤
外線を送出することにより液晶シヤツタを駆動させる。
これにより液晶シヤツタ付き眼鏡２０はテレビジヨンモ
ニタ１８上に表示される左目用画像及び右目用画像の切
換えに同期して、例えば左目用の画像が表示されている
場合には左目の液晶シヤツタが開いている状態とされ、
右目用の画像が表示されている場合には右目の液晶シヤ
ツタが開いている状態とされる。ここでタイミングコン
トローラ１７は同期抽出回路２１によつて入力テレビジ
ヨン信号Ｓ１から抽出された垂直同期信号Ｖ及び水平同
期信号Ｈに基づいて上述したタイミング合せのための制
御信号を生成する。

【００２１】かくして立体視化装置１においては、１つ
の入力テレビジヨン信号Ｓ１から時間分解能を落とすこ
となく左目用及び右目用の画像を生成し得ることによ
り、伝送又は記録する情報量を増やすことなく、良好な
ステレオ画像を得ることができる。

【００２２】（１−２）予測処理回路の構成 ここで予測処理回路１１及び予測処理回路１２は共に、
図３に示すように構成されている。予測処理回路１１と
予測処理回路１２は係数ＲＯＭに格納されている予測係
数を除いて同様の構成であるため、以下予測処理回路１
１について説明する。

【００２３】予測処理回路１１は大きく分けて、予め後
述する学習により各クラスに対応した予測係数（係数
組）が記憶された係数ＲＯＭ３０と、予測係数と予測画
素データＤ１とを用いた線形一次結合式に基づく演算を
行うことにより左目用画像データＤ３を生成する予測演
算部３１とにより構成されている。予測処理回路１１は
クラス分類回路５（図１）からのインデツクスデータCL
ASS1をインデツクスデコーダ３２によつてデコードし、
デコードしたデータを読出しアドレスとして係数ＲＯＭ
３０をアドレツシングする。この結果係数ＲＯＭ３０か
らはインデツクスデータCLASS1に対応したクラスの予測
係数ｗ₁ 〜ｗ_n が出力され、当該予測係数ｗ₁ 〜ｗ_n が
予測演算部３１のレジスタ３３Ａ₁ 〜３３Ａ_n を介して
乗算器３４Ａ₁ 〜３４Ａ_n に与えられる。

【００２４】また乗算器３４Ａ₁ 〜３４Ａ_n には、予測
ブロツク化回路９から出力された予測画素データＤ１
（ｘ₁ 〜ｘ_n ）が与えられる。そして各乗算器３４Ａ₁
〜３４Ａ_n の出力が加算回路３５によつて加算されるこ
とにより、左目用画素データＤ３Ａ（＝ｘ₁ ｗ₁ ＋ｘ₂
ｗ₂ ＋……＋ｘ_n ｗ_n ）が得られる。

【００２５】（１−３）学習による予測係数の作成 左目用の予測処理回路１１及び右目用の予測処理回路１
２の係数ＲＯＭ３０に記憶すべき予測係数は学習により
求められる。この学習では、図４に示すように、それぞ
れ視差のある位置に設けた３台のテレビジヨンカメラ
（左目用カメラＣＡＭ_L 、右目用カメラＣＡＭ_R 、中央
カメラＣＡＭ_C ）によつて同時に撮影した被写体映像を
使用する。そして、中央カメラＣＡＭ_C で撮影した映像
信号を使つて注目点毎のクラス分類を行い、各クラスに
ついて左目用カメラＣＡＭ_L 及び右目用カメラＣＡＭ_R
で撮影した映像信号を教師データとして、中央カメラＣ
ＡＭ_C の映像信号と左目用カメラＣＡＭ_L 及び右目用カ
メラＣＡＭ_R の映像信号との相関関係を表わす予測係数
を学習により求める。

【００２６】実際には、３台のカメラＣＡＭ_L 、ＣＡＭ
_R 、ＣＡＭ_C によつて撮影した映像を使用し、図５に示
すような構成の学習回路４０によつて、左目用予測係数
Ｅ３Ａ及び右目用予測係数Ｅ４Ａを求める。なお図５で
は、図１と対応する部分には図１と同一符号を付してあ
る。学習回路４０は中央カメラＣＡＭ_C から得られた中
央映像信号ＳＣに対して上述した立体視化装置１で行う
のと同様のクラス分類処理を施すことによりインデツク
スデータCLASS1′を形成し、これを係数算出回路４１及
び４２に送出する。また係数算出回路４１及び４２に
は、それぞれブロツク化回路９及び１０からブロツク化
データＥ１及びＥ２が供給される。

【００２７】さらに係数算出回路４１には左目用カメラ
ＣＡＭ_L により得られた左目用映像信号ＳＬがアナログ
デイジタル変換回路４３及び遅延回路４４を介して供給
され、係数算出回路４２には右目用カメラＣＡＭ_R によ
り得られた右目用映像信号ＳＲがアナログデイジタル変
換回路４５及び遅延回路４６を介して供給される。

【００２８】係数算出回路４１はインデツクスデータCL
ASS1′で表わされる各クラス毎に、左目用画像データＤ
Ｌを教師データとして、当該教師データを、中央映像信
号ＳＣ（ブロツク化データＥ１）と複数の係数との線形
一次結合式により表し、この係数を最小二乗法を用いた
学習によつて求めることにより左目用予測係数Ｅ３Ａを
求める。同様に、係数算出回路４２はインデツクスデー
タCLASS1′で表わされる各クラス毎に、右目用画像デー
タＤＲを教師データとして、当該教師データを、中央映
像信号ＳＣ（ブロツク化データＥ２）と複数の係数との
線形一次結合式により表し、この係数を最小二乗法を用
いた学習によつて求めることにより右目用予測係数Ｅ４
Ａを求める。そして求められた予測係数Ｅ３及びＥ４を
一旦メモリ４３に格納させ、各予測処理回路１１及び１
２（図１）に設けられている係数ＲＯＭ３０（図３）に
記憶させる。

【００２９】またタイミングコントローラ４８は、同期
抽出回路４７によつて抽出された中心映像信号ＳＣの垂
直同期信号Ｖ及び水平同期信号Ｈに基づいて、例えばブ
ロツク化回路４やブロツク化回路９、１０のブロツク化
のタイミングを合わせるための制御信号を生成する。

【００３０】次に係数算出回路４１及び４２の係数算出
処理について説明する。ここで係数算出回路４２は係数
算出４１と同様の構成でなることにより係数算出回路４
１について説明する。係数算出回路４１は、先ずブロツ
ク化データＥ１で表わされる複数の画素値（以下これを
中央画素値と呼ぶ）ｘ₁ 、ｘ₂ 、……、ｘ_n にそれぞれ
未知の係数ｗ₁ 、ｗ₂ 、……、ｗ_n を掛けることによ
り、左目用映像データＤＬで表わされる左目用画素値δ
ｙを複数の中央画素値ｘ₁ 〜ｘ_n と係数ｗ₁ 〜ｗ_n との
線形一次結合により表わす。

【００３１】具体的には、係数算出回路４１は同じクラ
スの左目用画素値δｙ₁ 〜δｙ_m それぞれについて、中
央画素値ｘ_(M.N) （但し、Ｍ＝１、２、……ｍ、Ｎ＝
１、２、……、ｎとする）と係数ｗ₁ 〜ｗ_n との線形一
次結合式を立てて、この係数ｗ₁ 〜ｗ_n を最小二乗法に
より求める。

【００３２】これについて説明すると、先ず左目用画素
値δｙ₁ 〜δｙ_m の行列式Ｙは、中央画素値ｘ_(M.N) の
行列式Ｘと係数ｗ₁ 〜ｗ_n の行列式Ｗを用いて、次式

【数１】 でなる観測方程式の形で表わすことができる。

【００３３】ここで（１）式の連立方程式を解くことに
より係数ｗ₁ 〜ｗ_n を求めればよい。これを最小二乗法
の演算により解く。すなわち先ず、（１）式を残差行列
Ｅを用いて、次式

【数２】 のように残差方程式の形に表現し直す。

【００３４】ここで（２）式から各係数ｗ₁ 〜ｗ_n の最
確値を求めるためには、ｅ₁ ²＋ｅ₂ ²＋……＋ｅ_m ² を最
小にする条件、すなわち次式

【数３】 なるｎ個の条件を入れてこれを満足する各係数ｗ₁ 〜ｗ
_n を見つければ良い。ここで（２）式より、次式

【数４】 を得、（３）式の条件をｉ＝１、２、……、ｎについて
立てればそれぞれ、次式

【数５】 が得られる。ここで（２）式及び（５）式から次式の正
規方程式が得られる。

【数６】

【００３５】ここで（６）式で表わされる正規方程式は
未知数がｎ個だけある連立方程式であるから、これによ
り最確値である各係数ｗ₁ 〜ｗ_n を求めることができ
る。正確には（６）式でｗ_i にかかる（Σｘ_jkｘ_jl）
（但しｊ＝１、……、ｍ、ｋ＝１、……、ｎ、ｌ＝１、
……、ｎ）のマトリクスが正則であれば解くことができ
る。実際には、Gauss-Jordanの消去法（掃き出し法）を
用いて連立方程式を解く。

【００３６】実際上係数算出回路４１は、図６に示すよ
うに構成すれば良い。すなわち係数算出回路４１は中央
画素値ｘ₁ 〜ｘ_n 及び左目用画素値δｙを正規方程式生
成回路５０に入力し、当該正規方程式生成回路５０によ
つてクラス毎に（６）式で表わされるような正規方程式
を生成し、続くＣＰＵ演算回路５１によつて掃き出し法
の演算によりクラス毎の係数組ｗ₁ 〜ｗ_n を求める。

【００３７】正規方程式生成回路５０は先ず乗算器アレ
イ５２によつて各画素同士の乗算を行う。乗算器アレイ
５２は、図７に示すように構成されており、四角で表わ
す各セル毎に画素同士の乗算を行い、これにより得た各
乗算結果を続く加算器メモリ５３に与える。

【００３８】加算器メモリ５３は、図８に示すように、
乗算器アレイ５２と同様に配列された複数のセルでなる
加算器アレイ５４とメモリ（又はレジスタ）アレイ５５
Ａ、５５Ｂ、……とにより構成されている。メモリアレ
イ５５Ａ、５５Ｂ、……はクラス数分だけ設けられてお
り、インデツクスデータCLASS1′をデコードするインデ
ツクスデコーダ５６の出力（クラス）に応答して一つの
メモリアレイ５５Ａ、５５Ｂ、……が選択され、選択さ
れたメモリアレイ５５Ａ、５５Ｂ、……の格納値が加算
器アレイ５４に帰還される。このとき加算器アレイ５４
により得られる加算結果が再び対応するメモリアレイ５
５Ａ、５５Ｂ、……に格納される。

【００３９】このようにして乗算器アレイ５２、加算器
アレイ５４及びメモリアレイ５５によつて積和演算が行
われ、インデツクスデータCLASS1′によつて決定される
クラス毎にメモリアレイ５５Ａ、５５Ｂ、……のいずれ
かが選択されて、積和演算の結果によつてメモリアレイ
５５Ａ、５５Ｂ、……の内容が更新される。

【００４０】なお、各々のアレイの位置は（６）式で表
わされる正規方程式のｗ_i にかかる（Σｘ_jkｘ_jl）（但
しｊ＝１、……、ｍ、ｋ＝１、……、ｎ、ｌ＝１、…
…、ｎ）の位置に対応する。（６）式の正規方程式を見
れば明らかなように右上の項を反転すれば左下と同じも
のになるため、各アレイは三角形の形状をしている。

【００４１】このようにして、ある一定期間の間に積和
演算が行われて各画素位置毎のさらに各クラス毎の正規
方程式が生成される。クラス毎の正規方程式の各項の結
果はそれぞれのクラスに対応するメモリアレイ５５Ａ、
５５Ｂ、……に記憶されており、次にそれらのクラス毎
の正規方程式の各項が掃き出し法演算を実現するＣＰＵ
演算回路５１によつて計算される。この結果各クラスの
係数組ｗ₁ 〜ｗ_n が求められ、当該係数組ｗ₁ 〜ｗ_n を
図５に示すように予測係数Ｅ３Ａとしてメモリ３０の対
応するクラスのアドレスに書き込む。

【００４２】（１−４）動作 以上の構成において、立体視化装置１は放送用信号等で
なる通常のテレビジヨン信号Ｓ１を入力すると、当該入
力テレビジヨン信号を注目点毎にクラス分類し、この分
類結果に応じた左目用の予測係数Ｅ３Ａと右目用の予測
係数Ｅ４Ａとを用いて予測演算を行うことにより、左目
用画像データＤ３Ａと右目用画像データＤ４Ａを生成す
る。この結果、左右の目に対応した画像信号を入力しな
くとも、すなわち伝送又は記録する情報量を増やさなく
ても、時間分解能を低下させることなく、それぞれの目
に対応した画像データＤ３Ａ及びＤ４Ａを生成できる。

【００４３】そして立体視化装置１は、これらの画像デ
ータＤ３Ａ及びＤ４Ａをフイールド単位で切り換えなが
らテレビジヨンモニタ１８に送出すると共に、この切換
えに同期するように液晶シヤツタ付き眼鏡２０のシヤツ
タを開閉させる。ここで各々の目に対する表示画像のフ
イールド周波数は入力したテレビジヨン信号Ｓ１のフイ
ールド周波数と同様となるため、視聴者はフリツカのな
い良好な画像を視ることができる。

【００４４】（１−５）効果 以上の構成によれば、入力テレビジヨン信号Ｓ１を、各
注目点毎に当該注目点の周辺画素のレベル分布パターン
に応じてクラス分類し、各クラスに対応して用意された
予測係数のうち、クラス分類結果CLASS1に応じた予測係
数ｗ₁ 〜ｗ_n を用いた予測演算処理を行うことで左目用
画像データＤ３Ａ及び右目用画像データＤ４Ａを生成す
るようにしたことにより、伝送又は記録情報量を増やす
ことなく、フリツカのない良好なステレオ画像を得るこ
とができる立体視化装置１を実現できる。

【００４５】（２）第２実施例 図１との対応部分に同一符号を付して示す図９におい
て、６０は全体として第２実施例による立体視化装置を
示す。立体視化装置６０は、上述したようにクラス分類
部５によつて注目点の時空間周辺画素のレベル分布パタ
ーンに基づいて各注目点をクラス分類することにより第
１のインデツクスデータCLASS1を形成することに加え
て、各注目点の画面上での水平方向の位置に基づいて各
注目点をクラス分類することにより第２のインデツクス
コードCLASS2を形成し、これら第１及び第２のインデツ
クスコードCLASS1及びCLASS2を合わせたのものをクラス
分類結果とする。これにより立体視化装置６０は、予測
処理回路６４及び６５において一段と立体感のある表示
画像を形成することができるようになされている。

【００４６】実際上、立体視化装置６０においては、タ
イミングコントローラ６１において、入力テレビジヨン
信号Ｓ１から抽出された水平同期信号Ｈを基に各注目点
の画面上での水平位置を検出する。そしてタイミングコ
ントローラ６１において、画面を２のｑ乗で分割した位
置に対する指標をｑビツトで表現したものを第２のイン
デツクスデータCLASS2として生成する。この第２のイン
デツクスデータCLASS2は左目用クラス分類適応処理部６
２の予測処理回路６４及び右目用クラス分類適応処理部
６３の予測処理回路６５に送出される。

【００４７】すなわち予測処理回路６４及び６５はクラ
ス分類回路５からｐビツトでなる第１のインデツクスデ
ータCLASS1を入力すると共にｑビツトでなる第２のイン
デツクスデータCLASS2を入力し、これらを組合わせたク
ラスに応じた予測係数を用いて予測演算処理を行うこと
により左目用画像データＤ３Ｂ及び右目用画像データＤ
４Ｂを生成する。このため予測処理回路６４及び６５の
係数ＲＯＭには、２^(p+q) クラス分の予測係数が記憶さ
れている。

【００４８】ここで両眼で物体を目視する場合において
は、その物体が水平方向のどの位置にあるかに応じて、
両眼の視差は異なるものとなる。この実施例ではこれを
考慮して、画面の水平方向を複数の領域に分割し、その
領域毎に視差の異なる予測係数を予め用意し、当該予測
係数を使つて左目用画像データＤ３Ｂと右目用画像デー
タＤ４Ｂとを生成するようにした。この結果水平方向で
変化する視差をも反映したステレオ画像を得ることがで
きることにより、一段と立体感のあるステレオ画像を得
ることができる。

【００４９】ここで、予測処理回路６４及び６５の係数
ＲＯＭに記憶される２^(p+q) クラス分の予測係数を作成
するための学習回路は、例えば図１０に示すように構成
すれば良い。図５との対応部分に同一符号を付して示す
図１０において、学習回路７０はタイミングコントロー
ラ７１によつて現在処理しようとしている注目点の画面
上の水平位置をｑビツトで表現し、これを第２のインデ
ツクスデータCLASS2′として係数算出回路７２、７３に
送出する。従つて係数算出回路７２、７３にはクラスコ
ードとして、クラス分類回路５からの第１のインデツク
スデータCLASS1′（ｐビツト）及びタイミングコントロ
ーラ７１からの第２のインデツクスデータCLASS2′（ｑ
ビツト）が供給される。

【００５０】係数算出回路７２及び７３は、２^(p+q) 個
のクラスそれぞれについて、第１実施例で上述したよう
な最小二乗法を用いた学習を行うことにより、２^(p+q)
種類の予測係数を算出する。具体的には、係数算出回路
７２及び７３は、インデツクスデコーダ５６（図６）に
第１及び第２のインデツクスデータCLASS1′及びCLASS
2′を入力し、加算器メモリ５３のメモリアレイ５５
Ａ、５５Ｂ……（図８）に２^(p+q) クラスの正規方程式
の各項の結果を記憶し、これらを続くＣＰＵ演算回路５
１によつて掃き出し法による演算により求めることによ
り、２^(p+q) クラス分の左目用予測係数Ｅ３Ｂ及び右目
用予測係数Ｅ４Ｂを得る。

【００５１】かくしてこの実施例による学習では、単に
注目点周辺のレベル分布パターンが同じであるからとい
つてそれらを全てまとめて学習するのではなく（このよ
うにすると水平方向で異なるはずの視差が平均化されて
相殺されてしまう）、レベル分布パターンが同じであつ
てもその画素の水平位置でさらにクラス分けし、この結
果得られた各クラス毎に予測係数を求めたことにより、
物体の水平位置が異なる場合の視差を反映した予測係数
Ｅ３Ｂ及びＥ４Ｂを求めることができる。

【００５２】ここで立体視化装置６０及び学習回路７０
のタイミングコントローラ６１及び７１は、例えば図１
１（Ａ）に示すような簡易な構成で実現できる。すなわ
ちタイミングコントローラ６１、７１は同期抽出回路２
１、４７により抽出された画素クロツク信号Ｓ_CLK をカ
ウンタ７４のクロツク端子に入力する。また画素クロツ
クＳ_CLK をＤフリツプフロツプ７５のクロツク端子に入
力すると共に水平同期信号Ｓ_HSYNC をＤフリツプフロツ
プ７５のＤ入力端子に入力する。そしてＤフリツプフロ
ツプ７５の反転出力及び水平同期信号Ｓ_HSYNC を論理積
否定回路ＮＡＮＤに入力させる。これによりＤフリツプ
フロツプ７５及び論理積否定回路ＮＡＮＤによつて水平
同期信号Ｓ_HSYNC の立上りが微分される。そしてこの立
上り微分信号をカウンタ７４のクリア端子に反転させて
入力させる。

【００５３】この結果カウンタ７４では、注目点の水平
方向の位置が画面の左隅をカウント開始点として順次画
素クロツクごとにカウントされる。この実施例の場合に
は、水平方向の画素数が 720画素であるため、注目点の
水平位置に応じて 0〜 720のカウント値が得られる。そ
してカウンタ７４により得られたカウント値が続くエン
コーダ７６によつてエンコードされることにより、第２
のインデツクスデータCLASS2（CLASS2′）が形成され
る。なおエンコーダ７６はＲＯＭ（Read Only Memory）
等により簡易に構成できる。

【００５４】ここで例えば第２のインデツクスデータCL
ASS2（CLASS2′）を３ビツトとする場合には、図１１
（Ｂ）に示すように画面を水平方向に８分割することに
なり、カウント値に基づいて各注目点を領域「０」〜
「７」のいずれかに振り分けることになる。すなわちカ
ウント値が「０」〜「720/8 」までの注目点は領域
「０」に割り当てられ、カウント値が「720/8 」〜「2
×720/8 」までの注目点は領域「１」に割り当てられ
る。この割り当てられた領域が第２のインデツクスデー
タCLASS2（CLASS2′）によつて示される。なお、図１１
（Ｂ）では、画面の水平方向をほぼ等間隔で分割してい
るが、例えば画面の中央の領域ほど領域を広く設定する
ようにしても良い。このような設定は、エンコーダ（Ｒ
ＯＭ）７６の内容を変更すれば容易に実現できる。

【００５５】以上の構成によれば、各注目点が画面上の
どの水平位置にあるかをクラス分類に反映したことによ
り、第１実施例の効果に加えて、一段と立体感のあるス
テレオ画像を得ることができる。

【００５６】（３）第３実施例 図１との対応部分に同一符号を付して示す図１２におい
て、８０は全体として第３実施例の立体視化装置を示
す。立体視化装置８０は入力テレビジヨン信号Ｓ１をそ
のまま右目用画像表示のための信号として使用する。従
つて右目用クラス分類適応処理部７（図１）が省略され
ている。これによりこの実施例の立体視化装置８０にお
いては、第１実施例や第２実施例の立体視化装置１、６
０に比べて構成を簡略化できる。

【００５７】実際上、立体視化装置８０はクラス分類回
路５からのインデツクスデータCLASS1を左目用クラス分
類適応処理部６の予測処理回路８１に送出し、当該予測
処理回路８１によつて上述したのと同様の予測演算処理
を行うことにより左目用画像データＤ３Ｃを形成し、こ
れをフレームメモリ１３に供給する。また立体視化装置
８０は遅延回路８から出力された単にデイジタル変換し
ただけの画像データを、遅延回路８２によつて左目用ク
ラス分類適応処理部６での処理時間だけ遅延させた後フ
レームメモリ１４に供給する。そしてフレームメモリ１
４に格納した画像データＤ４Ｃを右目用画像データとし
て使用する。

【００５８】フレームメモリ１３及び１４に格納された
左目用及び右目用画像データＤ３Ｃ、Ｄ４Ｃは、上述し
たようにタイミングコントローラ１７によつて読出し制
御される。最終的には、テレビジヨンモニタ１８に入力
テレビジヨン信号Ｓ１に対して２倍のフイールド周波数
でなる左目用画像信号及び右目用画像信号がフイールド
おきに交互に供給される。

【００５９】実際上この実施例では、予測処理回路８１
に設けられている予測係数を上述した第１及び第２実施
例とは若干異なるものとしていることで、一方の目用の
クラス分類適応処理部を省略し、入力テレビジヨン信号
Ｓ１を一方の目用の信号として用いることができるので
ある。以下、この実施例の予測係数の学習による求め方
について説明する。

【００６０】この学習では、図１３に示すように、それ
ぞれ両眼の視差に対応する位置に設けられた左目用カメ
ラＣＡＭ_L 及び右目用カメラＣＡＭ_R の２台のテレビジ
ヨンカメラによつて同時に撮影した被写体映像を使用す
る（すなわち中央カメラを用いない点が第１実施例と異
なる）。そして右目用カメラＣＡＭ_R で撮影した映像信
号を使つて注目点毎のクラス分類を行い、各クラスにつ
いて左目用カメラＣＡＭ_L で撮影した映像信号を教師デ
ータとして、右目用カメラＣＡＭ_R の映像信号と左目用
カメラＣＡＭ_L の映像信号の相関関係を表わす予測係数
を学習により求める。

【００６１】実際には、２台のカメラによつて撮影した
映像映像信号ＳＬ、ＳＲを、図１４に示すような学習回
路９０に入力することにより予測係数を算出する。すな
わち図５との対応部分に同一符号を付して示す図１４に
おいて、学習回路９０は右目用カメラＣＡＭ_R から得ら
れた右目用映像信号ＳＲを用いてクラス分類回路５によ
つてクラス分類処理を施すことによりインデツクスデー
タCLASS1′を形成し、これを係数算出回路４１に送出す
る。また係数算出回路４１には、ブロツク化回路９から
ブロツク化データＥ１が供給される。

【００６２】さらに係数算出回路４１には左目用カメラ
ＣＡＭ_L により得られた左目用映像信号ＳＬがアナログ
デイジタル変換回路４３及び遅延回路４４を介して供給
される。そして係数算出回路４１は、第１実施例で説明
したように、最小二乗法を用いた学習によつて、各クラ
ス毎に左目用の予測係数Ｅ３Ｃを求めていく。この結果
得られたクラス毎の予測係数Ｅ３Ｃがメモリ４３に格納
され、最終的には予測処理回路８１（図１２）の係数Ｒ
ＯＭに記憶される。

【００６３】かくして、第３実施例の立体視化装置８０
によれば、入力テレビジヨン信号Ｓ１をそのまま一方の
目に対応する画像として表示するようにしたことによ
り、一方の目に対応する画像を生成するためのクラス分
類適応適応処理部を省略し得、この結果上述した第１実
施例の効果に加えて、構成を簡略化するという効果を得
ることができる。

【００６４】（４）第４実施例 図９及び図１２との対応部分に同一符号を付して示す図
１５は、第４実施例の立体視化装置を示す。この実施例
の立体視化装置１００は、第３実施例で上述したように
片目用の画像のみをクラス分類適応処理部６によつて生
成し、もう片目用の画像は入力テレビジヨン信号Ｓ１の
そのまま用いると共に、第２実施例で上述したように各
注目点が画面上のどの水平位置にあるかを示す第２のイ
ンデツクスデータCLASS2を第１のインデツクスデータCL
ASS1に加えてクラス分類の指標として用いるようになさ
れている。すなわち立体視化装置１００は、第２実施例
の長所と第３実施例の長所を兼ね備えた構成を有する。

【００６５】図１０及び図１４との対応部分に同一符号
を付して示す図１６は、この実施例の予測係数を作成す
るための学習回路を示す。学習回路１１０は、クラス分
類回路５において、右目用カメラＣＡＭ_R で撮影した映
像信号ＳＲを使つて注目点周辺のレベル分布パターンに
応じた第１のインデツクスデータCLASS1′を形成すると
共に、タイミングコントローラ７１において、注目点の
画面上の水平位置を表わす第２のインデツクスデータCL
ASS2′を形成し、これらを係数算出回路７２に送出す
る。係数算出回路７１は各クラス（２^(p+q) クラス）に
ついて、左目用カメラＣＡＭ_L で撮影した映像信号ＳＬ
（ＤＬ）を教師として、右目用カメラＣＡＭ_R の映像信
号ＳＲ（Ｅ１）と左目用カメラＣＡＭ_L の映像信号ＳＬ
（ＤＬ）の相関関係を表わす予測係数Ｅ３Ｄを学習によ
り求める。

【００６６】かくして、第４実施例の立体視化装置１１
０によれば、入力テレビジヨン信号Ｓ１をそのまま一方
の目に対応する画像として表示するようにしたことによ
り一方の目に対応する画像を生成するためのクラス分類
適応適応処理部を省略し得る分構成を簡略化し得ると共
に、各注目点が画面上のどの水平位置にあるかをクラス
分類に反映したことにより立体感の高いステレオ画像を
形成し得る。

【００６７】（５）第５実施例 図９との対応部分に同一符号を付して示す図１７におい
て、この実施例の立体視化装置１２０は、左目用クラス
分類適応処理部１２１及び右目用クラス分類適応処理部
１２２において係数ＲＯＭ１２３を共有することを除い
て第２実施例の立体視化装置６０と同様の構成を有す
る。

【００６８】すなわち立体視化装置１２０では、左目用
の予測処理回路と右目用の予測処理回路とにそれぞれ独
立に係数ＲＯＭを設けるのではなく、１つの係数ＲＯＭ
１２３を右目用と左目用とで共有して用いることによ
り、使用する係数ＲＯＭ１２３の容量を削減するように
なされている。次にこれを実現するための原理構成につ
いて説明する。なお、以下の説明では、説明を簡単化す
るためにレベル分布パターンによるクラス（CLASS1）は
除外して考える。

【００６９】図１８に示すように、タイミングコントロ
ーラ６１により分類されたクラスのうち、画面上の水平
方向の中心位置（図１１（Ｂ）参照）を境として片側の
みのクラスに対応した左目用及び右目用の予測係数を係
数ＲＯＭ１２３に記憶させておく。そしてタイミングコ
ントローラ６１によつて分類されたクラス（すなわちイ
ンデツクスデータCLASS2）に対応する予測係数が係数Ｒ
ＯＭ１２３に存在するときにはそれぞれの目用の予測係
数を係数ＲＯＭ１２３から読み出して各予測演算回路３
１Ａ、３１Ｂに供給し、分類されたクラスに対応する予
測係数が係数ＲＯＭ１２３に存在しないときには当該ク
ラスに対応した他方の目用の予測係数を各予測演算回路
３１Ａ、３１Ｂに供給する。これにより予測演算回路３
１Ａ及び３１Ｂに対応する予測係数ＲＯＭを独立に２つ
設ける場合と比較して、メモリ容量を半分にすることが
できる。

【００７０】すなわち図１１（Ｂ）のように画面を水平
方向に例えば８個の領域に分割するクラス分けを行つた
場合、例えば注目点が領域「７」にある場合を考える
と、この水平位置での左目用の予測係数としては右目用
の領域「０」に対応する予測係数を用いることができ
る。同様に注目点が領域「７」にある場合の、右目用の
予測係数としては左目用の領域「０」に対応する予測係
数を用いることができる。

【００７１】また例えば注目点が領域「６」にある場合
には、左目用の予測係数としては右目用の領域「１」に
対応する予測係数を用いることができ、右目用の予測係
数としては左目用の領域「１」の予測係数を用いること
ができる。従つて、用意すべき予測係数は左目用及び右
目用共に、４つのクラスのものでだけで良く、図からも
明らかなように記憶すべき予測係数の量を半分にするこ
とができる。

【００７２】かくして、この実施例の立体視化装置１２
０によれば、予測係数を共有化するようしたことによ
り、左目用及び右目用の予測係数を独立に設ける場合と
比較してメモリ容量を半減させることができ、この分構
成を簡略化し得る。

【００７３】（６）第６実施例 図１９に第６実施例による立体視化装置の構成を示す。
図９との対応部分に同一符号を付して示す図１９におい
て、この実施例の立体視化装置１３０はクラス分類部１
３１がエツジ検出部１３２及びレベルパターン分類部１
３３により構成されている。エツジ検出部１３２は注目
点の時空間周辺の画素がエツジかそうでないかを１ビツ
トで表現し、この検出結果を第３のインデツクスデータ
CLASS3として予測処理回路１３６及び１３７に送出す
る。なおレベルパターン分類部１３３は、上述した第１
〜第５実施例のクラス分類部５と同様に、注目点の時空
間周辺画素のレベルパターンに基づく第１のインデツク
スコードCLASS1を形成し、これを予測処理回路１３６及
び１３７に送出する。

【００７４】これにより立体視化装置１３０において
は、入力テレビジヨン信号Ｓ１の特性を一段と反映した
クラス分けができることにより、最終的な表示画像を一
段と実際の物を両目でみた場合の画像に近づけることが
できる。なお予測処理回路１３６及び１３７の係数ＲＯ
Ｍには２^(p+q+1) クラス分の予測係数が記憶されてい
る。

【００７５】その予測係数を作成するための学習回路
は、図２０に示すように構成すれば良い。図１０及び図
１９との対応部分に同一符号を付して示す図２０におい
て、学習回路１４０は係数算出回路１４１、１４２にレ
ベルパターン分類部１３３からの第１のインデツクスデ
ータCLASS1′、タイミングコントローラ７１からの第２
のインデツクスデータCLASS2′及びエツジ検出部１３２
からの第３のインデツクスデータCLASS3′を供給する。

【００７６】係数算出回路１４１、１４２は、第１〜第
３のインデツクスデータCLASS1′〜CLASS3′で表わされ
る２^(p+q+1) 個のクラスそれぞれについて、第１実施例
で上述したような最小二乗法を用いた学習を行うことに
より、２^(p+q+1) 種類の予測係数を算出する。具体的に
は、係数算出回路１４１及び１４２は、インデツクスデ
コーダ５６（図６）に第１〜第３のインデツクスデータ
CLASS1′〜CLASS3′を入力し、加算器メモリ５３のメモ
リアレイ５５Ａ、５５Ｂ……（図８）に２^(p+q+1) 個の
クラス毎の正規方程式の各項の結果を記憶し、これらを
続くＣＰＵ演算回路５１によつて掃き出し法による演算
により求めることにより、２^(p+q+1) クラス分の左目用
及び右目用の予測係数Ｅ３Ｆ及びＥ４Ｆを得る。

【００７７】かくしてこの実施例による学習では、注目
点の周辺画素のレベル分布パターン及び注目点の水平位
置に加えて、注目点周辺にエツジが存在するか否かをも
考慮したクラス分けを行い、そのクラス毎に予測係数を
求めるようにしたことにより、一段と画像の特徴の似通
つたもの同志の学習データを用いて予測係数Ｅ３Ｆ及び
Ｅ４Ｆを求めることができる。従つて、立体視化装置１
３０では、この予測係数Ｅ３Ｆ及びＥ４Ｆを用いて左目
用及び右目用の画像を生成できるため、一段と実物に近
いステレオ画像を生成することができるようになる。

【００７８】ここで立体視化装置１３０及び学習回路１
４０に用いるエツジ検出部１３２は、例えば図２１又は
図２２で示すように構成すれば良い。図２１に示すエツ
ジ検出部１３２Ａは、ブロツク内ダイナミツクレンジの
大小によつてインデツクスデータCLASS3（CLASS3′）を
形成する。すなわちエツジ検出部１３２Ａは、ブロツク
化回路４（図１９、図２０）から出力されたブロツク内
画素データにおける画素レベルの最大値及び最小値を最
大値検出回路１５０及び最小値検出回路１５１によつて
それぞれ検出し、続く差分回路１５２によつてそれらの
差分値を算出することによりブロツク内ダイナミツクレ
ンジを算出する。そして比較回路１５３によつてダイナ
ミツクレンジと所定の閾値ＴＨとを比較し、ダイナミツ
クレンジが閾値よりも大きい場合にはエツジあることを
示すインデツクスデータCLASS3（CLASS3′）を出力する
と共に、ダイナミツクレンジが閾値ＴＨ以下の場合には
エツジがないことを示すインデツクスデータCLASS3（CL
ASS3′）を出力する。

【００７９】図２２に示すエツジ検出部１３２Ｂはラプ
ラシアンフイルタの結果を閾値判定することによつてイ
ンデツクスデータCLASS3（CLASS3′）を発生する。すな
わちエツジ検出部１３２Ｂ（図２２（Ａ））は、ブロツ
ク化回路４（図１９、図２０）の出力に対してラプラシ
アンフイルタ１５４によつてフイルタ処理を施し（この
フイルタ係数としては、例えば図２２（Ｂ）に示すよう
になものを用いればよい）、その出力を絶対値化回路１
５５を介して比較回路１５６に送出する。比較回路１５
６は絶対値化回路１５５の出力と閾値ＴＨとを比較し、
絶対値が閾値ＴＨよりも大きい場合にはエツジがあるこ
とを示すインデツクスデータCLASS3（CLASS3′）を出力
すると共に、絶対値が閾値ＴＨ以下の場合にはエツジが
ないことを示すインデツクスデータCLASS3（CLASS3′）
を出力する。

【００８０】以上のようにこの実施例の立体視化装置１
３０によれば、注目点周辺にエツジがあるか否かによる
クラス分けも行うようにしたことにより、一段と良好な
ステレオ画像を得ることができる。

【００８１】（７）第７実施例 図２３に第７実施例の立体視化装置の構成を示す。図１
９との対応部分に同一符号を付して示す図２３におい
て、この実施例の立体視化装置１６０におけるクラス分
類部１６１はレベルパターン分類部１３３、エツジ検出
部１３２に加えて動き検出部１６２を有する。これによ
りクラス分類部１６１は、レベルパターン分類部１３３
において注目点の時空間周辺画素のレベル分布パターン
に基づくクラス分類、エツジ検出部１３２において注目
点周辺のエツジの有無に基づくクラス分類に加えて、注
目点の周辺画素の動きに基づくクラス分類を行い、当該
動きに基づく分類結果を第４のインデツクスデータCLAS
S4として予測処理回路１６５、１６６に送出する。

【００８２】この結果立体視化装置１６０においては、
さらに一段と画像の特徴の似通つたもの同志でクラスを
形成し得ることにより、最終的な表示ステレオ画像をさ
らに一段と実物に近づけることができる。ここで第４の
インデツクスデータCLASS4をｒビツトとすると、立体視
化装置１６０は、２^(p+q+1+r) 個のクラスを用いた予測
処理によつて左目用及び右目用の画像データＤ３Ｇ及び
Ｄ４Ｇを求めることになる。そのため予測処理回路１６
３及び１６４の係数ＲＯＭには２^(p+q+1+r) クラス分の
予測係数が記憶されている。

【００８３】その予測係数を作成するための学習回路
は、図２４に示すように構成すれば良い。図２０及び図
２３との対応部分に同一符号を付して示す図２４におい
て、学習回路１７０は係数算出回路１７１、１７２にレ
ベルパターン分類部１３３からの第１のインデツクスデ
ータCLASS1′、タイミングコントローラ７１からの第２
のインデツクスデータCLASS2′、エツジ検出部１３２か
らの第３のインデツクスデータCLASS3′及び動き検出部
１６２からの第４のインデツクスデータCLASS4′を供給
する。

【００８４】係数算出回路１７１、１７２は、第１〜第
４のインデツクスデータCLASS1′〜CLASS4′で表わされ
る２^(p+q+1+r) 個のクラスそれぞれについて、第１実施
例で上述したような最小二乗法を用いた学習を行うこと
により、２^(p+q+1+r) 種類の予測係数を算出する。具体
的には、係数算出回路１７１及び１７２は、インデツク
スデコーダ５６（図６）に第１〜第４のインデツクスデ
ータCLASS1′〜CLASS4′を入力し、加算器メモリ５３の
メモリアレイ５５Ａ、５５Ｂ……（図８）に２
^(p+q+1+r) 個のクラス毎の正規方程式の各項の結果を記
憶し、これらを続くＣＰＵ演算回路５１によつて掃き出
し法による演算により求めることにより、２^(p+q+1+r)
クラス分の予測係数Ｅ３Ｇ、Ｅ４Ｇを得る。

【００８５】かくしてこの実施例による学習では、注目
点周辺のレベル分布パターン、注目点の水平位置及び注
目点周辺のエツジの有無に加えて、注目点周辺の動きを
も考慮したクラス分けを行い、そのクラス毎に予測係数
を求めるようにしたことにより、第６実施例よりもさら
に一段と画像の特徴の似通つたもの同志の学習データを
用いて左目用及び右目用の予測係数Ｅ３Ｇ及びＥ４Ｇを
求めることができる。従つて、立体視化装置１６０で
は、この予測係数Ｅ３Ｇ、Ｅ４Ｇを用いて左目用及び右
目用画像を生成できるため、一段と立体感のある近いス
テレオ表示画像を生成することができるようになる。

【００８６】ここで立体視化装置１６０及び学習回路１
７０に用いる動き検出部１６２は、例えば図２５に示す
ように構成すれば良い。動き検出部１６２は、ブロツク
化回路４（図２３、図２４）の出力の現フレームデータ
と過去フレームデータを差分回路１８０を介して絶対値
和回路１８１に供給することにより、現フレームと過去
フレームの差分の絶対値和Ｍを計算し、当該絶対値和Ｍ
をＲＯＭ１８２に送出する。ＲＯＭ１８２には、図２５
（Ｂ）に示すような内容のＲＯＭテーブルが設けられて
おり、入力された絶対値和Ｍの値を複数の閾値Ｔｈ1 〜
Ｔｈ7 と比較し、絶対値和Ｍの値に応じたｒビツト（図
２５（Ｂ）ではｒ＝３の場合を示す）の第４のインデツ
クスデータCLASS4（CLASS4′）を出力する。なお図２５
（Ｂ）では、上から下の順に順次動きが大きくなる場合
を表わす。すなわち0 ≦Ｍ <Ｔｈ1 の場合は動きが無い
か又は非常に小さい場合あり、Ｔｈ7 ≦Ｍの場合は動き
が表示に大きい場合である。

【００８７】以上のようにこの実施例の立体視化装置１
６０によれば、注目点周辺の動きに応じたクラス分けも
行うようにしたことにより、一段と良好なステレオ画像
を得ることができる。

【００８８】（８）第８実施例 図２６に第８実施例の立体視化装置を示す。図９との対
応部分に同一符号を付して示す図２６において、この実
施例の立体視化装置１８０は、シーンチエンジがない場
合に、予測処理回路６４及び６５によつて生成された左
目用画像データＤ３Ｂ及び右目用画像データＤ４Ｂのど
ちらか一方を複数フレーム分だけ遅延させて、フレーム
１３又は１４に供給するようになされている。

【００８９】すなわち立体視化装置１８０においては、
シーンチエンジがない場合には、左右の目の画像のどち
らか一方の画像を遅延させることにより、特に動きのあ
る画像を一段と立体感のあるとして表示し得るようにな
されている。これに対して、シーンチエンジがある場合
には、一方の画像を遅延させてしまうと左右の目には全
く異なるシーンの画像が表示されてしまうので、このよ
うな場合には遅延させずにそのまま表示するようになさ
れている。

【００９０】実際上立体視化装置１８０においては、右
目用の予測処理回路６５から出力された右目用画像デー
タＤ４Ｂを複数フレーム分の遅延時間を有する遅延回路
１８１を介して選択回路１８２に供給すると共に、直接
選択回路１８２に供給する。またアナログデイジタル変
換回路２の出力をシーンチエンジ検出回路１８３に与え
る。シーンチエンジ検出回路１８３は、例えばフレーム
差分の絶対値の総和等に基づいてシーンチエンジの有無
を検出し、当該検出結果を選択回路１８２に送出する。
選択回路１８２はシーンチエンジがないことを表わす検
出結果信号が与えられた場合には遅延回路１８１の出力
をフレームメモリ１４に供給し、シーンチエンジがある
ことを表わす検出結果信号が与えられた場合には予測処
理回路６５から直接供給された出力をフレームメモリ１
４に供給する。

【００９１】かくしてこの実施例の立体視化装置１８０
によれば、動きのある画像をより立体感のあるとして表
示し得ると共に、シーンチエンジの際に不自然な画像が
表示されることを未然に回避できる。

【００９２】（９）他の実施例 なお上述の実施例においては、液晶シヤツタ付き眼鏡２
０を設け、テレビジヨンモニタ１８に表示した左目用画
像及び右目用画像を液晶シヤツタ付き眼鏡２０を通して
目視するようにした場合について述べたが、本発明はこ
れに限らず、例えばテレビジヨンモニタ１８にレンチキ
ユラレンズを設け、予測処理手段によつて生成した左目
用画像及び右目用画像をテレビジヨンモニタにストライ
プ状に交互に表示するようにした場合でも上述の実施例
と同様の効果を得ることができる。

【００９３】また上述の実施例においては、注目点の時
空間周辺画素のレベル分布パターンに応じてクラス分類
するレベルパターンクラス分類手段としてＡＤＲＣによ
る圧縮手法を用いた場合について述べたが、本発明はこ
れに限らず、例えば離散コサイン変換（ＤＣＴ）、差分
量子化（ＤＰＣＭ）やＢＴＣ（Block Truncation Codin
g ）等の種々の圧縮手法を用いることができる。

【００９４】また上述の第７実施例においては、注目点
の時空間周辺画素の動きに基づいて各注目点をクラス分
類する動きクラス分類手段として、注目点を含むブロツ
クのフレーム差分の絶対値和を所定の閾値と比較するこ
とより動きの度合を検出し、当該検出結果をｒビツトの
インデツクスデータCLASS4（CLASS4′）として出力する
動き検出部１６２を用いた場合について述べたが、本発
明はこれに限らず、例えば画素単位のブロツクマツチン
グを行うことにより動きベクトルを求め、当該動きベク
トルに基づいてインデツクスデータCLASS4（CLASS4′）
を形成するようにしても良く、または動きの方向のみを
検出し、当該動き方向に基づいてインデツクスデータCL
ASS4（CLASS4′）を形成するようにしても良い。

【００９５】また上述の第１実施例ではレベル分布パタ
ーンに応じたクラス分類を行い、第２実施例ではレベル
分布パターン及び水平方向位置を組合わせたクラス分類
を行い、第６実施例ではレベル分布パターン、水平方向
位置及びエツジの有無を組合わせたクラス分類を行い、
第６実施例ではレベル分布パターン、水平方向位置、エ
ツジの有無及び動きを組合わせたクラス分類を行うよう
にした場合について述べたが、本発明はこれに限らず、
例えばレベル分布パターン及び動きを組合わせたクラス
分類を行うようにしても良く、種々の組合せを選択する
ことができる。

【００９６】また上述の第５実施例においては、係数Ｒ
ＯＭ１２３を左目用の予測演算回路３１Ａ及び右目用の
予測演算回路３１Ｂで共有化することにより、予測係数
を記憶するためのメモリ容量を半減させた場合について
述べたが、本発明はこれに限らず、タイミングコントロ
ーラ６１によつて分類されたクラスのうち、画面上の水
平方向の中心位置（図１１（Ｂ）参照）を境として片側
のみのクラスに対応した左目用及び右目用の予測係数を
それぞれの係数ＲＯＭに記憶させておき、タイミングコ
ントローラ６１によつて分類されたクラス（すなわちイ
ンデツクスデータCLASS2）に対応する予測係数が係数Ｒ
ＯＭに存在するときにはそれぞれの目用の予測係数を係
数ＲＯＭから読み出して各予測演算回路に供給し、分類
されたクラスに対応する予測係数が係数ＲＯＭに存在し
ないときには画面上の水平方向の中心位置からみて当該
クラスによつて表わされる水平位置と対称な位置のクラ
スの予測係数の順序を反転したものを各予測演算回路に
供給するようにしても係数ＲＯＭに記憶すべき予測係数
の量を半減させてメモリ容量を低減することができる。

【００９７】要するに、各予測処理回路６４、６５（図
９）において、画面の水平方向中心を境として右側領域
と左側領域とで予測係数を共有することにより、各係数
ＲＯＭに記憶すべき予測係数の量を半減させる方法であ
る。すなわち係数ＲＯＭから予測演算部３１の乗算回路
３４Ａ₁ 〜３４Ａ_n に供給する予測係数ｗ₁ 〜ｗ_n の順
序を水平領域の中心を境として左側領域と右側領域とで
反転させれば、各係数ＲＯＭに領域「０」〜領域「３」
までの予測係数のみを記憶すれば全領域「０」〜「７」
に対応した予測演算ができるようになる（図１１（Ｂ）
参照）。

【００９８】図２７に示すように、例えば注目点が領域
「７」にある場合を考えると、この水平位置での予測係
数としては領域「０」で用いた予測係数ｗ₁ 〜ｗ_n を、
その順序を反転させて各乗算器３４Ａ₁ 〜３４Ａ_n に供
給すれば領域「７」に対応した左目用画像データ又は右
目用画像データを生成することができる。かくして、各
係数ＲＯＭに領域「４」〜領域「７」までの予測係数を
記憶する必要がなくなることにより係数ＲＯＭの容量を
有効に削減し得る。

【００９９】また上述の実施例においては、予測係数を
記憶させる記憶手段として、ＲＯＭを用いた場合につい
て述べたが、ＲＡＭ（Random Access Memory）やＳＲＡ
Ｍを用いるようにしても良い。

【０１００】さらに上述の実施例においては、本発明に
よる立体視化装置及び方法を全てハードウエアによつて
実現する場合について述べたが、本発明はこれに限ら
ず、デイジタル化されたデータを計算機に取り込むこと
によりソフトウエアによつて実現するようにしても良
い。

【０１０１】

【発明の効果】上述のように本発明によれば、入力テレ
ビジヨン信号を、各注目点毎に当該注目点の周辺画素の
状態に応じてクラス分類するクラス分類手段と、各クラ
スに対応して用意された予測係数のうち、クラス分類手
段による分類結果に応じた予測係数を用いた予測演算処
理を行うことにより、左目用の画像信号及び右目用の画
像信号を生成する予測処理手段とを設けるようにしたこ
とにより、左右の目に対応したテレビジヨン信号を入力
させずとも左右の目に対応した画像信号を生成でき、か
くして記録情報量又は伝送情報量を増やさずに良好なス
テレオ画像を得ることができる。

【図面の簡単な説明】

【図１】第１実施例の立体視化装置の構成を示すブロツ
ク図である。

【図２】予測ブロツク化回路により形成される予測ブロ
ツクの説明に供する略線図である。

【図３】予測処理回路の構成を示すブロツク図である。

【図４】学習に用いる映像の説明に供する略線図であ
る。

【図５】第１実施例の学習回路の構成を示すブロツク図
である。

【図６】係数算出回路の構成を示すブロツク図である。

【図７】乗算器アレイの構成を示す略線図である。

【図８】加算器メモリの構成を示す略線図である。

【図９】第２実施例の立体視化装置の構成を示すブロツ
ク図である。

【図１０】第２実施例の学習回路の構成を示すブロツク
図である。

【図１１】注目画素の水平方向位置を検出する構成の説
明に供する略線図である。

【図１２】第３実施例の立体視化装置の構成を示すブロ
ツク図である。

【図１３】第３実施例の学習に用いる映像の説明に供す
る略線図である。

【図１４】第３実施例の学習回路の構成を示すブロツク
図である。

【図１５】第４実施例の立体視化装置の構成を示すブロ
ツク図である。

【図１６】第４実施例の学習回路の構成を示すブロツク
図である。

【図１７】第５実施例の立体視化装置の構成を示すブロ
ツク図である。

【図１８】第５実施例において係数ＲＯＭから予測演算
回路に供給する予測係数の説明に供する略線図である。

【図１９】第６実施例の立体視化装置の構成を示すブロ
ツク図である。

【図２０】第６実施例の学習回路の構成を示すブロツク
図である。

【図２１】ダイナミツクレンジによりエツジ検出を行う
場合のエツジ検出部の構成を示すブロツク図である。

【図２２】ラプラシアンフイルタによるエツジ検出を行
う場合のエツジ検出部の構成を示すブロツク図である。

【図２３】第７実施例の立体視化装置の構成を示すブロ
ツク図である。

【図２４】第７実施例の学習回路の構成を示すブロツク
図である。

【図２５】動き検出回路の構成例を示す略線図である。

【図２６】第８実施例の立体視化装置の構成を示すブロ
ツク図である。

【図２７】第５実施例に対する変形例の説明に供する略
線図である。

【符号の説明】

１、６０、８０、１００、１２０、１３０、１６０、１
８０……立体視化装置、５、１３１、１６１……クラス
分類回路、６、６２、１２１、１３４、１６３……左目
用クラス分類適応処理部、７、６３、１２２、１３５、
１６４……右目用クラス分類適応処理部、１１、１２、
６４、６５、８１、１０１、１３６、１３７、１６５、
１６６……予測処理回路、１３、１４……フレームメモ
リ、１５……マルチプレクサ、１７、４８、６１、７１
……タイミングコントローラ、１８……テレビジヨンモ
ニタ、２０……液晶シヤツタ付き眼鏡、３０、１２３…
…係数ＲＯＭ、３１、３１Ａ、３１Ｂ……予測演算部、
３４Ａ₁ 〜３４Ａ_n ……乗算器、４０、７０、９０、１
１０、１４０、１７０……学習回路、４１、４２、７
２、７３、１４１、１４２、１７１、１７２……予測係
数算出回路、１３２……エツジ検出部、１３３……レベ
ルパターン分類部、１６２……動き検出部、１８１……
遅延回路、１８２……選択回路、１８３……シーンチエ
ンジ検出信号生成回路、Ｓ１……入力テレビジヨン信
号、Ｓ２Ａ〜Ｓ２Ｈ……表示画像信号、Ｄ１、Ｄ２……
予測画素データ、CLASS1、CLASS1′、CLASS2、CLASS
2′、CLASS3、CLASS3′、CLASS4、CLASS4′……インデ
ツクスデータ、Ｄ３Ａ〜Ｄ３Ｇ……左目用画像データ、
Ｄ４Ａ〜Ｄ４Ｇ……右目用画像データ、Ｄ５Ａ〜、Ｄ５
Ｈ……表示画像データ、ｗ₁ 〜ｗ_n ……予測係数、ＳＣ
……中央映像信号、ＳＬ……左目用映像信号、ＳＲ……
右目用映像信号、Ｅ３Ａ、Ｅ３Ｂ、Ｅ３Ｃ、Ｅ３Ｄ、Ｅ
３Ｆ、Ｅ３Ｇ……左目用予測係数、Ｅ４Ａ、Ｅ４Ｂ、Ｅ
４Ｆ、Ｅ４Ｇ……右目用予測係数。

Claims (34)

【特許請求の範囲】
1. 【請求項１】入力テレビジヨン信号に基づく立体画像を
   表示させる立体視化装置において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
   の周辺画素の分布状態に基づいてクラス分類するクラス
   分類手段と、 各クラスに対応して用意された予測係数のうち、上記ク
   ラス分類手段による分類結果に応じた予測係数を用いた
   予測演算処理を行うことにより、左目用の画像信号及び
   右目用の画像信号を生成する予測処理手段と、 上記左目用画像信号及び右目用画像信号を所定周期で交
   互に切り換えて出力する出力手段と、 出力された左目用画像信号及び右目用画像信号を表示す
   る表示手段とを具えることを特徴とする立体視化装置。
2. 【請求項２】上記出力手段の出力周期に同期して左目用
   シヤツタ及び右目用シヤツタが開閉される液晶シヤツタ
   付き眼鏡を具えることを特徴とする請求項１に記載の立
   体視化装置。
3. 【請求項３】上記予測処理手段は、 予め学習により求められた各クラスに対応した左目用の
   予測係数が記憶された左目用予測係数記憶手段と、 予め学習により求められた各クラスに対応した右目用の
   予測係数が記憶された右目用予測係数記憶手段と、 上記クラス分類手段による分類結果に応じて上記左目用
   予測係数記憶手段から出力された予測係数と上記注目点
   の周辺画素値とを用いた線形一次結合式に基づく演算を
   行うことにより上記左目用画像信号を生成する左目用予
   測演算手段と、 上記クラス分類手段による分類結果に応じて上記右目用
   予測係数記憶手段から出力された予測係数と上記注目点
   の周辺画素値とを用いた線形一次結合式に基づく演算を
   行うことにより上記右目用画像信号を生成する右目用予
   測演算手段とを具えることを特徴とする請求項１に記載
   の立体視化装置。
4. 【請求項４】上記予測係数は、 互いに視差のある位置に設けられた中央のテレビジヨン
   カメラ、左目用のテレビジヨンカメラ及び右目用のテレ
   ビジヨンカメラによつて得た撮影テレビジヨン信号のう
   ち、中央の撮影テレビジヨン信号を上記クラス分類手段
   と同様の手法によりクラス分類し、 分類された各クラス毎に、上記左目用の撮影テレビジヨ
   ン信号及び上記右目用の撮影テレビジヨン信号を教師デ
   ータとして、当該教師データを、上記中央の撮影テレビ
   ジヨン信号と複数の係数との線形一次結合式により表
   し、 上記係数を最小二乗法を用いた学習によつて求めたもの
   であることを特徴とする請求項１に記載の立体視化装
   置。
5. 【請求項５】上記クラス分類手段は、上記注目点の時空
   間における周辺画素のレベル分布パターンに基づいてク
   ラス分類するレベルパターンクラス分類手段を具えるこ
   とを特徴とする請求項１に記載の立体視化装置。
6. 【請求項６】上記クラス分類手段は、 上記注目点の時空間周辺画素のレベル分布パターンに基
   づいてクラス分類するレベルパターンクラス分類手段
   と、 上記注目点の画面上での水平方向の位置に基づいてクラ
   ス分類する水平位置クラス分類手段とを具え、上記レベ
   ルパターンクラス分類手段及び水平位置クラス分類手段
   による分類結果を合わせたものをクラス分類結果とする
   ことを特徴とする請求項１に記載の立体視化装置。
7. 【請求項７】上記クラス分類手段は、上記注目点の時空
   間周辺画素におけるエツジの有無を検出することにより
   各注目点をクラス分類するエツジクラス分類手段を具え
   ることを特徴とする請求項１に記載の立体視化装置。
8. 【請求項８】上記エツジクラス分類手段は、 注目画素を中心とする微小ブロツク内の最大値と最小値
   の差を所定の閾値と比較することによりエツジの有無を
   検出し、当該検出結果を１／０の論理値で出力すること
   を特徴とする請求項７に記載の立体視化装置。
9. 【請求項９】上記エツジクラス分類手段は、 注目画素の時空間周辺画素に対してエツジ抽出フイルタ
   をかけ、当該エツジ抽出フイルタの出力の絶対値を所定
   の閾値と比較することによりエツジの有無を検出し、当
   該検出結果を１／０の論理値で出力することを特徴とす
   る請求項７に記載の立体視化装置。
10. 【請求項１０】上記クラス分類手段は、上記注目点の時
    空間周辺画素の動きに基づいて各注目点をクラス分類す
    る動きクラス分類手段を具えることを特徴とする請求項
    １に記載の立体視化装置。
11. 【請求項１１】上記動きクラス分類手段は、 注目点を含むブロツクのフレーム差分の絶対値和を所定
    の閾値と比較することにより動きの度合を検出し、当該
    検出結果をｒビツトのコードとして出力することを特徴
    とする請求項１０に記載の立体視化装置。
12. 【請求項１２】上記クラス分類手段は、 上記注目点の時空間周辺画素のレベル分布パターンに基
    づいて各注目点をクラス分類するレベルパターンクラス
    分類手段、上記注目点の画面上での水平方向の位置に基
    づいて各注目点をクラス分類する水平位置クラス分類手
    段、上記注目点の時空間周辺画素にエツジが有る否かを
    検出することにより各注目点をクラス分類するエツジク
    ラス分類手段、及び又は上記注目点の時空間周辺画素の
    動きに基づいて各注目点をクラス分類する動きクラス分
    類手段のうち少なくとも２つを具え、 上記複数のクラス分類手段による分類結果を合わせたも
    のをクラス分類結果とすることを特徴とする請求項１に
    記載の立体視化装置。
13. 【請求項１３】上記クラス分類手段は、少なくとも上記
    注目点の画面上での水平方向の位置に基づいてクラス分
    類する水平位置クラス分類手段を具え、 上記予測処理手段は、 上記水平位置クラス分類手段により分類されるクラスの
    うち、画面上の水平方向の中心位置を境として片側のみ
    のクラスに対応した左目用及び右目用の予測係数が記憶
    された予測係数記憶手段と、 上記水平位置クラス分類手段により分類されたクラスに
    対応する予測係数が上記予測係数記憶手段に存在する場
    合にはそれぞれの目用の予測係数と上記注目点の周辺画
    素値とを用いた線形一次結合式に基づく演算を行うこと
    により左目用及び右目用画像信号を生成し、分類された
    クラスに対応する予測係数が上記予測係数記憶手段に存
    在しない場合には当該クラスに対応した他方の目用の上
    記予測係数と上記注目点の周辺画素値とを用いた線形一
    次結合式に基づく演算を行うことにより左目用及び右目
    用画像信号を生成する予測演算手段とを具えることを特
    徴とする請求項１に記載の立体視化装置。
14. 【請求項１４】上記クラス分類手段は、少なくとも上記
    注目点の画面上での水平方向の位置に基づいてクラス分
    類する水平位置クラス分類手段を具え、 上記予測処理手段は、 上記水平位置クラス分類手段により分類されるクラスの
    うち、画面上の水平方向の中心位置を境として片側のみ
    のクラスに対応した左目用及び右目用の予測係数が記憶
    された予測係数記憶手段と、 上記水平位置クラス分類手段により分類されたクラスに
    対応する予測係数が上記予測係数記憶手段に存在する場
    合には当該予測係数と上記注目点の周辺画素値とを用い
    た線形一次結合式に基づく演算を行うことにより左目用
    及び右目用画像信号を生成し、分類されたクラスに対応
    する予測係数が上記予測係数記憶手段に存在しない場合
    には上記画面上の水平方向の中心位置からみて当該クラ
    スによつて表わされる水平位置と対称な位置のクラスの
    予測係数の順序を反転したものと上記注目点の周辺画素
    値とを用いた線形一次結合式に基づく演算を行うことに
    より左目用及び右目用画像信号を生成する予測演算手段
    とを具えることを特徴とする請求項１に記載の立体視化
    装置。
15. 【請求項１５】上記予測処理手段により生成された左目
    用画像信号及び右目用画像信号のいづれか一方の画像信
    号を遅延させる遅延手段と、 上記入力テレビジヨン信号にシーンチエンジが発生した
    ことを検出するシーンチエンジ検出手段と、 シーンチエンジがない場合には上記遅延手段によつて一
    方の目用の画像信号が遅延された左目用及び右目用画像
    信号を上記表示手段に供給すると共に、シーンチエンジ
    がある場合には遅延されていない左目用及び右目用画像
    信号を上記表示手段に供給する選択手段とを具えること
    を特徴とする請求項１に記載の立体視化装置。
16. 【請求項１６】入力テレビジヨン信号に基づく立体画像
    を表示させる立体視化装置において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
    の周辺画素の分布状態に基づいてクラス分類するクラス
    分類手段と、 各クラスに対応して予め学習により求められた左目用又
    は右目用のいずれか一方の予測係数が記憶された予測係
    数記憶手段と、 上記クラス分類手段による分類結果に応じて当該予測係
    数記憶手段から出力された予測係数と上記注目点の周辺
    画素値とを用いた線形一次結合式に基づく演算を行うこ
    とにより上記左目用画像信号又は右目用画像信号の何れ
    か一方を生成する予測演算手段と、 上記予測演算手段により生成された上記左目用画像信号
    又は右目用画像信号と、上記入力テレビジヨン信号とを
    所定周期で交互に切り換えて出力する出力手段と、 上記出力手段から交互に出力された信号に基づく画像を
    表示する表示手段とを具えることを特徴とする立体視化
    装置。
17. 【請求項１７】上記予測係数は、 互いに視差のある位置に設けられた左目用のテレビジヨ
    ンカメラ及び右目用のテレビジヨンカメラによつて得た
    撮影テレビジヨン信号のうち、上記予測演算手段によつ
    て生成されない方の撮像テレビジヨン信号を上記クラス
    分類手段と同様の手法によりクラス分類し、 分類された各クラス毎に、上記予測演算手段によつて生
    成される方の撮像テレビジヨン信号を教師データとし
    て、当該教師データを、上記予測演算手段によつて生成
    されない方の撮像テレビジヨン信号と複数の係数との線
    形一次結合式により表し、 上記係数を最小二乗法を用いた学習によつて求めたもの
    であることを特徴とする請求項１６に記載の立体視化装
    置。
18. 【請求項１８】入力テレビジヨン信号に基づく立体画像
    を表示させる立体視化方法において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
    の周辺画素の分布状態に基づいてクラス分類するクラス
    分類ステツプと、 各クラスに対応して用意された予測係数のうち、上記ク
    ラス分類ステツプによる分類結果に応じた予測係数を用
    いた予測演算処理を行うことにより、左目用の画像信号
    及び右目用の画像信号を生成する予測処理ステツプと、 上記左目用画像信号及び右目用画像信号を所定周期で交
    互に切り換えて出力する出力ステツプと、 出力された左目用画像信号及び右目用画像信号を表示す
    る表示ステツプとを具えることを特徴とする立体視化方
    法。
19. 【請求項１９】上記出力ステツプの出力周期に同期して
    液晶シヤツタ付きメガネの左目用シヤツタ及び右目用シ
    ヤツタを開閉させるステツプを具えることを特徴とする
    請求項１８に記載の立体視化方法。
20. 【請求項２０】上記予測処理ステツプは、 予め学習により求められた各クラスに対応した左目用の
    予測係数が記憶された左目用予測係数記憶手段から上記
    クラス分類ステツプでの分類結果に応じた予測係数を読
    み出し、当該予測係数と上記注目点の周辺画素値とを用
    いた線形一次結合式に基づく演算を行うことにより上記
    左目用画像信号を生成する左目用予測演算ステツプと、 予め学習により求められた各クラスに対応した右目用の
    予測係数が記憶された右目用予測係数記憶手段から上記
    クラス分類ステツプでの分類結果に応じた予測係数を読
    み出し、当該予測係数と上記注目点の周辺画素値とを用
    いた線形一次結合式に基づく演算を行うことにより上記
    右目用画像信号を生成する右目用予測演算ステツプとを
    具えることを特徴とする請求項１８に記載の立体視化方
    法。
21. 【請求項２１】上記予測係数は、 互いに視差のある位置に設けられた中央のテレビジヨン
    カメラ、左目用のテレビジヨンカメラ及び右目用のテレ
    ビジヨンカメラによつて得た撮影テレビジヨン信号のう
    ち、中央の撮影テレビジヨン信号を上記クラス分類ステ
    ツプと同様の手法によりクラス分類し、 分類された各クラス毎に、上記左目用の撮影テレビジヨ
    ン信号及び上記右目用の撮影テレビジヨン信号を教師デ
    ータとして、当該教師データを、上記中央の撮影テレビ
    ジヨン信号と複数の係数との線形一次結合式により表
    し、 上記係数を最小二乗法を用いた学習によつて求めたもの
    であることを特徴とする請求項１８に記載の立体視化方
    法。
22. 【請求項２２】上記クラス分類ステツプでは、上記注目
    点の時空間における周辺画素のレベル分布パターンに基
    づいてクラス分類することを特徴とする請求項１８に記
    載の立体視化方法。
23. 【請求項２３】上記クラス分類ステツプは、 上記注目点の時空間周辺画素のレベル分布パターンに基
    づいてクラス分類するレベルパターンクラス分類ステツ
    プと、 上記注目点の画面上での水平方向の位置に基づいてクラ
    ス分類する水平位置クラス分類ステツプとを具え、上記
    レベルパターンクラス分類ステツプ及び水平位置クラス
    分類ステツプによる分類結果を合わせたものをクラス分
    類結果とすることを特徴とする請求項１８に記載の立体
    視化方法。
24. 【請求項２４】上記クラス分類ステツプでは、上記注目
    点の時空間周辺画素におけるエツジの有無を検出するこ
    とにより各注目点をクラス分類することを特徴とする請
    求項１８に記載の立体視化方法。
25. 【請求項２５】注目画素を中心とする微小ブロツク内の
    最大値と最小値の差を所定の閾値と比較することにより
    エツジの有無を検出し、当該検出結果を１／０の論理値
    で出力することを特徴とする請求項２４に記載の立体視
    化方法。
26. 【請求項２６】注目画素の時空間周辺画素に対してエツ
    ジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力
    の絶対値を所定の閾値と比較することによりエツジの有
    無を検出し、当該検出結果を１／０の論理値で出力する
    ことを特徴とする請求項２４に記載の立体視化方法。
27. 【請求項２７】上記クラス分類ステツプでは、上記注目
    点の時空間周辺画素の動きに基づいて各注目点をクラス
    分類することを特徴とする請求項１８に記載の立体視化
    方法。
28. 【請求項２８】上記動きクラス分類ステツプでは、 注目点を含むブロツクのフレーム差分の絶対値和を所定
    の閾値と比較することにより動きの度合を検出し、当該
    検出結果をｒビツトのコードとして出力することを特徴
    とする請求項２７に記載の立体視化方法。
29. 【請求項２９】上記クラス分類ステツプは、 上記注目点の時空間周辺画素のレベル分布パターンに基
    づいて各注目点をクラス分類するレベルパターンクラス
    分類ステツプ、上記注目点の画面上での水平方向の位置
    に基づいて各注目点をクラス分類する水平位置クラス分
    類ステツプ、上記注目点の時空間周辺画素にエツジが有
    る否かを検出することにより各注目点をクラス分類する
    エツジクラス分類ステツプ、及び又は上記注目点の時空
    間周辺画素の動きに基づいて各注目点をクラス分類する
    動きクラス分類ステツプのうち少なくとも２つを具え、 上記複数のクラス分類ステツプによる分類結果を合わせ
    たものをクラス分類結果とすることを特徴とする請求項
    １８に記載の立体視化方法。
30. 【請求項３０】上記クラス分類ステツプは、少なくとも
    上記注目点の画面上での水平方向の位置に基づいてクラ
    ス分類する水平位置クラス分類ステツプを具え、 上記予測処理ステツプでは、 上記水平位置クラス分類ステツプで分類されるクラスの
    うち、画面上の水平方向の中心位置を境として片側のみ
    のクラスに対応した左目用及び右目用の予測係数が記憶
    された予測係数記憶手段を用い、 上記水平位置クラス分類ステツプにより分類されたクラ
    スに対応する予測係数が上記予測係数記憶手段に存在す
    る場合にはそれぞれの目用の予測係数と上記注目点の周
    辺画素値とを用いた線形一次結合式に基づく演算を行う
    ことにより左目用及び右目用画像信号を生成し、分類さ
    れたクラスに対応する予測係数が上記予測係数記憶手段
    に存在しない場合には当該クラスに対応した他方の目用
    の上記予測係数と上記注目点の周辺画素値とを用いた線
    形一次結合式に基づく演算を行うことにより左目用及び
    右目用画像信号を生成することを特徴とする請求項１８
    に記載の立体視化方法。
31. 【請求項３１】上記クラス分類ステツプは、少なくとも
    上記注目点の画面上での水平方向の位置に基づいてクラ
    ス分類する水平位置クラス分類ステツプを具え、 上記予測処理ステツプでは、 上記水平位置クラス分類ステツプで分類されるクラスの
    うち、画面上の水平方向の中心位置を境として片側のみ
    のクラスに対応した左目用及び右目用の予測係数が記憶
    された予測係数記憶手段を用い、 上記水平位置クラス分類ステツプにより分類されたクラ
    スに対応する予測係数が上記予測係数記憶手段に存在す
    る場合には当該予測係数と上記注目点の周辺画素値とを
    用いた線形一次結合式に基づく演算を行うことにより左
    目用及び右目用画像信号を生成し、分類されたクラスに
    対応する予測係数が上記予測係数記憶手段に存在しない
    場合には上記画面上の水平方向の中心位置からみて当該
    クラスによつて表わされる水平位置と対称な位置のクラ
    スの予測係数の順序を反転したものと上記注目点の周辺
    画素値とを用いた線形一次結合式に基づく演算を行うこ
    とにより左目用及び右目用画像信号を生成することを特
    徴とする請求項１８に記載の立体視化方法。
32. 【請求項３２】上記予測処理ステツプで生成された左目
    用画像信号及び右目用画像信号のいづれか一方の画像信
    号を遅延させる遅延ステツプと、 上記入力テレビジヨン信号にシーンチエンジが発生した
    ことを検出するシーンチエンジ検出ステツプと、 シーンチエンジがない場合には上記遅延ステツプによつ
    て一方の目用の画像信号が遅延された左目用及び右目用
    画像信号を上記表示ステツプに与えると共に、シーンチ
    エンジがある場合には遅延されていない左目用画像信号
    及び右目用画像信号を上記表示ステツプに与える選択ス
    テツプとを具えることを特徴とする請求項１８に記載の
    立体視化方法。
33. 【請求項３３】入力テレビジヨン信号に基づく立体画像
    を表示させる立体視化方法において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
    の周辺画素の分布状態に基づいてクラス分類するクラス
    分類ステツプと、 各クラスに対応して予め学習により求められた左目用又
    は右目用のいずれか一方の予測係数が記憶された予測係
    数記憶手段から上記クラス分類ステツプでの分類結果に
    応じた予測係数を読み出し、当該予測係数と上記注目点
    の周辺画素値とを用いた線形一次結合式に基づく演算を
    行うことにより上記左目用画像信号又は右目用画像信号
    の何れか一方を生成する予測演算ステツプと、 上記予測演算ステツプにより生成された上記左目用画像
    信号又は右目用画像信号と、上記入力テレビジヨン信号
    とを所定周期で交互に切り換えて出力する出力ステツプ
    と、 出力された信号に基づく画像を表示させる表示ステツプ
    とを具えることを特徴とする立体視化方法。
34. 【請求項３４】上記予測係数は、 互いに視差のある位置に設けられた左目用のテレビジヨ
    ンカメラ及び右目用のテレビジヨンカメラによつて得た
    撮影テレビジヨン信号のうち、上記予測演算ステツプに
    よつて生成されない方の撮像テレビジヨン信号を上記ク
    ラス分類ステツプと同様の手法によりクラス分類し、 分類された各クラス毎に、上記予測演算ステツプによつ
    て生成される方の撮像テレビジヨン信号を教師データと
    して、当該教師データを、上記予測演算ステツプによつ
    て生成されない方の撮像テレビジヨン信号と複数の係数
    との線形一次結合式により表し、 上記係数を最小二乗法を用いた学習によつて求めたもの
    であることを特徴とする請求項３３に記載の立体視化方
    法。