JPH0955962A - 立体視化装置及び立体視化方法 - Google Patents
立体視化装置及び立体視化方法Info
- Publication number
- JPH0955962A JPH0955962A JP23074595A JP23074595A JPH0955962A JP H0955962 A JPH0955962 A JP H0955962A JP 23074595 A JP23074595 A JP 23074595A JP 23074595 A JP23074595 A JP 23074595A JP H0955962 A JPH0955962 A JP H0955962A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- class
- prediction
- prediction coefficient
- class classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Liquid Crystal (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ステレオ画像を形成する。 【解決手段】入力テレビジヨン信号S1を、各注目点毎
に当該注目点の周辺画素状態応じてクラス分類するクラ
ス分類手段5と、各クラスに対応して用意された予測係
数のうち、クラス分類手段による分類結果に応じた予測
係数を用いた予測演算処理を行うことにより左目用の画
像信号D3A及び右目用の画像信号D4Aを生成する予
測処理手段11及び12とを設けるようにしたことによ
り、左右の目に対応したテレビジヨン信号を入力させず
とも左右の目に対応した画像信号D3A、D4Aを生成
でき、かくして記録情報量又は伝送情報量を増やさずに
良好なステレオ画像を得ることができる。
Description
の方法に関し、特に入力テレビジヨン信号に基づくステ
レオ画像を表示する立体視化装置に適用して好適なもの
である。
現する装置として、例えばテレビジヨン学会誌 Vol.4
5,No.4,pp.446〜452 (1991)に記載されているように種
々のものが提案されている。
した視差のある画像をテレビジヨンモニタにフイールド
毎に交互に切り換えて表示し、この表示画像を、表示画
像の切換えに同期して左目用シヤツタ及び右目用シヤツ
タが開閉する液晶シヤツタ眼鏡を通して視ることによ
り、ステレオ視を実現するものがある。
した画像をテレビジヨンモニタに交互に表示することに
よりステレオ視を実現する方法においては、通常、予め
左右の目に対応する2台のテレビジヨンカメラによつて
撮影した画像を用意し、これらの画像を記録又は伝送す
る必要があるために、画像の時間分解能を落とさないよ
うにすると2倍の情報量が必要であり、また情報量を増
やさないようにすると時間分解能が落ちるためフリツカ
が生じ画質が劣化する欠点があつた。
で、記録情報量又は伝送情報量を増やさずに良好なステ
レオ画像を得ることができる立体視化装置及びその方法
を提案しようとするものである。
め本発明においては、入力テレビジヨン信号を、各注目
点毎に当該注目点の周辺画素の分布パターンに基づいて
クラス分類するクラス分類手段と、各クラスに対応して
用意された予測係数のうち、クラス分類手段による分類
結果に応じた予測係数を用いた予測演算処理を行うこと
により左目用の画像信号及び右目用の画像信号を生成す
る予測処理手段とを設けるようにした。
ら左目用及び右目用の画像信号が生成されるようにな
り、表示する画像情報量も入力情報量のほぼ2倍とな
る。
施例を詳述する。
つの入力テレビジヨン信号からそれぞれ視差のある左目
用の画像信号及び右目用の画像信号を形成し、これらを
テレビジヨンモニタに交互に表示すると共に、この表示
画像を液晶シヤツタ付き眼鏡を通して視るようにしたこ
とにより、少ない入力情報から良好なステレオ画像を得
ることができるようになされている。
ヨン信号S1をアナログデイジタル変換回路(A/D)
2によつて例えば13.5〔MHz 〕のサンプリングクロツク
でアナログ信号からデイジタル信号に変換し、これを直
接ブロツク化回路4に供給すると共に遅延回路3を介し
てブロツク化回路4に供給する。なお上述したサンプリ
ングクロツクでサンプリングした場合、画像のサイズは
フレームあたり横 720画素×縦 480ライン程度となる。
5によるクラス分類のための画素を集めるためのブロツ
ク化処理を行う。実際上ブロツク化回路4は、注目点の
時空間における周辺画素を集めるようなブロツク化処理
を、画素クロツク単位で行う。この結果時空間でみた場
合に、注目点を中心として例えばダイヤモンド形状の領
域内に存在する時空間画素により1ブロツクが形成され
る。
て例えばADRC(Adaptive Dynamic Range Coding )
等の圧縮処理を施すことによりレベル分布パターンに基
づくクラス分類を行う。そして当該分類結果をクラスの
識別番号であるインデツクスデータ(クラスコード)CL
ASS1として出力する。なおこのインデツクスデータCLAS
S1は圧縮率に応じたpビツトのデータとして出力され
る。
つて分類されたクラスに応じた予測演算処理を行うこと
により左目用の画像信号を生成する左目用クラス分類適
応処理部6と、分類されたクラスに応じた予測演算処理
を行うことにより右目用の画像信号を生成する右目用ク
ラス分類適応処理部7とを有する。立体視化装置1は、
アナログデイジタル変換回路2の出力及び遅延回路3の
出力を、遅延回路8によつて上述したクラス分類処理に
要した時間分だけ遅延させた後、左目用クラス分類適応
処理部6の予測ブロツク化回路9及び右目用クラス分類
適応処理部7の予測ブロツク化回路10に供給する。
時空間周辺画素を集めることによりブロツクを形成し、
当該ブロツク内画素データ(以下、これを予測画素デー
タと呼ぶ)D1及びD2をそれぞれ予測処理回路11及
び12に供給する。実際上、図2に示すように、予測ブ
ロツク化回路9によるブロツク領域AR1は予測ブロツ
ク化回路10によるブロツク領域AR2に対して数画素
分だけ左側にずれたものとなるようになされている。な
おこのずれ量は、生成しようとする左目用画像と右目用
画像との間にどの程度の視差を設けるかに応じて設定す
るようにする。
予測画素データD1及びD2と共にクラス分類回路5か
らのインデツクスデータCLASS1が供給される。予測処理
回路11及び12は後述する学習により予め獲得された
クラス毎の予測係数が記憶された係数ROM(Read Onl
y Memory)を有し、インデツクスデータCLASS1によつて
係数ROMをアドレツシングすることにより、インデツ
クスデータCLASS1で表わされるクラスに対応した予測係
数を読み出す。そして予測処理回路11及び12は、そ
れぞれ読み出された予測係数と予測画素データD1及び
D2とを用いて予測演算処理を行うことにより、それぞ
れ左目用画像データD3A及び右目用画像データD4A
を生成する。
(すなわち左目用画像データD3A及び右目用画像デー
タD4A)は、それぞれ13.5〔MHz 〕の画素クロツク単
位で出力され、それぞれの画面サイズはフレームあたり
横 720画素×縦 480ライン程度となる。従つて、情報量
としては入力テレビジヨン信号S1の2倍に増加されて
いることにより、時間分解能及び空間分解能の劣化は発
生しない。
像データD4Aはそれぞれフレームメモリ(FM)13
及び14に蓄えられ、当該フレームメモリ13及び14
から読み出されたデータがマルチプレクサ(MUX)1
5を介して表示画像データD5Aとしてデイジタルアナ
ログ変換回路(D/A)16に供給される。フレームメ
モリ13、14からのデータの読出し及びマルチプレク
サ15の出力切換はタンミングコントローラ17によつ
て制御される。このときフレームメモリ13、14の読
出しは書込み時に対して倍速となるように行われ、マル
チプレクサ15からは例えばフイールド単位に交互に左
目用画像データD3A及び右目用画像データD4Aが切
り換えられて表示画像データD5Aが出力される。従つ
てマルチプレクサ15から出力される表示画像データD
5Aのフイールド周波数は入力テレビジヨン信号S1に
対して2倍となる。
グ変換回路16によつてアナログ変換されることにより
表示画像信号S2Aとされ、当該表示画像信号S2Aが
テレビジヨンモニタ18に供給される。かくして、立体
視化装置1においては、予め左目用の画像信号及び右目
用の画像信号を入力させることなく、通常の放送用テレ
ビジヨン信号と同等の入力テレビジヨン信号S1だけを
使つて、テレビジヨンモニタ18上にそれぞれ視差のあ
る左目用及び右目用の画像を表示することができる。
フレームメモリ13、14及びマルチプレクサの制御に
同期したタイミングで液晶ドライバ19を制御する。液
晶ドライバ19は液晶シヤツタ付き眼鏡20に例えば赤
外線を送出することにより液晶シヤツタを駆動させる。
これにより液晶シヤツタ付き眼鏡20はテレビジヨンモ
ニタ18上に表示される左目用画像及び右目用画像の切
換えに同期して、例えば左目用の画像が表示されている
場合には左目の液晶シヤツタが開いている状態とされ、
右目用の画像が表示されている場合には右目の液晶シヤ
ツタが開いている状態とされる。ここでタイミングコン
トローラ17は同期抽出回路21によつて入力テレビジ
ヨン信号S1から抽出された垂直同期信号V及び水平同
期信号Hに基づいて上述したタイミング合せのための制
御信号を生成する。
の入力テレビジヨン信号S1から時間分解能を落とすこ
となく左目用及び右目用の画像を生成し得ることによ
り、伝送又は記録する情報量を増やすことなく、良好な
ステレオ画像を得ることができる。
図3に示すように構成されている。予測処理回路11と
予測処理回路12は係数ROMに格納されている予測係
数を除いて同様の構成であるため、以下予測処理回路1
1について説明する。
述する学習により各クラスに対応した予測係数(係数
組)が記憶された係数ROM30と、予測係数と予測画
素データD1とを用いた線形一次結合式に基づく演算を
行うことにより左目用画像データD3を生成する予測演
算部31とにより構成されている。予測処理回路11は
クラス分類回路5(図1)からのインデツクスデータCL
ASS1をインデツクスデコーダ32によつてデコードし、
デコードしたデータを読出しアドレスとして係数ROM
30をアドレツシングする。この結果係数ROM30か
らはインデツクスデータCLASS1に対応したクラスの予測
係数w1 〜wn が出力され、当該予測係数w1 〜wn が
予測演算部31のレジスタ33A1 〜33An を介して
乗算器34A1 〜34An に与えられる。
ブロツク化回路9から出力された予測画素データD1
(x1 〜xn )が与えられる。そして各乗算器34A1
〜34An の出力が加算回路35によつて加算されるこ
とにより、左目用画素データD3A(=x1 w1 +x2
w2 +……+xn wn )が得られる。
2の係数ROM30に記憶すべき予測係数は学習により
求められる。この学習では、図4に示すように、それぞ
れ視差のある位置に設けた3台のテレビジヨンカメラ
(左目用カメラCAML 、右目用カメラCAMR 、中央
カメラCAMC )によつて同時に撮影した被写体映像を
使用する。そして、中央カメラCAMC で撮影した映像
信号を使つて注目点毎のクラス分類を行い、各クラスに
ついて左目用カメラCAML 及び右目用カメラCAMR
で撮影した映像信号を教師データとして、中央カメラC
AMC の映像信号と左目用カメラCAML 及び右目用カ
メラCAMR の映像信号との相関関係を表わす予測係数
を学習により求める。
R 、CAMC によつて撮影した映像を使用し、図5に示
すような構成の学習回路40によつて、左目用予測係数
E3A及び右目用予測係数E4Aを求める。なお図5で
は、図1と対応する部分には図1と同一符号を付してあ
る。学習回路40は中央カメラCAMC から得られた中
央映像信号SCに対して上述した立体視化装置1で行う
のと同様のクラス分類処理を施すことによりインデツク
スデータCLASS1′を形成し、これを係数算出回路41及
び42に送出する。また係数算出回路41及び42に
は、それぞれブロツク化回路9及び10からブロツク化
データE1及びE2が供給される。
CAML により得られた左目用映像信号SLがアナログ
デイジタル変換回路43及び遅延回路44を介して供給
され、係数算出回路42には右目用カメラCAMR によ
り得られた右目用映像信号SRがアナログデイジタル変
換回路45及び遅延回路46を介して供給される。
ASS1′で表わされる各クラス毎に、左目用画像データD
Lを教師データとして、当該教師データを、中央映像信
号SC(ブロツク化データE1)と複数の係数との線形
一次結合式により表し、この係数を最小二乗法を用いた
学習によつて求めることにより左目用予測係数E3Aを
求める。同様に、係数算出回路42はインデツクスデー
タCLASS1′で表わされる各クラス毎に、右目用画像デー
タDRを教師データとして、当該教師データを、中央映
像信号SC(ブロツク化データE2)と複数の係数との
線形一次結合式により表し、この係数を最小二乗法を用
いた学習によつて求めることにより右目用予測係数E4
Aを求める。そして求められた予測係数E3及びE4を
一旦メモリ43に格納させ、各予測処理回路11及び1
2(図1)に設けられている係数ROM30(図3)に
記憶させる。
抽出回路47によつて抽出された中心映像信号SCの垂
直同期信号V及び水平同期信号Hに基づいて、例えばブ
ロツク化回路4やブロツク化回路9、10のブロツク化
のタイミングを合わせるための制御信号を生成する。
処理について説明する。ここで係数算出回路42は係数
算出41と同様の構成でなることにより係数算出回路4
1について説明する。係数算出回路41は、先ずブロツ
ク化データE1で表わされる複数の画素値(以下これを
中央画素値と呼ぶ)x1 、x2 、……、xn にそれぞれ
未知の係数w1 、w2 、……、wn を掛けることによ
り、左目用映像データDLで表わされる左目用画素値δ
yを複数の中央画素値x1 〜xn と係数w1 〜wn との
線形一次結合により表わす。
スの左目用画素値δy1 〜δym それぞれについて、中
央画素値x(M.N) (但し、M=1、2、……m、N=
1、2、……、nとする)と係数w1 〜wn との線形一
次結合式を立てて、この係数w1 〜wn を最小二乗法に
より求める。
値δy1 〜δym の行列式Yは、中央画素値x(M.N) の
行列式Xと係数w1 〜wn の行列式Wを用いて、次式
より係数w1 〜wn を求めればよい。これを最小二乗法
の演算により解く。すなわち先ず、(1)式を残差行列
Eを用いて、次式
確値を求めるためには、e1 2+e2 2+……+em 2 を最
小にする条件、すなわち次式
n を見つければ良い。ここで(2)式より、次式
立てればそれぞれ、次式
規方程式が得られる。
未知数がn個だけある連立方程式であるから、これによ
り最確値である各係数w1 〜wn を求めることができ
る。正確には(6)式でwi にかかる(Σxjkxjl)
(但しj=1、……、m、k=1、……、n、l=1、
……、n)のマトリクスが正則であれば解くことができ
る。実際には、Gauss-Jordanの消去法(掃き出し法)を
用いて連立方程式を解く。
うに構成すれば良い。すなわち係数算出回路41は中央
画素値x1 〜xn 及び左目用画素値δyを正規方程式生
成回路50に入力し、当該正規方程式生成回路50によ
つてクラス毎に(6)式で表わされるような正規方程式
を生成し、続くCPU演算回路51によつて掃き出し法
の演算によりクラス毎の係数組w1 〜wn を求める。
イ52によつて各画素同士の乗算を行う。乗算器アレイ
52は、図7に示すように構成されており、四角で表わ
す各セル毎に画素同士の乗算を行い、これにより得た各
乗算結果を続く加算器メモリ53に与える。
乗算器アレイ52と同様に配列された複数のセルでなる
加算器アレイ54とメモリ(又はレジスタ)アレイ55
A、55B、……とにより構成されている。メモリアレ
イ55A、55B、……はクラス数分だけ設けられてお
り、インデツクスデータCLASS1′をデコードするインデ
ツクスデコーダ56の出力(クラス)に応答して一つの
メモリアレイ55A、55B、……が選択され、選択さ
れたメモリアレイ55A、55B、……の格納値が加算
器アレイ54に帰還される。このとき加算器アレイ54
により得られる加算結果が再び対応するメモリアレイ5
5A、55B、……に格納される。
アレイ54及びメモリアレイ55によつて積和演算が行
われ、インデツクスデータCLASS1′によつて決定される
クラス毎にメモリアレイ55A、55B、……のいずれ
かが選択されて、積和演算の結果によつてメモリアレイ
55A、55B、……の内容が更新される。
わされる正規方程式のwi にかかる(Σxjkxjl)(但
しj=1、……、m、k=1、……、n、l=1、…
…、n)の位置に対応する。(6)式の正規方程式を見
れば明らかなように右上の項を反転すれば左下と同じも
のになるため、各アレイは三角形の形状をしている。
演算が行われて各画素位置毎のさらに各クラス毎の正規
方程式が生成される。クラス毎の正規方程式の各項の結
果はそれぞれのクラスに対応するメモリアレイ55A、
55B、……に記憶されており、次にそれらのクラス毎
の正規方程式の各項が掃き出し法演算を実現するCPU
演算回路51によつて計算される。この結果各クラスの
係数組w1 〜wn が求められ、当該係数組w1 〜wn を
図5に示すように予測係数E3Aとしてメモリ30の対
応するクラスのアドレスに書き込む。
なる通常のテレビジヨン信号S1を入力すると、当該入
力テレビジヨン信号を注目点毎にクラス分類し、この分
類結果に応じた左目用の予測係数E3Aと右目用の予測
係数E4Aとを用いて予測演算を行うことにより、左目
用画像データD3Aと右目用画像データD4Aを生成す
る。この結果、左右の目に対応した画像信号を入力しな
くとも、すなわち伝送又は記録する情報量を増やさなく
ても、時間分解能を低下させることなく、それぞれの目
に対応した画像データD3A及びD4Aを生成できる。
ータD3A及びD4Aをフイールド単位で切り換えなが
らテレビジヨンモニタ18に送出すると共に、この切換
えに同期するように液晶シヤツタ付き眼鏡20のシヤツ
タを開閉させる。ここで各々の目に対する表示画像のフ
イールド周波数は入力したテレビジヨン信号S1のフイ
ールド周波数と同様となるため、視聴者はフリツカのな
い良好な画像を視ることができる。
注目点毎に当該注目点の周辺画素のレベル分布パターン
に応じてクラス分類し、各クラスに対応して用意された
予測係数のうち、クラス分類結果CLASS1に応じた予測係
数w1 〜wn を用いた予測演算処理を行うことで左目用
画像データD3A及び右目用画像データD4Aを生成す
るようにしたことにより、伝送又は記録情報量を増やす
ことなく、フリツカのない良好なステレオ画像を得るこ
とができる立体視化装置1を実現できる。
て、60は全体として第2実施例による立体視化装置を
示す。立体視化装置60は、上述したようにクラス分類
部5によつて注目点の時空間周辺画素のレベル分布パタ
ーンに基づいて各注目点をクラス分類することにより第
1のインデツクスデータCLASS1を形成することに加え
て、各注目点の画面上での水平方向の位置に基づいて各
注目点をクラス分類することにより第2のインデツクス
コードCLASS2を形成し、これら第1及び第2のインデツ
クスコードCLASS1及びCLASS2を合わせたのものをクラス
分類結果とする。これにより立体視化装置60は、予測
処理回路64及び65において一段と立体感のある表示
画像を形成することができるようになされている。
イミングコントローラ61において、入力テレビジヨン
信号S1から抽出された水平同期信号Hを基に各注目点
の画面上での水平位置を検出する。そしてタイミングコ
ントローラ61において、画面を2のq乗で分割した位
置に対する指標をqビツトで表現したものを第2のイン
デツクスデータCLASS2として生成する。この第2のイン
デツクスデータCLASS2は左目用クラス分類適応処理部6
2の予測処理回路64及び右目用クラス分類適応処理部
63の予測処理回路65に送出される。
ス分類回路5からpビツトでなる第1のインデツクスデ
ータCLASS1を入力すると共にqビツトでなる第2のイン
デツクスデータCLASS2を入力し、これらを組合わせたク
ラスに応じた予測係数を用いて予測演算処理を行うこと
により左目用画像データD3B及び右目用画像データD
4Bを生成する。このため予測処理回路64及び65の
係数ROMには、2(p+q) クラス分の予測係数が記憶さ
れている。
は、その物体が水平方向のどの位置にあるかに応じて、
両眼の視差は異なるものとなる。この実施例ではこれを
考慮して、画面の水平方向を複数の領域に分割し、その
領域毎に視差の異なる予測係数を予め用意し、当該予測
係数を使つて左目用画像データD3Bと右目用画像デー
タD4Bとを生成するようにした。この結果水平方向で
変化する視差をも反映したステレオ画像を得ることがで
きることにより、一段と立体感のあるステレオ画像を得
ることができる。
ROMに記憶される2(p+q) クラス分の予測係数を作成
するための学習回路は、例えば図10に示すように構成
すれば良い。図5との対応部分に同一符号を付して示す
図10において、学習回路70はタイミングコントロー
ラ71によつて現在処理しようとしている注目点の画面
上の水平位置をqビツトで表現し、これを第2のインデ
ツクスデータCLASS2′として係数算出回路72、73に
送出する。従つて係数算出回路72、73にはクラスコ
ードとして、クラス分類回路5からの第1のインデツク
スデータCLASS1′(pビツト)及びタイミングコントロ
ーラ71からの第2のインデツクスデータCLASS2′(q
ビツト)が供給される。
のクラスそれぞれについて、第1実施例で上述したよう
な最小二乗法を用いた学習を行うことにより、2(p+q)
種類の予測係数を算出する。具体的には、係数算出回路
72及び73は、インデツクスデコーダ56(図6)に
第1及び第2のインデツクスデータCLASS1′及びCLASS
2′を入力し、加算器メモリ53のメモリアレイ55
A、55B……(図8)に2(p+q) クラスの正規方程式
の各項の結果を記憶し、これらを続くCPU演算回路5
1によつて掃き出し法による演算により求めることによ
り、2(p+q) クラス分の左目用予測係数E3B及び右目
用予測係数E4Bを得る。
注目点周辺のレベル分布パターンが同じであるからとい
つてそれらを全てまとめて学習するのではなく(このよ
うにすると水平方向で異なるはずの視差が平均化されて
相殺されてしまう)、レベル分布パターンが同じであつ
てもその画素の水平位置でさらにクラス分けし、この結
果得られた各クラス毎に予測係数を求めたことにより、
物体の水平位置が異なる場合の視差を反映した予測係数
E3B及びE4Bを求めることができる。
のタイミングコントローラ61及び71は、例えば図1
1(A)に示すような簡易な構成で実現できる。すなわ
ちタイミングコントローラ61、71は同期抽出回路2
1、47により抽出された画素クロツク信号SCLK をカ
ウンタ74のクロツク端子に入力する。また画素クロツ
クSCLK をDフリツプフロツプ75のクロツク端子に入
力すると共に水平同期信号SHSYNC をDフリツプフロツ
プ75のD入力端子に入力する。そしてDフリツプフロ
ツプ75の反転出力及び水平同期信号SHSYNC を論理積
否定回路NANDに入力させる。これによりDフリツプ
フロツプ75及び論理積否定回路NANDによつて水平
同期信号SHSYNC の立上りが微分される。そしてこの立
上り微分信号をカウンタ74のクリア端子に反転させて
入力させる。
方向の位置が画面の左隅をカウント開始点として順次画
素クロツクごとにカウントされる。この実施例の場合に
は、水平方向の画素数が 720画素であるため、注目点の
水平位置に応じて 0〜 720のカウント値が得られる。そ
してカウンタ74により得られたカウント値が続くエン
コーダ76によつてエンコードされることにより、第2
のインデツクスデータCLASS2(CLASS2′)が形成され
る。なおエンコーダ76はROM(Read Only Memory)
等により簡易に構成できる。
ASS2(CLASS2′)を3ビツトとする場合には、図11
(B)に示すように画面を水平方向に8分割することに
なり、カウント値に基づいて各注目点を領域「0」〜
「7」のいずれかに振り分けることになる。すなわちカ
ウント値が「0」〜「720/8 」までの注目点は領域
「0」に割り当てられ、カウント値が「720/8 」〜「2
×720/8 」までの注目点は領域「1」に割り当てられ
る。この割り当てられた領域が第2のインデツクスデー
タCLASS2(CLASS2′)によつて示される。なお、図11
(B)では、画面の水平方向をほぼ等間隔で分割してい
るが、例えば画面の中央の領域ほど領域を広く設定する
ようにしても良い。このような設定は、エンコーダ(R
OM)76の内容を変更すれば容易に実現できる。
どの水平位置にあるかをクラス分類に反映したことによ
り、第1実施例の効果に加えて、一段と立体感のあるス
テレオ画像を得ることができる。
て、80は全体として第3実施例の立体視化装置を示
す。立体視化装置80は入力テレビジヨン信号S1をそ
のまま右目用画像表示のための信号として使用する。従
つて右目用クラス分類適応処理部7(図1)が省略され
ている。これによりこの実施例の立体視化装置80にお
いては、第1実施例や第2実施例の立体視化装置1、6
0に比べて構成を簡略化できる。
路5からのインデツクスデータCLASS1を左目用クラス分
類適応処理部6の予測処理回路81に送出し、当該予測
処理回路81によつて上述したのと同様の予測演算処理
を行うことにより左目用画像データD3Cを形成し、こ
れをフレームメモリ13に供給する。また立体視化装置
80は遅延回路8から出力された単にデイジタル変換し
ただけの画像データを、遅延回路82によつて左目用ク
ラス分類適応処理部6での処理時間だけ遅延させた後フ
レームメモリ14に供給する。そしてフレームメモリ1
4に格納した画像データD4Cを右目用画像データとし
て使用する。
左目用及び右目用画像データD3C、D4Cは、上述し
たようにタイミングコントローラ17によつて読出し制
御される。最終的には、テレビジヨンモニタ18に入力
テレビジヨン信号S1に対して2倍のフイールド周波数
でなる左目用画像信号及び右目用画像信号がフイールド
おきに交互に供給される。
に設けられている予測係数を上述した第1及び第2実施
例とは若干異なるものとしていることで、一方の目用の
クラス分類適応処理部を省略し、入力テレビジヨン信号
S1を一方の目用の信号として用いることができるので
ある。以下、この実施例の予測係数の学習による求め方
について説明する。
ぞれ両眼の視差に対応する位置に設けられた左目用カメ
ラCAML 及び右目用カメラCAMR の2台のテレビジ
ヨンカメラによつて同時に撮影した被写体映像を使用す
る(すなわち中央カメラを用いない点が第1実施例と異
なる)。そして右目用カメラCAMR で撮影した映像信
号を使つて注目点毎のクラス分類を行い、各クラスにつ
いて左目用カメラCAML で撮影した映像信号を教師デ
ータとして、右目用カメラCAMR の映像信号と左目用
カメラCAML の映像信号の相関関係を表わす予測係数
を学習により求める。
映像映像信号SL、SRを、図14に示すような学習回
路90に入力することにより予測係数を算出する。すな
わち図5との対応部分に同一符号を付して示す図14に
おいて、学習回路90は右目用カメラCAMR から得ら
れた右目用映像信号SRを用いてクラス分類回路5によ
つてクラス分類処理を施すことによりインデツクスデー
タCLASS1′を形成し、これを係数算出回路41に送出す
る。また係数算出回路41には、ブロツク化回路9から
ブロツク化データE1が供給される。
CAML により得られた左目用映像信号SLがアナログ
デイジタル変換回路43及び遅延回路44を介して供給
される。そして係数算出回路41は、第1実施例で説明
したように、最小二乗法を用いた学習によつて、各クラ
ス毎に左目用の予測係数E3Cを求めていく。この結果
得られたクラス毎の予測係数E3Cがメモリ43に格納
され、最終的には予測処理回路81(図12)の係数R
OMに記憶される。
によれば、入力テレビジヨン信号S1をそのまま一方の
目に対応する画像として表示するようにしたことによ
り、一方の目に対応する画像を生成するためのクラス分
類適応適応処理部を省略し得、この結果上述した第1実
施例の効果に加えて、構成を簡略化するという効果を得
ることができる。
15は、第4実施例の立体視化装置を示す。この実施例
の立体視化装置100は、第3実施例で上述したように
片目用の画像のみをクラス分類適応処理部6によつて生
成し、もう片目用の画像は入力テレビジヨン信号S1の
そのまま用いると共に、第2実施例で上述したように各
注目点が画面上のどの水平位置にあるかを示す第2のイ
ンデツクスデータCLASS2を第1のインデツクスデータCL
ASS1に加えてクラス分類の指標として用いるようになさ
れている。すなわち立体視化装置100は、第2実施例
の長所と第3実施例の長所を兼ね備えた構成を有する。
を付して示す図16は、この実施例の予測係数を作成す
るための学習回路を示す。学習回路110は、クラス分
類回路5において、右目用カメラCAMR で撮影した映
像信号SRを使つて注目点周辺のレベル分布パターンに
応じた第1のインデツクスデータCLASS1′を形成すると
共に、タイミングコントローラ71において、注目点の
画面上の水平位置を表わす第2のインデツクスデータCL
ASS2′を形成し、これらを係数算出回路72に送出す
る。係数算出回路71は各クラス(2(p+q) クラス)に
ついて、左目用カメラCAML で撮影した映像信号SL
(DL)を教師として、右目用カメラCAMR の映像信
号SR(E1)と左目用カメラCAML の映像信号SL
(DL)の相関関係を表わす予測係数E3Dを学習によ
り求める。
0によれば、入力テレビジヨン信号S1をそのまま一方
の目に対応する画像として表示するようにしたことによ
り一方の目に対応する画像を生成するためのクラス分類
適応適応処理部を省略し得る分構成を簡略化し得ると共
に、各注目点が画面上のどの水平位置にあるかをクラス
分類に反映したことにより立体感の高いステレオ画像を
形成し得る。
て、この実施例の立体視化装置120は、左目用クラス
分類適応処理部121及び右目用クラス分類適応処理部
122において係数ROM123を共有することを除い
て第2実施例の立体視化装置60と同様の構成を有す
る。
の予測処理回路と右目用の予測処理回路とにそれぞれ独
立に係数ROMを設けるのではなく、1つの係数ROM
123を右目用と左目用とで共有して用いることによ
り、使用する係数ROM123の容量を削減するように
なされている。次にこれを実現するための原理構成につ
いて説明する。なお、以下の説明では、説明を簡単化す
るためにレベル分布パターンによるクラス(CLASS1)は
除外して考える。
ーラ61により分類されたクラスのうち、画面上の水平
方向の中心位置(図11(B)参照)を境として片側の
みのクラスに対応した左目用及び右目用の予測係数を係
数ROM123に記憶させておく。そしてタイミングコ
ントローラ61によつて分類されたクラス(すなわちイ
ンデツクスデータCLASS2)に対応する予測係数が係数R
OM123に存在するときにはそれぞれの目用の予測係
数を係数ROM123から読み出して各予測演算回路3
1A、31Bに供給し、分類されたクラスに対応する予
測係数が係数ROM123に存在しないときには当該ク
ラスに対応した他方の目用の予測係数を各予測演算回路
31A、31Bに供給する。これにより予測演算回路3
1A及び31Bに対応する予測係数ROMを独立に2つ
設ける場合と比較して、メモリ容量を半分にすることが
できる。
方向に例えば8個の領域に分割するクラス分けを行つた
場合、例えば注目点が領域「7」にある場合を考える
と、この水平位置での左目用の予測係数としては右目用
の領域「0」に対応する予測係数を用いることができ
る。同様に注目点が領域「7」にある場合の、右目用の
予測係数としては左目用の領域「0」に対応する予測係
数を用いることができる。
には、左目用の予測係数としては右目用の領域「1」に
対応する予測係数を用いることができ、右目用の予測係
数としては左目用の領域「1」の予測係数を用いること
ができる。従つて、用意すべき予測係数は左目用及び右
目用共に、4つのクラスのものでだけで良く、図からも
明らかなように記憶すべき予測係数の量を半分にするこ
とができる。
0によれば、予測係数を共有化するようしたことによ
り、左目用及び右目用の予測係数を独立に設ける場合と
比較してメモリ容量を半減させることができ、この分構
成を簡略化し得る。
図9との対応部分に同一符号を付して示す図19におい
て、この実施例の立体視化装置130はクラス分類部1
31がエツジ検出部132及びレベルパターン分類部1
33により構成されている。エツジ検出部132は注目
点の時空間周辺の画素がエツジかそうでないかを1ビツ
トで表現し、この検出結果を第3のインデツクスデータ
CLASS3として予測処理回路136及び137に送出す
る。なおレベルパターン分類部133は、上述した第1
〜第5実施例のクラス分類部5と同様に、注目点の時空
間周辺画素のレベルパターンに基づく第1のインデツク
スコードCLASS1を形成し、これを予測処理回路136及
び137に送出する。
は、入力テレビジヨン信号S1の特性を一段と反映した
クラス分けができることにより、最終的な表示画像を一
段と実際の物を両目でみた場合の画像に近づけることが
できる。なお予測処理回路136及び137の係数RO
Mには2(p+q+1) クラス分の予測係数が記憶されてい
る。
は、図20に示すように構成すれば良い。図10及び図
19との対応部分に同一符号を付して示す図20におい
て、学習回路140は係数算出回路141、142にレ
ベルパターン分類部133からの第1のインデツクスデ
ータCLASS1′、タイミングコントローラ71からの第2
のインデツクスデータCLASS2′及びエツジ検出部132
からの第3のインデツクスデータCLASS3′を供給する。
3のインデツクスデータCLASS1′〜CLASS3′で表わされ
る2(p+q+1) 個のクラスそれぞれについて、第1実施例
で上述したような最小二乗法を用いた学習を行うことに
より、2(p+q+1) 種類の予測係数を算出する。具体的に
は、係数算出回路141及び142は、インデツクスデ
コーダ56(図6)に第1〜第3のインデツクスデータ
CLASS1′〜CLASS3′を入力し、加算器メモリ53のメモ
リアレイ55A、55B……(図8)に2(p+q+1) 個の
クラス毎の正規方程式の各項の結果を記憶し、これらを
続くCPU演算回路51によつて掃き出し法による演算
により求めることにより、2(p+q+1) クラス分の左目用
及び右目用の予測係数E3F及びE4Fを得る。
点の周辺画素のレベル分布パターン及び注目点の水平位
置に加えて、注目点周辺にエツジが存在するか否かをも
考慮したクラス分けを行い、そのクラス毎に予測係数を
求めるようにしたことにより、一段と画像の特徴の似通
つたもの同志の学習データを用いて予測係数E3F及び
E4Fを求めることができる。従つて、立体視化装置1
30では、この予測係数E3F及びE4Fを用いて左目
用及び右目用の画像を生成できるため、一段と実物に近
いステレオ画像を生成することができるようになる。
40に用いるエツジ検出部132は、例えば図21又は
図22で示すように構成すれば良い。図21に示すエツ
ジ検出部132Aは、ブロツク内ダイナミツクレンジの
大小によつてインデツクスデータCLASS3(CLASS3′)を
形成する。すなわちエツジ検出部132Aは、ブロツク
化回路4(図19、図20)から出力されたブロツク内
画素データにおける画素レベルの最大値及び最小値を最
大値検出回路150及び最小値検出回路151によつて
それぞれ検出し、続く差分回路152によつてそれらの
差分値を算出することによりブロツク内ダイナミツクレ
ンジを算出する。そして比較回路153によつてダイナ
ミツクレンジと所定の閾値THとを比較し、ダイナミツ
クレンジが閾値よりも大きい場合にはエツジあることを
示すインデツクスデータCLASS3(CLASS3′)を出力する
と共に、ダイナミツクレンジが閾値TH以下の場合には
エツジがないことを示すインデツクスデータCLASS3(CL
ASS3′)を出力する。
ラシアンフイルタの結果を閾値判定することによつてイ
ンデツクスデータCLASS3(CLASS3′)を発生する。すな
わちエツジ検出部132B(図22(A))は、ブロツ
ク化回路4(図19、図20)の出力に対してラプラシ
アンフイルタ154によつてフイルタ処理を施し(この
フイルタ係数としては、例えば図22(B)に示すよう
になものを用いればよい)、その出力を絶対値化回路1
55を介して比較回路156に送出する。比較回路15
6は絶対値化回路155の出力と閾値THとを比較し、
絶対値が閾値THよりも大きい場合にはエツジがあるこ
とを示すインデツクスデータCLASS3(CLASS3′)を出力
すると共に、絶対値が閾値TH以下の場合にはエツジが
ないことを示すインデツクスデータCLASS3(CLASS3′)
を出力する。
30によれば、注目点周辺にエツジがあるか否かによる
クラス分けも行うようにしたことにより、一段と良好な
ステレオ画像を得ることができる。
9との対応部分に同一符号を付して示す図23におい
て、この実施例の立体視化装置160におけるクラス分
類部161はレベルパターン分類部133、エツジ検出
部132に加えて動き検出部162を有する。これによ
りクラス分類部161は、レベルパターン分類部133
において注目点の時空間周辺画素のレベル分布パターン
に基づくクラス分類、エツジ検出部132において注目
点周辺のエツジの有無に基づくクラス分類に加えて、注
目点の周辺画素の動きに基づくクラス分類を行い、当該
動きに基づく分類結果を第4のインデツクスデータCLAS
S4として予測処理回路165、166に送出する。
さらに一段と画像の特徴の似通つたもの同志でクラスを
形成し得ることにより、最終的な表示ステレオ画像をさ
らに一段と実物に近づけることができる。ここで第4の
インデツクスデータCLASS4をrビツトとすると、立体視
化装置160は、2(p+q+1+r) 個のクラスを用いた予測
処理によつて左目用及び右目用の画像データD3G及び
D4Gを求めることになる。そのため予測処理回路16
3及び164の係数ROMには2(p+q+1+r) クラス分の
予測係数が記憶されている。
は、図24に示すように構成すれば良い。図20及び図
23との対応部分に同一符号を付して示す図24におい
て、学習回路170は係数算出回路171、172にレ
ベルパターン分類部133からの第1のインデツクスデ
ータCLASS1′、タイミングコントローラ71からの第2
のインデツクスデータCLASS2′、エツジ検出部132か
らの第3のインデツクスデータCLASS3′及び動き検出部
162からの第4のインデツクスデータCLASS4′を供給
する。
4のインデツクスデータCLASS1′〜CLASS4′で表わされ
る2(p+q+1+r) 個のクラスそれぞれについて、第1実施
例で上述したような最小二乗法を用いた学習を行うこと
により、2(p+q+1+r) 種類の予測係数を算出する。具体
的には、係数算出回路171及び172は、インデツク
スデコーダ56(図6)に第1〜第4のインデツクスデ
ータCLASS1′〜CLASS4′を入力し、加算器メモリ53の
メモリアレイ55A、55B……(図8)に2
(p+q+1+r) 個のクラス毎の正規方程式の各項の結果を記
憶し、これらを続くCPU演算回路51によつて掃き出
し法による演算により求めることにより、2(p+q+1+r)
クラス分の予測係数E3G、E4Gを得る。
点周辺のレベル分布パターン、注目点の水平位置及び注
目点周辺のエツジの有無に加えて、注目点周辺の動きを
も考慮したクラス分けを行い、そのクラス毎に予測係数
を求めるようにしたことにより、第6実施例よりもさら
に一段と画像の特徴の似通つたもの同志の学習データを
用いて左目用及び右目用の予測係数E3G及びE4Gを
求めることができる。従つて、立体視化装置160で
は、この予測係数E3G、E4Gを用いて左目用及び右
目用画像を生成できるため、一段と立体感のある近いス
テレオ表示画像を生成することができるようになる。
70に用いる動き検出部162は、例えば図25に示す
ように構成すれば良い。動き検出部162は、ブロツク
化回路4(図23、図24)の出力の現フレームデータ
と過去フレームデータを差分回路180を介して絶対値
和回路181に供給することにより、現フレームと過去
フレームの差分の絶対値和Mを計算し、当該絶対値和M
をROM182に送出する。ROM182には、図25
(B)に示すような内容のROMテーブルが設けられて
おり、入力された絶対値和Mの値を複数の閾値Th1 〜
Th7 と比較し、絶対値和Mの値に応じたrビツト(図
25(B)ではr=3の場合を示す)の第4のインデツ
クスデータCLASS4(CLASS4′)を出力する。なお図25
(B)では、上から下の順に順次動きが大きくなる場合
を表わす。すなわち0 ≦M <Th1 の場合は動きが無い
か又は非常に小さい場合あり、Th7 ≦Mの場合は動き
が表示に大きい場合である。
60によれば、注目点周辺の動きに応じたクラス分けも
行うようにしたことにより、一段と良好なステレオ画像
を得ることができる。
応部分に同一符号を付して示す図26において、この実
施例の立体視化装置180は、シーンチエンジがない場
合に、予測処理回路64及び65によつて生成された左
目用画像データD3B及び右目用画像データD4Bのど
ちらか一方を複数フレーム分だけ遅延させて、フレーム
13又は14に供給するようになされている。
シーンチエンジがない場合には、左右の目の画像のどち
らか一方の画像を遅延させることにより、特に動きのあ
る画像を一段と立体感のあるとして表示し得るようにな
されている。これに対して、シーンチエンジがある場合
には、一方の画像を遅延させてしまうと左右の目には全
く異なるシーンの画像が表示されてしまうので、このよ
うな場合には遅延させずにそのまま表示するようになさ
れている。
目用の予測処理回路65から出力された右目用画像デー
タD4Bを複数フレーム分の遅延時間を有する遅延回路
181を介して選択回路182に供給すると共に、直接
選択回路182に供給する。またアナログデイジタル変
換回路2の出力をシーンチエンジ検出回路183に与え
る。シーンチエンジ検出回路183は、例えばフレーム
差分の絶対値の総和等に基づいてシーンチエンジの有無
を検出し、当該検出結果を選択回路182に送出する。
選択回路182はシーンチエンジがないことを表わす検
出結果信号が与えられた場合には遅延回路181の出力
をフレームメモリ14に供給し、シーンチエンジがある
ことを表わす検出結果信号が与えられた場合には予測処
理回路65から直接供給された出力をフレームメモリ1
4に供給する。
によれば、動きのある画像をより立体感のあるとして表
示し得ると共に、シーンチエンジの際に不自然な画像が
表示されることを未然に回避できる。
0を設け、テレビジヨンモニタ18に表示した左目用画
像及び右目用画像を液晶シヤツタ付き眼鏡20を通して
目視するようにした場合について述べたが、本発明はこ
れに限らず、例えばテレビジヨンモニタ18にレンチキ
ユラレンズを設け、予測処理手段によつて生成した左目
用画像及び右目用画像をテレビジヨンモニタにストライ
プ状に交互に表示するようにした場合でも上述の実施例
と同様の効果を得ることができる。
空間周辺画素のレベル分布パターンに応じてクラス分類
するレベルパターンクラス分類手段としてADRCによ
る圧縮手法を用いた場合について述べたが、本発明はこ
れに限らず、例えば離散コサイン変換(DCT)、差分
量子化(DPCM)やBTC(Block Truncation Codin
g )等の種々の圧縮手法を用いることができる。
の時空間周辺画素の動きに基づいて各注目点をクラス分
類する動きクラス分類手段として、注目点を含むブロツ
クのフレーム差分の絶対値和を所定の閾値と比較するこ
とより動きの度合を検出し、当該検出結果をrビツトの
インデツクスデータCLASS4(CLASS4′)として出力する
動き検出部162を用いた場合について述べたが、本発
明はこれに限らず、例えば画素単位のブロツクマツチン
グを行うことにより動きベクトルを求め、当該動きベク
トルに基づいてインデツクスデータCLASS4(CLASS4′)
を形成するようにしても良く、または動きの方向のみを
検出し、当該動き方向に基づいてインデツクスデータCL
ASS4(CLASS4′)を形成するようにしても良い。
ーンに応じたクラス分類を行い、第2実施例ではレベル
分布パターン及び水平方向位置を組合わせたクラス分類
を行い、第6実施例ではレベル分布パターン、水平方向
位置及びエツジの有無を組合わせたクラス分類を行い、
第6実施例ではレベル分布パターン、水平方向位置、エ
ツジの有無及び動きを組合わせたクラス分類を行うよう
にした場合について述べたが、本発明はこれに限らず、
例えばレベル分布パターン及び動きを組合わせたクラス
分類を行うようにしても良く、種々の組合せを選択する
ことができる。
OM123を左目用の予測演算回路31A及び右目用の
予測演算回路31Bで共有化することにより、予測係数
を記憶するためのメモリ容量を半減させた場合について
述べたが、本発明はこれに限らず、タイミングコントロ
ーラ61によつて分類されたクラスのうち、画面上の水
平方向の中心位置(図11(B)参照)を境として片側
のみのクラスに対応した左目用及び右目用の予測係数を
それぞれの係数ROMに記憶させておき、タイミングコ
ントローラ61によつて分類されたクラス(すなわちイ
ンデツクスデータCLASS2)に対応する予測係数が係数R
OMに存在するときにはそれぞれの目用の予測係数を係
数ROMから読み出して各予測演算回路に供給し、分類
されたクラスに対応する予測係数が係数ROMに存在し
ないときには画面上の水平方向の中心位置からみて当該
クラスによつて表わされる水平位置と対称な位置のクラ
スの予測係数の順序を反転したものを各予測演算回路に
供給するようにしても係数ROMに記憶すべき予測係数
の量を半減させてメモリ容量を低減することができる。
9)において、画面の水平方向中心を境として右側領域
と左側領域とで予測係数を共有することにより、各係数
ROMに記憶すべき予測係数の量を半減させる方法であ
る。すなわち係数ROMから予測演算部31の乗算回路
34A1 〜34An に供給する予測係数w1 〜wn の順
序を水平領域の中心を境として左側領域と右側領域とで
反転させれば、各係数ROMに領域「0」〜領域「3」
までの予測係数のみを記憶すれば全領域「0」〜「7」
に対応した予測演算ができるようになる(図11(B)
参照)。
「7」にある場合を考えると、この水平位置での予測係
数としては領域「0」で用いた予測係数w1 〜wn を、
その順序を反転させて各乗算器34A1 〜34An に供
給すれば領域「7」に対応した左目用画像データ又は右
目用画像データを生成することができる。かくして、各
係数ROMに領域「4」〜領域「7」までの予測係数を
記憶する必要がなくなることにより係数ROMの容量を
有効に削減し得る。
記憶させる記憶手段として、ROMを用いた場合につい
て述べたが、RAM(Random Access Memory)やSRA
Mを用いるようにしても良い。
よる立体視化装置及び方法を全てハードウエアによつて
実現する場合について述べたが、本発明はこれに限ら
ず、デイジタル化されたデータを計算機に取り込むこと
によりソフトウエアによつて実現するようにしても良
い。
ビジヨン信号を、各注目点毎に当該注目点の周辺画素の
状態に応じてクラス分類するクラス分類手段と、各クラ
スに対応して用意された予測係数のうち、クラス分類手
段による分類結果に応じた予測係数を用いた予測演算処
理を行うことにより、左目用の画像信号及び右目用の画
像信号を生成する予測処理手段とを設けるようにしたこ
とにより、左右の目に対応したテレビジヨン信号を入力
させずとも左右の目に対応した画像信号を生成でき、か
くして記録情報量又は伝送情報量を増やさずに良好なス
テレオ画像を得ることができる。
ク図である。
ツクの説明に供する略線図である。
る。
である。
ク図である。
図である。
明に供する略線図である。
ツク図である。
る略線図である。
図である。
ツク図である。
図である。
ツク図である。
回路に供給する予測係数の説明に供する略線図である。
ツク図である。
図である。
場合のエツジ検出部の構成を示すブロツク図である。
う場合のエツジ検出部の構成を示すブロツク図である。
ツク図である。
図である。
ツク図である。
線図である。
80……立体視化装置、5、131、161……クラス
分類回路、6、62、121、134、163……左目
用クラス分類適応処理部、7、63、122、135、
164……右目用クラス分類適応処理部、11、12、
64、65、81、101、136、137、165、
166……予測処理回路、13、14……フレームメモ
リ、15……マルチプレクサ、17、48、61、71
……タイミングコントローラ、18……テレビジヨンモ
ニタ、20……液晶シヤツタ付き眼鏡、30、123…
…係数ROM、31、31A、31B……予測演算部、
34A1 〜34An ……乗算器、40、70、90、1
10、140、170……学習回路、41、42、7
2、73、141、142、171、172……予測係
数算出回路、132……エツジ検出部、133……レベ
ルパターン分類部、162……動き検出部、181……
遅延回路、182……選択回路、183……シーンチエ
ンジ検出信号生成回路、S1……入力テレビジヨン信
号、S2A〜S2H……表示画像信号、D1、D2……
予測画素データ、CLASS1、CLASS1′、CLASS2、CLASS
2′、CLASS3、CLASS3′、CLASS4、CLASS4′……インデ
ツクスデータ、D3A〜D3G……左目用画像データ、
D4A〜D4G……右目用画像データ、D5A〜、D5
H……表示画像データ、w1 〜wn ……予測係数、SC
……中央映像信号、SL……左目用映像信号、SR……
右目用映像信号、E3A、E3B、E3C、E3D、E
3F、E3G……左目用予測係数、E4A、E4B、E
4F、E4G……右目用予測係数。
Claims (34)
- 【請求項1】入力テレビジヨン信号に基づく立体画像を
表示させる立体視化装置において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
の周辺画素の分布状態に基づいてクラス分類するクラス
分類手段と、 各クラスに対応して用意された予測係数のうち、上記ク
ラス分類手段による分類結果に応じた予測係数を用いた
予測演算処理を行うことにより、左目用の画像信号及び
右目用の画像信号を生成する予測処理手段と、 上記左目用画像信号及び右目用画像信号を所定周期で交
互に切り換えて出力する出力手段と、 出力された左目用画像信号及び右目用画像信号を表示す
る表示手段とを具えることを特徴とする立体視化装置。 - 【請求項2】上記出力手段の出力周期に同期して左目用
シヤツタ及び右目用シヤツタが開閉される液晶シヤツタ
付き眼鏡を具えることを特徴とする請求項1に記載の立
体視化装置。 - 【請求項3】上記予測処理手段は、 予め学習により求められた各クラスに対応した左目用の
予測係数が記憶された左目用予測係数記憶手段と、 予め学習により求められた各クラスに対応した右目用の
予測係数が記憶された右目用予測係数記憶手段と、 上記クラス分類手段による分類結果に応じて上記左目用
予測係数記憶手段から出力された予測係数と上記注目点
の周辺画素値とを用いた線形一次結合式に基づく演算を
行うことにより上記左目用画像信号を生成する左目用予
測演算手段と、 上記クラス分類手段による分類結果に応じて上記右目用
予測係数記憶手段から出力された予測係数と上記注目点
の周辺画素値とを用いた線形一次結合式に基づく演算を
行うことにより上記右目用画像信号を生成する右目用予
測演算手段とを具えることを特徴とする請求項1に記載
の立体視化装置。 - 【請求項4】上記予測係数は、 互いに視差のある位置に設けられた中央のテレビジヨン
カメラ、左目用のテレビジヨンカメラ及び右目用のテレ
ビジヨンカメラによつて得た撮影テレビジヨン信号のう
ち、中央の撮影テレビジヨン信号を上記クラス分類手段
と同様の手法によりクラス分類し、 分類された各クラス毎に、上記左目用の撮影テレビジヨ
ン信号及び上記右目用の撮影テレビジヨン信号を教師デ
ータとして、当該教師データを、上記中央の撮影テレビ
ジヨン信号と複数の係数との線形一次結合式により表
し、 上記係数を最小二乗法を用いた学習によつて求めたもの
であることを特徴とする請求項1に記載の立体視化装
置。 - 【請求項5】上記クラス分類手段は、上記注目点の時空
間における周辺画素のレベル分布パターンに基づいてク
ラス分類するレベルパターンクラス分類手段を具えるこ
とを特徴とする請求項1に記載の立体視化装置。 - 【請求項6】上記クラス分類手段は、 上記注目点の時空間周辺画素のレベル分布パターンに基
づいてクラス分類するレベルパターンクラス分類手段
と、 上記注目点の画面上での水平方向の位置に基づいてクラ
ス分類する水平位置クラス分類手段とを具え、上記レベ
ルパターンクラス分類手段及び水平位置クラス分類手段
による分類結果を合わせたものをクラス分類結果とする
ことを特徴とする請求項1に記載の立体視化装置。 - 【請求項7】上記クラス分類手段は、上記注目点の時空
間周辺画素におけるエツジの有無を検出することにより
各注目点をクラス分類するエツジクラス分類手段を具え
ることを特徴とする請求項1に記載の立体視化装置。 - 【請求項8】上記エツジクラス分類手段は、 注目画素を中心とする微小ブロツク内の最大値と最小値
の差を所定の閾値と比較することによりエツジの有無を
検出し、当該検出結果を1/0の論理値で出力すること
を特徴とする請求項7に記載の立体視化装置。 - 【請求項9】上記エツジクラス分類手段は、 注目画素の時空間周辺画素に対してエツジ抽出フイルタ
をかけ、当該エツジ抽出フイルタの出力の絶対値を所定
の閾値と比較することによりエツジの有無を検出し、当
該検出結果を1/0の論理値で出力することを特徴とす
る請求項7に記載の立体視化装置。 - 【請求項10】上記クラス分類手段は、上記注目点の時
空間周辺画素の動きに基づいて各注目点をクラス分類す
る動きクラス分類手段を具えることを特徴とする請求項
1に記載の立体視化装置。 - 【請求項11】上記動きクラス分類手段は、 注目点を含むブロツクのフレーム差分の絶対値和を所定
の閾値と比較することにより動きの度合を検出し、当該
検出結果をrビツトのコードとして出力することを特徴
とする請求項10に記載の立体視化装置。 - 【請求項12】上記クラス分類手段は、 上記注目点の時空間周辺画素のレベル分布パターンに基
づいて各注目点をクラス分類するレベルパターンクラス
分類手段、上記注目点の画面上での水平方向の位置に基
づいて各注目点をクラス分類する水平位置クラス分類手
段、上記注目点の時空間周辺画素にエツジが有る否かを
検出することにより各注目点をクラス分類するエツジク
ラス分類手段、及び又は上記注目点の時空間周辺画素の
動きに基づいて各注目点をクラス分類する動きクラス分
類手段のうち少なくとも2つを具え、 上記複数のクラス分類手段による分類結果を合わせたも
のをクラス分類結果とすることを特徴とする請求項1に
記載の立体視化装置。 - 【請求項13】上記クラス分類手段は、少なくとも上記
注目点の画面上での水平方向の位置に基づいてクラス分
類する水平位置クラス分類手段を具え、 上記予測処理手段は、 上記水平位置クラス分類手段により分類されるクラスの
うち、画面上の水平方向の中心位置を境として片側のみ
のクラスに対応した左目用及び右目用の予測係数が記憶
された予測係数記憶手段と、 上記水平位置クラス分類手段により分類されたクラスに
対応する予測係数が上記予測係数記憶手段に存在する場
合にはそれぞれの目用の予測係数と上記注目点の周辺画
素値とを用いた線形一次結合式に基づく演算を行うこと
により左目用及び右目用画像信号を生成し、分類された
クラスに対応する予測係数が上記予測係数記憶手段に存
在しない場合には当該クラスに対応した他方の目用の上
記予測係数と上記注目点の周辺画素値とを用いた線形一
次結合式に基づく演算を行うことにより左目用及び右目
用画像信号を生成する予測演算手段とを具えることを特
徴とする請求項1に記載の立体視化装置。 - 【請求項14】上記クラス分類手段は、少なくとも上記
注目点の画面上での水平方向の位置に基づいてクラス分
類する水平位置クラス分類手段を具え、 上記予測処理手段は、 上記水平位置クラス分類手段により分類されるクラスの
うち、画面上の水平方向の中心位置を境として片側のみ
のクラスに対応した左目用及び右目用の予測係数が記憶
された予測係数記憶手段と、 上記水平位置クラス分類手段により分類されたクラスに
対応する予測係数が上記予測係数記憶手段に存在する場
合には当該予測係数と上記注目点の周辺画素値とを用い
た線形一次結合式に基づく演算を行うことにより左目用
及び右目用画像信号を生成し、分類されたクラスに対応
する予測係数が上記予測係数記憶手段に存在しない場合
には上記画面上の水平方向の中心位置からみて当該クラ
スによつて表わされる水平位置と対称な位置のクラスの
予測係数の順序を反転したものと上記注目点の周辺画素
値とを用いた線形一次結合式に基づく演算を行うことに
より左目用及び右目用画像信号を生成する予測演算手段
とを具えることを特徴とする請求項1に記載の立体視化
装置。 - 【請求項15】上記予測処理手段により生成された左目
用画像信号及び右目用画像信号のいづれか一方の画像信
号を遅延させる遅延手段と、 上記入力テレビジヨン信号にシーンチエンジが発生した
ことを検出するシーンチエンジ検出手段と、 シーンチエンジがない場合には上記遅延手段によつて一
方の目用の画像信号が遅延された左目用及び右目用画像
信号を上記表示手段に供給すると共に、シーンチエンジ
がある場合には遅延されていない左目用及び右目用画像
信号を上記表示手段に供給する選択手段とを具えること
を特徴とする請求項1に記載の立体視化装置。 - 【請求項16】入力テレビジヨン信号に基づく立体画像
を表示させる立体視化装置において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
の周辺画素の分布状態に基づいてクラス分類するクラス
分類手段と、 各クラスに対応して予め学習により求められた左目用又
は右目用のいずれか一方の予測係数が記憶された予測係
数記憶手段と、 上記クラス分類手段による分類結果に応じて当該予測係
数記憶手段から出力された予測係数と上記注目点の周辺
画素値とを用いた線形一次結合式に基づく演算を行うこ
とにより上記左目用画像信号又は右目用画像信号の何れ
か一方を生成する予測演算手段と、 上記予測演算手段により生成された上記左目用画像信号
又は右目用画像信号と、上記入力テレビジヨン信号とを
所定周期で交互に切り換えて出力する出力手段と、 上記出力手段から交互に出力された信号に基づく画像を
表示する表示手段とを具えることを特徴とする立体視化
装置。 - 【請求項17】上記予測係数は、 互いに視差のある位置に設けられた左目用のテレビジヨ
ンカメラ及び右目用のテレビジヨンカメラによつて得た
撮影テレビジヨン信号のうち、上記予測演算手段によつ
て生成されない方の撮像テレビジヨン信号を上記クラス
分類手段と同様の手法によりクラス分類し、 分類された各クラス毎に、上記予測演算手段によつて生
成される方の撮像テレビジヨン信号を教師データとし
て、当該教師データを、上記予測演算手段によつて生成
されない方の撮像テレビジヨン信号と複数の係数との線
形一次結合式により表し、 上記係数を最小二乗法を用いた学習によつて求めたもの
であることを特徴とする請求項16に記載の立体視化装
置。 - 【請求項18】入力テレビジヨン信号に基づく立体画像
を表示させる立体視化方法において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
の周辺画素の分布状態に基づいてクラス分類するクラス
分類ステツプと、 各クラスに対応して用意された予測係数のうち、上記ク
ラス分類ステツプによる分類結果に応じた予測係数を用
いた予測演算処理を行うことにより、左目用の画像信号
及び右目用の画像信号を生成する予測処理ステツプと、 上記左目用画像信号及び右目用画像信号を所定周期で交
互に切り換えて出力する出力ステツプと、 出力された左目用画像信号及び右目用画像信号を表示す
る表示ステツプとを具えることを特徴とする立体視化方
法。 - 【請求項19】上記出力ステツプの出力周期に同期して
液晶シヤツタ付きメガネの左目用シヤツタ及び右目用シ
ヤツタを開閉させるステツプを具えることを特徴とする
請求項18に記載の立体視化方法。 - 【請求項20】上記予測処理ステツプは、 予め学習により求められた各クラスに対応した左目用の
予測係数が記憶された左目用予測係数記憶手段から上記
クラス分類ステツプでの分類結果に応じた予測係数を読
み出し、当該予測係数と上記注目点の周辺画素値とを用
いた線形一次結合式に基づく演算を行うことにより上記
左目用画像信号を生成する左目用予測演算ステツプと、 予め学習により求められた各クラスに対応した右目用の
予測係数が記憶された右目用予測係数記憶手段から上記
クラス分類ステツプでの分類結果に応じた予測係数を読
み出し、当該予測係数と上記注目点の周辺画素値とを用
いた線形一次結合式に基づく演算を行うことにより上記
右目用画像信号を生成する右目用予測演算ステツプとを
具えることを特徴とする請求項18に記載の立体視化方
法。 - 【請求項21】上記予測係数は、 互いに視差のある位置に設けられた中央のテレビジヨン
カメラ、左目用のテレビジヨンカメラ及び右目用のテレ
ビジヨンカメラによつて得た撮影テレビジヨン信号のう
ち、中央の撮影テレビジヨン信号を上記クラス分類ステ
ツプと同様の手法によりクラス分類し、 分類された各クラス毎に、上記左目用の撮影テレビジヨ
ン信号及び上記右目用の撮影テレビジヨン信号を教師デ
ータとして、当該教師データを、上記中央の撮影テレビ
ジヨン信号と複数の係数との線形一次結合式により表
し、 上記係数を最小二乗法を用いた学習によつて求めたもの
であることを特徴とする請求項18に記載の立体視化方
法。 - 【請求項22】上記クラス分類ステツプでは、上記注目
点の時空間における周辺画素のレベル分布パターンに基
づいてクラス分類することを特徴とする請求項18に記
載の立体視化方法。 - 【請求項23】上記クラス分類ステツプは、 上記注目点の時空間周辺画素のレベル分布パターンに基
づいてクラス分類するレベルパターンクラス分類ステツ
プと、 上記注目点の画面上での水平方向の位置に基づいてクラ
ス分類する水平位置クラス分類ステツプとを具え、上記
レベルパターンクラス分類ステツプ及び水平位置クラス
分類ステツプによる分類結果を合わせたものをクラス分
類結果とすることを特徴とする請求項18に記載の立体
視化方法。 - 【請求項24】上記クラス分類ステツプでは、上記注目
点の時空間周辺画素におけるエツジの有無を検出するこ
とにより各注目点をクラス分類することを特徴とする請
求項18に記載の立体視化方法。 - 【請求項25】注目画素を中心とする微小ブロツク内の
最大値と最小値の差を所定の閾値と比較することにより
エツジの有無を検出し、当該検出結果を1/0の論理値
で出力することを特徴とする請求項24に記載の立体視
化方法。 - 【請求項26】注目画素の時空間周辺画素に対してエツ
ジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力
の絶対値を所定の閾値と比較することによりエツジの有
無を検出し、当該検出結果を1/0の論理値で出力する
ことを特徴とする請求項24に記載の立体視化方法。 - 【請求項27】上記クラス分類ステツプでは、上記注目
点の時空間周辺画素の動きに基づいて各注目点をクラス
分類することを特徴とする請求項18に記載の立体視化
方法。 - 【請求項28】上記動きクラス分類ステツプでは、 注目点を含むブロツクのフレーム差分の絶対値和を所定
の閾値と比較することにより動きの度合を検出し、当該
検出結果をrビツトのコードとして出力することを特徴
とする請求項27に記載の立体視化方法。 - 【請求項29】上記クラス分類ステツプは、 上記注目点の時空間周辺画素のレベル分布パターンに基
づいて各注目点をクラス分類するレベルパターンクラス
分類ステツプ、上記注目点の画面上での水平方向の位置
に基づいて各注目点をクラス分類する水平位置クラス分
類ステツプ、上記注目点の時空間周辺画素にエツジが有
る否かを検出することにより各注目点をクラス分類する
エツジクラス分類ステツプ、及び又は上記注目点の時空
間周辺画素の動きに基づいて各注目点をクラス分類する
動きクラス分類ステツプのうち少なくとも2つを具え、 上記複数のクラス分類ステツプによる分類結果を合わせ
たものをクラス分類結果とすることを特徴とする請求項
18に記載の立体視化方法。 - 【請求項30】上記クラス分類ステツプは、少なくとも
上記注目点の画面上での水平方向の位置に基づいてクラ
ス分類する水平位置クラス分類ステツプを具え、 上記予測処理ステツプでは、 上記水平位置クラス分類ステツプで分類されるクラスの
うち、画面上の水平方向の中心位置を境として片側のみ
のクラスに対応した左目用及び右目用の予測係数が記憶
された予測係数記憶手段を用い、 上記水平位置クラス分類ステツプにより分類されたクラ
スに対応する予測係数が上記予測係数記憶手段に存在す
る場合にはそれぞれの目用の予測係数と上記注目点の周
辺画素値とを用いた線形一次結合式に基づく演算を行う
ことにより左目用及び右目用画像信号を生成し、分類さ
れたクラスに対応する予測係数が上記予測係数記憶手段
に存在しない場合には当該クラスに対応した他方の目用
の上記予測係数と上記注目点の周辺画素値とを用いた線
形一次結合式に基づく演算を行うことにより左目用及び
右目用画像信号を生成することを特徴とする請求項18
に記載の立体視化方法。 - 【請求項31】上記クラス分類ステツプは、少なくとも
上記注目点の画面上での水平方向の位置に基づいてクラ
ス分類する水平位置クラス分類ステツプを具え、 上記予測処理ステツプでは、 上記水平位置クラス分類ステツプで分類されるクラスの
うち、画面上の水平方向の中心位置を境として片側のみ
のクラスに対応した左目用及び右目用の予測係数が記憶
された予測係数記憶手段を用い、 上記水平位置クラス分類ステツプにより分類されたクラ
スに対応する予測係数が上記予測係数記憶手段に存在す
る場合には当該予測係数と上記注目点の周辺画素値とを
用いた線形一次結合式に基づく演算を行うことにより左
目用及び右目用画像信号を生成し、分類されたクラスに
対応する予測係数が上記予測係数記憶手段に存在しない
場合には上記画面上の水平方向の中心位置からみて当該
クラスによつて表わされる水平位置と対称な位置のクラ
スの予測係数の順序を反転したものと上記注目点の周辺
画素値とを用いた線形一次結合式に基づく演算を行うこ
とにより左目用及び右目用画像信号を生成することを特
徴とする請求項18に記載の立体視化方法。 - 【請求項32】上記予測処理ステツプで生成された左目
用画像信号及び右目用画像信号のいづれか一方の画像信
号を遅延させる遅延ステツプと、 上記入力テレビジヨン信号にシーンチエンジが発生した
ことを検出するシーンチエンジ検出ステツプと、 シーンチエンジがない場合には上記遅延ステツプによつ
て一方の目用の画像信号が遅延された左目用及び右目用
画像信号を上記表示ステツプに与えると共に、シーンチ
エンジがある場合には遅延されていない左目用画像信号
及び右目用画像信号を上記表示ステツプに与える選択ス
テツプとを具えることを特徴とする請求項18に記載の
立体視化方法。 - 【請求項33】入力テレビジヨン信号に基づく立体画像
を表示させる立体視化方法において、 上記入力テレビジヨン信号を、各注目点毎に当該注目点
の周辺画素の分布状態に基づいてクラス分類するクラス
分類ステツプと、 各クラスに対応して予め学習により求められた左目用又
は右目用のいずれか一方の予測係数が記憶された予測係
数記憶手段から上記クラス分類ステツプでの分類結果に
応じた予測係数を読み出し、当該予測係数と上記注目点
の周辺画素値とを用いた線形一次結合式に基づく演算を
行うことにより上記左目用画像信号又は右目用画像信号
の何れか一方を生成する予測演算ステツプと、 上記予測演算ステツプにより生成された上記左目用画像
信号又は右目用画像信号と、上記入力テレビジヨン信号
とを所定周期で交互に切り換えて出力する出力ステツプ
と、 出力された信号に基づく画像を表示させる表示ステツプ
とを具えることを特徴とする立体視化方法。 - 【請求項34】上記予測係数は、 互いに視差のある位置に設けられた左目用のテレビジヨ
ンカメラ及び右目用のテレビジヨンカメラによつて得た
撮影テレビジヨン信号のうち、上記予測演算ステツプに
よつて生成されない方の撮像テレビジヨン信号を上記ク
ラス分類ステツプと同様の手法によりクラス分類し、 分類された各クラス毎に、上記予測演算ステツプによつ
て生成される方の撮像テレビジヨン信号を教師データと
して、当該教師データを、上記予測演算ステツプによつ
て生成されない方の撮像テレビジヨン信号と複数の係数
との線形一次結合式により表し、 上記係数を最小二乗法を用いた学習によつて求めたもの
であることを特徴とする請求項33に記載の立体視化方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23074595A JP3580450B2 (ja) | 1995-08-15 | 1995-08-15 | 立体視化装置及び立体視化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23074595A JP3580450B2 (ja) | 1995-08-15 | 1995-08-15 | 立体視化装置及び立体視化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0955962A true JPH0955962A (ja) | 1997-02-25 |
JP3580450B2 JP3580450B2 (ja) | 2004-10-20 |
Family
ID=16912632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23074595A Expired - Lifetime JP3580450B2 (ja) | 1995-08-15 | 1995-08-15 | 立体視化装置及び立体視化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3580450B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001076232A1 (en) * | 2000-03-30 | 2001-10-11 | Sony Corporation | Information processor |
JP2010062767A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 立体映像表示システム及び立体映像表示方法 |
JP2015119208A (ja) * | 2013-12-16 | 2015-06-25 | 凸版印刷株式会社 | 画像生成方法および画像生成装置ならびにプログラム |
-
1995
- 1995-08-15 JP JP23074595A patent/JP3580450B2/ja not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001076232A1 (en) * | 2000-03-30 | 2001-10-11 | Sony Corporation | Information processor |
US7174051B2 (en) | 2000-03-30 | 2007-02-06 | Sony Corporation | Information processing apparatus for adaptive processing circuits |
US7474806B2 (en) | 2000-03-30 | 2009-01-06 | Sony Corporation | Information processing apparatus |
US7477801B2 (en) | 2000-03-30 | 2009-01-13 | Sony Corporation | Information processing apparatus |
JP4779282B2 (ja) * | 2000-03-30 | 2011-09-28 | ソニー株式会社 | 情報処理装置 |
JP2010062767A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 立体映像表示システム及び立体映像表示方法 |
JP2015119208A (ja) * | 2013-12-16 | 2015-06-25 | 凸版印刷株式会社 | 画像生成方法および画像生成装置ならびにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3580450B2 (ja) | 2004-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9525858B2 (en) | Depth or disparity map upscaling | |
Lukacs | Predictive coding of multi-viewpoint image sets | |
RU2421933C2 (ru) | Система и способ формирования и воспроизведения трехмерного видеоизображения | |
AU783045B2 (en) | Generation of a sequence of stereoscopic images from a seque nce of 2D images | |
US6496598B1 (en) | Image processing method and apparatus | |
JP3781210B2 (ja) | 立体視化装置及び立体視化方法 | |
US7027659B1 (en) | Method and apparatus for generating video images | |
US8044994B2 (en) | Method and system for decoding and displaying 3D light fields | |
US6314211B1 (en) | Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image | |
WO2019034808A1 (en) | CODING AND DECODING VOLUMETRIC VIDEO | |
WO2017142712A1 (en) | 3d system including a marker mode | |
WO2006046180A1 (en) | Disparity map | |
JP2022533754A (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
US11070783B2 (en) | 3D system | |
KR20050078737A (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 | |
JPH09271042A (ja) | 立体視化方法及び装置 | |
JP3580450B2 (ja) | 立体視化装置及び立体視化方法 | |
Kim et al. | Synthesis of a high-resolution 3D stereoscopic image pair from a high-resolution monoscopic image and a low-resolution depth map | |
KR100503276B1 (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 | |
CN114897681A (zh) | 基于实时虚拟视角插值的多用户自由视角视频方法及*** | |
EP1620832A1 (en) | Segmentation refinement | |
US10242448B2 (en) | 3D system including queue management | |
US10225542B2 (en) | 3D system including rendering with angular compensation | |
KR100230447B1 (ko) | 2차원 연속영상의 3차원 영상 변환 장치 및 방법 | |
Jammal | Multiview Video View Synthesis and Quality Enhancement Using Convolutional Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |