JP3454684B2 - 2次元映像を3次元映像に変換する装置 - Google Patents
2次元映像を3次元映像に変換する装置Info
- Publication number
- JP3454684B2 JP3454684B2 JP25652397A JP25652397A JP3454684B2 JP 3454684 B2 JP3454684 B2 JP 3454684B2 JP 25652397 A JP25652397 A JP 25652397A JP 25652397 A JP25652397 A JP 25652397A JP 3454684 B2 JP3454684 B2 JP 3454684B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase amount
- parallax
- signal
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
次元映像に変換する装置に関する。
として、2次元映像信号から、複数のフィールドメモリ
を用いて、主映像信号と主映像信号に対して時間的に遅
延された副映像信号とを生成し、主映像信号と副映像信
号のうち、一方を左目用映像信号として出力し、他方を
右目用映像信号として出力する方法が知られている。
遅れ(以下、遅延量)は、主映像の水平方向の動きの速
度に基づいて、決定される。つまり、主映像の水平方向
の動きの速度が大きい程、遅延量は小さくなる。また、
主映像と副映像とのうち、いずれを左目用映像信号と
し、いずれを右目用映像信号とするかは、主映像の水平
方向の動きの方向(左または右)に基づいて決定され
る。
のみしか3次元映像に変換することができないので、こ
の方法を動画用2D/3D映像変換方法ということにす
る。
元映像に変換するための方法(以下、静止画用2D/3
D映像変換方法という)を既に開発して出願している
(特願平8−208173号、特願平9−159949
号)。ただし、これらの出願は未だ公開されていない。
2次元入力映像信号に基づいて、各フィールドごとに、
1フィールド画面内に設定された複数の視差算出領域の
それぞれに対して、映像の遠近に関する画像特徴量を抽
出し、各視差算出領域ごとに抽出された画像特徴量に基
づいて、1フィールド画面内の所定単位領域ごとの視差
情報を生成し、2次元入力映像信号の各所定単位領域内
の信号から、その所定単位領域に対応する視差情報に応
じた水平位相差を有する第1映像信号と第2映像信号と
をそれぞれ生成するものである。
D映像変換方法の一例について説明する。
るための2D/3D映像変換装置の全体的な構成を示し
ている。
差信号R−Yおよび色差信号B−Yは、AD変換回路1
(ADC)によってそれぞれディジタルのY信号、R−
Y信号およびB−Y信号に変換される。
度コントラスト算出回路9に送られるとともに、第1の
左映像用任意画素遅延FIFO11および第1の右映像
用任意画素遅延FIFO21に送られる。R−Y信号
は、R−Y成分積算回路31に送られるとともに、第2
の左映像用任意画素遅延FIFO12および第2の右映
像用任意画素遅延FIFO22に送られる。B−Y信号
は、B−Y成分積算回路32に送られるとともに、第3
の左映像用任意画素遅延FIFO13および第3の右映
像用任意画素遅延FIFO23に送られる。
に、図2に示すように、1フィールド画面内に予め設定
された複数個の視差算出領域E1〜E12それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路9は、1フィールド毎に、各視差算出領域E1
〜E12それぞれに対する輝度コントラストを算出す
る。R−Y成分積算回路31は、1フィールド毎に、各
視差算出領域E1〜E12それぞれに対するR−Y成分
の積算値を算出する。B−Y成分積算回路32は、1フ
ィールド毎に、各視差算出領域E1〜E12それぞれに
対するB−Y成分の積算値を算出する。
する高周波成分の積算値、各視差算出領域E1〜E12
それぞれに対する輝度コントラスト、各視差算出領域E
1〜E12それぞれに対するR−Y成分の積算値および
各視差算出領域E1〜E12それぞれに対するB−Y成
分の積算値は、視差算出領域E1〜E12ごとの映像の
遠近に関する画像特徴量として用いられる。
は、図13に示すように6行10列の計60個の視差算
出領域が設定されているが、説明の便宜上、図2に示す
ように、1フィールド画面内に、3行4列の計12個の
視差算出領域E1〜E12が設定されているものとす
る。
コントラスト算出回路9、R−Y成分積算回路31およ
びB−Y成分積算回路32から送られてきた情報に基づ
いて、各視差算出領域E1〜E12に対する視差情報を
生成する。この例では、被写体のように前側にある物体
ほど視差量が少なく、背景のように後ろ側にある物体ほ
ど視差量が大きくなるように視差情報が生成される。こ
の視差情報の生成方法の詳細については、後述する。
域E1〜E12に対する視差情報は、視差制御回路4に
送られる。視差制御回路4は、各視差算出領域E1〜E
12に対する視差情報に基づいて、各フィールドの各画
素位置ごとの視差情報を生成する。そして、得られた各
画素位置ごとの視差情報に基づいて、各FIFO11〜
13、21〜23から映像信号(Y信号、R−Y信号、
B−Y信号)を読み出す際の読み出しアドレスが左映像
用任意画素遅延FIFO11〜13と右映像用任意画素
遅延FIFO21〜23との間でずれるように、各FI
FO11〜13、21〜23の読み出しアドレスを制御
する。したがって、左映像用任意画素遅延FIFO11
〜13から読み出された左映像信号の水平位相と、右映
像用任意画素遅延FIFO21〜23から読み出された
右映像信号の水平位相が異なるようになる。
から読み出された左映像信号(YL信号、(R−Y)L
信号、(B−Y)L信号)は、DA変換回路(DAC)
5によってアナログ信号に変換された後、図示しない立
体表示装置に送られる。右映像用任意画素遅延FIFO
21〜23から読み出された右映像信号(YR信号、
(R−Y)R信号、(B−Y)R信号)は、DA変換回
路(DAC)6によってアナログ信号に変換された後、
図示しない立体表示装置に送られる。
平位相は異なっているので、左映像と右映像との間に視
差が発生する。この結果、左映像を左目のみで観察し、
右映像を右目のみで観察すると、被写体が背景に対して
前方位置にあるような立体映像が得られる。
示している。
12の水平方向の画素数をm、各視差算出領域E1〜E
12の垂直方向の画素数をn、第1の視差算出領域E1
の左上の座標を(a,b)として、水平位置(HAD)
および垂直位置(VAD)が表されている。
号発生回路201、加算回路202およびR−Y成分積
算レジスタ群203および選択回路(SEL)204を
備えている。R−Y成分積算レジスタ群203は、各視
差算出領域E1〜E12にそれぞれ対応した第1〜第1
2のR−Y成分積算レジスタ211〜222を備えてい
る。
映像信号の水平同期信号Hsyncおよび垂直同期信号
Vsyncならびに各水平期間の水平アドレスを検出す
るためのクロック信号CLKが入力している。
期信号Hsync、垂直同期信号Vsyncおよびクロ
ック信号CLKに基づいて、第1〜第12のイネーブル
信号EN1〜EN12、リセット信号RSTおよび出力
タイミング信号DOUTを出力する。
れぞれ各視差算出領域E1〜E12に対応しており、常
時はLレベルであり、入力映像信号の水平垂直位置が対
応する領域内にあるときに、Hレベルとなる。第1〜第
12のイネーブル信号EN1〜EN12は、それぞれ第
1〜第12の輝度積算レジスタ211〜222に、書き
込み信号として入力している。また、第1〜第12のイ
ネーブル信号EN1〜EN12は、選択回路204にも
送られる。選択回路204は、Hレベルのイネーブル信
号に対応する入力データを選択して出力する。
ける各フィールドの有効映像開始タイミングで出力さ
れ、各R−Y成分積算レジスタ211〜222に送られ
る。各R−Y成分積算レジスタ211〜222にリセッ
ト信号RSTが入力されると、その内容が0にされる。
すように、入力映像信号の垂直位置が、最下段の視差算
出領域E12の下端の垂直位置を越えた時点から一定期
間だけ、Hレベルとなる。出力タイミング信号DOUT
は、CPU3に送られる。
ングにリセット信号が出力され、各R−Y成分積算レジ
スタ211〜222の内容が0にされる。入力映像信号
の水平垂直位置が第1の視差算出領域E1内である場合
には、第1のイネーブル信号EN1がHレベルとなるの
で、第1のR−Y成分積算レジスタ211に保持されて
いるR−Y値が選択回路204を介して加算回路202
に送られるとともに、入力映像信号におけるR−Y信号
が加算回路202に入力する。
1に保持されていたR−Y値と、入力映像信号における
R−Y信号とが加算回路202によって加算され、その
加算結果が第1のR−Y成分積算レジスタ211に格納
される。つまり、入力映像信号の水平垂直位置が第1の
視差算出領域E1内である場合においては、第1の視差
算出領域E1内の画素のR−Y値が積算されていき、そ
の積算結果が第1のR−Y成分積算レジスタ211に蓄
積される。
12ごとのR−Y成分積算値が、対応するR−Y成分積
算レジスタ211〜222に蓄積される。そして、出力
タイミング信号DOUTがHレベルとなると、各R−Y
成分積算レジスタ211〜222に蓄積されている各視
差算出領域E1〜E12ごとのR−Y成分積算値が、C
PU3にデータバス(DATA−BUS)を介して送ら
れる。
R−Y成分積算回路31の構成と同様なので、その説明
を省略する。
している。
発生回路231、ハイパスフィルタ(HPF)232、
絶対値化回路233、スライス処理回路234、加算回
路235および高周波成分積算レジスタ群236および
選択回路237を備えている。高周波成分積算レジスタ
群236は、各視差算出領域E1〜E12にそれぞれ対
応した第1〜第12の高周波成分積算レジスタ241〜
252を備えている。
および出力信号は、図3のタイミング信号発生回路20
1の入力信号および出力信号と同じである。
ば、図5に示すように、5つのDフリップフロップ26
1〜265、入力値の2倍の出力を得るためのビットシ
フト回路266、加算器267および減算器268から
なる、−1、0、2、0および−1のタップ係数を持つ
ハイパスフィルタが用いられる。
図6に示すような入出力特性を有する回路が用いられ
る。0〜Iaまでの入力に対しては、出力を0としてい
るのは、ノイズが高周波成分として抽出されないように
するためである。
の高周波成分がハイパスフィルタ232によって抽出さ
れ、その絶対値が絶対値化回路233により得られ、ス
ライス処理回路234によって高周波成分の絶対値から
ノイズが除去される。
ングにリセット信号が出力され、各高周波成分積算レジ
スタ241〜252の内容が0にされる。入力映像信号
の水平垂直位置が第1の視差算出領域E1内である場合
には、第1のイネーブル信号EN1がHレベルとなるの
で、第1の高周波成分積算レジスタ241に保持されて
いる高周波成分が選択回路237を介して加算回路23
5に送られるとともに、入力映像信号におけるY信号の
高周波成分(スライス処理回路234の出力)が加算回
路235に入力する。
タ241に保持されていた高周波成分と、入力映像信号
におけるY信号の高周波成分とが加算回路235によっ
て加算され、その加算結果が第1の高周波成分積算レジ
スタ241に格納される。つまり、入力映像信号の水平
垂直位置が第1の視差算出領域E1内である場合におい
ては、第1の視差算出領域E1内の画素の高周波成分が
積算されていき、その積算結果が第1の高周波成分積算
レジスタ241に蓄積される。
12ごとの高周波成分の積算値が、対応する高周波成分
積算レジスタ241〜252に蓄積される。そして、出
力タイミング信号DOUTがHレベルとなると、各高周
波成分積算レジスタ241〜252に蓄積されている各
視差算出領域E1〜E12ごとの高周波成分の積算値
が、CPU3にデータバスを介して送られる。
示している。
信号発生回路238、ハイパスフィルタ232、ピーク
検出回路239、加算回路235、高周波成分積算レジ
スタ群236および選択回路237を備えている。
タイミング信号発生回路201とほぼ同じであるが、図
2に示すように、入力映像信号の水平位置が、視差算出
領域E1、E5、E9の直前の水平位置および各視差算
出領域E1〜E12の最後尾の水平位置に達したとき
に、トリガパルス(領域境界信号RST1) が出力され
る点が、図3のタイミング信号発生回路201と異なっ
ている。領域境界信号RST1は、ピーク検出回路23
9に送られる。
たY信号の高周波成分は、ピーク検出回路239に送ら
れる。ピーク検出回路239は、各視差算出領域E1〜
E12内の各水平ラインごとに、高周波成分の最大値を
検出する。ピーク検出回路239としては、図8に示す
ように、比較回路271、最大値レジスタ272および
ゲート273を備えたものが用いられる。図9は、入力
映像信号の水平同期信号Hsync、領域境界信号RS
T1、ゲート273等の出力を示している。
ルタ232によって抽出されたY信号の高周波成分、領
域境界信号RST1、比較回路271の判定結果信号L
aおよびクロック信号CLKが入力される。比較回路2
71は、最大値レジスタ272の出力と入力映像信号に
おけるY信号の高周波成分とを比較し、Y信号の高周波
成分が最大値レジスタ272の出力より大きいときに、
判定結果信号LaをHレベルにする。
と、最大値レジスタ272の内容は0にされる。領域境
界信号RST1がLレベルである状態において、比較回
路271からの判定結果信号LaがHレベルであれば、
Y信号の高周波成分が最大値レジスタ272に格納され
る。つまり、最大値レジスタ272の内容が更新され
る。したがって、最大値レジスタ272には、領域境界
信号RST1がLレベルである期間ごとに、入力映像信
号の水平垂直位置に対応する視差算出領域E1〜E12
内の1水平ラインの各画素に対するY信号の高周波成分
のうちの最大値が蓄積される。
Hレベルになると、最大値レジスタ272の出力値を出
力し、領域境界信号RST1がLレベルのときには0を
出力する。つまり、ゲート回路273からは、領域境界
信号RST1がHレベルになるごとに、最大値レジスタ
272に蓄積されていた所定の視差算出領域E1〜E1
2内の1水平ラインに対するY信号の高周波成分の最大
値が出力される。したがって、各高周波成分積算レジス
タ241〜252(図7参照)には、対応する視差算出
領域内の各水平ラインに対するY信号の高周波成分の最
大値の積算値が蓄積されることになる。
構成を示している。
グ信号発生回路301および輝度コントラスト検出回路
群302を備えている。輝度コントラスト検出回路群3
02は、各視差算出領域E1〜E12にそれぞれ対応し
た第1〜第12の輝度コントラスト検出回路311〜3
22を備えている。
および出力信号は、図3のタイミング信号発生回路20
1の入力信号および出力信号と同じである。
2は、図11に示すように、第1の比較回路331、最
大値レジスタ332、第2の比較回路333、最小値レ
ジスタ334および減算器335を備えている。
におけるY信号、当該輝度コントラスト検出回路に対応
する領域E1〜E12のイネーブル信号EN(N=1、
2…12)、リセット信号RST、第1の比較回路33
1から出力される判定信号Lbおよびクロック信号CL
Kが入力している。第1の比較回路331は、最大値レ
ジスタ332の出力値と入力映像信号におけるY信号と
を比較し、入力映像信号におけるY信号が最大値レジス
タ332の出力値より大きいときに判定信号LbをHレ
ベルにする。
最大値レジスタ332の内容は0にされる。当該輝度コ
ントラスト検出回路に対応する領域E1〜E12のイネ
ーブル信号ENがHレベルでありかつ判定信号LbがH
レベルのときに、Y信号が最大値レジスタ332に格納
される。つまり、最大値レジスタ332の内容が更新さ
れる。したがって、出力タイミング信号DOUTが出力
される直前においては、最大値レジスタ332には、当
該輝度コントラスト検出回路に対応する視差算出領域E
1〜E12内の各画素の輝度値のうちの最大値が蓄積さ
れる。
におけるY信号、当該輝度コントラスト検出回路に対応
する領域E1〜E12のイネーブル信号EN(N=1、
2…12)、リセット信号RST、第2の比較回路33
3から出力される判定信号Lcおよびクロック信号CL
Kが入力している。第2の比較回路333は、最小値レ
ジスタ334の出力値と入力映像信号におけるY信号と
を比較し、入力映像信号におけるY信号が最小値レジス
タ334の出力値より小さいときに判定信号LcをHレ
ベルにする。
最小値レジスタ334に、予め定められた最大値が設定
される。当該輝度コントラスト検出回路に対応する領域
E1〜E12のイネーブル信号ENがHレベルでありか
つ判定信号LcがHレベルのときに、Y信号が最小値レ
ジスタ334に格納される。つまり、最小値レジスタ3
34の内容が更新される。したがって、出力タイミング
信号DOUTが出力される直前においては、最小値レジ
スタ334には、当該輝度コントラスト検出回路に対応
する視差算出領域E1〜E12内の各画素の輝度値のう
ちの最小値が蓄積される。
出力される時点においては、減算器335の出力は、対
応する視差算出領域E1〜E12内の各画素の輝度値の
うちの最大値と最小値との差(輝度コントラスト)に対
応した値となる。そして、出力タイミング信号DOUT
が出力されると、減算器335の出力(輝度コントラス
ト)がCPU3に送られる。
差算出領域毎の視差情報生成処理手順を示している。
は、グループ分け処理(ステップ1)、空間分離処理
(ステップ2)、特異点処理(ステップ3)、グループ
間結合処理(ステップ4)、グループ毎の奥行き情報生
成処理(ステップ5)、全領域に対する奥行き情報補正
処理(ステップ6)、グループ境界に対する奥行き情報
補正処理(ステップ7)、グループ内部に対する奥行き
情報補正処理(ステップ8)および視差情報算出処理
(ステップ9)が行なわれる。
る60個の視差算出領域を例にとって、視差情報生成処
理を説明する。図13は、1フィールドに対して実際に
設定されている60個の視差算出領域F1〜F60を示
している。
画像を構成する全領域を、その画像に含まれている物体
ごとにグループ分けすることを目的として行なわれる最
初の処理である。
2つの方法がある。
算値を、所定範囲(たとえば、0〜20)の値に正規化
する。そして、高周波積算値の各正規化値に属する視差
算出領域の数の分布(ヒストグラム)を生成する。図1
4に、生成されたヒストグラムの一例を示す。そして、
ヒストグラムの谷と谷との間の山に含まれている視差算
出領域どうしを、1つのグループとする。高周波積算値
の代わりに輝度コントラストを用いてもよい。図15
は、このようにして各視差算出領域F1〜F60が、グ
ループ分けされた結果を示している。図15において、
G1〜G4の数字は、グループ番号を示している。
算値を、0〜20の範囲の値に正規化する。そして、R
−Y成分積算値の各正規化値に属する視差算出領域の数
の分布(ヒストグラム)を生成する。このヒストグラム
に基づいて、R−Y成分積算値の正規化値の中から、グ
ループ間の境界値を求める。
れたB−Y成分の積算値を、0〜10の範囲の値に正規
化する。そして、B−Y成分積算値の各正規化値に属す
る視差算出領域の数の分布(ヒストグラム)を生成す
る。このヒストグラムに基づいて、B−Y成分積算値の
正規化値の中から、グループ間の境界値を求める。
して得られた2種類の境界値を用いて、全視差算出領域
をグループ化する。図17および図18は、このように
して各視差算出領域F1〜F60が、グループ分けされ
た結果を示している。図17および図18において、G
1〜G5は、グループ番号を示している。
け処理が行なわれたものとする。
1の処理によって同一のグループに属している視差算出
領域のうち、空間的に隣接している視差算出領域どうし
が1つのグループとされる。つまり、ステップ1の処理
によって同一のグループに属している視差算出領域であ
っても、空間的に他のグループによって分離されている
視差算出領域どうしは、別々のグループとされる。
プ1において、グループ3(G3)に属するとされた視
差算出領域は、グループ31(G31)、グループ32
(G32)およびグループ33(G33)の3つのグル
ープに分離される。
のみで構成されているグループが存在する場合に、その
1つの視差算出領域が隣接する他のグループとは別の物
体に対応しているのか、隣接する他のグループの物体と
同じ物体に対応しているのかが判定される。
ープが1つの視差算出領域Aのみで構成されているグル
ープであるとする。視差算出領域Aの上方向にある2つ
の視差算出領域を、視差算出領域Aに近いものからU
1、U2とする。視差算出領域Aの下方向にある2つの
視差算出領域を、視差算出領域Aに近いものからD1、
D2とする。視差算出領域Aの左方向にある2つの視差
算出領域を、視差算出領域Aに近いものからL1、L2
とする。視差算出領域Aの右方向にある2つの視差算出
領域を、視差算出領域Aに近いものからR1、R2とす
る。
のそれぞれの方向について、領域Aとそれの1つ外側の
領域U1、D1、L1、R1との色距離が、領域Aより
1つ外側の領域U1、D1、L1、R1とさらにその1
つ外側の領域U2、D2、L2、R2との色距離より大
きい場合には、領域Aのみで構成されているグループは
単独で1つのグループを形成すると判別される。そうで
ない場合には、領域Aはその周囲のグループに属すると
判別される。つまり、グループ分けが修正される。
算出領域Faに対するB−Y成分積算値、R−Y成分積
算値をそれぞれFa(B−Y)、Fa(R−Y)で表
し、ある視差算出領域Fbに対するB−Y成分積算値、
R−Y成分積算値をそれぞれFb(B−Y)、Fb(R
−Y)で表すと、領域Faと領域Fbとの間の色距離di
stは、次の数式1で定義される。
算値、R−Y成分積算値)が(−4,5)で、領域U1
の(B−Y成分積算値、R−Y成分積算値)が(−5,
4)で、領域U2の(B−Y成分積算値、R−Y成分積
算値)が(−7,2)であるとする。領域Aと領域U1
との色距離distは”2”となり、領域U1と領域U2と
の色距離distは”4”となる。
視差算出領域のみで構成されており、上記のような特異
点処理により、グループ1(G1)に属すると判別され
たとすると、図21に示すようにグループ分けが修正さ
れる。
ず、各グループ毎に、そのグループを構成する視差算出
領域のR−Y成分積算値の平均値およびB−Y成分積算
値の平均値が算出される。
間の色距離が算出される。つまり、隣接している2つの
グループをGa、Gbとする。グループGaがn個の視
差算出領域a1、a2、…anで構成されているとする
と、グループGaのB−Y成分積算値の平均値*Ga
(B−Y)およびR−Y成分積算値の平均値*Ga(R
−Y)は、次の数式2で求められる。
b1、b2、…bmで構成されているとすると、グルー
プGbのB−Y成分積算値の平均値*Gb(B−Y)お
よびR−Y成分積算値の平均値*Gb(R−Y)は、次
の数式3で求められる。
離distは、次の数式4によって定義される。
離がしきい値より小さいか否かが判別され、色距離がし
きい値より小さいときには、これらの2つのグループが
結合される。つまり、これらの2つのグループが1つの
グループにまとめられる。
説明
処理では、まず、視差算出領域F1〜F60毎に得られ
た高周波成分の積算値が、0〜10の範囲の値に正規化
される。また、視差算出領域F1〜F60毎に得られた
輝度コントラストが、0〜10の範囲の値に正規化され
る。
規化値と、輝度コントラストの正規化値と、図22に示
すように各視差算出領域F1〜F60毎に予め与えられ
た背景重み成分に基づいて、グループ毎の奥行き情報が
生成される。
の生成方法について説明する。まず、当該グループに属
している視差算出領域数nが求められる。また、当該グ
ループに属している視差算出領域に対する高周波成分の
積算値の正規化値aの総和Σaが算出される。また、当
該グループに属している視差算出領域に対する輝度コン
トラストの正規化値bの総和Σbが算出される。また、
当該グループに属している視差算出領域に対する背景重
み成分cの総和Σcが算出される。
ープに対する奥行き情報Hが生成される。
係数であり、たとえば、K1=3/8、K2=1/8、
K3=4/8に設定されている。
の説明
処理では、まず、視差算出領域F1〜F60の各行ごと
に、奥行き情報の平均値が算出される。各視差算出領域
F1〜F60ごとの奥行き情報が、たとえば、図23に
示すような値であった場合には、第1〜第6行目ごとの
奥行き情報の平均値は、1.2、3.6、6.0、7.
2、4.0、1.2となる。
置の物体が多く映っている領域が抽出される。つまり、
奥行き情報の平均値が最も大きい行が抽出される。図2
3の例では、第4行目の領域が抽出される。
領域については、直上の領域に対して、急激に奥行き情
報が小さくならないように、抽出された行より下段にあ
る行の各領域の奥行き情報が調整される。具体的には、
抽出された行より下段にある行の各領域の奥行き情報が
直上の領域に対して3以上小さい領域に対しては、直上
の領域の奥行き情報より2だけ小さい値に、その領域の
奥行き情報が変更せしめられる。
ず、第5行の各領域F41〜F50のうち、その奥行き
情報が直上の領域の奥行き情報に対して3以上小さい領
域F42〜F49に対して、奥行き情報が補正される。
この後、第6行の各領域F51〜F60のうち、その奥
行き情報が直上の領域の奥行き情報(補正後の奥行き情
報)に対して3以上小さい領域F53〜F58に対し
て、奥行き情報が補正される。
さに対する奥行き情報の関係が、図25に曲線U1で示
すような関係である場合には、奥行き補正によって、画
面の高さに対する奥行き情報の関係が、図25に曲線U
2に示すような関係となるように補正される。
手前位置の物体が多く映っている領域より下段の領域の
奥行き情報が補正されているのは次の理由による。
る物体が映っていることが多い。また、画面の下側に映
っている物体は、地面等のように変化の少ない画像であ
ることが多い。地面等のように変化の少ない画像は、高
周波成分が低いため、前方にあるにも係わらず、奥行き
情報の値は小さくなる。そこで、奥行き補正により、前
方にある物体であって高周波成分が低い映像に対する奥
行き情報を、その直上の領域の奥行き情報の値より大き
くならない程度に大きくしているのである。
正処理の説明
ては、正しくグループ分けが行なわれていないことがあ
る。また、隣り合う2つのグループ間の境界部におい
て、グループ毎の奥行き推定値が大きく異なると、画像
歪みが顕著となる。
る奥行き情報補正処理では、まず、隣り合う2つのグル
ープ間の境界部毎に、一方のグループの視差算出領域の
奥行き情報と、他方のグループの視差算出領域の奥行き
情報との差が、予め定められた所定値以上か否かが判別
される。そして、両者の奥行き情報の差が所定値以上で
ある場合には、両者の奥行き情報の差が所定値より小さ
くなるように、奥行き情報が小さい方(つまり、後方に
位置している方)の視差算出領域に対する奥行き情報を
増加させる。
正処理の説明
て、同一グループ内においても領域によって奥行き情報
に差が生じる。この差が大きくなると、画像歪みが顕著
となる。そこで、ステップ8のグループ内部に対する奥
行き情報補正処理では、各グループ毎に、グループ内の
奥行き推定値が平滑化される。
プ内において、注目領域をA、それに対する奥行き情報
をHAとし、それに隣接する4つの領域をU、D、L、
R、それらに対する奥行き情報をHU、HD、HL、H
Rとすると、注目領域Aに対する奥行き推定値HAは次
の数式6により、補正される。
1〜F60ごとの奥行き情報は、再度、0〜10の範囲
内で正規化される。
差算出領域F1〜F60ごとの奥行き情報が各領域F1
〜F60ごとの視差情報に変換される。
る視差情報との関係に基づいて、各領域F1〜F60ご
とに、奥行き情報を視差情報に変換する。奥行き情報に
対する視差情報との関係は、図27に直線S1またはS
2で示されるように、反比例の関係である。
き情報に対する視差情報との関係は、立体感が比較的強
い立体映像を得たい場合に用いられる。直線S2で示さ
れる奥行き情報に対する視差情報との関係は、立体感が
比較的弱い立体映像を得たい場合に用いられる。奥行き
情報に対する視差情報との関係を、直線S1と直線S2
との間で調整することにより、立体感を調整することが
可能である。
との視差情報は、視差制御回路4(図1参照)に送られ
る。
および任意画素遅延FIFOの構成を示している。以下
においては、視差算出領域が、図2に示すように、E1
〜E12であるとして説明する。
13、21〜23のうち、Y信号に対する左映像用任意
画素遅延FIFO11および右映像用任意画素遅延FI
FO21しか示されていないが、他の任意画素遅延FI
FO12、13、22、23も同様な構成でありかつ同
様な制御が行なわれるので、他の任意画素遅延FIFO
12、13、22、23の構成および制御方法について
は、その説明を省略する。
差情報は、各視差算出領域E1〜E12の中心位置に対
する視差情報である。視差制御回路4では、各視差算出
領域E1〜E12の中心位置に対する視差情報に基づい
て、1フィールド画面の各画素位置に対する視差情報が
求められる。そして、各画素位置に対する2次元映像信
号から、その画素位置に対する視差情報に応じた視差を
有する左映像と右映像とを生成するために、各画素位置
に対する視差情報に基づいて、左映像用任意画素遅延F
IFO11〜13および右映像用任意画素遅延FIFO
21〜23の読み出しアドレスが制御される。
差情報は、タイミング信号発生回路51、視差補間係数
発生回路52、視差情報記憶手段60、視差選択回路8
0、第1〜第4乗算器81〜84および加算回路85に
よって、生成される。
よび垂直同期信号Vsyncは、タイミング信号発生回
路51に入力している。また、各水平期間の水平アドレ
スを検出するためのクロック信号CLKもタイミング信
号発生回路51に入力している。
信号Hsync、垂直同期信号Vsyncおよびクロッ
ク信号CLKに基づいて、入力映像信号の絶対的水平位
置を表す水平アドレス信号HAD、入力映像信号の絶対
的垂直位置を表す垂直アドレス信号VAD、入力映像信
号の相対的水平位置を表す相対的水平位置信号HPOS
および入力映像信号の相対的垂直位置を表す相対的垂直
位置信号VPOSを生成して出力する。
的垂直位置について説明する。
E1〜E12は、次のように設定されている。画面全体
が図29に点線で示すように、4行5列の20個の領域
(以下、第1分割領域という)に分割されている。そし
て、左上端の第1分割領域の中心、右上端の第1分割領
域の中心、左下端の第1分割領域の中心および右下端の
第1分割領域の中心を4頂点とする四角形領域が3行4
列の12個の領域(以下、第2分割領域という)に分割
され、各第2分割領域が視差算出領域E1〜E12とし
て設定されている。
向の画素数がmで表され、第1分割領域および第2分割
領域の垂直方向の画素数がnとして表されている。入力
映像信号の相対的水平位置は、各第1分割領域の左端を
0とし、右端をmとして、0〜(m−1)で表される。
入力映像信号の相対的垂直位置は、各第1分割領域の上
端を0とし、下端をnとして、0〜(n−1)で表され
る。
Sおよび相対的垂直位置VPOSは、視差補間係数発生
回路52に送られる。視差補間係数発生回路52は、相
対的水平位置信号HPOS、相対的垂直位置VPOSお
よび次の数式7に基づいて、第1視差補間係数KUL、
第2視差補間係数KUR、第3視差補間係数KDLおよ
び第4視差補間係数KDRを生成して出力する。
差情報を生成する方法の基本的な考え方について、図3
0を用いて説明する。水平アドレス信号HADおよび垂
直アドレス信号VADによって表されている水平垂直位
置(以下、注目位置という)が図30のPxyであると
する。注目位置Pxyに対する視差情報を求める場合に
ついて説明する。
各視差算出領域E1〜E12に対する視差情報のうちか
ら、注目位置Pxyが含まれる第1分割領域の4頂点、
この例ではPE1、PE2、PE5、PE6を中心とす
る視差算出領域E1、E2、E5、E6に対する視差情
報が、それぞれUL、UR、DL、DRとして抽出され
る。つまり、注目位置Pxyが含まれる第1分割領域の
4頂点のうち、左上の頂点を中心とする領域E1の視差
情報が第1視差情報ULとして、右上の頂点を中心とす
る領域E2の視差情報が第2視差情報URとして、左下
の頂点を中心とする領域E5の視差情報が第3視差情報
DLとして、右下の頂点を中心とする領域E6の視差情
報が第4視差情報DRとして抽出される。
が、左上端の第1分割領域である場合のように、注目位
置が含まれる第1分割領域の4頂点のうち1つの頂点の
みが視差検出領域の中心に該当するような場合には、そ
の視差算出領域の視差情報が、第1〜第4の視差情報U
L、UR、DL、DRとして抽出される。
が、左上端の第1分割領域の右隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち下側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち上側の2つの頂点に対応する視差情
報UL、URとしては、その下側の頂点を中心とする視
差算出領域の視差情報が抽出される。
が、左上端の第1分割領域の下隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち右側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち左側の2つの頂点に対応する視差情
報UL、DLとしては、その右側の頂点を中心とする視
差算出領域の視差情報が抽出される。
が、右下端の第1分割領域の左隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち上側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち下側の2つの頂点に対応する視差情
報DL、DRとしては、その上側の頂点を中心とする視
差算出領域の視差情報が抽出される。
が、右下端の第1分割領域の上隣の第1分割領域である
場合のように、注目位置が含まれる第1分割領域の4頂
点のうち左側の2つの頂点のみが視差算出領域の中心に
該当するような場合には、注目位置が含まれる第1分割
領域の4頂点のうち右側の2つの頂点に対応する視差情
報UR、DRとしては、その左側の頂点を中心とする視
差算出領域の視差情報が抽出される。
UL、KUR、KDLおよびKDRが求められる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離ΔX
Rとの比{(m−HPOS)/m}と、第1分割領域e
の垂直方向幅nに対する、注目位置Pxyから第1分割
領域eの下辺までの距離ΔYDとの比{(n−VPO
S)/n}との積によって求められる。すなわち、第1
の視差補間係数KULは、注目位置Pxyを含む第1分
割領域eの左上頂点PE1と注目位置Pxyとの距離が
小さいほど大きくなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離ΔX
Lとの比(HPOS/m}と、第1分割領域eの垂直方
向幅nに対する、注目位置Pxyから第1分割領域eの
下辺までの距離ΔYDとの比{(n−VPOS)/n}
との積によって求められる。すなわち、第2の視差補間
係数KURは、注目位置Pxyを含む第1分割領域eの
右上頂点PE2と注目位置Pxyとの距離が小さいほど
大きくなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの右辺までの距離ΔX
Rとの比{(m−HPOS)/m}と、第1分割領域e
の垂直方向幅nに対する、注目位置Pxyから第1分割
領域eの上辺までの距離ΔYUとの比(VPOS/n)
との積によって求められる。すなわち、第3の視差補間
係数KDLは、注目位置Pxyを含む第1分割領域eの
左下頂点PE5と注目位置Pxyとの距離が小さいほど
大きくなる。
xyを含む第1分割領域eの水平方向幅mに対する、注
目位置Pxyから第1分割領域eの左辺までの距離ΔX
Lとの比(HPOS/m)と、第1分割領域eの垂直方
向幅nに対する、注目位置Pxyから第1分割領域eの
上辺までの距離ΔYUとの比(VPOS/n)との積に
よって求められる。すなわち、第4の視差補間係数KD
Rは、注目位置Pxyを含む第1分割領域eの右下頂点
PE6と注目位置Pxyとの距離が小さいほど大きくな
る。
の視差情報UL、UR、DL、DRに、それぞれ上記
(2)で算出された第1〜第4の視差補間係数KUL、
KUR、KDL、KDRがそれぞれ乗算される。そし
て、得られた4つの乗算値が加算されることにより、注
目位置Pxyに対する視差情報が生成される。
2にそれぞれ対応して設けられた第1〜第12の視差レ
ジスタ61〜72を備えている。第1〜第12の視差レ
ジスタ61〜72には、CPU3によって生成された各
領域E1〜E12に対する視差情報が格納される。
択回路80が設けられている。視差選択回路80には、
各視差レジスタ61〜72から視差情報がそれぞれ送ら
れる。さらに、視差選択回路80には、タイミング信号
発生回路51から水平アドレス信号HADおよび垂直ア
ドレス信号VADが送られている。
れている規則にしたがって、水平アドレス信号HADお
よび垂直アドレス信号VADに対応する領域(図30の
例では、注目位置を含む第1領域の左上頂点を中心とす
る視差算出領域)に対する視差情報を、第1視差情報U
Lとして選択して出力する。さらに、視差選択回路80
は、図31(b)に示されている規則にしたがって、水
平アドレス信号HADおよび垂直アドレス信号VADに
対応する領域(図30の例では、注目位置を含む第1領
域の右上頂点を中心とする視差算出領域)に対する視差
情報を、第2視差情報URとして選択して出力する。
(c)に示されている規則にしたがって、水平アドレス
信号HADおよび垂直アドレス信号VADに対応する領
域(図30の例では、注目位置を含む第1領域の左下頂
点を中心とする視差算出領域)に対する視差情報を、第
3視差情報DLとして選択して出力する。さらに、視差
選択回路80は、図31(d)に示されている規則にし
たがって、水平アドレス信号HADおよび垂直アドレス
信号VADに対応する領域(図30の例では、注目位置
を含む第1領域の右下頂点を中心とする視差算出領域)
に対する視差情報を、第4視差情報DRとして選択して
出力する。図31において、たとえば、0〜mのよう
に、a〜bで表現されている記号”〜”は、a以上b未
満を意味する記号として用いられている。
視差情報UL、第2視差情報UR、第3視差情報DLお
よび第4視差情報DRは、それぞれ第1、第2、第3お
よび第4の乗算器81、82、83、84に入力する。
1、82、83、84には、それぞれ視差補間係数発生
回路52からの第1視差補間係数KUL、第2視差補間
係数KUR、第3視差補間係数KDLおよび第4視差補
間係数KDRも入力している。
1視差補間係数KULを乗算する。第2乗算器82は、
第2視差情報URに第2視差補間係数KURを乗算す
る。第3乗算器83は、第3視差情報DLに第3視差補
間係数KDLを乗算する。第4乗算器84は、第4視差
情報DRに第4視差補間係数KDRを乗算する。
は、加算回路85によって加算される。これにより、注
目位置に対する視差情報PRが得られる。
画素より小さい単位での水平位相制御を行なうために、
ぞれぞれ2つのラインメモリ11a、11b、21a、
21bを備えている。各任意画素遅延FIFO11、2
1内の2つのラインメモリ11a、11b、21a、2
1bには、それぞれY信号が入力されているとともにク
ロック信号CLKが入力している。
ている水平アドレス信号HADは、標準アドレス発生回
路90にも入力している。標準アドレス発生回路90
は、各任意画素遅延FIFO11、21内の2つのライ
ンメモリ11a、11b、21a、21bに対する標準
書き込みアドレスWADおよび標準読み出しアドレスR
ADを生成して出力する。また、標準アドレス発生回路
90は、2D/3D映像変換装置によって得られる左映
像信号および右映像信号に付加される同期信号Csyn
cをも出力する。この同期信号Csyncによって表さ
れる水平同期信号は、入力映像信号の水平同期信号Hs
yncより、所定クロック数分遅れた信号となる。
出しアドレスによって規定される基準水平位相に対し
て、各任意画素遅延FIFO11、21に入力される映
像信号の水平位相を進めたり遅らしたりできるようにす
るために、標準書き込みアドレスWADに対して、所定
クロック数分遅れている。標準アドレス発生回路90か
ら出力される標準書き込みアドレスWADは、各任意画
素遅延FIFO11、21内の2つのラインメモリ11
a、11b、21a、21bに、書き込みアドレスを示
す書き込み制御信号として入力する。
標準読み出しアドレスRADは、加算器91および減算
器92にそれぞれ入力する。加算器91および減算器9
2には、加算回路85から出力される注目位置の視差情
報PRも入力している。
ADに視差情報PRが加算される。これにより、左映像
用読み出しアドレスPRLが得られる。
PRL1は、左映像用任意画素遅延FIFO11内の第
1のラインメモリ11aに読み出しアドレスRADL1
として入力する。したがって、第1のラインメモリ11
aのアドレスRADL1に対応するアドレスからY信号
が読み出される。読み出されたY信号は、第1の左映像
用乗算器101に入力する。
PRL1に1が加算されたアドレス値は、左映像用任意
画素遅延FIFO11内の第2のラインメモリ11bに
読み出しアドレスRADL2として入力する。したがっ
て、第2のラインメモリ11bのアドレスRADL2に
対応するアドレスからY信号が読み出される。読み出さ
れたY信号は、第2の左映像用乗算器102に入力す
る。
しアドレスRADL1と、第2のラインメモリ11bに
対する読み出しアドレスRADL2とは、1だけ異なっ
ているので、第1のラインメモリ11aから読み出され
たY信号と、第2のラインメモリ11bから読み出され
たY信号とは、水平位置が1だけずれた信号となる。
PRL2は、第2の左映像補間係数として第2の左映像
用乗算器102に入力する。左映像用読み出しアドレス
PRLの小数部PRL2を1から減算した値(1−PR
L2)は、第1の左映像補間係数として第1の左映像用
乗算器101に入力する。
では、第1のラインメモリ11aから読み出されたY信
号に第1の左映像補間係数(1−PRL2)が乗算され
る。第2の左映像用乗算器102では、第2のラインメ
モリ11bから読み出されたY信号に第2の左映像補間
係数PRL2が乗算される。そして、各乗算器101、
102によって得られたY信号は加算器103で加算さ
れた後、左映像用Y信号YL−OUTとして、出力され
る。
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ遅れた左映
像用Y信号が得られる。
ADから視差情報PRが減算される。これにより、右映
像用読み出しアドレスPRRが得られる。
PRR1は、右映像用任意画素遅延FIFO21内の第
1のラインメモリ21aに読み出しアドレスRADR1
として入力する。したがって、第1のラインメモリ21
aのアドレスRADR1に対応するアドレスからY信号
が読み出される。読み出されたY信号は、第1の右映像
用乗算器111に入力する。
PRR1に1が加算されたアドレス値は、右映像用任意
画素遅延FIFO21内の第2のラインメモリ21bに
読み出しアドレスRADR2として入力する。したがっ
て、第2のラインメモリ21bのアドレスRADR2に
対応するアドレスからY信号が読み出される。読み出さ
れたY信号は、第2の右映像用乗算器112に入力す
る。
しアドレスRADR1と、第2のラインメモリ21bに
対する読み出しアドレスRADR2とは、1だけ異なっ
ているので、第1のラインメモリ21aから読み出され
たY信号と、第2のラインメモリ21bから読み出され
たY信号とは、水平位置が1だけずれた信号となる。
PRR2は、第2の右映像補間係数として第2の右映像
用乗算器112に入力する。右映像用読み出しアドレス
PRRの小数部PRR2を1から減算した値(1−PR
R2)は、第1の右映像補間係数として第1の右映像用
乗算器111に入力する。
では、第1のラインメモリ21aから読み出されたY信
号に第1の右映像補間係数(1−PRR2)が乗算され
る。第2の右映像用乗算器112では、第2のラインメ
モリ21bから読み出されたY信号に第2の右映像補間
係数PRR2が乗算される。そして、各乗算器111、
112によって得られたY信号は加算器113で加算さ
れた後、右映像用Y信号YR−OUTとして、出力され
る。
によって規定される基準水平位相に対して、水平位相量
が注目位置に対する視差情報に応じた量だけ進んだ右映
像用Y信号が得られる。
の場合の、各部の信号を示している。
出力される左映像用読み出しアドレスPRLと、減算器
92から出力される右映像用読み出しアドレスPRR
は、ともに標準読み出しアドレスRADと等しい小数部
のない整数部のみからなるアドレスとなる。
O11内の第1のラインメモリ11aに対する読み出し
アドレスRADL1と、右映像用任意画素遅延FIFO
21内の第1のラインメモリ21aに対する読み出しア
ドレスRADR1は、標準読み出しアドレスRADと等
しいアドレスとなる。
内の第2のラインメモリ11bに対する読み出しアドレ
スRADL2と、右映像用任意画素遅延FIFO21内
の第2のラインメモリ21bに対する読み出しアドレス
RADR2は、標準読み出しアドレスRADより1だけ
大きい値となる。
2)および第1の右映像補間係数(1−PRR2)は1
となり、第2の左映像補間係数PRL2および第2の右
映像補間係数PRR2は0となる。
11内の第1のラインメモリ11aの標準アドレスRA
Dに対応するアドレスから読み出されたY信号が加算器
103から左映像用Y信号YL−OUTとして出力さ
れ、右映像用任意画素遅延FIFO21内の第1のライ
ンメモリ21aの標準アドレスRADに対応するアドレ
スから読み出されたY信号が加算器113から右映像用
Y信号YR−OUTとして出力される。つまり、水平方
向の位相ずれ量が同じ2つのY信号、すなわち視差のな
い2つのY信号が左映像用Y信号および右映像用Y信号
として出力される。
込みアドレスWADが20であり、上記注目位置に対す
る標準読み出しアドレスRADが10であり、上記注目
位置に対する視差情報が1.2の場合の、各アドレス値
の具体例を示している。図34は、その際の各部の信号
を示している。
左映像用読み出しアドレスPRLは、11.2となり、
その整数部PRL1は11となり、その小数部PRL2
は0.2となる。
O11内の第1のラインメモリ11aに対する読み出し
アドレスRADL1は11となり、第2のラインメモリ
11bに対する読み出しアドレスRADL2は12とな
る。また、第1の左映像補間係数KL1{=(1−PR
L2)}は0.8となり、第2の左映像補間係数KL2
(=PRL2)は0.2となる。
O11内の第1のラインメモリ11aのアドレス11か
らY信号(Y11)が読み出され、第1乗算器101から
は読み出されたY信号(Y11)の0.8倍の信号(0.
8*Y11)が出力される。
内の第2のラインメモリ11bのアドレス12からY信
号(Y12)が読み出され、第2乗算器102からは読み
出されたY信号(Y12)の0.2倍の信号(0.2*Y
12)が出力される。そして、加算器103からは、0.
8*Y11+0.2*Y12に相当する左映像用Y信号YL
−OUTが出力される。つまり、読み出しアドレス1
1.2に相当するY信号が、左映像用Y信号YL−OU
Tとして出力される。
しアドレスPRRは、8.8となり、その整数部PRR
1は8となり、その小数部PRR2は0.8となる。
O21内の第1のラインメモリ21aに対する読み出し
アドレスRADR1は8となり、第2のラインメモリ2
1bに対する読み出しアドレスRADR2は9となる。
また、第1の右映像補間係数KR1{=(1−PRR
2)}は0.2となり、第2の右映像補間係数KR2
(=PRR2)は0.8となる。
O21内の第1のラインメモリ21aのアドレス8から
Y信号(Y8 )が読み出され、第1乗算器111からは
読み出されたY信号(Y8 )の0.2倍の信号(0.2
*Y8 )が出力される。
内の第2のラインメモリ21bのアドレス9からY信号
(Y9 )が読み出され、第2乗算器112からは読み出
されたY信号(Y9 )の0.8倍の信号(0.8*
Y9 )が出力される。そして、加算器113からは、
0.2*Y8 +0.8*Y9 に相当する右映像用Y信号
YR−OUTが出力される。つまり、読み出しアドレス
8.8に相当するY信号が、右映像用Y信号YR−OU
Tとして出力される。
差、つまり、視差情報1.2の2倍の視差を互いに有す
る左映像および右映像が得られる。
3D映像変換方法では、一画面内での各領域間の視差量
が大きくなることがあるとともに、フィールド間での視
差量の変動が大きくなることがあり、このため、得られ
た3次元映像がみずらいという問題がある。
が得られる2次元映像を3次元映像に変換する装置を提
供することを目的とする。
次元映像を3次元映像に変換する装置は、2次元入力映
像に基づいて、1フィールド画面内に設定された複数の
視差算出領域のそれぞれに対して映像の遠近に関する画
像特徴量を抽出し、抽出した画像特徴量に基づいて、各
視差算出領域ごとの奥行き情報を生成する奥行き情報生
成手段、予め設定された目標位相量のダイナミックレン
ジと奥行き情報生成手段によって生成された所定単位領
域ごとの奥行き情報とに基づいて、各視差算出領域に基
づいた所定単位領域の目標位相量を算出する目標位相量
算出手段、前記所定単位領域ごとに、前回の実位相量に
基づき前記目標位相量算出手段にて算出した目標位相量
に徐々に近づくように、今回の実位相量を求める実位相
量算出手段、ならびに2次元入力映像の各所定単位領域
内の信号から、その所定単位領域に対応する今回の実位
相量に応じた水平位相差を有する第1映像信号と第2映
像信号とをそれぞれ生成する位相制御手段、を備えてい
ることを特徴とする。
映像に変換する装置は、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、各隣接
領域間の奥行き情報の差のうちの最大値が基準値より大
きい場合には、予め設定された目標位相量のダイナミッ
クレンジが小さくなるように目標位相量のダイナミック
レンジを補正する補正手段、補正手段によって得られた
目標位相量のダイナミックレンジと、奥行き情報生成手
段によって生成された各視差算出領域に基づいた所定単
位領域ごとの奥行き情報とに基づいて、各視差算出領域
ごとの目標位相量を算出する目標位相量算出手段、前記
所定単位領域ごとに、前回の実位相量に基づき前記目標
位相量算出手段にて算出した目標位相量に徐々に近づく
ように、今回の実位相量を求める実位相量算出手段、な
らびに2次元入力映像の各所定単位領域内の信号から、
その所定単位領域に対応する今回の実位相量に応じた水
平位相差を有する第1映像信号と第2映像信号とをそれ
ぞれ生成する位相制御手段、を備えていることを特徴と
する。
映像に変換する装置は、2次元入力映像に基づいて、基
準となる主映像および主映像に対して時間的に遅れた副
映像を生成し、主映像および副映像のうち、一方を左目
用映像として出力し、他方を右目用映像として出力する
映像変換手段、2次元入力映像が動画であるか、静止画
であるかを判定する動画/静止画判定手段、動画/静止
画判定手段の判定結果に基づいて、静止画比率を算出す
る静止画比率算出手段、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、予め設
定された目標位相量のダイナミックレンジに静止画比率
を乗算することにより、目標位相量のダイナミックレン
ジを補正する補正手段、補正手段によって得られた目標
位相量のダイナミックレンジと、奥行き情報生成手段に
よって生成された各視差算出領域に基づいた所定単位領
域ごとの奥行き情報とに基づいて、各視差算出領域ごと
の目標位相量を算出する目標位相量算出手段、前記所定
単位領域ごとに、前回の実位相量に基づき前記目標位相
量算出手段にて算出した目標位相量に徐々に近づくよう
に、今回の実位相量を求める実位相量算出手段、ならび
に映像変換手段から出力される右目用映像および左目用
映像の各所定単位領域内の信号に対して、実位相量算出
手段によって得られた当該所定単位領域に対応する実位
相量に応じた水平位相制御を行う位相制御手段、を備え
ていることを特徴とする。
映像に変換する装置は、2次元入力映像に基づいて、基
準となる主映像および主映像に対して時間的に遅れた副
映像を生成し、主映像および副映像のうち、一方を左目
用映像として出力し、他方を右目用映像として出力する
映像変換手段、2次元入力映像が動画であるか、静止画
であるかを判定する動画/静止画判定手段、動画/静止
画判定手段の判定結果に基づいて、静止画比率を算出す
る静止画比率算出手段、2次元入力映像に基づいて、1
フィールド画面内に設定された複数の視差算出領域のそ
れぞれに対して映像の遠近に関する画像特徴量を抽出
し、抽出した画像特徴量に基づいて、各視差算出領域ご
との奥行き情報を生成する奥行き情報生成手段、各隣接
領域間の奥行き情報の差のうちの最大値が基準値より大
きい場合には、予め設定された目標位相量のダイナミッ
クレンジが小さくなるように目標位相量のダイナミック
レンジを補正する第1補正手段、第1補正手段によって
得られた目標位相量のダイナミックレンジに静止画比率
を乗算することにより、目標位相量のダイナミックレン
ジを補正する第2補正手段、第2補正手段によって得ら
れた目標位相量のダイナミックレンジと、奥行き情報生
成手段によって生成された各視差算出領域に基づいた所
定単位領域ごとの奥行き情報とに基づいて、各視差算出
領域ごとの目標位相量を算出する目標位相量算出手段、
前記所定単位領域ごとに、前回の実位相量に基づき前記
目標位相量算出手段にて算出した目標位相量に徐々に近
づくように、今回の実位相量を求める実位相量算出手
段、ならびに映像変換手段から出力される右目用映像お
よび左目用映像の各所定単位領域内の信号に対して、実
位相量算出手段によって得られた当該所定単位領域に対
応する実位相量に応じた水平位相制御を行う位相制御手
段、を備えていることを特徴とする。
ば、動画/静止画判定手段によって2次元入力映像が動
画であると判定されたときには静止画比率として0を設
定し、2次元入力映像が静止画であると判定されたとき
には静止画比率として100を設定する手段、ならびに
設定された静止画比率をフィールド間で平滑化する手段
を備えているものが用いられる。
ば、2次元入力映像に基づいて各視差算出領域の映像の
動き量を算出し、映像の動き量が大きい視差算出領域ほ
ど、その領域の実位相量がより早くその領域の目標位相
量に近づくように、各視差算出領域ごとの今回の実位相
量を算出し、得られた各視差算出領域ごとの今回の実位
相量に基づいて、1フィールド画面内の所定単位領域ご
との今回の実位相量を求めるものが用いられる。
の実施の形態について説明する。
を示している。
SI)510と、集積回路510に接続された複数のフ
ィールドメモリ521〜524と、CPU530とから
構成されている。
511、各種画面内データ算出回路512、メモリ制御
部513、右目用映像選択回路514、左目用映像選択
回路515、右目用視差生成回路516、左目用視差生
成回路517、視差制御回路518、CPUインタフェ
ース519等を備えている。
ッチング法に基づいて、1フィールド毎に動きベクトル
を検出する。動きベクトル検出回路511によって検出
された動きベクトルは、CPUインタフェース519を
介して、CPU530に送られる。
の高周波成分積算回路8、輝度コントラスト算出回路
9、R−Y成分積算回路31およびB−Y成分積算回路
32を含んでおり、各フィールドごとに、1フィールド
画面内に設定された複数個の視差算出領域のそれぞれに
対して、映像の遠近に関する画像特徴量を算出するもの
である。
に、図2に示すように、1フィールド画面内に予め設定
された複数個の視差算出領域E1〜E12それぞれに対
する高周波成分の積算値を算出する。輝度コントラスト
算出回路9は、1フィールド毎に、各視差算出領域E1
〜E12それぞれに対する輝度コントラストを算出す
る。R−Y成分積算回路31は、1フィールド毎に、各
視差算出領域E1〜E12それぞれに対するR−Y成分
の積算値を算出する。B−Y成分積算回路32は、1フ
ィールド毎に、各視差算出領域E1〜E12それぞれに
対するB−Y成分の積算値を算出する。各種画面内デー
タ算出回路512によって算出された映像の遠近に関す
る画像特徴量は、CPUインタフェース519を介し
て、CPU530に送られる。
る処理を示している。
11によって検出された動きベクトルの水平成分に基づ
いて、1フィールド毎に、動画用2D/3D映像変換方
法に用いられる遅延量を算出する(ステップ11)。こ
の際、CPU530は、動きベクトルの水平成分の方向
(右または左)に基づいて、動画用2D/3D映像変換
方法における基準となる主映像と主映像に対して時間的
に遅延した副映像とのうち、いずれを左目用映像とし、
いずれを右目用映像とするかを決定し、この決定結果を
遅延量の符号(正負)として反映せしめる。
開平8−149513号公報の図3に示されているアル
ゴリズムを用いることができる。なお、フィールド間で
の遅延量の変動を小さくするために、特開平8−149
513号公報の図3に示されているアルゴリズムを用い
て得られた遅延量に対して平滑化処理を行うようにして
もよい。CPU530によって算出された遅延量は、メ
モリ制御部513に送られる。
算出回路512によって算出された映像の遠近に関する
画像特徴量に基づいて、1フィールド毎に、1フィール
ド画面内の視差算出領域ごとの奥行き情報を算出する
(ステップ12)。奥行き情報の算出方法としては、図
12のステップ1〜8のアルゴリズムを用いることがで
きる。
出回路511によって検出された動きベクトルの水平成
分に基づいて、1フィールド毎に、現フィールドが動き
のある映像(動画)であるか、現フィールドが動きのな
い映像(静止画)であるかを判定する(ステップ1
3)。動画であると判定された場合には、静止画比率を
0に設定する(ステップ14)。静止画であると判定さ
れた場合には、静止画比率を100に設定する(ステッ
プ15)。そして、フィールド間での静止画比率の変動
を小さくするために、静止画比率の平滑化処理が行われ
る(ステップ16)。この静止画比率の平滑化処理とし
ては、本願の出願人によって既に提案されている特願平
9−253878号に記載の技術で実現可能である。
ウエアによって実行されるが、説明の便宜上、図38の
ブロック図を用いて説明する。
比率が設定されると、設定された静止画比率に乗算器6
01によって係数Kが乗算される。この係数としては、
たとえば、1/4、1/8、1/16等の値に設定され
る。この乗算結果は、加算器602に送られる。
び係数(1−K)を乗算する乗算器604によって加算
器602に供給される、1つ前のフィールドにおける加
算器602の加算結果に(1−K)が乗算された値が送
られる。このため、加算器602では、今回設定された
静止画比率に係数Kが乗算された値と、遅延メモリ60
3および係数(1−K)を乗算する乗算器604によっ
て加算器602に供給される、1つ前のフィールドにお
ける加算器602の加算結果に(1−K)が乗算された
値とが加算される。
される。遅延メモリ603に格納された加算結果は、次
のフィールドにおいて、平滑化処理後の静止画比率とし
て出力される。
ば、入力映像が動画と静止画との間で切り替わっても、
平滑化処理後の静止画比率はフィールド間で徐々に変化
する。
処理によって得られた1フィールド画面内の各視差算出
領域ごとの奥行き情報に基づいて、各視差算出領域ごと
の位相量を算出する位相量算出処理を行う(ステップ1
7)。
る。
0(手前)の範囲内で生成されているものとする。図1
2のステップ1〜8のアルゴリズムによって得られた1
フィールド画面内の各視差算出領域ごとの奥行き情報を
目標位相量に変換する方法としては、次のような方法が
考えられる。
る場合の目標位相量の限界値をfront 〔画素〕、管面よ
り奥に映像を引っ込ます場合の目標位相量の限界値をre
ar〔画素〕とすると、位相のダイナミックレンジはfron
t − rear 〔画素〕となる。このfront 〔画素〕の値
は、たとえば、10〔画素〕であり、rear〔画素〕の値
は、たとえば、−10〔画素〕である。front 〔画素〕
およびrear〔画素〕の値としては、ユーザがボリューム
によって設定した値が用いられる。
haseとすると、目標位相量tphaseは、次の数式8で表さ
れる。
(front − rear )が大きくなってくると、目標位相量
が大きくなることが分かる。目標位相量が大きくなる
と、必然的に隣接する視差算出領域間の位相差が大きく
なることは明らかである。隣接領域間の位相差が大きく
なると、それらの領域間において画像の歪みが大きくな
る。
歪みを補正するための歪み補正処理が行われる(ステッ
プ21)。
相差の最大値が所定値PHASETH 以上であれば、位相差を
小さくするために、目標位相量のダイナミックレンジが
変更せしめられる。
のうちの最大値dvmax が所定値DEPTHTH 以上で有る場合
に、ユーザによって設定された目標位相量のダイナミッ
クレンジdvrange (=front − rear )が変更せしめら
れる。
られる。
大値dvmax が所定値DEPTHTH 以上で有る場合には、次の
数式10によって目標位相量のダイナミックレンジdvra
ngeが変更せしめられる。
により補正された後のダイナミックレンジである。ま
た、front'および rear'は、それぞれ歪み補正により補
正された後の、管面より前に映像を飛び出させる場合の
目標位相量の限界値および管面より奥に映像を引っ込ま
す場合の目標位相量の限界値であり、次の数式11によ
り定義される。
定値であるが、図39に示すように、ユーザによって設
定されたダイナミックレンジdvrange が大きくなるほ
ど、小さくなる可変値としてもよい。このようにする
と、ユーザによって設定されたダイナミックレンジdvra
nge に最適な立体感を提供することが可能となる。図3
9において、ユーザによって設定されたダイナミックレ
ンジdvrange が小さいときにDEPTHTH が飽和しているの
は、ユーザによって設定されたダイナミックレンジdvra
nge が小さい場合には隣接領域間の奥行き情報の差が大
きくても画像の歪みが認知されにくいからである。
テップ16によって得られた静止画比率に基づく補正処
理(以下、比率補正処理という)が行われる(ステップ
22)。
比率をrateとすると、歪み補正処理によって得られたdv
range'、front'および rear'は、次の数式12によっ
て、dvrange'' 、front'' および rear'' に変換せしめ
られる。
られる数式10、11におけるDEPTHTH の代わりに、次
の数式13で表される、静止画比率rateを考慮したDEPT
HTH'' を用いてもよい。
ると、目標位相量算出処理が行われる(ステップ2
3)。つまり、比率補正処理の後に得られたダイナミッ
クレンジdvrange'' (=front'' − rear'' )を用い
て、次の数式14により、各奥行き情報depth が目標位
相量tphaseに変換せしめられる。
は、奥行き情報の生成処理、歪み補正処理および比率補
正処理の影響をまともに受けるため、その値は非常に変
動しやすくなる。この変動を緩和するために、位相変動
抑圧処理が行われる(ステップ24)。
領域毎の目標位相量tphaseと、各視差算出領域毎の実際
の位相量(実位相量)phase との大小比較が行われ、差
異がある場合には所定の位相量変動量VT( >0)分だけ
実位相量に加減算が行われる。つまり、所定値VT( >
0)分ずつ実位相量が目標位相量に近づけられる。
の条件式によって表される。
素〕程度が好ましい。所定値VT=1/32〔画素〕であ
る場合には、位相量を1〔画素〕変化させるためには、
32フィールドかかることになる。
れる所定値VTは固定値であるが、図40に示すように静
止画比率rateが50%程度のときにVTが最大となるよう
にVTを可変としてもよいし、図41に示すように目標位
相量tphaseと実位相量phaseとの差の絶対値が大きいほ
どVTが大きくなるようにVTを可変としてもよい。
下限値であり、MAX はVTの上限値である。VTに上限値を
規定しているのは、VTを大きくしすぎると、実位相量の
変動に応じて画像が歪んで行く様子を観察者が認知して
しまうからである。VTを1〔画素〕以上に設定すると、
画像が歪んで行く様子が観察者に認知されることが多
い。
領域の画像の動きに応じてVTを変更するようにしてもよ
い。つまり、各視差算出領域毎に画像の動き量を検出
し、図42に示すように、画像の動き量が大きい領域ほ
どVTを大きくする。画像の動き量が大きい領域ほどVTを
大きくしているのは、動きのない映像に比べて、動きの
ある映像の方が、画像の歪んで行く過程が認知され難い
からである。
大きい領域ほどVTを大きくする方法によれば、画質の劣
化が起こりやすい動画領域においてより早く実位相量を
0にすることが可能となる。これは、位相制御により、
画像を歪ませる際に発生する解像度劣化を、動画領域に
おいてより迅速に解消することを意味する。一般に立体
感は、解像度が高いほど大きいので、動画領域の立体感
の向上が図れるようになる。
って得られた各視差算出領域ごとの実位相量phase が視
差制御回路518に送られる。
は、シーンチェンジ検出および制御処理によって、奥行
き情報、目標位相量tphase、実位相量phase およびVTが
次のように制御される(ステップ25)。
奥行き情報、目標位相量tphase、および実位相量phase
が強制的にゼロリセットされる。つまり、奥行き情報、
目標位相量tphase、および実位相量phase が零にされ
る。シーンチェンジの検出方法としては、たとえば、特
開平8−149514号公報に開示されている方法を用
いることができる。
所要時間が数フィールド未満というシステムにおいて
は、シーンチェンジ直後に最初に決定された目標位相量
が実位相量に設定される。
所要時間が数フィールド以上というシステムにおいて
は、実位相量は所定値VTに応じて徐々に目標位相量に近
づくことになる。しかし、位相変動抑圧処理に用いられ
るVTの値が小さい場合には、シーンチェンジ後に、立体
感が得られるまでに時間がかかるため、シーンチェンジ
検出後の数十フィールド期間においては、ステップ24
の位相変動抑圧処理に用いられるVTが通常時のVTより大
きな値に設定せしめられる。
U530から送られてきた遅延量に基づいて、入力映像
を書き込むべきフィールドメモリおよび映像信号を読み
出すべきフィールドメモリを決定する。また、メモリ制
御部513は、遅延量の符号に基づいて、右目用映像選
択回路514および左目用映像選択回路515に選択制
御信号を出力する。
のを主映像とし、フィールドメモリから読み出される映
像を主映像に対して時間的に遅延された副映像であると
する。主映像は、右目用映像選択回路514の第1入力
端子および左目用映像選択回路515の第1入力端子に
送られる。副映像は、右目用映像選択回路514の第2
入力端子および左目用映像選択回路515の第2入力端
子に送られる。
部513からの選択制御信号に基づいて、第1および第
2入力端子に入力されている映像信号のうち、一方を選
択して出力する。これにより、両選択回路514、51
5のうち、一方から主映像が出力され、他方から副映像
が出力される。
U530から得られた各視差算出領域ごとの実位相量ph
ase に基づいて各画素ごとの実位相量を生成する。図3
5に示す視差制御回路518は、図1の視差制御回路4
に相当する回路であり、より具体的には図28に符号7
01で示す部分に相当する回路である。ただし、図35
の視差制御回路518には、上述した位相量算出処理
(図38参照)によって得られた各視差算出領域ごとの
実位相量phase が入力される点が、図1の視差制御回路
4と異なっている。この点を除いては、図35に示す視
差制御回路518の動作は、図28に符号701で示す
部分に相当する回路の動作と同じなので、その説明を省
略する。
16および左目用視差生成回路517は、動画用2D/
3D映像変換方法によって得られた右目用映像信号およ
び左目用映像信号の各画素に対して、視差制御回路51
8によって得られたその画素に対応する実位相量に応じ
た水平位相制御を行う。
は、図28に符号702で示す回路に相当し、図35に
示す左目用視差生成回路517は、図28に符号703
で示す回路に相当する。ただし、図35に示す右目用視
差生成回路516に入力される映像信号は、動画用2D
/3D映像変換方法によって得られた右目用映像信号お
よび左目用映像信号である点が、図28に符号702、
703で示されている回路に入力される映像信号と異な
っている。その点を除いては、図35に示す右目用視差
生成回路516の動作は、図28に符号702で示す回
路の動作と同じであり、図35に示す左目用視差生成回
路517の動作は、図28に符号703で示す回路の動
作と同じなので、その詳細な説明を省略する。
3D映像変換方法によって右目用映像および左目用映像
とが生成されている。そして、動画用2D/3D映像変
換方法によって生成された右目用映像および左目用映像
に対して、静止画用2D/3D映像変換方法と基本的に
は同様な考え方によって生成された画素毎の実位相量に
基づく位相制御が行われている。
7のステップ21参照)によって、1画面内の各視差算
出領域間において画像歪みが生じない大きさに目標位相
量の大きさが決定される。また、比率補正処理(図37
のステップ22参照)によって目標位相量は、静止画比
率が小さいときには小さくなるように決定される。さら
に、位相変動抑圧処理(図37のステップ24参照)に
よって、フィールド間において画像歪みが生じないよう
に実位相量が決定される。このため、最終的に得られた
3次元映像が見やすくなる。なお、歪み補正処理(図3
7のステップ21参照)を省略してもよい。
像変換方法によって生成された右目用映像および左目用
映像とに対して、実位相量に基づく位相制御が行われて
いるが、動画用2D/3D映像変換方法による2D/3
D変換処理を行わずに、2次元入力信号に対して実位相
量に基づく位相制御のみを行うようにしてもよい。この
場合には、比率補正処理(図37のステップ22参照)
は省略される。また、この場合に、歪み補正処理(図3
7のステップ21参照)を省略してもよい。
次元映像が得られる。
ック図である。
ある。
ある。
回路図である。
示すグラフである。
である。
路図である。
ムチャートである。
ック図である。
示す回路図である。
フローチャートである。
である。
算出領域の数を示すヒストグラムである。
ループ分け結果を示す模式図である。
B−Y成分積算値の正規化値を横軸にとって、視差算出
領域の分布を表したグラフである。
分け結果を示す模式図である。
分け結果を示す模式図である。
け結果を示す模式図である。
結果を示す模式図である。
成分を示す模式図である。
き情報の一例を示す模式図である。
き情報を示す模式図である。
る奥行き情報との関係および奥行き補正後における画面
の高さ位置に対する奥行き情報との関係を示すグラフで
ある。
説明するための模式図である。
である。
FIFOの構成を示すブロック図である。
す模式図である。
説明するための説明図である。
る。
ムチャートである。
差制御回路に付記したブロック図である。
タイムチャートである。
変換装置の構成を示すブロック図である。
ャートである。
ある。
ロック図である。
ジdvrange に応じて歪み補正処理に用いられるDEPTHTH
を変化させる場合の、ダイナミックレンジdvrange とDE
PTHTH との関係を示すグラフである。
用いられるVTを変化させる場合の、静止画比率rateとVT
との関係を示すグラフである。
絶対値に応じて位相変動抑圧処理に用いられるVTを変化
させる場合の、目標位相量tphaseと実位相量phase との
差の絶対値とVTとの関係を示すグラフである。
圧処理に用いられるVTを各視差算出領域ごとに変化させ
る場合の、視差算出領域の動き量とVTとの関係を示すグ
ラフである。
Claims (6)
- 【請求項1】 2次元入力映像に基づいて、1フィール
ド画面内に設定された複数の視差算出領域のそれぞれに
対して映像の遠近に関する画像特徴量を抽出し、抽出し
た画像特徴量に基づいて、各視差算出領域ごとの奥行き
情報を生成する奥行き情報生成手段、 予め設定された目標位相量のダイナミックレンジと奥行
き情報生成手段によって生成された所定単位領域ごとの
奥行き情報とに基づいて、各視差算出領域に基づいた所
定単位領域の目標位相量を算出する目標位相量算出手
段、前記所定単位領域ごとに、 前回の実位相量に基づき前記
目標位相量算出手段にて算出した目標位相量に徐々に近
づくように、今回の実位相量を求める実位相量算出手
段、ならびに2次元入力映像の各所定単位領域内の信号
から、その所定単位領域に対応する今回の実位相量に応
じた水平位相差を有する第1映像信号と第2映像信号と
をそれぞれ生成する位相制御手段、 を備えている2次元映像を3次元映像に変換する装置。 - 【請求項2】 2次元入力映像に基づいて、1フィール
ド画面内に設定された複数の視差算出領域のそれぞれに
対して映像の遠近に関する画像特徴量を抽出し、抽出し
た画像特徴量に基づいて、各視差算出領域ごとの奥行き
情報を生成する奥行き情報生成手段、 各隣接領域間の奥行き情報の差のうちの最大値が基準値
より大きい場合には、予め設定された目標位相量のダイ
ナミックレンジが小さくなるように目標位相量のダイナ
ミックレンジを補正する補正手段、 補正手段によって得られた目標位相量のダイナミックレ
ンジと、奥行き情報生成手段によって生成された各視差
算出領域に基づいた所定単位領域ごとの奥行き情報とに
基づいて、各視差算出領域ごとの目標位相量を算出する
目標位相量算出手段、前記所定単位領域ごとに、前回の実位相量に基づき前記
目標位相量算出手段にて算出した目標位相量に徐々に近
づくように、 今回の実位相量を求める実位相量算出手
段、ならびに2次元入力映像の各所定単位領域内の信号
から、その所定単位領域に対応する今回の実位相量に応
じた水平位相差を有する第1映像信号と第2映像信号と
をそれぞれ生成する位相制御手段、 を備えている2次元映像を3次元映像に変換する装置。 - 【請求項3】 2次元入力映像に基づいて、基準となる
主映像および主映像に対して時間的に遅れた副映像を生
成し、主映像および副映像のうち、一方を左目用映像と
して出力し、他方を右目用映像として出力する映像変換
手段、 2次元入力映像が動画であるか、静止画であるかを判定
する動画/静止画判定手段、 動画/静止画判定手段の判定結果に基づいて、静止画比
率を算出する静止画比率算出手段、 2次元入力映像に基づいて、1フィールド画面内に設定
された複数の視差算出領域のそれぞれに対して映像の遠
近に関する画像特徴量を抽出し、抽出した画像特徴量に
基づいて、各視差算出領域ごとの奥行き情報を生成する
奥行き情報生成手段、 予め設定された目標位相量のダイナミックレンジに静止
画比率を乗算することにより、目標位相量のダイナミッ
クレンジを補正する補正手段、 補正手段によって得られた目標位相量のダイナミックレ
ンジと、奥行き情報生成手段によって生成された各視差
算出領域に基づいた所定単位領域ごとの奥行き情報とに
基づいて、各視差算出領域ごとの目標位相量を算出する
目標位相量算出手段、前記所定単位領域ごとに、前回の実位相量に基づき前記
目標位相量算出手段にて算出した目標位相量に徐々に近
づくように、 今回の実位相量を求める実位相量算出手
段、ならびに映像変換手段から出力される右目用映像お
よび左目用映像の各所定単位領域内の信号に対して、実
位相量算出手段によって得られた当該所定単位領域に対
応する実位相量に応じた水平位相制御を行う位相制御手
段、 を備えている2次元映像を3次元映像に変換する装置。 - 【請求項4】 2次元入力映像に基づいて、基準となる
主映像および主映像に対して時間的に遅れた副映像を生
成し、主映像および副映像のうち、一方を左目用映像と
して出力し、他方を右目用映像として出力する映像変換
手段、 2次元入力映像が動画であるか、静止画であるかを判定
する動画/静止画判定手段、 動画/静止画判定手段の判定結果に基づいて、静止画比
率を算出する静止画比率算出手段、 2次元入力映像に基づいて、1フィールド画面内に設定
された複数の視差算出領域のそれぞれに対して映像の遠
近に関する画像特徴量を抽出し、抽出した画像特徴量に
基づいて、各視差算出領域ごとの奥行き情報を生成する
奥行き情報生成手段、 各隣接領域間の奥行き情報の差のうちの最大値が基準値
より大きい場合には、予め設定された目標位相量のダイ
ナミックレンジが小さくなるように目標位相量のダイナ
ミックレンジを補正する第1補正手段、 第1補正手段によって得られた目標位相量のダイナミッ
クレンジに静止画比率を乗算することにより、目標位相
量のダイナミックレンジを補正する第2補正手段、 第2補正手段によって得られた目標位相量のダイナミッ
クレンジと、奥行き情報生成手段によって生成された各
視差算出領域に基づいた所定単位領域ごとの奥行き情報
とに基づいて、各視差算出領域ごとの目標位相量を算出
する目標位相量算出手段、前記所定単位領域ごとに、前回の実位相量に基づき前記
目標位相量算出手段にて算出した目標位相量に徐々に近
づくように、 今回の実位相量を求める実位相量算出手
段、ならびに映像変換手段から出力される右目用映像お
よび左目用映像の各所定単位領域内の信号に対して、実
位相量算出手段によって得られた当該所定単位領域に対
応する実位相量に応じた水平位相制御を行う位相制御手
段、 を備えている2次元映像を3次元映像に変換する装置。 - 【請求項5】 静止画比率算出手段は、動画/静止画判
定手段によって2次元入力映像が動画であると判定され
たときには静止画比率として0を設定し、2次元入力映
像が静止画であると判定されたときには静止画比率とし
て100を設定する手段、ならびに設定された静止画比
率をフィールド間で平滑化する手段、 を備えている請求項3および4のいずれかに記載の2次
元映像を3次元映像に変換する装置。 - 【請求項6】 実位相量算出手段は、2次元入力映像に
基づいて各視差算出領域の映像の動き量を算出し、映像
の動き量が大きい視差算出領域ほど、その領域の実位相
量がより早くその領域の目標位相量に近づくように、各
視差算出領域ごとの今回の実位相量を算出し、得られた
各視差算出領域ごとの今回の実位相量に基づいて、1フ
ィールド画面内の前記所定単位領域ごとの今回の実位相
量を求めるものである請求項1、2、3、4および5の
いずれかに記載の2次元映像を3次元映像に変換する装
置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25652397A JP3454684B2 (ja) | 1997-09-22 | 1997-09-22 | 2次元映像を3次元映像に変換する装置 |
US09/152,328 US6584219B1 (en) | 1997-09-18 | 1998-09-14 | 2D/3D image conversion system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25652397A JP3454684B2 (ja) | 1997-09-22 | 1997-09-22 | 2次元映像を3次元映像に変換する装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1198530A JPH1198530A (ja) | 1999-04-09 |
JP3454684B2 true JP3454684B2 (ja) | 2003-10-06 |
Family
ID=17293813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25652397A Expired - Fee Related JP3454684B2 (ja) | 1997-09-18 | 1997-09-22 | 2次元映像を3次元映像に変換する装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3454684B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW521519B (en) | 1999-11-26 | 2003-02-21 | Sanyo Electric Co | Apparatus and method for converting a two dimensional image to a three dimensional image |
JP4412720B2 (ja) | 2004-06-24 | 2010-02-10 | キヤノン株式会社 | 映像処理方法及び装置 |
KR101291071B1 (ko) * | 2010-06-08 | 2013-08-01 | 주식회사 에스칩스 | 입체 영상 오류 개선 방법 및 장치 |
-
1997
- 1997-09-22 JP JP25652397A patent/JP3454684B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1198530A (ja) | 1999-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100445619B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 | |
US6584219B1 (en) | 2D/3D image conversion system | |
US6466255B1 (en) | Stereoscopic video display method and apparatus, stereoscopic video system, and stereoscopic video forming method | |
KR101856805B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
JP3005474B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP2013534742A (ja) | デプスマップ情報を利用した立体映像変換方法及び装置 | |
WO2001039512A1 (en) | Device and method for converting two-dimensional video to three-dimensional video | |
JP2013225740A (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
JP2001320731A (ja) | 2次元映像を3次元映像に変換する装置及びその方法 | |
US20130342529A1 (en) | Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method | |
JP2012019513A (ja) | 2d画像を3d画像に変換するための方法および装置 | |
JP3276931B2 (ja) | 3次元映像の立体感調整方法及び立体感調整装置 | |
JP3235776B2 (ja) | 立体感調整方法および立体感調整装置 | |
JP2951291B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3500056B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JPH10191397A (ja) | 意図適応型の2次元映像を3次元映像に変換する装置 | |
US20130194385A1 (en) | Stereoscopic image generation apparatus and stereoscopic image generation method | |
JP3540626B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3485764B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP3454684B2 (ja) | 2次元映像を3次元映像に変換する装置 | |
JP3957343B2 (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
KR101329069B1 (ko) | 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 | |
JP5459231B2 (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
JPH10178594A (ja) | 3次元映像伝送方法、デジタル放送システムおよびデジタル放送システムにおけるユーザ側端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |