JPH0686270A - 3次元画像信号処理装置 - Google Patents
3次元画像信号処理装置Info
- Publication number
- JPH0686270A JPH0686270A JP4230762A JP23076292A JPH0686270A JP H0686270 A JPH0686270 A JP H0686270A JP 4230762 A JP4230762 A JP 4230762A JP 23076292 A JP23076292 A JP 23076292A JP H0686270 A JPH0686270 A JP H0686270A
- Authority
- JP
- Japan
- Prior art keywords
- height
- image
- data
- dimensional
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【目的】本発明は、2次元画像に別個に取出し可能な高
さ情報を入れて符号化及び復号化し任意の視点からの3
次元画像を作成し、且つJPEG信号用画像信号処理装
置でも再生可能な3次元画像信号処理装置を提供するこ
とを目的とする。 【構成】本発明は、DCT部5によりDCT係数化され
た2次元画像データに、高さ情報生成部4により縮小さ
れた高さ画像信号をはめ込み、量子化部7及び符号割り
当て部8により直交変換符号化し、伝送・記録する。ま
た、符号化された2次元画像データから高さ画像信号分
離部11で高さ画像信号を取出して高さ情報に再生し、
左右画像作成部14より、所望する視点から見た3次元
画像を作成する3次元画像信号処理装置である。
さ情報を入れて符号化及び復号化し任意の視点からの3
次元画像を作成し、且つJPEG信号用画像信号処理装
置でも再生可能な3次元画像信号処理装置を提供するこ
とを目的とする。 【構成】本発明は、DCT部5によりDCT係数化され
た2次元画像データに、高さ情報生成部4により縮小さ
れた高さ画像信号をはめ込み、量子化部7及び符号割り
当て部8により直交変換符号化し、伝送・記録する。ま
た、符号化された2次元画像データから高さ画像信号分
離部11で高さ画像信号を取出して高さ情報に再生し、
左右画像作成部14より、所望する視点から見た3次元
画像を作成する3次元画像信号処理装置である。
Description
【0001】
【産業上の利用分野】本発明は3次元画像信号をディジ
タル信号として記録する装置に関する。
タル信号として記録する装置に関する。
【0002】
【従来の技術】一般に、動画像の圧縮方式としては、I
SOで提案されている方式等(画像電子学会誌第20巻
第4号参照)、フレーム間相関を利用して高圧縮を達成
する方式がある。この方式について図10を用いて簡単
に説明する。
SOで提案されている方式等(画像電子学会誌第20巻
第4号参照)、フレーム間相関を利用して高圧縮を達成
する方式がある。この方式について図10を用いて簡単
に説明する。
【0003】まず、動き補償フレーム間予測画像を引い
た予測誤差信号がDCT回路31でブロック毎にDCT
された後、量子化回路32で量子化され、この量子化結
果は、符号化回路33で可変長符号が割り当てられて記
録される。
た予測誤差信号がDCT回路31でブロック毎にDCT
された後、量子化回路32で量子化され、この量子化結
果は、符号化回路33で可変長符号が割り当てられて記
録される。
【0004】また前記量子化結果は、逆量子化回路34
および、逆DCT回路35によって復号され、前記動き
補償フレーム間予測画像とたし合わされて、動き補償用
可変遅延機能を持つ画像メモリを内蔵した動き補償予測
回路36で、次のフレームの動き補償フレーム間予測画
像を作成するようにしている。
および、逆DCT回路35によって復号され、前記動き
補償フレーム間予測画像とたし合わされて、動き補償用
可変遅延機能を持つ画像メモリを内蔵した動き補償予測
回路36で、次のフレームの動き補償フレーム間予測画
像を作成するようにしている。
【0005】またステレオ動画像の符号化方式として
は、特開平2−131697号公報により、動き補償フ
レーム間差分信号に左右の画像間のずれを表すベクトル
である、視差ベクトル情報を利用することで視差補償予
測を行い、高効率のステレオ動画像符号化を実現してい
る。
は、特開平2−131697号公報により、動き補償フ
レーム間差分信号に左右の画像間のずれを表すベクトル
である、視差ベクトル情報を利用することで視差補償予
測を行い、高効率のステレオ動画像符号化を実現してい
る。
【0006】
【発明が解決しようとする課題】しかし、前述したフレ
ーム間相関を利用した動画像の圧縮方式においては、一
般的に3次元画像が左右の画像間に強い相関を有してい
るため、この方式を3次元画像の左右それぞれの信号に
独立して用いることは、左右の画像間の相関の冗長成分
が除去しきれないため、効率的でない。
ーム間相関を利用した動画像の圧縮方式においては、一
般的に3次元画像が左右の画像間に強い相関を有してい
るため、この方式を3次元画像の左右それぞれの信号に
独立して用いることは、左右の画像間の相関の冗長成分
が除去しきれないため、効率的でない。
【0007】また、特開平2−131697号公報によ
るステレオ動画像の符号化方式では左右両方の信号に対
してそれぞれ動き補償フレーム間予測を行ってから視差
補償を行い、動き補償フレーム間予測の段階で、左右画
像間の相関が減少しているため、視差補償ができにくく
なってしまっている上、その効果が少なくなる。また、
処理も複雑になるという欠点があった。さらに、これら
の方式により左右視差から生成された画像は、数値とし
ての情報でないため、計測等には利用できない。
るステレオ動画像の符号化方式では左右両方の信号に対
してそれぞれ動き補償フレーム間予測を行ってから視差
補償を行い、動き補償フレーム間予測の段階で、左右画
像間の相関が減少しているため、視差補償ができにくく
なってしまっている上、その効果が少なくなる。また、
処理も複雑になるという欠点があった。さらに、これら
の方式により左右視差から生成された画像は、数値とし
ての情報でないため、計測等には利用できない。
【0008】そこで本発明は、2次元画像に別個に取出
し可能な高さ情報を入れて符号化及び復号化し任意の視
点からの3次元画像を作成し、且つJPEG信号用画像
信号処理装置でも再生可能な3次元画像信号処理装置を
提供することを目的とする。
し可能な高さ情報を入れて符号化及び復号化し任意の視
点からの3次元画像を作成し、且つJPEG信号用画像
信号処理装置でも再生可能な3次元画像信号処理装置を
提供することを目的とする。
【0009】
【課題を解決するための手段】本発明は上記目的を達成
するために、2次元画像信号を得る手段と、この2次元
画像信号に対応した高さ情報を2次元画像信号に重畳す
る手段とで構成される3次元画像信号処理装置を提供す
る。
するために、2次元画像信号を得る手段と、この2次元
画像信号に対応した高さ情報を2次元画像信号に重畳す
る手段とで構成される3次元画像信号処理装置を提供す
る。
【0010】
【作用】以上のような構成の3次元画像信号処理装置で
は、2次元画像データに縮小された高さ画像信号がはめ
込まれた3次元画像信号が符号化及び復号化され、信号
処理の際に、前記2次元画像の輝度信号等のDCT係数
(画像データ)の再生の際に画質に影響しない箇所に高
さ情報をはめ込むため、画質が劣化されにくい。前記高
さ画像は縮小され、深さ方向の階調が粗く量子化されて
いるため、被写体の髪や服等の細かなディテールは再現
されないが、人の見た目には十分に自然な3次元画像が
作成される。また本実施例の3次元画像信号は、JPE
G信号用画像信号処理装置による2次元画像として再生
しても、ノイズとして画質にほとんど影響しない。
は、2次元画像データに縮小された高さ画像信号がはめ
込まれた3次元画像信号が符号化及び復号化され、信号
処理の際に、前記2次元画像の輝度信号等のDCT係数
(画像データ)の再生の際に画質に影響しない箇所に高
さ情報をはめ込むため、画質が劣化されにくい。前記高
さ画像は縮小され、深さ方向の階調が粗く量子化されて
いるため、被写体の髪や服等の細かなディテールは再現
されないが、人の見た目には十分に自然な3次元画像が
作成される。また本実施例の3次元画像信号は、JPE
G信号用画像信号処理装置による2次元画像として再生
しても、ノイズとして画質にほとんど影響しない。
【0011】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図1には、本発明による第1実施例として
の3次元画像信号処理装置の概略的な構成を示し、説明
する。
に説明する。図1には、本発明による第1実施例として
の3次元画像信号処理装置の概略的な構成を示し、説明
する。
【0012】この3次元画像信号処理装置は、2次元画
像データの高能率な圧縮方式として公知な直交変換符号
化を用いた符号化方式を利用するものであり、2次元画
像データ(基準画像)に、該基準画像の高さ情報を合わ
せた3次元画像データを生成し、これを直交変換符号化
した後、伝送・記録させ、所望する視点から見た3次元
画像を作成する信号処理装置である。ここで、2次元画
像データの符号化方式について説明する。
像データの高能率な圧縮方式として公知な直交変換符号
化を用いた符号化方式を利用するものであり、2次元画
像データ(基準画像)に、該基準画像の高さ情報を合わ
せた3次元画像データを生成し、これを直交変換符号化
した後、伝送・記録させ、所望する視点から見た3次元
画像を作成する信号処理装置である。ここで、2次元画
像データの符号化方式について説明する。
【0013】まず、図2(a)に示すように、1フレー
ムの画像データを所定の大きさのブロック(例えば、8
×8の画素より成るブロックA,B,C,…)に分割
し、この分割されたブロック毎に直交変換として2次元
のDCTを行ない、8×8のマトリックス上に順次格納
する。
ムの画像データを所定の大きさのブロック(例えば、8
×8の画素より成るブロックA,B,C,…)に分割
し、この分割されたブロック毎に直交変換として2次元
のDCTを行ない、8×8のマトリックス上に順次格納
する。
【0014】前記画像データは、2次元平面で眺めてみ
ると、濃淡情報の分布に基づく周波数情報である空間周
波数を有している。従って、前記DCTを行なうことに
より、画像データは、図2(b)に示すように、直流成
分DCと交流成分ACに変換され、8×8のマトリック
ス上には、原点位置((0,0)位置)に直流成分DC
の値を示すデータが、(0,7)位置には、横軸方向の
交流成分ACの最大周波数値を示すデータが、そして、
(7,0)位置には、縦軸方向の交流成分ACの最大周
波数値を示すデータが、さらに、(7,7)位置には、
斜め方向の交流成分ACの最大周波数値を示すデータが
それぞれ格納される。中間位置では、それぞれの座標位
置により関係付けられる方向に於ける周波数データが、
原点側より順次高い周波数のものが出現する形で格納さ
れることになる。
ると、濃淡情報の分布に基づく周波数情報である空間周
波数を有している。従って、前記DCTを行なうことに
より、画像データは、図2(b)に示すように、直流成
分DCと交流成分ACに変換され、8×8のマトリック
ス上には、原点位置((0,0)位置)に直流成分DC
の値を示すデータが、(0,7)位置には、横軸方向の
交流成分ACの最大周波数値を示すデータが、そして、
(7,0)位置には、縦軸方向の交流成分ACの最大周
波数値を示すデータが、さらに、(7,7)位置には、
斜め方向の交流成分ACの最大周波数値を示すデータが
それぞれ格納される。中間位置では、それぞれの座標位
置により関係付けられる方向に於ける周波数データが、
原点側より順次高い周波数のものが出現する形で格納さ
れることになる。
【0015】次に、このマトリックスおける各座標位置
の格納データを、各周波数成分毎の量子化幅により割る
ことにより、各周波数成分に応じた線形量子化を行な
い、この量子化された値に対して、可変長符号化となる
ハフマン符号化を行なう。この時、直流成分DCに関し
ては、近傍ブロックの直流成分との差分値をハフマン符
号化する。
の格納データを、各周波数成分毎の量子化幅により割る
ことにより、各周波数成分に応じた線形量子化を行な
い、この量子化された値に対して、可変長符号化となる
ハフマン符号化を行なう。この時、直流成分DCに関し
ては、近傍ブロックの直流成分との差分値をハフマン符
号化する。
【0016】また、交流成分ACに関しては、図3に示
すようなジグザクスキャンと呼ばれる低い周波数成分か
ら高い周波数成分へのスキャンを行ない、無効(値が
「0」)の成分の連続する個数(零のラン数)と、それ
に続く有効な成分の値の2次元のハフマン符号化を行な
い符号化データとする。この方式において、圧縮率は、
前記量子化の量子化幅を変化させることによって制御さ
れるのが一般的で、圧縮率が高くなるほど量子化幅は大
きくなる。図1に示す3次元画像信号処理装置において
は、符号化部Aと復号化部Bに大別される。
すようなジグザクスキャンと呼ばれる低い周波数成分か
ら高い周波数成分へのスキャンを行ない、無効(値が
「0」)の成分の連続する個数(零のラン数)と、それ
に続く有効な成分の値の2次元のハフマン符号化を行な
い符号化データとする。この方式において、圧縮率は、
前記量子化の量子化幅を変化させることによって制御さ
れるのが一般的で、圧縮率が高くなるほど量子化幅は大
きくなる。図1に示す3次元画像信号処理装置において
は、符号化部Aと復号化部Bに大別される。
【0017】まず符号化部Aにおいて、入力部1は光学
系1a及び、該光学系1aから入力した光像(画面)を
光電変換し、画像データを生成する撮像装置1bとから
なる。前記撮像装置1bから図4(a)が示すような画
像データが得られる。前記入力部1はブロック化部2に
接続され、この画像データが所定のブロック数に分割
(例えば、8×8)される。
系1a及び、該光学系1aから入力した光像(画面)を
光電変換し、画像データを生成する撮像装置1bとから
なる。前記撮像装置1bから図4(a)が示すような画
像データが得られる。前記入力部1はブロック化部2に
接続され、この画像データが所定のブロック数に分割
(例えば、8×8)される。
【0018】また前記光学系からの光像(画面)を測距
部3により、例えば、赤外線を投射し、その画面の全体
に対して高速にスキャンさせて測距し、前記画面の相対
的な距離或いは凹凸(高さ信号)を検出する。ここで得
られた高さ信号は、高さ画像生成部4により、図4
(b)に示すような高さ画像(高さ情報)を生成し、さ
らに図4(c)に示すような高さ画像信号(高さ情報信
号)に縮小される。
部3により、例えば、赤外線を投射し、その画面の全体
に対して高速にスキャンさせて測距し、前記画面の相対
的な距離或いは凹凸(高さ信号)を検出する。ここで得
られた高さ信号は、高さ画像生成部4により、図4
(b)に示すような高さ画像(高さ情報)を生成し、さ
らに図4(c)に示すような高さ画像信号(高さ情報信
号)に縮小される。
【0019】前記画像データは、ブロック化部2により
分割されたブロック毎に直交変換として、2次元のDC
T(離散コサイン変換)を行って値(F)に変換するD
CT部5を介して、マッピング部6に入力し、後述する
ように前記高さ画像生成部4により生成された高さ画像
信号を2次元画像データの所定位置にはめ込む。
分割されたブロック毎に直交変換として、2次元のDC
T(離散コサイン変換)を行って値(F)に変換するD
CT部5を介して、マッピング部6に入力し、後述する
ように前記高さ画像生成部4により生成された高さ画像
信号を2次元画像データの所定位置にはめ込む。
【0020】次に、高さ信号を含む前記画像データを各
周波数成分に応じた線形量子化を量子化部7により行っ
た後、量子化された値FQが符号割り当て部8により、
例えばハフマン符号化等の可変長符号化され、伝送・記
録される。ここで、線形量子化の量子化幅は、各周波数
に対する視覚特性を考慮にいれた相対的な量子化特性を
表す量子化マトリックスを用意し、この量子化マトリッ
クスを定数倍することで量子化幅を決定している。従っ
て、3次元画像のデータとなる高さ画像信号(高さ情
報)が含まれた圧縮データが、2次元データと同様にし
て伝送・記録されることになる。次に前述した高さ画像
生成部4及びマッピンク部6について説明する。
周波数成分に応じた線形量子化を量子化部7により行っ
た後、量子化された値FQが符号割り当て部8により、
例えばハフマン符号化等の可変長符号化され、伝送・記
録される。ここで、線形量子化の量子化幅は、各周波数
に対する視覚特性を考慮にいれた相対的な量子化特性を
表す量子化マトリックスを用意し、この量子化マトリッ
クスを定数倍することで量子化幅を決定している。従っ
て、3次元画像のデータとなる高さ画像信号(高さ情
報)が含まれた圧縮データが、2次元データと同様にし
て伝送・記録されることになる。次に前述した高さ画像
生成部4及びマッピンク部6について説明する。
【0021】まず入力部1から図4(a)に示すような
2次元画像データが得られる。測距部3は、前記2次元
画像データに相当する画面全体の高さ信号を求めて、高
さ画像生成部4に出力する。
2次元画像データが得られる。測距部3は、前記2次元
画像データに相当する画面全体の高さ信号を求めて、高
さ画像生成部4に出力する。
【0022】前記高さ画像生成部4は、図4(b)に示
すような、ある高さ信号を基準として高低もしくは凹凸
の等高線で表す高さ画像が生成される。つまり、カメラ
からの距離に応じた値を持つ画像が生成される。この高
さ画像を図4(c)に示すように、例えば1/64に縮
小して、輝度信号の8×8のブロックに対して、1つの
値をもつ高さ画像信号を形成して、マッピング部6に出
力する。本実施例において、通常、画像の深さ方向の解
像度は、輝度変化に比べて非常に低くても問題が生じな
いため、高さ画像を縮小して使用している。また、深さ
方向の階調は粗く量子化されており、被写体の髪や服等
の細かなディテールは再現されないが、人の見た目には
十分に自然な3次元画像となる。次にマッピングについ
て説明する。
すような、ある高さ信号を基準として高低もしくは凹凸
の等高線で表す高さ画像が生成される。つまり、カメラ
からの距離に応じた値を持つ画像が生成される。この高
さ画像を図4(c)に示すように、例えば1/64に縮
小して、輝度信号の8×8のブロックに対して、1つの
値をもつ高さ画像信号を形成して、マッピング部6に出
力する。本実施例において、通常、画像の深さ方向の解
像度は、輝度変化に比べて非常に低くても問題が生じな
いため、高さ画像を縮小して使用している。また、深さ
方向の階調は粗く量子化されており、被写体の髪や服等
の細かなディテールは再現されないが、人の見た目には
十分に自然な3次元画像となる。次にマッピングについ
て説明する。
【0023】一般に符号化においては、ブロック化部2
により画像データは図5(a)のような8×8ブロック
にされる。このブロックは、DCT部5により図5
(b)に示すようなDCT処理された画像データとな
り、左上隅を直流成分として右もしくは下に行くほど、
高い周波数の係数となる。この係数は、低い周波数ほ
ど、強いパワーを持っているため、量子化されると、図
5(c)に示すように、斜線部の係数だけが値を持ち、
他はすべて“0”になるのが一般的である。
により画像データは図5(a)のような8×8ブロック
にされる。このブロックは、DCT部5により図5
(b)に示すようなDCT処理された画像データとな
り、左上隅を直流成分として右もしくは下に行くほど、
高い周波数の係数となる。この係数は、低い周波数ほ
ど、強いパワーを持っているため、量子化されると、図
5(c)に示すように、斜線部の係数だけが値を持ち、
他はすべて“0”になるのが一般的である。
【0024】すなわち、高さ画像信号をブロックのどの
位置にはめ込むかは、後述する画像データの再生の際の
画質になるべく悪影響を与えない箇所にはめ込むことが
重要になる。
位置にはめ込むかは、後述する画像データの再生の際の
画質になるべく悪影響を与えない箇所にはめ込むことが
重要になる。
【0025】つまり、本実施例の3次元画像を扱う画像
信号処理装置であれば、どの箇所にはめ込んでも、高さ
画像信号として別個に取り出すように構成すれば、悪影
響が少なく押さえることができるが、通常のJPEG信
号のみを扱う画像信号処理装置により、このような3次
元画像を2次元画像として再生すると、ノイズとして画
質に影響を与えることになる。
信号処理装置であれば、どの箇所にはめ込んでも、高さ
画像信号として別個に取り出すように構成すれば、悪影
響が少なく押さえることができるが、通常のJPEG信
号のみを扱う画像信号処理装置により、このような3次
元画像を2次元画像として再生すると、ノイズとして画
質に影響を与えることになる。
【0026】従って、JPEG信号のみを扱う画像信号
処理装置で、この高さ画像信号を含む画像データを再生
させた場合には、非常に高い周波数信号が失われるが、
前述したように、通常の圧縮時でも量子化によって情報
が失われる箇所であれば良いため、図6(a)に示す右
下隅に高さ画像信号をはめ込めば良い。この図6(a)
に示す右下隅の箇所は、量子化によって情報が失われる
箇所であり、画質には影響を与えない。
処理装置で、この高さ画像信号を含む画像データを再生
させた場合には、非常に高い周波数信号が失われるが、
前述したように、通常の圧縮時でも量子化によって情報
が失われる箇所であれば良いため、図6(a)に示す右
下隅に高さ画像信号をはめ込めば良い。この図6(a)
に示す右下隅の箇所は、量子化によって情報が失われる
箇所であり、画質には影響を与えない。
【0027】また前記画像データの量子化においては、
この高さ画像信号が輝度信号として画像データにはめ込
まれているが、図6(b)に示すような右下隅の“1”
を設定する量子化テーブルを用いて行う。また逆量子化
された時には、図6(c)に示すように他の係数と比べ
て非常に小さな値になるため、後述するIDCT後の画
像データに重畳されるノイズとしては、図6(d)に示
すような非常に弱い高周波数ノイズとなり、視覚的には
画質にほとんど影響しない。
この高さ画像信号が輝度信号として画像データにはめ込
まれているが、図6(b)に示すような右下隅の“1”
を設定する量子化テーブルを用いて行う。また逆量子化
された時には、図6(c)に示すように他の係数と比べ
て非常に小さな値になるため、後述するIDCT後の画
像データに重畳されるノイズとしては、図6(d)に示
すような非常に弱い高周波数ノイズとなり、視覚的には
画質にほとんど影響しない。
【0028】一方、図1に示すように、前述した圧縮デ
ータから3次元画像データを生成する復号化部Bにおい
ては、符号化部により符号化された画像データが伝送及
び記録媒体等を介して入力される符号デコード部9は、
可変長符号をデコード(復号)して、変換係数の量子化
値FQを得る。さらに符号デコード部9に接続する逆量
子化部10により、前記量子化値が逆量子化されて、画
像データF′が得られ、高さ画像信号分離部11に出力
される。
ータから3次元画像データを生成する復号化部Bにおい
ては、符号化部により符号化された画像データが伝送及
び記録媒体等を介して入力される符号デコード部9は、
可変長符号をデコード(復号)して、変換係数の量子化
値FQを得る。さらに符号デコード部9に接続する逆量
子化部10により、前記量子化値が逆量子化されて、画
像データF′が得られ、高さ画像信号分離部11に出力
される。
【0029】この高さ画像信号分離部11は、画像デー
タF′から図4(c)に示した高さ画像信号を分離して
取出し、この高さ画像信号(高さ情報)のみが高さ画像
再生部12に出力され、残りの画像データはIDCT部
13に出力される。この時高さ画像を信号を取り出され
た係数は、“0”と置き換えるようにしている。
タF′から図4(c)に示した高さ画像信号を分離して
取出し、この高さ画像信号(高さ情報)のみが高さ画像
再生部12に出力され、残りの画像データはIDCT部
13に出力される。この時高さ画像を信号を取り出され
た係数は、“0”と置き換えるようにしている。
【0030】前記高さ画像再生部12は、前述した図4
(a)のような高さ画像を再生して左右画像作成部14
に出力する。また、前記IDCT部13は、入力された
画像データF′に対してIDCT(逆離散コサイン変
換)を行い、2次元画像データを左右画像作成部14に
出力する。
(a)のような高さ画像を再生して左右画像作成部14
に出力する。また、前記IDCT部13は、入力された
画像データF′に対してIDCT(逆離散コサイン変
換)を行い、2次元画像データを左右画像作成部14に
出力する。
【0031】前記左右画像作成部14は、IDCT部1
3から信号を逆ブロック化して得た2次元画像データに
対し、高さ画像再生部12からの高さ情報に基づき、視
差相当量を左右にずらした画像をそれぞれ左画像、右画
像として出力する。また、画像データが、人間に顔を正
面から見た正面画像の場合に知的合成の概念を用いて、
予め入力されている人間の頭部の形状データから正面画
像を基準にして、視差相当量を左、右に移動した左右画
像を得ることも可能である。
3から信号を逆ブロック化して得た2次元画像データに
対し、高さ画像再生部12からの高さ情報に基づき、視
差相当量を左右にずらした画像をそれぞれ左画像、右画
像として出力する。また、画像データが、人間に顔を正
面から見た正面画像の場合に知的合成の概念を用いて、
予め入力されている人間の頭部の形状データから正面画
像を基準にして、視差相当量を左、右に移動した左右画
像を得ることも可能である。
【0032】本発明において、高さ信号の量子化は任意
であって、その量子化幅を伝達する必要がある場合に
は、画像信号の先頭に付加するようにしてもよいし、第
1ブロックの高さ信号の代わりに量子化幅を伝送し、他
のブロックは第1ブロックとの相対的な距離情報を送る
ようにしても構わない。また、マッピング部6と量子化
部7及び逆量子化部10と高さ信号分離部11の位置は
入れ替えても良い。
であって、その量子化幅を伝達する必要がある場合に
は、画像信号の先頭に付加するようにしてもよいし、第
1ブロックの高さ信号の代わりに量子化幅を伝送し、他
のブロックは第1ブロックとの相対的な距離情報を送る
ようにしても構わない。また、マッピング部6と量子化
部7及び逆量子化部10と高さ信号分離部11の位置は
入れ替えても良い。
【0033】以上、説明した3次元画像信号処理装置
は、2次元画像に高さ情報を入れても高さ情報のみを取
り出すことができ、計測等に利用することができる。3
次元画像データの圧縮等の信号処理の際に、前記2次元
画像の画像データの画質に影響しない箇所に高さ情報を
はめ込むため、従来と比較しても画質に劣化を生じさせ
ない。
は、2次元画像に高さ情報を入れても高さ情報のみを取
り出すことができ、計測等に利用することができる。3
次元画像データの圧縮等の信号処理の際に、前記2次元
画像の画像データの画質に影響しない箇所に高さ情報を
はめ込むため、従来と比較しても画質に劣化を生じさせ
ない。
【0034】また、通常のJPEG信号のみを扱う画像
信号処理装置に前述した3次元画像データを2次元画像
として再生しても、ノイズとして画質に影響を与えるこ
とがなく、本実施例の3次元画像信号処理装置とJPE
G信号用画像信号処理装置との間に互換性がある。
信号処理装置に前述した3次元画像データを2次元画像
として再生しても、ノイズとして画質に影響を与えるこ
とがなく、本実施例の3次元画像信号処理装置とJPE
G信号用画像信号処理装置との間に互換性がある。
【0035】また、従来の2方向から得た2次元画像を
用いて作成した視差による立体画像(3次元画像)で
は、撮影したときの視点から移動することはできなかっ
た。例えば斜め右上から見た被写体に基づいて斜め左上
から見た被写体の画像を作成することができるはできな
かった。
用いて作成した視差による立体画像(3次元画像)で
は、撮影したときの視点から移動することはできなかっ
た。例えば斜め右上から見た被写体に基づいて斜め左上
から見た被写体の画像を作成することができるはできな
かった。
【0036】このような画像を得るものに、コンピュー
タグラフィックが知られているが、このコンピュータグ
ラフィックにより、正確に対象物(被写体)の形状を3
次元で表すためには、その被写体の正面、背面、上下
面、両側面の6方向からみた形状をデータとして入力し
なければならない。
タグラフィックが知られているが、このコンピュータグ
ラフィックにより、正確に対象物(被写体)の形状を3
次元で表すためには、その被写体の正面、背面、上下
面、両側面の6方向からみた形状をデータとして入力し
なければならない。
【0037】しかし、本実施例では観察位置からの距離
を各点毎に記録しているので、左右画像作成部におい
て、視点が被写体正面からの画像のみであれば、その正
面画像と視差によるずれを意識する画像を作成し、凹凸
(高さ情報)とにより、3次元的な立体感を表現でき
る。
を各点毎に記録しているので、左右画像作成部におい
て、視点が被写体正面からの画像のみであれば、その正
面画像と視差によるずれを意識する画像を作成し、凹凸
(高さ情報)とにより、3次元的な立体感を表現でき
る。
【0038】さらに任意の視点からの3次元画像におい
ては、被写体が例えば人間の頭部であれば、基本的な形
状は決まっているため、ニューラルネットワークを利用
し、多数の頭部形状のデータを用いて勉強させることに
よって、頭部形状の観念を作成し、被写体の正面画像と
凹凸(高さ情報)の情報から、知的合成することによっ
て被写体の側面および背面の形状を推測させて、任意の
視点からの3次元画像を作成することができる。次に第
2実施例として、第1実施例よりも立体的に高解像度を
得るための3次元画像信号処理装置について、図7,図
8を参照して説明する。
ては、被写体が例えば人間の頭部であれば、基本的な形
状は決まっているため、ニューラルネットワークを利用
し、多数の頭部形状のデータを用いて勉強させることに
よって、頭部形状の観念を作成し、被写体の正面画像と
凹凸(高さ情報)の情報から、知的合成することによっ
て被写体の側面および背面の形状を推測させて、任意の
視点からの3次元画像を作成することができる。次に第
2実施例として、第1実施例よりも立体的に高解像度を
得るための3次元画像信号処理装置について、図7,図
8を参照して説明する。
【0039】前述した第1実施例では、高さ画像信号
(高さ情報)を1×1すなわち、1/64に縮小して用
いたが、さらに高解像度が必要であった場合には、図7
に示すように、前述した高さ画像信号(高さ情報)を2
×2の大きさに縮小して、解像度を高くすることができ
る。
(高さ情報)を1×1すなわち、1/64に縮小して用
いたが、さらに高解像度が必要であった場合には、図7
に示すように、前述した高さ画像信号(高さ情報)を2
×2の大きさに縮小して、解像度を高くすることができ
る。
【0040】つまり、8×8の高さ画像信号を2×2
(1/8)の高さ画像データnに縮小して、輝度信号の
画像データ(DCT係数)mの最高周波数の右下隅には
め込んだ画像データを符号化および復号する。
(1/8)の高さ画像データnに縮小して、輝度信号の
画像データ(DCT係数)mの最高周波数の右下隅には
め込んだ画像データを符号化および復号する。
【0041】図8には第2実施例の3次元画像信号処理
装置の構成を示す。ここで、第2実施例の構成部材で第
1実施例と同等の部材には、同じ参照符号を付して、そ
の説明を省略する。
装置の構成を示す。ここで、第2実施例の構成部材で第
1実施例と同等の部材には、同じ参照符号を付して、そ
の説明を省略する。
【0042】この第2実施例の3次元画像信号処理装置
の符号化部A´において、ブロック化部2により8×8
ブロックに分割された画像データに2次元の8×8DC
T部23により、離散コサイン変換を行う。また、測距
部3からの2次元画像データに相当する画面全体の高さ
信号が高さ画像生成部21に入力する。
の符号化部A´において、ブロック化部2により8×8
ブロックに分割された画像データに2次元の8×8DC
T部23により、離散コサイン変換を行う。また、測距
部3からの2次元画像データに相当する画面全体の高さ
信号が高さ画像生成部21に入力する。
【0043】前記高さ画像生成部21では、前述したよ
うに高さ画像信号を生成し、これを2×2DCT部22
により、離散コサイン変換を行った後、マッピング部6
で高さ画像信号を2次元画像データの所定位置にはめ込
む。その後、量子化し、可変長符号化して、3次元画像
のデータとなる高さ画像信号(高さ情報)が含まれた圧
縮データを2次元データと同様にして伝送・記録する。
うに高さ画像信号を生成し、これを2×2DCT部22
により、離散コサイン変換を行った後、マッピング部6
で高さ画像信号を2次元画像データの所定位置にはめ込
む。その後、量子化し、可変長符号化して、3次元画像
のデータとなる高さ画像信号(高さ情報)が含まれた圧
縮データを2次元データと同様にして伝送・記録する。
【0044】一方、復号化部B´においては、可変長符
号をデコード(復号)し、逆量子化した後、高さ画像信
号分離部11により、高さ画像信号(高さ情報)のみが
取り出されて、2×2IDCT部25により逆離散コサ
イン変換された後、縦横4倍に拡大される。
号をデコード(復号)し、逆量子化した後、高さ画像信
号分離部11により、高さ画像信号(高さ情報)のみが
取り出されて、2×2IDCT部25により逆離散コサ
イン変換された後、縦横4倍に拡大される。
【0045】他方、残りの画像データは8×8IDCT
部24に出力され、ここで逆離散コサイン変換される。
そして、それぞれ2次元画像データと高さ画像信号(高
さ情報)は、左右画像作成部14により、逆ブロック化
し、第1実施例と同様に3元画像データを得ることがで
きる。次に第3実施例として第2実施例よりも、さらに
高解像度の3次元画像信号処理装置について説明する。
部24に出力され、ここで逆離散コサイン変換される。
そして、それぞれ2次元画像データと高さ画像信号(高
さ情報)は、左右画像作成部14により、逆ブロック化
し、第1実施例と同様に3元画像データを得ることがで
きる。次に第3実施例として第2実施例よりも、さらに
高解像度の3次元画像信号処理装置について説明する。
【0046】前述した第1,第2実施例では、高さ画像
信号を縮小して、輝度信号の画像データ(DCT係数)
の最高周波数の右下隅にはめ込んだ画像データを用いて
いたが、さらに高解像度の高さ画像信号を所望する場合
には、輝度信号の画像データ(DCT係数)のみに高さ
画像信号をはめ込むと、再生した画像の画質が劣化して
しまう。
信号を縮小して、輝度信号の画像データ(DCT係数)
の最高周波数の右下隅にはめ込んだ画像データを用いて
いたが、さらに高解像度の高さ画像信号を所望する場合
には、輝度信号の画像データ(DCT係数)のみに高さ
画像信号をはめ込むと、再生した画像の画質が劣化して
しまう。
【0047】そのため、図9に示すように、同図(d)
に示す3×3の高さ画像信号のDCT係数を同図(a)
の輝度信号Yのほかに、同図(b)の色差信号(CR )
と、同図(c)の色差信号(CB )の各DCT係数に高
さ信号を分散してはめ込むことにより、さらなる高解像
度の高さ情報を入れることができる。また本発明は、前
述した実施例に限定されるものではなく、他にも発明の
要旨を逸脱しない範囲で種々の変形や応用が可能である
ことは勿論である。
に示す3×3の高さ画像信号のDCT係数を同図(a)
の輝度信号Yのほかに、同図(b)の色差信号(CR )
と、同図(c)の色差信号(CB )の各DCT係数に高
さ信号を分散してはめ込むことにより、さらなる高解像
度の高さ情報を入れることができる。また本発明は、前
述した実施例に限定されるものではなく、他にも発明の
要旨を逸脱しない範囲で種々の変形や応用が可能である
ことは勿論である。
【0048】
【発明の効果】以上詳述したように本発明によれば、2
次元画像に別個に取出し可能な高さ情報を入れて符号化
及び復号化し任意の視点からの3次元画像を作成し、且
つJPEG信号用画像信号処理装置でも再生可能な3次
元画像信号処理装置を提供することができる。
次元画像に別個に取出し可能な高さ情報を入れて符号化
及び復号化し任意の視点からの3次元画像を作成し、且
つJPEG信号用画像信号処理装置でも再生可能な3次
元画像信号処理装置を提供することができる。
【図1】図1は、本発明による第1実施例としての3次
元画像信号処理装置の概略的な構成を示す図である。
元画像信号処理装置の概略的な構成を示す図である。
【図2】図2は、1フレームの画像データにより2次元
画像データの符号化方式を示す図である。
画像データの符号化方式を示す図である。
【図3】図3は、画像データの交流成分ACに関して、
ジグザクスキャンする状態を示す図である。
ジグザクスキャンする状態を示す図である。
【図4】図4(a)は、図1に示した撮像装置1bから
得られる画像データであり、図4(b)は、高さ画像
(高さ情報)を示す図であり、図4(c)は高さ画像
(高さ情報)を任意に縮小した図である。
得られる画像データであり、図4(b)は、高さ画像
(高さ情報)を示す図であり、図4(c)は高さ画像
(高さ情報)を任意に縮小した図である。
【図5】図5(a)は、8×8の1つのブロックの画像
信号の例を示す図であり、図5(b)は、そのDCT係
数を示す図であり、図5(c)は、その量子化後の非零
係数を表す図である。
信号の例を示す図であり、図5(b)は、そのDCT係
数を示す図であり、図5(c)は、その量子化後の非零
係数を表す図である。
【図6】図6(a)〜(c)は、2次元画像の符号化に
おけるDCT係数及び量子化テーブルを示す図であり、
図6(d)は、2次元画像の符号化におけるDCT係数
をそのまま画像信号にした場合のノイズの発生のしかた
を示す図である。
おけるDCT係数及び量子化テーブルを示す図であり、
図6(d)は、2次元画像の符号化におけるDCT係数
をそのまま画像信号にした場合のノイズの発生のしかた
を示す図である。
【図7】図7は、高さ画像信号(高さ情報)をはめ込ん
だ画像データ(DCT係数)を示す図である。
だ画像データ(DCT係数)を示す図である。
【図8】図8は、本発明による第2実施例としての3次
元画像信号処理装置の概略的な構成を示す図である。
元画像信号処理装置の概略的な構成を示す図である。
【図9】図9(a)〜(d)は、それぞれ輝度信号Y、
色差信号CR 、色差信号CB 、高さ画像信号のDCT係
数を示す図である。
色差信号CR 、色差信号CB 、高さ画像信号のDCT係
数を示す図である。
【図10】図10は、従来のフレーム間相関を利用して
高圧縮を達成する方式を説明する図である。
高圧縮を達成する方式を説明する図である。
1…入力部、1a…光学系、1b…撮像装置、2…ブロ
ック化部、3…測距部、4…高さ画像生成部、5…DC
T部、6…マッピング部、7…量子化部、8…符号割り
当て部、9…符号デコード部、10…逆量子化部、11
…高さ画像信号分離部、12…高さ画像再生部、13…
IDCT部、14…左右画像作成部、A…符号化部、B
…復号化部。
ック化部、3…測距部、4…高さ画像生成部、5…DC
T部、6…マッピング部、7…量子化部、8…符号割り
当て部、9…符号デコード部、10…逆量子化部、11
…高さ画像信号分離部、12…高さ画像再生部、13…
IDCT部、14…左右画像作成部、A…符号化部、B
…復号化部。
Claims (1)
- 【請求項1】 2次元画像信号を得る手段と、 この2次元画像信号に対応した高さ情報を2次元画像信
号に重畳する手段とを具備することを特徴とする3次元
画像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4230762A JPH0686270A (ja) | 1992-08-31 | 1992-08-31 | 3次元画像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4230762A JPH0686270A (ja) | 1992-08-31 | 1992-08-31 | 3次元画像信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0686270A true JPH0686270A (ja) | 1994-03-25 |
Family
ID=16912871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4230762A Withdrawn JPH0686270A (ja) | 1992-08-31 | 1992-08-31 | 3次元画像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0686270A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6111979A (en) * | 1996-04-23 | 2000-08-29 | Nec Corporation | System for encoding/decoding three-dimensional images with efficient compression of image data |
KR100871226B1 (ko) * | 2007-04-10 | 2008-12-01 | 삼성전자주식회사 | 스테레오 이미지를 효율적으로 저장하는 방법 및 장치 |
US7999844B2 (en) | 1995-12-22 | 2011-08-16 | Dynamic Digital Depth Research Pty Ltd. | Image conversion and encoding techniques |
-
1992
- 1992-08-31 JP JP4230762A patent/JPH0686270A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7999844B2 (en) | 1995-12-22 | 2011-08-16 | Dynamic Digital Depth Research Pty Ltd. | Image conversion and encoding techniques |
US6111979A (en) * | 1996-04-23 | 2000-08-29 | Nec Corporation | System for encoding/decoding three-dimensional images with efficient compression of image data |
KR100871226B1 (ko) * | 2007-04-10 | 2008-12-01 | 삼성전자주식회사 | 스테레오 이미지를 효율적으로 저장하는 방법 및 장치 |
US8055086B2 (en) | 2007-04-10 | 2011-11-08 | Samsung Electronics Co., Ltd | Method and apparatus for efficiently storing stereo image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3901287B2 (ja) | 映像信号変換装置、映像信号変換方法及び映像提供システム | |
KR101354387B1 (ko) | 2d 비디오 데이터의 3d 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들 | |
KR100393125B1 (ko) | 동화상의 부호화방법 및 복호화방법 | |
KR100519871B1 (ko) | 고해상도 정지 화상의 생성 방법 및 장치 | |
US20070104276A1 (en) | Method and apparatus for encoding multiview video | |
Domański et al. | High efficiency 3D video coding using new tools based on view synthesis | |
KR20000017775A (ko) | Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치 | |
JP2017512440A (ja) | ステレオビデオのための深度認識向上 | |
JP2001502504A (ja) | 立体視ビデオを符号化及び複号する装置及び方法 | |
MX2008002391A (es) | Metodo y aparato para codificar video de vistas multiples. | |
JP2013538474A (ja) | 3次元画像に対する視差の算出 | |
KR20080063323A (ko) | 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩 | |
KR20130018241A (ko) | 화상 처리 장치 및 방법, 및 프로그램 | |
JPH07123447A (ja) | 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体 | |
JPH09275578A (ja) | 多視点画像符号化装置および復号装置 | |
Barreto et al. | Region-based super-resolution for compression | |
KR20150135457A (ko) | 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치 | |
JP2006140618A (ja) | 3次元映像情報記録装置及びプログラム | |
KR101910286B1 (ko) | 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
Aydinoglu et al. | Compression of multi-view images | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JPH0678294A (ja) | 符号化方法、符号化装置、および復号化装置 | |
JPH0686270A (ja) | 3次元画像信号処理装置 | |
JP3080486B2 (ja) | 多眼式立体映像の直交変換符号化方式 | |
KR20150137081A (ko) | 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19991102 |