JP3776595B2 - 多視点画像の圧縮符号化装置および伸長復号化装置 - Google Patents
多視点画像の圧縮符号化装置および伸長復号化装置 Download PDFInfo
- Publication number
- JP3776595B2 JP3776595B2 JP18888998A JP18888998A JP3776595B2 JP 3776595 B2 JP3776595 B2 JP 3776595B2 JP 18888998 A JP18888998 A JP 18888998A JP 18888998 A JP18888998 A JP 18888998A JP 3776595 B2 JP3776595 B2 JP 3776595B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- information
- unit
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、複数のカメラで撮影された同一被写体の多視点画像を伝送する場合やコンピュータグラフィックスにより生成された3次元画像を多視点画像(2次元画像)として伝送する場合の圧縮符号化装置に係り、とくに従来の単視点画像の伝送装置との両立性を考慮した多視点画像の圧縮符号化装置および伸長復号化装置に関するものである。
【0002】
【従来の技術】
従来、2眼式立体テレビ信号の圧縮符号化方式として単視点画像の符号化方式と両立性のあるMPEG−2マルチビュープロファイルが標準化されている〔ISO/IEC 13818-2 Amendment 3, WG11 N1366(1996) (第1の従来方式と言う)〕。
【0003】
また、人物の顔画像など比較的単純な形状の被写体を複数のカメラで撮影し、これらの撮影画像を繋ぎあわせて展開図状の平面画像とし、距離情報、撮影したカメラの位置、向き、画角などの情報とともに伝送する方式が検討されている〔J.R.Ohm and K. Mueller:“Incomplete 3D Representation of Video Objects for Multiview Applications, ”Proc. Picture Coding Symposium (PCS'97), pp. 427-432(1997)(第2の従来方式と言う)〕。
【0004】
さらにまた、コンピュータグラフィックスなどにより生成した3次元画像については被写体を多面体で近似し、多面体の頂点の座標と多面体表面の画素値で表現する方式も普及している〔VRML2.0 ISO/IEC CD14772 (第3の従来方式と言う)〕。
【0005】
【発明が解決しようとする課題】
上述した第1の従来方式では、2眼式立体テレビ信号の左眼用画像を基本層で、右眼用画像を拡張層で符号化する階層符号化方式が採用されていて、左眼用画像は基本層のデータのみから復号することができるが、右眼用画像は基本層と拡張層のデータから復号する。この階層復号化方式を多視点画像の符号化に適用すれば、単視点画像の符号化、復号化システムと両立性のある多視点画像符号化装置および復号化装置が実現できるが、この方式は、画像を小ブロックに分割し、ブロック毎に視差補償予測または動き補償予測によりブロックを平行移動させて予測し、その残差を符号化する方式であるため、伝送する画像の視点数が増加するにつれて伝送ビットレートが増加してしまうという問題がある。また、この方式は、視差あるいは距離情報をすべて伝送する方式ではないため、伝送していない視点での画像を内挿処理によって合成する場合、受信装置側で受信画像情報から所望視点の視差あるいは距離情報を算出するための装置が必要となってしまう。
【0006】
一方、上述した第2および第3の従来方式では、単視点画像の符号化、復号化システムとの両立性がないという問題がある。
【0007】
本発明の目的は、3以上の複数視点で観測される各画像データを効率的に圧縮符号化して伝送(受信側において伸長復号化する)することができ、しかも、最上位に定義された視点に対応する符号化データは従来の単視点画像符号化装置を用いて復号化することができるという点で、単視点画像の符号化、復号化システムと両立性を有する多視点画像の圧縮符号化装置および伸長復号化装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するため、本発明による多視点画像の圧縮符号化装置は、1つの視点に対応する画像を予測符号化する際に、他の複数の視点に対応する画像のうち、どの視点に対応する画像を参照画像として使用するかが記憶されている視点順位メモリと、複数の参照候補画像のうちから、前記視点順位メモリに記憶された視点順位に従い少なくとも1つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と前記1つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記1つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、最上位視点に対応する画像の画像情報と視点情報を符号化する第1の符号化部と、前記1つの視点に対応する画像の画像情報(真値)から前記視点変換部によって得られた画像情報の予測値を減じて得られた画像情報(差分値)と前記1つの視点に対応する画像の視点情報とを符号化する第2の符号化部とを少なくとも具え、前記第1の符号化部と前記第2の符号化部によってそれぞれ符号化された符号化データを局部復号化して得られた前記最上位視点および前記1つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【0009】
また、本発明による多視点画像の伸長復号化装置は、複数の参照候補画像のうちから、送信側から伝送される視点順位に従い少なくとも1つの参照画像を選択する予測画像選択部と、該予測画像選択部によって選択された参照画像に対応する画像の画像情報および視点情報と送信側から伝送される前記1つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記1つの視点に対応する画像の画像情報の予測値に変換する視点変換部と、符号化され送信側から伝送されてきた前記最上位視点に対応する画像の画像情報と視点情報を復号化する第1の復号化部と、予測符号化され送信側から伝送されてきた前記1つの視点に対応する画像の画像情報(差分値)に前記視点変換部によって得られた画像情報の予測値を加算して得られた画像情報と符号化され送信側から伝送されてきた前記1つの視点に対応する画像の視点情報とを復号化する第2の復号化部とを少なくとも具え、前記第1の復号化部と前記第2の復号化部によってそれぞれ復号化された前記最上位視点および前記1つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部に供給されるように構成されていることを特徴とするものである。
【0010】
また、本発明による視点変換部は、参照画像の視点を基準とした座標系での画素位置と距離値をそれぞれ(X,Y)とZで表し、符号化しようとする画像の視点を基準とした座標系の画素位置と距離値をそれぞれ(X′,Y′)とZ′で表したとき、
【数2】
ここに、Mは3行4列の行例
によって座標変換を行う座標変換器を含んでなることを特徴とするものである。
【0011】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、以下に詳細に説明するように、被写体を観測する際の3以上の複数の視点に視点順位を定義し、上位の視点に対応する画像のある画素位置における画素値および視点からその画素に対応する被写体までの距離情報(以下、画像情報と言う)と、上位の視点に対応する画像の視点の位置、視点の向きおよび画角の情報(以下、視点情報と言う)、ならびに、下位の視点に対応する画像の視点情報から、下位の視点に対応する画像の画像情報の予測値を算出し、予測符号化により予測値と真値との差に相当する符号化データを伝送することにより、多視点画像を効果的に圧縮符号化し、また、受信側において伸長復号化しようとするものである。
【0012】
まず、視点の順位について説明する。
図1は、これを説明する図であり、(a)は視点(カメラ)配置を示し、本例においては、カメラAからGまでの7台のカメラが同一被写体を撮影している。同図において(b)は、それら視点間の順位(視点順位)を定義し、視点Dは最上位の視点、視点B,Fは次に上位の視点、そして視点A,C,E,Gはその次に上位の視点であることを示している。さらに同図において(c)は、予測符号化に際しての参照関係を示していて、例えば、最初に示されるA←Bは、視点Aの画像は視点Bの画像を参照画像として予測符号化できることを示している。
【0013】
以上説明した視点の視点順位、および各視点ごとの画像情報(画素位置、画素値、距離値)と視点情報(位置、向き、画角)に基づいて多視点画像を圧縮符号化する本発明多視点画像の圧縮符号化装置について以下に説明する。
図2は、本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。また、図2では、図1の7視点のうち、最上位視点を含む4視点のブロックのみを図示している。
図2において、1は視点順位メモリ、2は予測画像選択部、3は最上位視点画像入力部、4は画像・視点情報符号化部、5−1は第n視点画像入力部、6−1は視点変換部、7−1は画像・視点情報予測符号化部、および8−1,8−2,8−3はそれぞれの視点に対応する画像入力部、視点変換部、画像・視点情報予測符号化部を含んでなる符号化ブロックである。
【0014】
動作につき説明する。
視点順位メモリ1には、図1(c)に示す各視点間の参照関係データが記憶され、その記憶内容は、復号時の基準として使用するために伝送路aを介して受信側に送られるとともに、信号路bを介して予測画像選択部2に送られる。予測画像選択部2においては、その送られた参照関係データから図1(b)に示す各視点間の視点順位を求め、符号化信号の局部復号化信号として信号路eおよびk−1,k−2,k−3を介して当該予測画像選択部2に入力されるすべての視点に対応する画像の画像情報と視点情報のなかから、符号化しようとする視点に対応する画像の参照画像に対応する画像情報と視点情報を選択して信号路g−1,g−2,g−3に出力する。
【0015】
ここに参照画像とは、例えば、カメラCで撮影された画像(図1(a)参照)を符号化しようとする場合、図1(c)に示す各視点間の参照関係に基づいて、カメラCに対して上位のカメラBとさらに上位のカメラDの各視点に対応する画像が参照画像である。
【0016】
最上位視点画像入力部3には、本例の場合、最上位視点のカメラDで撮影された画像(図1(a)参照)が供給され、信号路c,dに最上位視点に対応する画像の視点情報(位置、向き、画角)と画像情報(画素位置、画素値、距離値)がそれぞれ出力される。
【0017】
信号路c,dを通して出力された最上位視点に対応する画像の視点情報と画像情報は、画像・視点情報符号化部4において符号化され、符号化された画像情報と視点情報を伝送路fに送出する。画像・視点情報符号化部4は、従来技術において説明したようなMPEG−2マルチビュープロファイルにおける左眼用画像のように他の画像を参照せずに独立に符号化する符号化器をもって構成される。
【0018】
従って、この画像・視点情報符号化部4において最上位視点に対応する画像の画素値を上記のような従来の単視点画像の符号化方式を用いた符号化器で符号化するようにすれば、従来の復号化装置によって最上位視点画像の画素値の復号化が可能となる。また、符号化部4は局部復号化器(図示されない)を具え、符号化された画像情報と視点情報を復号化し、信号路eを介して予測画像選択部2に供給する。
【0019】
また、第n視点画像入力部5−1には、第n視点のカメラ(例えば、図1(a)のカメラCとする)で撮影された画像が供給され、信号路h,iに第n視点に対応する画像の視点情報と画像情報がそれぞれ出力される。
【0020】
次に、本発明で重要な役割りを果す視点変換部6−1について説明する。
視点変換部6−1の構成は、例えば、図3のブロック図で示される。
図3において、9−1,9−2,9−3は座標変換器、10−1,10−2,10−3はフレームメモリ、11は比較器、および12は選択器である。
【0021】
上述したように、予測画像選択部2には、画像・視点情報符号化部4および複数個の画像・視点情報予測符号化部7−1(7−2以下は図示されない)からの局部復号化画像情報と視点情報が信号線eとk−1,k−2,k−3をそれぞれ介して供給されている。これら供給されている各視点に対応する画像情報のうち、第n視点に対応する画像の参照画像の画像情報を、当該画像の視点情報と第n視点に対応する画像の視点情報とに基づいて第n視点に対応する画像情報に変換するのが視点変換部6−1(6−2以下は図示されない)の役割りであり、具体的には次に説明する座標変換によって行う。
【0022】
いま、第n視点が図1(a)に示すカメラCであるとすると、予測画像選択部2から信号線g−1を介して視点変換部6−1に供給される画像情報と視点情報は、カメラBとカメラDに対応するそれら情報である。また本例では、視点変換部6−1にカメラCに対応する画像の視点情報も信号線hを介して供給されている。
【0023】
図4は、視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
また図5は、被写体上の点が撮影面上の点に投影される位置を示す図である。
図4において、視点Bの位置(カメラの光学中心)OB を原点とし、カメラの光軸の方向をZB 、カメラの上方の方向をYB 、および方向ZB とYB に直交する方向をXB とする座標系において、被写体上の点P(X,Y,Z)は、図5に示すように、光学中心と撮影面とのなす距離をfとするとき、撮影面上の点(f・X/Z,f・Y/Z)に投影される。従って、逆に、撮影面上の画素位置と被写体上の点Pまでの距離情報Zを用いて点P(X,Y,Z)の座標を求めることができる。
【0024】
次に、図4において点Pの座標を視点Cの位置OC を原点とし、視点Cの向きがXC , YC ,ZC により定義される座標系を用いて表すと、3行4列の行列Mによる座標変換、
【数3】
により点Pの座標を表すことができ、カメラCの撮影面上に投影される点(f・X′/Z′,f・Y′/Z′)の位置を算出することができる。
【0025】
上述したように、参照される視点(視点BおよびD)の画素位置(X,Y)と距離値Zは、参照される視点の視点情報により決まる座標系から符号化しようとする視点(視点C)の視点情報により決まる座標系へ行列変換することができ、符号化しようとする視点での座標系では画素位置(X′,Y′)と距離値Z′とで表される。
【0026】
視点変換部6−1の構成を示す図3において、座標変換器9−1,9−2,9−3の入出力側における変換前および変換後の画素位置と距離値を上記に合わせて、(X,Y,Z)および(X′,Y′,Z′)でそれぞれ表している。座標変換により出力される画素位置X′,Y′と距離値Z′は、参照画像の画素値(図3では、一例としてR,G,Bで表す)とともにフレームメモリ10−1,10−2,10−3に入力され、画素の走査の順番に並び替える。参照画像が複数ある場合には、それぞれの視点について座標変換と並び替えを行って符号化しようとする視点で観測される画素位置に揃えておく。各フレームメモリ10−1,10−2,10−3から出力された画素値R,G,Bが符号化しようとする視点の同じ画素位置で複数存在する場合にはそれら複数の距離値Z′を比較器11により比較し、最小の距離値Z′を有する画素値R,G,B、すなわち第n視点から見て最も手前にある画素値R,G,Bを、比較器11の比較結果により選択器12を制御することにより選択し、第n視点に対応する画像の予測値とする。
【0027】
再び、図2を参照するに、画像・視点情報予測符号化部7−1には、信号路h,i,jを介して第n視点に対応する画像の視点情報(真値)、画像情報(真値)、参照画像に対応する画像の画像情報(予測値)がそれぞれ供給される。これら画像情報および視点情報の真値および予測値の供給を受けて、画像・視点情報予測符号化部7−1では画像情報の真値と予測値の差分符号化データ(視点情報に関しては、第n視点に対応する画像のみの符号化データ)を符号化してこれを圧縮符号化信号として伝送路 L−1に出力する。
【0028】
なお、得られた圧縮符号化信号を伸長復号化した画像情報および視点情報の圧縮・伸長局部復号化信号が信号線k−1を介して予測画像選択部2に送られ、選択されるべき参照候補画像の一つとなる。これは、前述した最上位視点に対応する画像について(信号路eを介して選択部2に送られる)と同じである。
【0029】
なお、符号化ブロック8−2,8−3(必要に応じて増加する)は、それぞれが上述した符号化ブロック8−1と同一の構成で、複数の視点それぞれに対応する画像データを圧縮符号化する。
【0030】
図6は、本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。また、図6では、図2と同様、最上位視点を含む4視点のブロックのみを図示している。
図6において、13は予測画像選択部、14は画像・視点情報復号化部、15は最上位視点画像出力部、16−1は視点変換部、17−1は画像・視点情報予測復号化部、18−1は第n視点画像出力部、および19−1,19−2,19−3はそれぞれの視点に対応する視点変換部、画像・視点情報予測復号化部および画像出力部を含んでなる復号化ブロックである。
【0031】
動作につき説明する。
まず、予測画像選択部13には、送信側の視点順位メモリ1(図2参照)に記憶された各視点間の参照関係データが伝送路aを介して伝送され、当該選択部13において、送信側におけると同様に各視点間の視点順位を求める。また、この予測画像選択部13には、図に示すように、画像・視点情報復号化部14および画像・視点情報予測復号化部17−1(17−2以下は図示されない)から信号路rおよびw−1,w−2,w−3をそれぞれ介して復号化信号(各視点に対応する画像の画像情報と視点情報)が供給されている。
【0032】
以上に基づいて、予測画像選択部13は、供給されるすべての視点に対応する画像の画像情報と視点情報のなかから、復号化しようとする視点に対応する画像(例えば、第n視点のカメラCで撮影された画像)の参照画像(この場合、カメラBおよびDで撮影された画像)に対応する画像情報と視点情報を選択して、信号路s−1に出力する。
【0033】
一方、伝送路fを介して受信側に伝送され、最上位視点に対応する符号化された画像情報と視点情報は、画像・視点情報復号化部14に供給され、当該復号化部において符号化データを復号化し、その復号化された最上位視点に対応する画像の画像情報と視点情報を信号路rに出力する。これを復号化信号として最上位視点画像出力部15から取り出し得るようにするとともに、上述したように、予測画像選択部13にも供給する。
【0034】
次に、第n視点に対する画像の伸長復号化について説明する。
図6において、視点変換器16−1は、送信側における視点変換器6−1とまったく同じ動作(従って、回路構成も図3に示すものとなる)をするもので、同変換器16−1には、信号路s−1を介して参照画像に対応する画像情報と視点情報が、また信号路uを介して第n視点に対応する画像の視点情報がそれぞれ供給され、その出力側には、第n視点(上記のように、例えば、カメラC)に対応する画像の画像情報の予測値が得られ、これを信号路vを介して画像・視点情報予測復号化部17−1に供給する。
【0035】
なお、図6において、第n視点以外の視点に対応する画像の参照画像を用いてそれら視点の画像に対応する画像を伸長復号化する場合、予測画像選択部13から該当する参照画像の画像情報と視点情報が信号路s−2,s−3を介してそれぞれ視点変換器16−2,16−3(いずれも図示しない)に供給される。
【0036】
また、画像・視点情報予測復号化部17−1には、伝送路 L−1を介して伝送された第n視点に対応する画像の画像情報の差分値および視点情報の圧縮符号化データと、信号路vを介しての第n視点に対応する画像の画像情報(予測値)とが供給され、同予測復号化部17−1において、上記差分値と上記画像情報の予測値を用いて第n視点の原画像(送信側で送信した第n視点の画像)に対応する画像の画像情報を再構成(加算)して出力する。また、これと同時に、第n視点に対応する画像の視点情報も伸長復号化により画像・視点予測復号化部17−1出力として出力する。
【0037】
同予測復号化部17−1出力は、図6に示すように、信号路w−1を介し、一方では、第n視点画像出力部18−1に供給されて同出力部から画像情報と視点情報を取り出し得るようにし、他方では、予測画像選択部13にも供給される。
【0038】
復号化ブロック19−1,19−2,19−3は、いずれも同一の構成であり、それぞれ必要な視点に対応する圧縮画像データを伝送路 L−1, L−2,L −3を介して受信しそれぞれ伸長復号化する。復号化ブロックの数は、送信側の符号化ブロックの数に対応してさらに追加することができる。
【0039】
最後に、伸長復号化装置によっては復号化ブロックの数を低減できることを説明する。
例えば、図1(b)に示すように階層的に定義された7視点における画像情報を復号化する場合、すべての視点における画像を同時に復号化する場合には視点変換器と予測復号化器からなる復号化ブロックが6個必要である。一方、ある1つの視点における画像情報だけを復号化する場合には、視点を階層的に定義しているので、どの視点についても上位には最大2つの視点しかなく、したがって最大2個の復号化ブロックがあれば、復号化可能である。
【0040】
多視点画像の表示装置として、観視者の観視点の位置を検出して、その位置に応じて再生する画像の視点位置を切り替える方式を用いる場合には、同時に再生する視点の数は1つ、あるいは左右の眼に対応して2つであり、必ずしもすべての視点における画像を同時に復号化する必要はない。したがって、このように視点を階層的に定義することにより、表示装置によっては復号化ブロックの数を(同時に復号化が必要な視点数)×(階層数)以下とすることができ、復号化装置の複雑さを低減することができる。
【0041】
【発明の効果】
本発明によれば、複数の視点に視点順位を定義し、下位の視点に対応する画像を、上位の視点に対応する画像の画像情報、視点情報を利用して予測符号化を行うことで、複数の視点で観測される画像データを効率的に圧縮符号化することができる。また、各画素について距離値を伝送し、視点変換器による座標変換を行うことで、予測の精度を向上させることができる。結果として、視点数を増加させたときの伝送データ量の増加を抑えることができる。
【0042】
また、最上位に定義された視点に対応する画像については、他の視点に対応する画像を参照することなくこれを独立に符号化することで、従来の単視点画像の復号化装置によって、この最上位の視点に対応する画像の画素値を復号化することができる。複数の視点に視点順位を定義し、階層的に符号化を行うことで、1つの視点に対応する画像を復号する際に必要な視点変換器と予測復号化器からなる1つの復号化ブロックの数を階層数以下とすることができる。
【0043】
また、復号化装置に具えられた復号化ブロックの階層数が符号化装置での符号化ブロックの階層数より少ない場合にも、符号化装置に具えられた階層数に応じた視点数の画像を復号化することができる。例えば、図1(b)に示す視点順位で多視点に対応する画像が圧縮符号化されて伝送された場合、階層数が0の受信機(従来の単視点用復号化器)で復号化すると視点Dのみの、また、階層数が1の受信機で復号化すると視点B,D,Fの、また、階層数が2の高級な受信機で復号化するとすべての視点に対応する画像を復号化することが可能となる。
【図面の簡単な説明】
【図1】視点の順位を説明する図である。
【図2】本発明による多視点画像の圧縮符号化装置の一実施形態を示すブロック図である。
【図3】図2中の視点変換部の一構成例を示すブロック線図である。
【図4】視点変換の前提となる視点の位置と向きを規定する座標系の一例を示す図である。
【図5】被写体上の点が撮影面上の点に投影される位置を示す図である。
【図6】本発明による多視点画像の伸長復号化装置の一実施形態を示すブロック図である。
【符号の説明】
1 視点順位メモリ
2 予測画像選択部
3 最上位視点画像入力部
4 画像・視点情報符号化部
5−1 第n視点画像入力部
6−1 視点変換部
7−1 画像・視点情報予測符号化部
8−1,8−2,8−3 符号化ブロック
9−1,9−2,9−3 座標変換器
10−1,10−2,10−3 フレームメモリ
11 比較器
12 選択器
13 予測画像選択部
14 画像・視点情報復号化部
15 最上位視点画像出力部
16−1 視点変換部
17−1 画像・視点情報予測復号化部
18−1 第n視点画像出力部
19−1,19−2,19−3 復号化ブロック
Claims (3)
- 1つの視点に対応する画像を予測符号化する際に、他の複数の視点に対応する画像のうち、どの視点に対応する画像を参照画像として使用するかが記憶されている視点順位メモリ1と、
複数の参照候補画像のうちから、前記視点順位メモリ1に記憶された視点順位に従い少なくとも1つの参照画像を選択する予測画像選択部2と、
該予測画像選択部2によって選択された参照画像に対応する画像の画像情報および視点情報と前記1つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記1つの視点に対応する画像の画像情報の予測値に変換する視点変換部6と、
最上位視点に対応する画像の画像情報と視点情報を符号化する第1の符号化部4と、
前記1つの視点に対応する画像の画像情報(真値)から前記視点変換部6によって得られた画像情報の予測値を減じて得られた画像情報(差分値)と前記1つの視点に対応する画像の視点情報とを符号化する第2の符号化部7と
を少なくとも具え、
前記第1の符号化部4と前記第2の符号化部7によってそれぞれ符号化された符号化データを局部復号化して得られた前記最上位視点および前記1つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部2に供給されるように構成されていることを特徴とする多視点画像の圧縮符号化装置。 - 請求項1記載の多視点画像の圧縮符号化装置によって伝送された符号化データを復号化する復号化装置であって、
複数の参照候補画像のうちから、送信側から伝送される視点順位に従い少なくとも1つの参照画像を選択する予測画像選択部13と、
該予測画像選択部13によって選択された参照画像に対応する画像の画像情報および視点情報と送信側から伝送される前記1つの視点に対応する画像の視点情報とを使用して、前記選択された参照画像に対応する画像の画像情報を前記1つの視点に対応する画像の画像情報の予測値に変換する視点変換部16と、
符号化され送信側から伝送されてきた前記最上位視点に対応する画像の画像情報と視点情報を復号化する第1の復号化部14と、
予測符号化され送信側から伝送されてきた前記1つの視点に対応する画像の画像情報(差分値)に前記視点変換部16によって得られた画像情報の予測値を加算して得られた画像情報と符号化され送信側から伝送されてきた前記1つの視点に対応する画像の視点情報とを復号化する第2の復号化部17と
を少なくとも具え、
前記第1の復号化部14と前記第2の復号化部17によってそれぞれ復号化された前記最上位視点および前記1つの視点にそれぞれ対応する画像の画像情報と視点情報が選択されるべき前記複数の参照候補画像として前記予測画像選択部6に供給されるように構成されていることを特徴とする多視点画像の伸長復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18888998A JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18888998A JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000023198A JP2000023198A (ja) | 2000-01-21 |
JP3776595B2 true JP3776595B2 (ja) | 2006-05-17 |
Family
ID=16231667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18888998A Expired - Fee Related JP3776595B2 (ja) | 1998-07-03 | 1998-07-03 | 多視点画像の圧縮符号化装置および伸長復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3776595B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7489342B2 (en) * | 2004-12-17 | 2009-02-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for managing reference pictures in multiview videos |
KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
US7444664B2 (en) * | 2004-07-27 | 2008-10-28 | Microsoft Corp. | Multi-view video format |
US7728877B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for synthesizing multiview videos |
EP1905244A4 (en) | 2005-07-18 | 2010-12-01 | Korea Electronics Telecomm | PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE |
KR101244911B1 (ko) * | 2005-10-11 | 2013-03-18 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체 |
US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
JP2007166381A (ja) * | 2005-12-15 | 2007-06-28 | Univ Of Tokyo | 多視点画像の圧縮符号化方法及び復号化方法 |
JP4570159B2 (ja) * | 2006-01-06 | 2010-10-27 | Kddi株式会社 | 多視点映像符号化方法、装置及びプログラム |
WO2008005124A2 (en) * | 2006-07-05 | 2008-01-10 | Thomson Licensing | Methods and apparatus for multi-view video encoding and decoding |
CN101291434A (zh) * | 2007-04-17 | 2008-10-22 | 华为技术有限公司 | 多视编解码方法及装置 |
JP4786585B2 (ja) * | 2007-04-20 | 2011-10-05 | Kddi株式会社 | 多視点映像符号化装置 |
MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
KR100918862B1 (ko) * | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
JP4964827B2 (ja) * | 2008-06-05 | 2012-07-04 | 日本電信電話株式会社 | 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP5219199B2 (ja) * | 2008-07-11 | 2013-06-26 | 日本電信電話株式会社 | 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
CN102124742B (zh) * | 2008-08-20 | 2013-09-11 | 汤姆逊许可公司 | 精制深度图 |
US8913105B2 (en) | 2009-01-07 | 2014-12-16 | Thomson Licensing | Joint depth estimation |
JP4851563B2 (ja) * | 2009-06-15 | 2012-01-11 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4851564B2 (ja) * | 2009-06-15 | 2012-01-11 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2012100019A (ja) * | 2010-11-01 | 2012-05-24 | Sharp Corp | 多視点画像符号化装置及び多視点画像復号装置 |
JP5837606B2 (ja) * | 2010-11-15 | 2015-12-24 | エルジー エレクトロニクス インコーポレイティド | フレームフォーマット変換方法及びその方法を使用する装置 |
JP5749595B2 (ja) * | 2011-07-27 | 2015-07-15 | 日本電信電話株式会社 | 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム |
MX2014008982A (es) * | 2012-01-31 | 2014-08-27 | Sony Corp | Dispositivo de procesamiento de imagenes y metodos de procesamiento de imagenes. |
WO2014097913A1 (ja) | 2012-12-21 | 2014-06-26 | ソニー株式会社 | 画像処理装置および方法 |
WO2017082078A1 (ja) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
1998
- 1998-07-03 JP JP18888998A patent/JP3776595B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000023198A (ja) | 2000-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3776595B2 (ja) | 多視点画像の圧縮符号化装置および伸長復号化装置 | |
US10528004B2 (en) | Methods and apparatus for full parallax light field display systems | |
US5617334A (en) | Multi-viewpoint digital video coder/decoder and method | |
RU2611240C2 (ru) | Устройство, способ и компьютерная программа для трехмерного видеокодирования | |
KR100751422B1 (ko) | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 | |
US5619256A (en) | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions | |
JP5268645B2 (ja) | カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体 | |
US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
JP5970609B2 (ja) | 3dビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
US20070147502A1 (en) | Method and apparatus for encoding and decoding picture signal, and related computer programs | |
CN109068143B (zh) | 视频数据解码方法和视频数据解码设备 | |
JP2008516547A (ja) | 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置 | |
EP1927250A1 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
US9191677B2 (en) | Method and apparatus for encoding image and method and appartus for decoding image | |
WO2009052730A1 (en) | Video encoding decoding method and device and video codec | |
JP2009505604A (ja) | 多視点動映像を符号化する方法及び装置 | |
JPH09275578A (ja) | 多視点画像符号化装置および復号装置 | |
JP2024012332A (ja) | マルチビュービデオのデコードの方法及び装置、並びに画像処理の方法及び装置 | |
US20040165765A1 (en) | Method and an appraratus to divide image blocks | |
JP2007166381A (ja) | 多視点画像の圧縮符号化方法及び復号化方法 | |
JP2007180982A (ja) | 画像復号装置、画像復号方法、及び画像復号プログラム | |
Yang et al. | An MPEG-4-compatible stereoscopic/multiview video coding scheme | |
Naemura et al. | Compression and representation of 3-D images | |
Lee et al. | Depth-based texture coding in AVC-compatible 3D video coding | |
JP4173684B2 (ja) | 立体画像作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060223 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |