JP4605715B2 - 多視点画像圧縮符号化方法、装置及びプログラム - Google Patents

多視点画像圧縮符号化方法、装置及びプログラム Download PDF

Info

Publication number
JP4605715B2
JP4605715B2 JP2006164927A JP2006164927A JP4605715B2 JP 4605715 B2 JP4605715 B2 JP 4605715B2 JP 2006164927 A JP2006164927 A JP 2006164927A JP 2006164927 A JP2006164927 A JP 2006164927A JP 4605715 B2 JP4605715 B2 JP 4605715B2
Authority
JP
Japan
Prior art keywords
image
block
camera
arbitrary point
depth distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006164927A
Other languages
English (en)
Other versions
JP2007336188A (ja
Inventor
彰夫 石川
淳 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2006164927A priority Critical patent/JP4605715B2/ja
Priority to US11/808,818 priority patent/US8311089B2/en
Publication of JP2007336188A publication Critical patent/JP2007336188A/ja
Application granted granted Critical
Publication of JP4605715B2 publication Critical patent/JP4605715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、多視点画像圧縮符号化方法、装置及びプログラムに関する。
異なる位置にあるカメラによって同時に撮影された画像（以下「多視点画像」という）の間には、視差による違いを除けば、強い相関がある。従って、これら画像を一連の映像シーケンスとみなして、動き補償（視差補償）を用いて符号化することにより、情報圧縮をすることができる（例えば特許文献１参照）。
多視点画像間の視差補償を行う代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。
第１のカメラ（第１の視点）によって撮影された第１の画像を、小さなブロックに分割する。第１の画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の画像の第２のブロックを探索する。そして、探索された第２のブロックと、第１のブロックとの距離量を視差ベクトルとして算出する。第１のブロックと第２のブロックとの予測誤差を符号化し、視差ベクトルを符号化データに付加することによって、その多視点画像を圧縮符号化することができる。
特開２００５−２６０４６４号公報
従来のブロックマッチングは、第１の画像の中の被写体が、第２の画像の中で平行移動した場合に、ブロックをマッチングさせるものである。複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となる場合にしか、完全なブロックマッチングをさせることができない。
しかしながら、複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の画像の第１のブロックを、第２の画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の画像の中の被写体の形状は、第２の画像の中の被写体の形状と異なって射影されたものとなるからである。
そこで、本発明は、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いた多視点画像圧縮符号化方法、装置及びプログラムを提供することを目的とする。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
被写体上の任意点を決定する第１のステップと、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
第１の画像について任意点を含む第１のブロックを選択する第３のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する第４のステップと、
第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第５のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第６のステップと、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第７のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第８のステップと
を有することを特徴とする。
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第７のステップは、ＭＰＥＧ(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第１の画像はＰピクチャであり、第２の画像はＩピクチャであることも好ましい。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
被写体上の任意点を決定する第１のステップと、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
第２の画像について任意点を含む第２のブロックを選択する第３のステップと、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する第４のステップと、
第１の画像を、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第５のステップと、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第６のステップと、
第２の画像の第２のブロックと最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する第７のステップと、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第８のステップと
を有することを特徴とする。
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第７のステップは、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像はＩピクチャであり、第２の画像はＰピクチャであることも好ましい。
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１から第８のステップを繰り返すと共に、
その繰り返しの中で、第１のステップは、以前に第３のステップによって選択されたブロック以外の部分について被写体上の任意点を更に決定し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化することも好ましい。
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のステップについて、任意点の画像座標は、正規化画像座標であり、
第５のステップについて、視差ベクトルは、以下のものであり、
Figure 0004605715
 一次変換行列は、以下のものである
Figure 0004605715
 ことも好ましい。
本発明の多視点画像圧縮符号化方法における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することも好ましい。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
本発明の多視点画像符号化圧縮装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像はＰピクチャであり、第２の画像はＩピクチャであることも好ましい。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
第１の画像を、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
第２の画像の第２のブロックと最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
第１の画像はＩピクチャであり、第２の画像はＰピクチャであることも好ましい。
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
任意点選択手段と、画像座標算出手段と、ブロック選択手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、予測誤差符号化手段と、パラメータ付加手段との処理を繰り返すブロック制御手段を更に有し、
その繰り返しの中で、任意点選択手段は、以前にブロック選択手段によって選択されたブロック以外の部分について被写体上の任意点を更に決定し、
最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化することも好ましい。
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
ブロックマッチング手段は、視差ベクトルを以下のものとし、
Figure 0004605715
 一次変換行列を以下のものとする
Figure 0004605715
 ことも好ましい。
本発明の多視点画像圧縮符号化装置における他の実施形態によれば、
第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することも好ましい。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第１の画像について任意点を含む第１のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
本発明によれば、光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
被写体上の任意点を決定する任意点選択手段と、
任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
第２の画像について任意点を含む第２のブロックを選択するブロック選択手段と、
任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
第１の画像を、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
第２の画像の第２のブロックと最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、Ｐピクチャの第１のブロック又はＩピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
図１は、本発明におけるシステム構成図である。図２は、図１のシステム構成について、複数のカメラを正面から見た配置図である。
異なる位置に配置された複数のカメラ１が、被写体３を撮影する。複数のカメラ１は、光軸をＺ軸に平行とし、ＸＹ平面上に配置される。光軸を平行に、且つ、その光軸に垂直な同一平面上（ｘ軸、ｙ軸）に配置される。図１によれば、９台の縦３列横３列（視点（０，０）〜（２，２））で等間隔に配置されている。また、複数のカメラ１は、多視点画像圧縮符号化装置２に接続される。本発明によれば、少なくとも２つのカメラによって撮影された多視点画像を必要とする。
カメラ１は、被写体３を撮影した画像を多視点画像圧縮符号化装置２へ送信する。ここで、カメラ１が移動可能なものである場合、カメラ位置情報も、多視点画像圧縮符号化装置２へ送信される。勿論、多視点画像圧縮符号化装置２が、全てのカメラ位置情報を予め記憶しているものであってもよい。
図３は、各カメラから見た被写体の見え方を表す画面図である。
図３によれば、被写体は、台形状立体である。被写体の上方に、カメラ（１，１）が位置する。このとき、カメラ（１，１）の左側のカメラ（１，０）から見ると、被写体の左側が広がり、右側が縮小して見える。また、カメラ（１，１）の右側のカメラ（１，２）から見ると、被写体の左側が縮小し、右側が広がって見える。
同様に、カメラ（１，１）の上側のカメラ（０，１）から見ると、被写体の上側が広がり、下側が縮小して見える。カメラ（１，１）の下側のカメラ（２，１）から見ると、被写体の上側が縮小し、下側が広がって見える。
図４〜図６には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。
図４は、被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
被写体は、左側が奥に、右側が手前にある。このとき、カメラ（１，１）の画像よりも、左側のカメラ（１，０）の画像の方が、平面が広がって見える。また、カメラ（１，１）の画像よりも、右側のカメラ（１，２）の画像の方が、平面が狭く見える。
図５は、被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
被写体は、上側が奥に、下側が手前にある。このとき、カメラ（１，１）の画像よりも、上側のカメラ（０，１）の画像の方が、平面が広がって見える。また、カメラ（１，１）の画像よりも、下側のカメラ（２，１）の画像の方が、平面が狭く見える。
図６は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図４の傾きと図５の傾きとを合わせたものである。
図３、図４〜図６に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。本発明によれば、カメラの光軸に対して被写体の表面が傾いている場合であっても、第１のブロックと完全にマッチングした第２のブロックを探索することができる。
図７は、２つのカメラの位置関係における座標系の説明図である。
一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。また、２つのカメラは、光軸を平行に、且つ、光軸に垂直な同一平面上に、相対的位置（ｔｘ，ｔｙ，０）で配置される。本発明は、その近似平面から被写体の任意点までの奥行き距離Ｚと、その近似平面の向き（単位法線ベクトル）ｎとを、ブロックマッチングのパラメータとして用いる。
図８は、第１のブロックマッチングの説明図である。
予測符号化方式に、ＭＰＥＧを適用する。図８によれば、Ｐピクチャ（第１の画像）について任意点を含む第１のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、Ｉピクチャのブロックにマッチングさせる。
図９は、第２のブロックマッチングの説明図である。
図９によれば、Ｐピクチャ（第２の画像）について任意点を含む第２のブロックを選択する。次に、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。そして、Ｉピクチャ（第１の画像）を、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、Ｐピクチャの第２のブロックにマッチングさせる。
以下では、ブロック又は画像の移動及び変形となる一次変換行列の導出過程を詳細に説明する。
最初に、カメラの内部パラメータ（内部カメラ行列）Ａは、以下の式で表される。この値は、既知であるとする。
Figure 0004605715
 ｆku、ｆkv：焦点距離（カメラの距離のピクセル数）
θ＝π／２：座標軸の角度
ｕ０、ｖ０：画像中心
カメラＣのカメラ座標系を平行移動（相対的位置ｔ）させて、カメラＣ'のカメラ座標系が得られる。ｔは、カメラの外部パラメータの１つであり、カメラＣのカメラ座標系に対するカメラＣ’の変位ベクトルを表す。カメラＣ及びＣ'は、光軸を平行に且つその光軸に垂直な同一平面上に配置されるので、カメラＣのカメラ座標系に対するカメラＣ’の相対的位置ベクトルｔは、ｚ軸成分を必ず０とする（ｔＺ＝０）。
Figure 0004605715
カメラＣのカメラ座標系座標と、カメラＣ'のカメラ座標系座標との間には、以下の関係が成り立つ。即ち、カメラＣのカメラ座標系座標が、カメラの外部パラメータを通じて、カメラＣ'のカメラ座標系座標に変換される。
Ｍ＝Ｍ'＋ｔ 式（１）
Ｍ：カメラＣにおける被写体の任意点Ｐのカメラ座標系座標
Ｍ'：カメラＣ'における被写体の任意点Ｐのカメラ座標系座標
ここで、被写体の近似平面に対して、カメラＣ’のカメラ座標系では以下の式が成り立つ。
ｎＴ・Ｍ'＝ｄ
ｎ（|ｎ|＝１）：カメラＣ'のカメラ座標系における平面の法線ベクトル
ｄ：カメラＣ'のカメラ座標系の原点から平面までの距離
Figure 0004605715
以上より、以下の式が成り立つ。
ｎＴ・Ｍ'＝ｄ
ｎＴ・Ｍ'／ｄ＝１ 式（２）
式（２）を、式（１）に代入すると、以下の式が得られる。
Figure 0004605715
Figure 0004605715
次に、任意点Ｐのデジタル画像座標を、以下のようにする。
ｍ：カメラＣにおける任意点Ｐのデジタル画像座標
ｍ'：カメラＣ’における任意点Ｐのデジタル画像座標
Figure 0004605715
また、任意点Ｐの正規化画像座標を、以下のようにする。「正規化画像」とは、画像平面が焦点から単位長のところにあるカメラ（正規化カメラ）で撮影したと仮定した場合の画像をいう。正規化画像における任意点の座標を、「正規化画像座標」という。
ｘ：任意点ＰのカメラＣにおける正規化画像座標
ｘ'：任意点ＰのカメラＣ'における正規化画像座標
Figure 0004605715
ここで、カメラ座標系座標Ｍ及びＭ'に代えて、正規化画像座標ｘ及びｘ'を用いると、以下の変換式が得られる。ｓは、スカラーである。
Figure 0004605715
更に、デジタル画像座標ｍ及びｍ'を用いると、以下の変換式が得られる。
Figure 0004605715
ｔを、前述の式（３）に代入すると、以下のような２次元アフィン変換で表される。
Figure 0004605715
正規化画像座標系における視差ベクトルをＤとすると、以下の式が成り立つ。
Figure 0004605715
一方、図７より、任意点Ｐの奥行き距離Ｚとすると、以下の式が成り立つ。
Figure 0004605715
以上より、以下の式が成り立つ。
Figure 0004605715
これを、式（４）に代入すると、以下の式（５）が成り立つ。
Figure 0004605715
Figure 0004605715
式（５）と、右辺及び左辺の差を求めると、以下の式が成り立つ。
Figure 0004605715
第２の画像の第２のブロックについて、第１の画像の中を、以下のＤの平行移動をさせて、第１の画像座標（ｘ，ｙ）を原点として以下のＬの一次変換行列で変形をさせることにより、第２のブロックに最も類似するような、第１の画像のブロックを探索する。一次変換行列によれば、視差ベクトルと、被写体の（平面に近似された）面の傾きとに基づいてブロックを変形し、ブロックマッチングをすることができる。
Figure 0004605715
ここで、図９に基づいて、ＩピクチャとＰピクチャとを圧縮符号化する方法を説明する。
最初に、Ｐピクチャを、画面内予測符号化する。次に、Ｉピクチャを複数のブロックに分割し、各ブロックに対して前述の平行移動Ｄ及び一次変換行列Ｌに基づいて、第１の画像座標（ｘ，ｙ）を原点として変形させる。そして、予測誤差が最小となるＩピクチャのブロック（参照ブロック）を求め、その際の平行移動ベクトルＤと一次変換行列Ｌ（即ち、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ））を導出する。ここで、当該ブロックと、変形した参照ブロックとを比較して予測誤差を算出するために、変形した参照ブロックを線形補間等によって補間し、当該ブロックの各画素と比較するための対応する画素値を算出する。例えば、線形補間を用いる場合は、図Ｘの点Ｘの画素値は、周辺４点（Ａ，Ｂ，Ｃ，Ｄ）の画素値を用いて、以下の式から求める。
Ｘ＝（１−ｄｘ）（１−ｄｙ）Ａ＋ｄｘ（１−ｄｙ）Ｂ＋（１−ｄｙ）ｄｙＣ＋ｄｘｄｙＤ
最後に、予測誤差を圧縮符号化し、奥行き距離Ｚ（又は平行移動ベクトルＤ）と単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化する。その際には、既に符号化した隣接ブロックの奥行き距離Ｚと単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を参照して符号化することにより、符号化効率を高める。これは、隣接するブロック同士で平行移動ベクトルＤ又は一次変換行列Ｌが同じ値又は類似した値をとる場合があるからである。
但し、第１の画像の参照ブロックとの予測誤差を符号化するよりも、第２の画像の中で画面内予測符号化する方が、圧縮効率が高くなる場合は、第２の画像の中で画面内予測符号化をする。
以下では、前述した式に、具体的に数値を入れて説明する。
ｆ＝810.8 （カメラの焦点距離のピクセル数）
ｋｕ＝ｋｖ=1.0 （近年のカメラのＣＣＤセルは正方形）
θ＝π／２ （近年のカメラのＣＣＤセルは正方形）
ｕ０＝319.5 （画像の横幅が640pixelである場合）
ｖ０＝239.5 （画像の高さが480pixelである場合）
Figure 0004605715
相対的位置ベクトルｔは、以下の値とする。
Figure 0004605715
カメラＣの画像の中の点Ｍ０のデジタル画像座標を、以下のようにする。
Figure 0004605715
点Ｍ０を左上端とする（例えば４×４の大きさ）ブロックで探索を行うとする。ここで、正規化画像座標に変換する。点Ｍ０の正規化画像座標ｘ０は、以下のようになる。
Figure 0004605715
本発明によれば、奥行き距離Ｚ、法線ベクトルｎｘ及びｎｙを、任意に変化させて、ブロックマッチングをする。
Figure 0004605715
Figure 0004605715
Figure 0004605715
ｘ０からＤだけ平行移動した位置で、一次変換Ｌを施してブロックマッチングをする。点Ｍ０は、平行移動Δｍ及び一次変換Ｌによって、点Ｍ０'に対応付けられる。
例えば、点Ｍ０’（正規化画像座標ｘ０’、デジタル画像座標ｍ０’）を中心とするデジタル画像座標で４×４の大きさのブロックの右下端の点Ｍ’（正規化画像座標ｘ’、デジタル画像座標ｍ’）は、以下の点Ｍ（正規化画像座標ｘ、デジタル画像座標ｍ）に対応付けられる。
Figure 0004605715
上式は、デジタル画像座標系では、以下に相当する。
Figure 0004605715
この場合のマッチングが最も類似度が高ければ、視差ベクトルと一次変換行列は、式（６）及び式（７）であることを把握できる。
Figure 0004605715
次に、両ブロックの予測誤差を求める。
以下のように算出された画素値の差を、予測誤差として符号化する。
Figure 0004605715
図１０は、本発明におけるフローチャートである。尚、図１０は、図８のマッチングに基づいて説明する。
（Ｓ９０１）全てのカメラの位置情報を取得する。全てのカメラは、光軸を平行に且つ該光軸に垂直な同一平面上に配置されている。従って、第１のカメラに対する第２のカメラの世界座標系の相対的位置（ｔｘ，ｔｙ，０）を取得する。カメラは、移動可能なものであってもよい。カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報を受信する。尚、カメラが固定なものであれば、その位置情報は予め登録されているものであってもよい。
（Ｓ９０２）全てのカメラの画像を取得する。ここで、第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換する。
（Ｓ９０３）被写体上の任意点を決定する。
（Ｓ９０４）任意点をＰピクチャに射影した第１の画像座標（ｘ，ｙ）と、該任意点をＩピクチャに射影した第２の画像座標（ｘ'，ｙ'）とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
（Ｓ９０５）Ｐピクチャについて任意点を含む第１のブロックを選択する。
（Ｓ９０６）以下、Ｓ９０７〜Ｓ９１０を繰り返す。
（Ｓ９０７）任意点の奥行き距離Ｚを任意に決定する。
（Ｓ９０８）被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に決定する。
（Ｓ９０９）第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、Ｉピクチャのブロックにマッチングさせる。ここで、視差ベクトルは、以下のものである。
Figure 0004605715
 一次変換行列は、以下のものである。
Figure 0004605715
（Ｓ９１０）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、Ｓ９０６〜Ｓ９０９を繰り返す。そして、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索する。結果的に、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。
（Ｓ９１１）移動させ且つ変形させたＰピクチャの第１のブロックと最も類似するＩピクチャの第２のブロックとの予測誤差を導出し且つ符号化する。予測誤差の符号化方式は、ＭＰＥＧに規定された一般的なものである。
（Ｓ９１２）奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。
（Ｓ９１３）Ｐピクチャの第１のブロック以外の部分について被写体上の任意点を更に決定し、Ｓ９０３〜Ｓ９１２を繰り返す。
図１１は、本発明における多視点画像圧縮符号化装置の機能構成図である。
図１１によれば、多視点画像圧縮符号化装置２は、位置情報取得部２１と、画像取得部２２と、任意点選択部２０３と、正規化画像座標導出部２０４と、ブロック選択部２０５と、ブロックマッチング部２０６と、パラメータ決定部２０７と、マッチング制御部２０８と、ブロック制御部２０９と、予測誤差符号化部２１０と、パラメータ付加部２１１とを有する。これら機能部は、コンピュータによって実行されるプログラムによっても実現できる。
位置情報取得部２１は、全てのカメラの位置情報を取得する。前述した図９のＳ９０１と同様の機能を有する。
画像取得部２２は、全てのカメラから同期した画像を取得する。前述した図９のＳ９０２と同様の機能を有する。
任意点選択部２０３は、被写体上の任意点を決定する。任意点選択部２０３は、ブロック制御部２０９からの指示に応じて、第１の画像の第１のブロック以外の部分について被写体上の任意点を更に決定する。前述した図９のＳ９０３と同様の機能を有する。
正規化画像座標導出部２０４は、任意点を第１の画像に射影した第１の正規化画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の正規化画像座標（ｘ'，ｙ'）とを導出する。前述した図９のＳ９０４と同様の機能を有する。
ブロック選択部２０５は、第１の画像について任意点を含む第１のブロックを選択する。前述した図９のＳ９０５と同様の機能を有する。
ブロックマッチング部２０６は、第１のブロックを、相対的位置（ｔｘ，ｔｙ，０）及び奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、相対的位置（ｔｘ，ｔｙ，０）、奥行き距離Ｚ、単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる。前述した図９のＳ９０９と同様である。
尚、ブロック選択部２０５が、第２の画像について任意点を含む第２のブロックを選択する場合、ブロックマッチング部２０６は、第１の画像を、視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる。
パラメータ決定部２０７は、任意点の奥行き距離Ｚと、被写体の表面の任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する。前述した図９のＳ９０７及びＳ９０８と同様である。
マッチング制御部２０８は、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する。前述した図９のＳ９０６及びＳ９１０と同様である。
ブロック制御部２０９は、任意点について、正規化画像座標算出部２０４と、パラメータ決定部２０７と、ブロックマッチング部２０６と、マッチング制御部２０８と、予測誤差符号化部２１０と、パラメータ付加部２１１とを繰り返す。最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する。前述した図９のＳ９０３及びＳ９１１と同様である。
予測誤差符号化部２１０は、移動させ且つ変形させた第１の画像の第１のブロックと最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する。前述した図９のＳ９１１と同様である。
パラメータ付加部２１１は、導出された奥行き距離Ｚ及び単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を、符号化データに付加する。前述した図９のＳ９１２と同様である。
以上、詳細に説明したように、本発明の多視点画像圧縮符号化方法、装置及びプログラムによれば、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて多視点画像を圧縮符号化することができる。ＭＰＥＧによれば、Ｐピクチャの第１のブロック又はＩピクチャ自体を、任意の奥行き距離Ｚと、被写体の表面の法線の任意の向きｎに基づいて移動及び変形をさせながらブロックマッチングをすることにより、視差ベクトルと共に、一次変換行列も検出する。第１の画像座標を原点として一次変換行列に基づいて変形させたブロック又は画像と、他方のブロックとの予測誤差を導出することにより、予測誤差のデータ量を低減し、高い効率で多視点画像を圧縮符号化することができる。
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
本発明におけるシステム構成図である。 図１のシステム構成について、複数のカメラを正面から見た配置図である。 各カメラから見た被写体の見え方を表す画面図である。 被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。 ２つのカメラの位置関係における座標系の説明図である。 第１のブロックマッチングの説明図である。 第２のブロックマッチングの説明図である。 本発明におけるフローチャートである。 本発明における多視点画像圧縮符号化装置の機能構成図である。
符号の説明
１ カメラ
２ 多視点画像圧縮符号化装置
２０１ 位置情報取得部
２０２ 画像取得部
２０３ 任意点選択部
２０４ 正規化画像座標導出部
２０５ ブロック選択部
２０６ ブロックマッチング部
２０７ パラメータ決定部
２０８ マッチング制御部
２０９ ブロック制御部
２１０ 予測誤差符号化部
２１１ パラメータ付加部
３ 被写体

Claims (16)

  1. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
    前記被写体上の任意点を決定する第１のステップと、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
    第１の画像について前記任意点を含む第１のブロックを選択する第３のステップと、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する第４のステップと、
    第１のブロックを、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせる第５のステップと、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第６のステップと、
    前記移動させ且つ変形させた第１の画像の第１のブロックと前記最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する第７のステップと、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第８のステップと
    を有することを特徴とする多視点画像圧縮符号化方法。
  2. 第７のステップは、ＭＰＥＧの予測誤差符号化方式を用いており、
    第１の画像はＰピクチャであり、第２の画像はＩピクチャである
    ことを特徴とする請求項１に記載の多視点画像圧縮符号化方法。
  3. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化方法であって、
    前記被写体上の任意点を決定する第１のステップと、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する第２のステップと、
    第２の画像について前記任意点を含む第２のブロックを選択する第３のステップと、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定する第４のステップと、
    第１の画像を、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせる第５のステップと、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、第４及び第５のステップを繰り返し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出する第６のステップと、
    第２の画像の第２のブロックと前記最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する第７のステップと、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加する第８のステップと
    を有することを特徴とする多視点画像圧縮符号化方法。
  4. 第７のステップは、ＭＰＥＧの予測誤差符号化方式を用いており、
    第１の画像はＩピクチャであり、第２の画像はＰピクチャである
    ことを特徴とする請求項３に記載の多視点画像圧縮符号化方法。
  5. 第１から第８のステップを繰り返すと共に、
    その繰り返しの中で、第１のステップは、以前に第３のステップによって選択されたブロック以外の部分について前記被写体上の任意点を更に決定し、
    最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
    ことを特徴とする請求項１から４のいずれか１項に記載の多視点画像圧縮符号化方法。
  6. 第１のステップについて、前記任意点の画像座標は、正規化画像座標であり、
    第５のステップについて、前記視差ベクトルは、以下のものであり、
    Figure 0004605715
    前記一次変換行列は、以下のものである
    Figure 0004605715
     ことを特徴とする請求項１から５のいずれか１項に記載の多視点画像圧縮符号化方法。
  7. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、第１のステップの前段にあって、
    第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換するステップを有することを特徴とする請求項１から６のいずれか１項に記載の多視点画像圧縮符号化方法。
  8. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
    前記被写体上の任意点を決定する任意点選択手段と、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
    第１の画像について前記任意点を含む第１のブロックを選択するブロック選択手段と、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
    第１のブロックを、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
    前記移動させ且つ変形させた第１の画像の第１のブロックと前記最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
    を有することを特徴とする多視点画像圧縮符号化装置。
  9. 前記予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
    第１の画像はＰピクチャであり、第２の画像はＩピクチャである
    ことを特徴とする請求項８に記載の多視点画像圧縮符号化装置。
  10. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いた多視点画像圧縮符号化装置であって、
    前記被写体上の任意点を決定する任意点選択手段と、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
    第２の画像について前記任意点を含む第２のブロックを選択するブロック選択手段と、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
    第１の画像を、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
    第２の画像の第２のブロックと前記最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
    を有することを特徴とする多視点画像圧縮符号化装置。
  11. 前記予測誤差符号化手段は、ＭＰＥＧの予測誤差符号化方式を用いており、
    第１の画像はＩピクチャであり、第２の画像はＰピクチャである
    ことを特徴とする請求項１０に記載の多視点画像圧縮符号化装置。
  12. 前記任意点選択手段と、前記画像座標算出手段と、前記ブロック選択手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、予測誤差符号化手段と、パラメータ付加手段との処理を繰り返すブロック制御手段を更に有し、
    その繰り返しの中で、前記任意点選択手段は、以前に前記ブロック選択手段によって選択されたブロック以外の部分について前記被写体上の任意点を更に決定し、
    最終的に、第１の画像及び第２の画像の全ての部分を圧縮符号化する
    ことを特徴とする請求項８から１１のいずれか１項に記載の多視点画像圧縮符号化装置。
  13. 前記画像座標算出手段は、前記任意点の画像座標として正規化画像座標を導出し、
    前記ブロックマッチング手段は、前記視差ベクトルを以下のものとし、
    Figure 0004605715
     前記一次変換行列を以下のものとする
    Figure 0004605715
     ことを特徴とする請求項８から１２のいずれか１項に記載の多視点画像圧縮符号化装置。
  14. 第１のカメラ及び／又は第２のカメラの光軸がＺ軸に平行でない場合に、
    第１のカメラと第２のカメラの光軸がＺ軸に平行となるように、カメラ内部パラメータを用いて、第１のカメラのカメラ座標系座標及び第２のカメラのカメラ座標系座標を変換することを特徴とする請求項８から１２のいずれか１項に記載の多視点画像圧縮符号化装置。
  15. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
    前記被写体上の任意点を決定する任意点選択手段と、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
    第１の画像について前記任意点を含む第１のブロックを選択するブロック選択手段と、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
    第１のブロックを、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像のブロックにマッチングさせるブロックマッチング手段と、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第１の画像の第１のブロックに最も類似する第２の画像の第２のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
    前記移動させ且つ変形させた第１の画像の第１のブロックと前記最も類似する第２の画像の第２のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
    してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
  16. 光軸をＺ軸に平行とする第１のカメラ及び第２のカメラが、ＸＹ平面上に相対的位置（ｔｘ，ｔｙ，０）で配置されており、被写体を撮影した第１のカメラの第１の画像と第２のカメラの第２の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
    前記被写体上の任意点を決定する任意点選択手段と、
    前記任意点を第１の画像に射影した第１の画像座標（ｘ，ｙ）と、該任意点を第２の画像に射影した第２の画像座標（ｘ'，ｙ'）とを導出する画像座標算出手段と、
    第２の画像について前記任意点を含む第２のブロックを選択するブロック選択手段と、
    前記任意点の奥行き距離Ｚと、前記被写体の表面の前記任意点における単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とを任意に決定するパラメータ決定手段と、
    第１の画像を、前記相対的位置（ｔｘ，ｔｙ，０）及び前記奥行き距離Ｚに基づく視差ベクトルで移動させ、第１の画像座標（ｘ，ｙ）を原点として、前記相対的位置（ｔｘ，ｔｙ，０）、前記奥行き距離Ｚ、前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）及び第２の画像座標（ｘ'，ｙ'）に基づく一次変換行列で変形させて、第２の画像の第２のブロックにマッチングさせるブロックマッチング手段と、
    前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、第２の画像の第２のブロックに最も類似する第１の画像の第１のブロックを探索し、前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を導出するマッチング制御手段と、
    第２の画像の第２のブロックと前記最も類似する第１の画像の第１のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
    導出された前記奥行き距離Ｚ及び前記単位法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を符号化データに付加するパラメータ付加手段と
    してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
JP2006164927A 2006-06-14 2006-06-14 多視点画像圧縮符号化方法、装置及びプログラム Expired - Fee Related JP4605715B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006164927A JP4605715B2 (ja) 2006-06-14 2006-06-14 多視点画像圧縮符号化方法、装置及びプログラム
US11/808,818 US8311089B2 (en) 2006-06-14 2007-06-13 Multi-view video compression coding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006164927A JP4605715B2 (ja) 2006-06-14 2006-06-14 多視点画像圧縮符号化方法、装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2007336188A JP2007336188A (ja) 2007-12-27
JP4605715B2 true JP4605715B2 (ja) 2011-01-05

Family

ID=38861525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006164927A Expired - Fee Related JP4605715B2 (ja) 2006-06-14 2006-06-14 多視点画像圧縮符号化方法、装置及びプログラム

Country Status (2)

Country Link
US (1) US8311089B2 (ja)
JP (1) JP4605715B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964844B2 (en) * 2007-08-15 2015-02-24 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
EP2232875A2 (en) * 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
JP5346076B2 (ja) * 2008-04-25 2013-11-20 トムソン ライセンシング 奥行きを用いた視点間スキップモード
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
CN102272778B (zh) 2009-01-07 2015-05-20 汤姆森特许公司 联合深度估计
US20140241434A1 (en) * 2011-10-11 2014-08-28 Mediatek Inc Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
JP5970609B2 (ja) 2012-07-05 2016-08-17 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
US8867826B2 (en) * 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
EP2941883A4 (en) 2013-01-07 2016-07-06 Mediatek Inc METHOD AND DEVICE FOR DEPTH-IN-DISPARITY VECTOR CONVERSION FOR THREE-DIMENSIONAL VIDEO-CODING
PL2982107T3 (pl) * 2013-04-05 2018-06-29 Koninklijke Philips N.V. Ponowne nakierowywanie sygnału trójwymiarowego obrazu
CN104104961B (zh) 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
WO2015006900A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. A disparity derived depth coding method
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
JP2016127372A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP6485160B2 (ja) * 2015-03-27 2019-03-20 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法
JP2017060008A (ja) * 2015-09-16 2017-03-23 キヤノン株式会社 多視点画像符号化装置、多視点画像符号化方法およびプログラム
US10482594B2 (en) * 2016-09-23 2019-11-19 Apple Inc. Multi-perspective imaging system and method
US10535190B2 (en) 2017-12-28 2020-01-14 Rovi Guides, Inc. Systems and methods for changing a users perspective in virtual reality based on a user-selected position
JP7316130B2 (ja) * 2019-07-16 2023-07-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100591A (ja) * 1988-10-07 1990-04-12 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像符号化方法
JPH07218251A (ja) * 1994-02-04 1995-08-18 Matsushita Electric Ind Co Ltd ステレオ画像計測方法およびステレオ画像計測装置
WO2005053321A1 (en) * 2003-11-26 2005-06-09 Mitsubishi Denki Kabushiki Kaisha System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145674A (ja) * 1996-11-12 1998-05-29 Sony Corp ビデオ信号処理装置及びビデオ信号処理方法
AU4869401A (en) * 2000-03-24 2001-10-03 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP2005260464A (ja) 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラム記録媒体および画像復号プログラム記録媒体
US20060023066A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and Method for Client Services for Interactive Multi-View Video
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100591A (ja) * 1988-10-07 1990-04-12 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像符号化方法
JPH07218251A (ja) * 1994-02-04 1995-08-18 Matsushita Electric Ind Co Ltd ステレオ画像計測方法およびステレオ画像計測装置
WO2005053321A1 (en) * 2003-11-26 2005-06-09 Mitsubishi Denki Kabushiki Kaisha System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras

Also Published As

Publication number Publication date
JP2007336188A (ja) 2007-12-27
US20070291850A1 (en) 2007-12-20
US8311089B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
JP4605715B2 (ja) 多視点画像圧縮符号化方法、装置及びプログラム
JP4737763B2 (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
TWI502968B (zh) 預測參照資訊產生方法、動畫像編碼及解碼方法、該等之程式以及記錄程式之記憶媒體
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2668634B1 (en) Method and system for acquisition, representation, compression, and transmission of three-dimensional data
US10841558B2 (en) Aligning two images by matching their feature points
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
WO2009097714A1 (zh) 多视角视频图像深度搜索方法及深度估计方法
CN104662910A (zh) 3d视频编码中的虚拟深度值的方法和装置
JP4605716B2 (ja) 多視点画像圧縮符号化方法、装置及びプログラム
EP2061005A2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP2004362572A (ja) 較正された多視点画像シーケンスの圧縮のための動き推定
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4775903B2 (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR102196025B1 (ko) 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법
CN109272445B (zh) 基于球面模型的全景视频拼接方法
CN105122808B (zh) 三维或多视图视频编码或解码的方法及装置
JP4660463B2 (ja) ステレオ画像符号化装置
CN102263953A (zh) 一种基于对象的快速多目立体视频分形压缩与解压缩方法
JP2013196160A (ja) 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR20200053498A (ko) 전방위 비디오를 위한 움직임 벡터 예측기의 적응을 위한 방법 및 장치
JP4410521B2 (ja) 画像処理装置および画像処理方法
Wang et al. Low Pixel Rate 3DoF+ Video Compression Via Unpredictable Region Cropping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101001

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees