JP5237500B2 - 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム - Google Patents
動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム Download PDFInfo
- Publication number
- JP5237500B2 JP5237500B2 JP2012501760A JP2012501760A JP5237500B2 JP 5237500 B2 JP5237500 B2 JP 5237500B2 JP 2012501760 A JP2012501760 A JP 2012501760A JP 2012501760 A JP2012501760 A JP 2012501760A JP 5237500 B2 JP5237500 B2 JP 5237500B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- motion vector
- frame
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本願は、2010年2月23日に日本へ出願された日本特願2010−037434号に対して優先権を主張し、その内容をここに援用する。
また、本発明の第10の観点は、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成ステップと、前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域推定ステップとを含む動きベクトル推定方法である。
また、本発明の第11の観点は、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成手段と、前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域手段とを備える動きベクトル推定装置である。
また、本発明の第12の観点は、動きベクトル推定装置のコンピュータに、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成機能、前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域推定機能を実行させる動きベクトル推定プログラムである。
まず、本発明の第1実施形態について説明する。
図1は、本第1実施形態に係る多視点映像符号化装置の構成を示すブロック図である。図1に示すように、多視点映像符号化装置100は、符号化対象フレーム入力部101、符号化対象画像メモリ102、参照視点フレーム入力部103、参照視点画像メモリ104、視点合成部105、視点合成画像メモリ106、信頼度設定部107、対応領域探索部108、動き補償予測部109、予測残差符号化部110、予測残差復号部111、復号画像メモリ112、予測残差算出部113、及び復号画像算出部114を備えている。
次に、本発明の第2実施形態について説明する。
図3は、本第2実施形態による多視点映像符号化装置の構成を示すブロック図である。図3に示すように、多視点映像符号化装置200は、符号化対象フレーム入力部201、符号化対象画像メモリ202、参照視点フレーム入力部203、視点合成部204、視点合成画像メモリ205、動き推定部206、動き補償予測部207、画像符号化部208、画像復号部209、復号画像メモリ210、対応領域探索部211、予測ベクトル生成部212、ベクトル情報符号化部213、及び動きベクトルメモリ214を備えている。
次に、本発明の第3実施形態について説明する。
図5は、本第3実施形態による多視点映像復号装置の構成を示すブロック図である。図5に示すように、多視点映像復号装置300は、符号化データ入力部301、符号化データメモリ302、参照視点フレーム入力部303、参照視点画像メモリ304、視点合成部305、視点合成画像メモリ306、信頼度設定部307、対応領域探索部308、動き補償予測部309、予測残差復号部310、復号画像メモリ311、及び復号画像算出部312を備えている。
次に、本発明の第4実施形態について説明する。
図7は、本第4実施形態による多視点映像復号装置の構成を示すブロック図である。図7において、多視点映像復号装置400は、符号化データ入力部401、符号化データメモリ402、参照視点フレーム入力部403、視点合成部404、視点合成画像メモリ405、対応領域探索部406、予測ベクトル生成部407、動きベクトル復号部408、動きベクトルメモリ409、動き補償予測部410、画像復号部411、及び復号画像メモリ412を備えている。
次に、本発明の第5実施形態について説明する。
図9は、本第5実施形態による動きベクトル推定装置の構成を示すブロック図である。図9に示すように、動きベクトル推定装置500は、参照視点映像入力部501、カメラ情報入力部502、視点合成部503、ローパスフィルタ部504、対応領域探索部505、及び動きベクトル平滑化部506を備えている。
次に、本発明の第6実施形態について説明する。
図12は、本第6実施形態に係る多視点映像符号化装置の構成示すブロック図である。図12に示すように、多視点映像符号化装置600は、符号化対象フレーム入力部601、符号化対象画像メモリ602、参照視点フレーム入力部603、参照視点画像メモリ604、視点合成部605、ローパスフィルタ部606、視点合成画像メモリ607、信頼度設定部608、対応領域探索部609、動きベクトル平滑化部610、動き補償予測部611、画像符号化部612、画像復号部613、及び復号画像メモリ614を備えている。
次に、本発明の第7実施形態について説明する。
図14は、本第7実施形態による多視点映像符号化装置の構成を示すブロック図である。図7に示すように、多視点映像符号化装置700は、符号化対象フレーム入力部701、符号化対象画像メモリ702、動き推定部703、動き補償予測部704、画像符号化部705、画像復号部706、復号画像メモリ707、参照視点フレーム入力部708、視点合成部709、ローパスフィルタ部710、視点合成画像メモリ711、対応領域探索部712、ベクトル平滑化部713、予測ベクトル生成部714、ベクトル情報符号化部715、及び動きベクトルメモリ716を備えている。
次に、本発明の第8実施形態について説明する。
図16は、本第8実施形態による多視点映像復号装置の構成を示すブロック図である。図16に示すように、多視点映像復号装置800は、符号化データ入力部801、符号化データメモリ802、参照視点フレーム入力部803、参照視点画像メモリ804、視点合成部805、ローパスフィルタ部806、視点合成画像メモリ807、信頼度設定部808、対応領域探索部809、動きベクトル平滑化部810、動き補償予測部811、画像復号部812、及び復号画像メモリ813を備えている。
次に、本発明の第9実施形態について説明する。
図18は、本第9実施形態による多視点映像復号装置の構成を示すブロック図である。図9において、多視点映像復号装置900は、符号化データ入力部901、符号化データメモリ902、参照視点フレーム入力部903、視点合成部904、ローパスフィルタ部905、視点合成画像メモリ906、対応領域探索部907、ベクトル平滑化部908、予測ベクトル生成部909、動きベクトル復号部910、動きベクトルメモリ911、動き補償予測部912、画像復号部913、及び復号画像メモリ914を備えている。
101、201 符号化対象フレーム入力部
102、202 符号化対象画像メモリ
103、203 参照視点フレーム入力部
104 参照視点画像メモリ
105、204 視点合成部
106、205 視点合成画像メモリ
107 信頼度設定部
108、211 対応領域探索部
109、207 動き補償予測部
110 予測残差符号化部
111 予測残差復号部
112、210 復号画像メモリ
113 予測残差算出部
114 復号画像算出部
206 動き推定部
208 画像符号化部
209 画像復号部
212 予測ベクトル生成部
213 ベクトル情報符号化部
214 動きベクトルメモリ
300、400 多視点映像復号装置
301、401 符号化データ入力部
302、402 符号化データメモリ
303、403 参照視点フレーム入力部
304 参照視点画像メモリ
305、404 視点合成部
306、405 視点合成画像メモリ
307 信頼度設定部
308、406 対応領域探索部
309、410 動き補償予測部
310 予測残差復号部
311、412 復号画像メモリ
312 復号画像算出部
407 予測ベクトル生成部
408 動きベクトル復号部
409 動きベクトルメモリ
411 画像復号部
500、500a 動きベクトル推定装置
600、700 多視点映像符号化装置
800、900 多視点映像復号装置
Claims (22)
- 多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成ステップと、
動きベクトルを推定すべき対象の時刻に撮影された処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定ステップと
を含む動きベクトル推定方法。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、
前記対応領域推定ステップは、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付ける、
請求項1に記載の動きベクトル推定方法。 - 多視点映像の予測符号化を行う多視点映像符号化方法であって、
前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成ステップと、
前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、
前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、
前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化ステップと
を含む多視点映像符号化方法。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、
前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、
請求項3に記載多視点映像符号化方法。 - 前記符号化対象フレームの各符号化単位ブロックに対して、前記参照フレームとの間で対応領域を探索することで最適な動きベクトルを生成する動き探索ステップと、
前記動きベクトルと前記最適な動きベクトルとの差ベクトルを符号化する差ベクトル符号化ステップとを更に含み、
前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成する、
請求項3または4に記載の多視点映像符号化方法。 - 前記動きベクトルと、符号化対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、予測ベクトルを生成する予測ベクトル生成ステップを更に含み、
前記差ベクトル符号化ステップは、前記予測ベクトルと前記最適な動きベクトルの差ベクトルを符号化する、
請求項5に記載の多視点映像符号化方法。 - 多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号方法であって、
復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成ステップと、
前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、
前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、
前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号ステップと
を含む多視点映像復号方法。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、
前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、
請求項7に記載の多視点映像復号方法。 - 前記動きベクトルを予測ベクトルとして用いて、予測符号化されている最適な動きベクトルを前記符号化データから復号するベクトル復号ステップを更に含み、
前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成する、
請求項7または8に記載の多視点映像復号方法。 - 前記動きベクトルと、復号対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、推定予測ベクトルを生成する予測ベクトル生成ステップを更に含み、
前記ベクトル復号ステップは、前記推定予測ベクトルを前記予測ベクトルとして用いて、前記最適な動きベクトルを復号する、
請求項9に記載の多視点映像復号方法。 - 多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成手段と、
動きベクトルを推定すべき対象の時刻に撮影された処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定手段と
を備える動きベクトル推定装置。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、
前記対応領域推定手段は、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付ける、
請求項11に記載の動きベクトル推定装置。 - 多視点映像の予測符号化を行う多視点映像符号化装置であって、
前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成手段と、
前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、
前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、
前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化手段と
を備える多視点映像符号化装置。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、
前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、
請求項13に記載多視点映像符号化装置。 - 多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置であって、
復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成手段と、
前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、
前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、
前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号手段と
を備える多視点映像復号装置。 - 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、
前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、
請求項15に記載の多視点映像復号装置。 - 動きベクトル推定装置のコンピュータに、
多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成機能、
動きベクトルを推定すべき対象の時刻に撮影された処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定機能
を実行させる動きベクトル推定プログラム。 - 多視点映像の予測符号化を行う多視点映像符号化装置のコンピュータに、
前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成機能、
前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、
前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、
前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化機能
を実行させる多視点映像符号化プログラム。 - 多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置のコンピュータに、
復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成機能、
前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、
前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、
前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号機能
を実行させる多視点映像復号プログラム。 - 視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成ステップと、
前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域推定ステップと
を含む動きベクトル推定方法。 - 多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成手段と、
前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域推定手段と
を備える動きベクトル推定装置。 - 動きベクトル推定装置のコンピュータに、
多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における第1の視点合成画像と、前記処理画像との間で動きベクトルを求める対象の前記処理カメラで撮影された参照画像が撮影された時刻における第2の視点合成画像とを生成する視点合成画像生成機能、
前記処理カメラで撮影された画像を用いずに、前記処理画像上の処理領域に該当する前記第1の視点合成画像上の画像信号を用いて、前記参照画像に対する前記第2の視点合成画像における対応領域を探索することで、動きベクトルを推定する対応領域推定機能
を実行させる動きベクトル推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012501760A JP5237500B2 (ja) | 2010-02-23 | 2011-02-18 | 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010037434 | 2010-02-23 | ||
JP2010037434 | 2010-02-23 | ||
PCT/JP2011/053516 WO2011105297A1 (ja) | 2010-02-23 | 2011-02-18 | 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム |
JP2012501760A JP5237500B2 (ja) | 2010-02-23 | 2011-02-18 | 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011105297A1 JPWO2011105297A1 (ja) | 2013-06-20 |
JP5237500B2 true JP5237500B2 (ja) | 2013-07-17 |
Family
ID=44506709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012501760A Active JP5237500B2 (ja) | 2010-02-23 | 2011-02-18 | 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム |
Country Status (10)
Country | Link |
---|---|
US (1) | US20120320986A1 (ja) |
EP (1) | EP2541939A4 (ja) |
JP (1) | JP5237500B2 (ja) |
KR (3) | KR101451286B1 (ja) |
CN (1) | CN103609119A (ja) |
BR (1) | BR112012020856A2 (ja) |
CA (1) | CA2790406A1 (ja) |
RU (1) | RU2522309C2 (ja) |
TW (1) | TWI461052B (ja) |
WO (1) | WO2011105297A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605786B2 (en) * | 2007-09-04 | 2013-12-10 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
CA2790268A1 (en) * | 2010-02-24 | 2011-09-01 | Nippon Telegraph And Telephone Corporation | Multiview video encoding method, multiview video decoding method, multiview video encoding apparatus, multiview video decoding apparatus, and program |
KR101289269B1 (ko) * | 2010-03-23 | 2013-07-24 | 한국전자통신연구원 | 영상 시스템에서 영상 디스플레이 장치 및 방법 |
EP2742688A1 (en) * | 2011-08-12 | 2014-06-18 | Telefonaktiebolaget LM Ericsson (PUBL) | Signaling of camera and/or depth parameters |
JP2013085157A (ja) * | 2011-10-12 | 2013-05-09 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
TWI461066B (zh) * | 2011-11-03 | 2014-11-11 | Ind Tech Res Inst | 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 |
TWI479897B (zh) * | 2011-12-27 | 2015-04-01 | Altek Corp | 具備三維去雜訊化功能之視訊編碼/解碼裝置及其控制方法 |
EP2870766B1 (en) * | 2012-07-09 | 2020-04-08 | Mitsubishi Electric Corporation | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
JP5971010B2 (ja) * | 2012-07-30 | 2016-08-17 | 沖電気工業株式会社 | 動画像復号装置及びプログラム、並びに、動画像符号化システム |
CN104854862A (zh) * | 2012-12-27 | 2015-08-19 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 |
CN107318027B (zh) | 2012-12-27 | 2020-08-28 | 日本电信电话株式会社 | 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序 |
CN104065972B (zh) * | 2013-03-21 | 2018-09-28 | 乐金电子(中国)研究开发中心有限公司 | 一种深度图像编码方法、装置及编码器 |
US20160050429A1 (en) * | 2013-04-11 | 2016-02-18 | Lg Electronics Inc. | Method and apparatus for processing video signal |
CN105075257A (zh) * | 2013-04-11 | 2015-11-18 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序 |
CN103546747B (zh) * | 2013-09-29 | 2016-11-23 | 北京航空航天大学 | 一种基于彩***编码模式的深度图序列分形编码方法 |
KR102250092B1 (ko) | 2013-10-14 | 2021-05-10 | 삼성전자주식회사 | 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치 |
WO2015163317A1 (ja) * | 2014-04-22 | 2015-10-29 | 日本電信電話株式会社 | 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム |
USD763550S1 (en) * | 2014-05-06 | 2016-08-16 | Ivivva Athletica Canada Inc. | Shirt |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
TWI511530B (zh) * | 2014-12-09 | 2015-12-01 | Univ Nat Kaohsiung 1St Univ Sc | Distributed video coding system and decoder for distributed video coding system |
MX2020001665A (es) | 2017-09-13 | 2020-03-20 | Samsung Electronics Co Ltd | Aparato y metodo para codificar vector de movimiento mediante el uso de un vector de movimiento basico y aparato y metodo para decodificar. |
US10595000B1 (en) * | 2018-08-02 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for using depth information to extrapolate two-dimentional images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000232659A (ja) * | 1999-02-10 | 2000-08-22 | Meidensha Corp | 多視点における動画像の処理方法 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2008503973A (ja) * | 2004-06-25 | 2008-02-07 | エルジー エレクトロニクス インコーポレイティド | 多視点シーケンス符号化/復号化方法及びそのディスプレイ方法 |
JP2009213161A (ja) * | 2009-06-15 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69724672T2 (de) * | 1996-05-17 | 2004-07-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Videokodierungsverfahren zur Kodierung von Form- und Textursignalen unter Verwendung verschiedener Moden |
JP2002010265A (ja) * | 2000-06-20 | 2002-01-11 | Sony Corp | 送信装置およびその方法と受信装置およびその方法 |
US20020131500A1 (en) * | 2001-02-01 | 2002-09-19 | Gandhi Bhavan R. | Method for determining a motion vector for a video signal |
US6859494B2 (en) * | 2001-07-27 | 2005-02-22 | General Instrument Corporation | Methods and apparatus for sub-pixel motion estimation |
EP1438839A1 (en) * | 2001-10-08 | 2004-07-21 | Koninklijke Philips Electronics N.V. | Device and method for motion estimation |
CN1575479A (zh) * | 2001-10-25 | 2005-02-02 | 皇家飞利浦电子股份有限公司 | 用于运动估算的单元和方法以及设有这种运动估算单元的图像处理设备 |
JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
TWI268715B (en) * | 2004-08-16 | 2006-12-11 | Nippon Telegraph & Telephone | Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus |
JP4739338B2 (ja) * | 2005-04-13 | 2011-08-03 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム |
CA2663084C (en) * | 2006-09-20 | 2014-08-12 | Nippon Telegraph And Telephone Corporation | Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
EP2083571A4 (en) * | 2006-10-30 | 2010-11-10 | Nippon Telegraph & Telephone | DYNAMIC PICTURE CODING METHOD, DECODING METHOD, DEVICE THEREFOR, PROGRAM THEREFOR AND THE PROGRAM CONTAINING STORAGE MEDIUM |
KR101023263B1 (ko) * | 2006-10-30 | 2011-03-21 | 니폰덴신뎅와 가부시키가이샤 | 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램을 기록한 기억매체 |
EP2061248A1 (en) * | 2007-11-13 | 2009-05-20 | IBBT vzw | Motion estimation and compensation process and device |
JP2010037434A (ja) | 2008-08-05 | 2010-02-18 | Sakura Color Prod Corp | 固形描画材 |
US9118428B2 (en) | 2009-11-04 | 2015-08-25 | At&T Intellectual Property I, L.P. | Geographic advertising using a scalable wireless geocast protocol |
-
2011
- 2011-02-18 US US13/580,128 patent/US20120320986A1/en not_active Abandoned
- 2011-02-18 KR KR1020127021705A patent/KR101451286B1/ko active IP Right Grant
- 2011-02-18 EP EP11747261.3A patent/EP2541939A4/en not_active Withdrawn
- 2011-02-18 BR BR112012020856A patent/BR112012020856A2/pt not_active IP Right Cessation
- 2011-02-18 KR KR1020147015393A patent/KR101545877B1/ko active IP Right Grant
- 2011-02-18 TW TW100105371A patent/TWI461052B/zh active
- 2011-02-18 CN CN201180010256.5A patent/CN103609119A/zh active Pending
- 2011-02-18 JP JP2012501760A patent/JP5237500B2/ja active Active
- 2011-02-18 RU RU2012135491/08A patent/RU2522309C2/ru active
- 2011-02-18 WO PCT/JP2011/053516 patent/WO2011105297A1/ja active Application Filing
- 2011-02-18 KR KR1020157010659A patent/KR101623062B1/ko active IP Right Grant
- 2011-02-18 CA CA2790406A patent/CA2790406A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000232659A (ja) * | 1999-02-10 | 2000-08-22 | Meidensha Corp | 多視点における動画像の処理方法 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2008503973A (ja) * | 2004-06-25 | 2008-02-07 | エルジー エレクトロニクス インコーポレイティド | 多視点シーケンス符号化/復号化方法及びそのディスプレイ方法 |
JP2009213161A (ja) * | 2009-06-15 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011105297A1 (ja) | 2013-06-20 |
CN103609119A (zh) | 2014-02-26 |
BR112012020856A2 (pt) | 2019-09-24 |
RU2012135491A (ru) | 2014-03-27 |
KR20120118043A (ko) | 2012-10-25 |
RU2522309C2 (ru) | 2014-07-10 |
KR20150052878A (ko) | 2015-05-14 |
WO2011105297A1 (ja) | 2011-09-01 |
KR101545877B1 (ko) | 2015-08-20 |
KR101623062B1 (ko) | 2016-05-20 |
KR101451286B1 (ko) | 2014-10-17 |
TW201143370A (en) | 2011-12-01 |
EP2541939A1 (en) | 2013-01-02 |
US20120320986A1 (en) | 2012-12-20 |
KR20140089590A (ko) | 2014-07-15 |
CA2790406A1 (en) | 2011-09-01 |
TWI461052B (zh) | 2014-11-11 |
EP2541939A4 (en) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5237500B2 (ja) | 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム | |
JP5303754B2 (ja) | 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム | |
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
JP4999854B2 (ja) | 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
JP5934375B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
JP5883153B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
JP6027143B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム | |
JP6053200B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム | |
CA3193531A1 (en) | Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program | |
JP5281632B2 (ja) | 多視点画像符号化方法,多視点画像復号方法,多視点画像符号化装置,多視点画像復号装置およびそれらのプログラム | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4874578B2 (ja) | 画像符号化装置 | |
JP5706291B2 (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130328 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5237500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |