TWI510060B - Dynamic image predictive coding method, dynamic image predictive coding device, dynamic image predictive coding program, dynamic image prediction decoding method, dynamic image prediction decoding device and dynamic image prediction decoding program - Google Patents

Dynamic image predictive coding method, dynamic image predictive coding device, dynamic image predictive coding program, dynamic image prediction decoding method, dynamic image prediction decoding device and dynamic image prediction decoding program Download PDF

Info

Publication number
TWI510060B
TWI510060B TW101137724A TW101137724A TWI510060B TW I510060 B TWI510060 B TW I510060B TW 101137724 A TW101137724 A TW 101137724A TW 101137724 A TW101137724 A TW 101137724A TW I510060 B TWI510060 B TW I510060B
Authority
TW
Taiwan
Prior art keywords
image
recorded
buffer
description information
information
Prior art date
Application number
TW101137724A
Other languages
English (en)
Other versions
TW201320772A (zh
Inventor
Choong Seng Boon
Yoshinori Suzuki
Thiow Keng Tan
Original Assignee
Ntt Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo Inc filed Critical Ntt Docomo Inc
Publication of TW201320772A publication Critical patent/TW201320772A/zh
Application granted granted Critical
Publication of TWI510060B publication Critical patent/TWI510060B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

動態影像預測編碼方法,動態影像預測編碼裝置,動態影像預測編碼程式,動態影像預測解碼方法,動態影像預測解碼裝置及動態影像預測解碼程式
本發明係有關於動態影像預測編碼方法、裝置及程式、以及動畫預測解碼方法、裝置及程式,尤其是有關於,畫面間之預測編碼時所被採用的參照影像在緩衝區內之描述。
為了有效率地進行動態影像資料的傳送,採用了壓縮編碼技術。在動態影像的情況下,廣泛地採用MPEG1~4或H.261~H.264之方式。
在這些編碼方式中,是將身為編碼對象的影像,分割成複數區塊,然後才進行編碼、解碼處理。為了提高編碼效率,採用如下記之預測編碼方法。在畫面內的預測編碼時,是使用位於與對象區塊相同畫面內的相鄰之已再生的影像訊號(過去已被壓縮之影像資料所復原而成者)來生成預測訊號,然後將其從對象區塊之訊號中加以扣除而成的差分訊號,進行編碼。在畫面間的預測編碼時,係參照位於與對象區塊不同畫面內的已再生之影像訊號,檢索出訊號的位移,將該移動量加以補償而生成預測訊號,將其從對象區塊之訊號中扣除後的差分訊號,進行編碼。為了進行運動之檢索、補償而被參照的已再生之影像,稱作參照影像。
在H.264的畫面間預測編碼中,針對對象區塊之預測 訊號,係參照過去先被編碼而再生之複數參照影像,一面進行運動檢索一面將誤差最少之影像訊號選擇成為最佳的預測訊號。求取對象區塊之像素訊號與該最佳預測訊號的差分,實施離散餘弦轉換及量化之後,進行熵編碼。同時,關於是從哪個參照影像取得針對對象區塊之最佳預測訊號的資訊(稱作「參照索引」)、及關於是從參照影像的哪個領域取得該當最佳預測訊號的資訊(稱作「運動向量」)也會一併編碼。在H.264中,將已被再生的影像,當作4到5張參照影像而儲存在畫格記憶體或再生影像緩衝區(decoded picture buffer,以下亦稱作「DPB」)中。
作為複數張參照影像的管理方法,一般的手法係為,將已被再生之複數影像之中最舊的參照影像(亦即時間上存在於緩衝區內最久者)所佔用的領域,從緩衝區中釋放出來,將最近才被解碼的再生影像,當作參照影像而加以儲存。另一方面,為了提高畫面間預測的效率之目的,對於對象影像靈活地準備最佳參照影像的參照影像之管理方法,係揭露在後述的非專利文獻1。
若依據非專利文獻1,則對各對象影像的編碼資料,附加上用來描述緩衝區中所儲存之複數參照影像的緩衝區描述資訊(buffer description information)並編碼之。此緩衝區描述資訊中係記載著,對象影像以及其以後之影像之處理(編碼或解碼)上所必需的複數參照影像之識別元。在編碼裝置或解碼裝置中,係依照緩衝區描述資訊,將所被指定之再生影像儲存至緩衝區(畫格記憶體),以此方式來 管理緩衝區。另一方面,未被指定的再生影像係會從緩衝區中消除。
關於各對象影像的緩衝區描述資訊,係可附加在各個對象影像之壓縮資料的標頭中來發送,也可將關於複數對象影像的緩衝區描述資訊,整批當成搬運共通適用之解碼處理之參數的PPS(picture parameter set)資訊的一部分而加以發送。圖15係被記載在PPS之中的緩衝區描述資訊的模式圖。PPS中雖然還有緩衝區描述資訊以外的資訊,但這裡省略。PPS資訊1510之中係記載著,緩衝區描述(buffer description,以下稱作「BD」)的個數1511、和該個數份的BD之相關資訊(1520、1522、1524)。各BD之相關資訊(以下將第k個BD稱作BD[k])中係記載著,緩衝區之中所儲存的參照影像的張數1530、和用來識別儲存著哪個參照影像所需的資訊(1531、1532)。為了識別參照影像,使用了表示將該當影像輸出至外部之順序的資訊POC(picture output count)。此處,POC號碼係不是直接使用,而是描述了參照影像之POC號碼與處理對象影像之POC號碼的差分亦即△POCk,j (位於第k個BD的第j個成分)。同時,表示該當參照影像對其他影像之依存度的D_IDk,j 也被一起發送。D_IDk,j 的值越小,該當參照影像係在越多的影像之再生時會被需要,反之該值越大則對其他影像的影響越小。若帶有最大值時則由於不被其他影像之再生所需要,因此意味著沒有必要當作參照影像而儲存。總結來說,在先前技術中,為了運送緩衝區描述 BD[k],而會將表示參照影像之張數的值(#△POCk )和其數量份的{△POCk,j ,D_IDk,j }之資訊,從送訊側送往收訊側。
圖16係表示在處理對象影像與各對象影像之際,位於緩衝區DPB內的複數參照影像之狀態。各格子中係寫入用來識別影像的POC號碼。例如,在行1610中係意味著,在處理POC=32的對象影像(編碼或解碼)之際,在DPB中係儲存著POC=18,20,22,24之參照影像。又,相對於圖16,適用先前技術所求得的緩衝區描述資訊,係示於圖17。1704之下的各格子係表示△POCk,j 之值。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Rickard Sjoberg, Jonatan Samuelsson, “Absolute signaling of reference pictures”, Joint Collaborative Team on Video Coding, JCTVC-F493, Torino, 2011.
另一方面,在動態影像編碼.解碼中,相同影像被複數對象影像所參照,是一般常見的。換言之,相同參照影像係被(重複)使用複數次。在圖16中可以看出,被虛線1603所圍繞的POC=32之參照影像,係被POC=28,26,30,25,27,29,31之對象影像所參照。除此以外, POC=22,24,28,26,30之參照影像也被複數次利用,這從圖16的1602之下的各格子的值就可看出。
可是,基於先前技術的緩衝區描述資訊中,由於在各BD[k]上是獨立地求出△POCk,j ,即使對相同參照影像,也是每一BD[k]地描述其△POCk,j ,導致就算相同的資訊仍然必須重複地收送相同資訊。以圖16與圖17為例來說明。虛線1705所圍繞的各格子的值,係對應於圖16之虛線1603所圍繞的各格子的POC號碼。虛線1603內係全部都是POC=32的參照影像,但位於虛線1705內的△POCk,j 之值係完全不同。又,由於這些△POCk,j 之值係有很大的不同,因此必須要用較多的位元來進行編碼。因此,在將先前技術所致之緩衝區描述資訊加以傳輸時,會有必須要用較多位元來重複收送相同資訊的課題。
為了解決上記課題,本發明之一側面所述之動態影像預測編碼裝置,係具備:輸入手段,係用以將構成動態影像的複數影像,進行輸入;和編碼手段,係用以將對象影像,以過去曾經編碼後而被解碼、再生之複數影像當作參照影像,來進行預測編碼,生成壓縮影像資料;和復原手段,係用以將該壓縮影像資料進行解碼,以復原出再生影像;和影像儲存手段,係用以將該再生影像當作後續影像進行編碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係用以控制影像儲存手段;緩衝區管理手段, 係(在處理對象影像之前),根據將對象影像進行預測編碼之際所被使用之複數參照影像的相關之緩衝區描述資訊BD[k],來控制影像儲存手段,同時,將該當緩衝區描述資訊BD[k],參照與對象影像不同之另一影像的緩衝區描述資訊BD[m],而進行編碼後,將其編碼資料附加至壓縮影像資料。
又,本發明之一側面所述之動態影像預測解碼裝置,係具備:輸入手段,係用以輸入壓縮影像資料,該壓縮影像資料係中含有:對構成動態影像之複數影像之每一者,將過去被解碼、再生之複數影像當作參照影像而做預測編碼而成的資料、和複數參照影像的相關之緩衝區描述資訊BD[k]的編碼資料;和復原手段,係用以將壓縮影像資料進行解碼,以復原出再生影像;和影像儲存手段,係用以將該再生影像當作後續影像進行解碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係控制影像儲存手段;緩衝區管理手段,係(在將再生影像予以復原之前),參照與該再生影像不同之另一影像的緩衝區描述資訊BD[m]而將再生影像的緩衝區描述資訊BD[k]的編碼資料予以解碼後,根據該已被解碼之緩衝區描述資訊BD[k],來控制影像儲存手段。
若依據本發明所述之緩衝區描述資訊的編碼.解碼方法,則利用相同參照影像是被複數影像之預測編碼、解碼 處理所利用的性質,利用其與被不同影像所使用之緩衝區描述資訊BD[k]之間的相關性,削減冗長的資訊,藉此具有可高效率地將緩衝區描述資訊進行編碼之效果。再者,各簪照影像固有之資訊(依存度資訊),係與參照目標之影像相同,因此可直接繼承該資訊,不必再進行編碼、解碼,還有如此優點。
以下,針對本發明的實施形態,使用圖1至圖24來說明。
圖1係本發明之實施形態所述之動態影像預測編碼裝置100的區塊圖。如圖1所示,動態影像預測編碼裝置100係具備:輸入端子101、區塊分割器102、預測訊號生成器103、畫格記憶體(或緩衝區,也稱作DPB)104、減算器105、轉換器106、量化器107、逆量化器108、逆轉換器109、加算器110、熵編碼器111、輸出端子112、及緩衝區管理器114。減算器105、轉換器106與量化器107,係對應於申請專利範圍中所記載的「編碼手段」。又,逆量化器108、逆轉換器109與加算器110,係對應於申請專利範圍中所記載的「復原手段」。
關於如以上所構成的動態影像預測編碼裝置100,以下說明其動作。由複數張影像所成之動態影像的訊號,係被輸入至輸入端子101。作為編碼對象之影像,係於區塊分割器102中,被分割成複數領域。在本發明的實施形態 中,雖然是被分割成8x8像素所成的區塊,但亦可分割成其以外之區塊大小或形狀。接著,對於編碼處理對象之領域(以下稱作對象區塊),生成預測訊號。本發明所述之實施形態中,是使用畫面間預測與畫面內預測之2種預測方法。
在畫面間預測時,係將過去曾被編碼之後又被復原的再生影像當作參照影像,從該參照影像,求出能夠對於對象區塊給予最小誤差之預測訊號的運動資訊。又,因應情況,亦可將對象區塊作再分割,對已被再分割之小領域,決定畫面間預測方法。此情況下,從各種分割方法之中,決定出對對象區塊全體為效率最佳的分割方法及各自的運動資訊。在本發明所述的實施形態中,是於預測訊號生成器103中進行之,對象區塊係經由線L102,參照影像係經由L104而輸入。作為參照影像,係將過去曾被編碼而被復原過的複數張影像,當作參照影像而使用。細節是和先前技術的H.264之方法相同。如此所被決定的運動資訊及小領域之分割方法,係經由線L112而被送往熵編碼器111而被編碼後,從輸出端子112送出。又,在複數參照影像之中,關於預測訊號是從哪個參照影像所取得的資訊(參照索引),也是經由線L112而被送往熵編碼器111。此外,在本發明所述之實施形態中,係將3張至6張的再生影像儲存在畫格記憶體104中,當作參照影像來使用。在預測訊號生成器103中,根據小領域之分割方法及各個小領域所對應之參照影像與運動資訊,而從畫格記憶體104 中取得參照影像訊號,生成預測訊號。如此所被生成的畫面間預測訊號,係經由線L103而被送至減算器105。
在畫面內預測時,在對象區塊中使用空間上相鄰的已再生之像素值,來生成畫面內預測訊號。具體而言,在預測訊號生成器103中,係從畫格記憶體104取得位在相同畫面內的已再生之像素訊號,將這些訊號進行外插以生成畫面內預測訊號。關於外插之方法的資訊,係經由線L112而被送往熵編碼器111而被編碼後,從輸出端子112送出。如此所被生成的畫面內預測訊號,係被送至減算器105。預測訊號生成器103中的畫面內之預測訊號生成方法,係和先前技術的H.264的方法相同。對於如上述所求出的畫面間預測訊號和畫面內預測訊號,選擇出誤差最小者,送往減算器105。
在減算器105中,從對象區塊的訊號(經由線L102)中扣除預測訊號(經由線L103),生成殘差訊號。該殘差訊號係於轉換器106中進行離散餘弦轉換,各轉換係數係於量化器107中被量化。最後於熵編碼器111中將已被量化之轉換係數加以編碼,連同關於預測方法之資訊一起被輸出端子112送出。
為了進行後續的對於對象區塊的畫面內預測或是畫面間預測,壓縮過的對象區塊的訊號,係被逆處理而復原。亦即,已被量化之轉換係數,係於逆量化器108中被逆量化之後,於逆轉換器109中被進行逆離散餘弦轉換,將殘差訊號予以復原。於加算器110中,將已被復原的殘差訊 號與從線L103所送來的預測訊號進行加算,再生出對象區塊的訊號,儲存至畫格記憶體104。在本實施形態中雖然是使用轉換器106與逆轉換器109,但亦可不使用這些轉換器而改用其他的轉換處理。亦可因應情況,而沒有轉換器106和逆轉換器109。
畫格記憶體104係為有限,要儲存所有的再生影像是不可能的。只有後述的影像編碼所用的再生影像,會被儲存在畫格記憶體104中。控制該畫格記憶體104的係為緩衝區管理器114。由輸入端子113會輸入表示各影像之輸出順序的資訊(POC、picture output count)、表示其他影像進行預測編碼之際對該當影像之依存度的D_IDk,j 之相關的依存度資訊(dependency ID)、該當影像進行編碼之類型(畫面內預測編碼、畫面間預測編碼),緩衝區管理器114係基於該資訊而動作。被緩衝區管理器114所生成的緩衝區描述資訊或各影像的POC資訊係經由線L114而被送往熵編碼器111,被編碼後連同已被壓縮之影像資料一起被輸出。本發明所述之緩衝區管理器114的處理方法,將於後述。
接著說明本發明的動態影像預測解碼方法。圖2係本發明之實施形態所述之動態影像預測解碼裝置200的區塊圖。如圖2所示,動態影像預測解碼裝置200係具備:輸入端子201、資料解析器202、逆量化器203、逆轉換器204、加算器205、預測訊號生成器208、畫格記憶體207、輸出端子206、及緩衝區管理器209。逆量化器203 與逆轉換器204,係對應於申請專利範圍中所記載的「復原手段」。作為復原手段係亦可使用上記以外的東西。又亦可沒有逆轉換器204。
關於如以上所構成的動態影像預測解碼裝置200,以下說明其動作。已經被上述方法所壓縮編碼過的壓縮資料,係從輸入端子201輸入。該壓縮資料中係含有,將影像分割成複數區塊而成的對象區塊進行了預測編碼而成的殘差訊號及預測訊號之生成的關連資訊。作為預測訊號之生成的關連資訊,係若為畫面間預測時則是包含有關於區塊分割之資訊(區塊的尺寸)、運動資訊和上述的POC資訊,若為畫面內預測時則是包含有關於從周邊之已再生之像素進行之外插方法的資訊。又,壓縮資料中係還包含有用來控制畫格記憶體207所需的緩衝區描述資訊。
資料解析器202,係從壓縮資料,抽出對象區塊的殘差訊號、預測訊號之生成的關連資訊、量化參數、影像的POC資訊。對象區塊的殘差訊號係在逆量化器203中根據量化參數(經由線L202)而被逆量化。其結果係於逆轉換器204中進行逆離散餘弦轉換。
接著,經由線L206b,預測訊號之生成的關連資訊係被送往預測訊號生成器208。在預測訊號生成器208中,係基於預測訊號之生成的關連資訊,向畫格記憶體207進行存取,從複數複數參照影像之中取得參照訊號以生成預測訊號。此預測訊號係經由線L208而被送往加算器205,被加算至已被復原的殘差訊號,再生出對象區塊訊 號,經由線L205而輸出的同時,被儲存至畫格記憶體207中。
在畫格記憶體207中係儲存有,後續之影像的解碼、再生時所使用的再生影像。緩衝區管理器209係控制著畫格記憶體207。緩衝區管理器209,係基於經由線L206a所送來的緩衝區描述資訊與關於影像之編碼類型的資訊而動作。本發明所述之緩衝區管理器209的控制方法,將於後述。
接著使用圖3與圖4,說明緩衝區管理器(圖1的114與圖2的209)之動作。本發明的實施形態所述之緩衝區管理器,係將畫格記憶體(104、207)中所儲存的參照影像,管理如下。亦即,在編碼側,將對於複數張對象影像之各自的緩衝區描述資訊予以整批生成,當成搬運共通適用之解碼處理之參數的PPS(picture parameter set)資訊的一部分而送出。在解碼側係從PPS資訊中抽出被整批送來的緩衝區描述資訊,基於被各對象影像之壓縮資料所指定的一個緩衝區描述資訊,先備妥位於畫格記憶體內的參照影像然後進行解碼、再生處理。未被記載在緩衝區描述資訊的參照影像,係從畫格記憶體中消除,之後就無法當作參照影像來使用。
圖3中係圖示本發明之實施形態所述之動態影像預測編碼裝置100的緩衝區管理器114中的緩衝區描述資訊之編碼方法,係表示了將針對複數張對象影像之各自的緩衝區描述資訊整批進行編碼的方法。此處,將緩衝區描述以 BD(buffer description)來表示,BD[k]係表示關於第k個BD的資訊。本發明之實施形態所生成的PPS之中所記載的緩衝區描述資訊的模式圖,示於圖8。
圖3的步驟310中,將計數器k設成零。在步驟320中,係將PPS資訊中所記載之所有BD的總數,予以編碼。此係該當於圖8的811。在步驟330中,將關於最初之BD亦即BD[0]的資訊,予以編碼。圖8的820係表示BD[0]之資訊。#△POC0 (830)係表示BD[0]之成分的個數,亦即必要的參照影像之張數。此處,不只是對象影像的編碼.解碼上所必要之參照影像,就連不被對象影像所參照,但被比其前面的影像之編碼.解碼處理所參照的參照影像也會先納入在BD[0]的資訊裡,因此此類參照影像的張數也會被#△POC0 所計數。
接下來,記載著關於所被使用之參照影像的資訊(831、832、…)。在本實施形態中,作為關於參照影像之資訊,係記載著{△POC0,i ,D_ID0,i }。i係表示BD[0]的第i個成分。△POC0,i 係為第i個參照影像的POC號碼與使用BD[0]之對象影像的POC號碼的差分值,D_ID0,i 係為第i個參照影像的依存度資訊。
關於BD[0]以外之BD[k]的資訊,係參照比其更早出現之緩衝區資訊BD[m]來進行預測編碼(步驟360)。在本實施形態中中是使用m=k-1,但只要m<k,則無論參照哪個BD[m]均可。k>0的BD[k]中所含資訊係例示於圖8的822、824。其內容係記載了,BD[k]之成分的個數(亦 即相當於對象影像及其以後之影像所必須的參照影像之張數)#△POCk (833、839)、△BDk (834、840)、△idxk,i (835、836、837、841、842、843、844)、或是{△idxk,i ,D_IDk,i }(838)。這些送訊資料(語法)的細節,將於後述。所有的BD[k]都被編碼後,將其當成PPS資訊之一部分而連同其他壓縮資料一併送出。將各影像進行編碼之際,基於由圖1之輸入端子113所指定的一個緩衝區描述資訊BD[k],緩衝區管理器114會先備妥位於畫格記憶體104內的參照影像,然後進行編碼處理。在收訊側,基於各影像之壓縮資料之標頭中所被附加的緩衝區描述的識別元k,緩衝區管理器209會先備妥位於畫格記憶體207內的參照影像,然後進行解碼處理。
圖4係本發明的實施形態所述之動態影像預測解碼裝置200的緩衝區管理器209中的緩衝區描述資訊之解碼方法的流程圖。資料解析器202係從PPS資訊之中,抽出關於緩衝區描述資訊的資料,輸入至緩衝區管理器209。在步驟420中,首先將BD之個數予以解碼。在步驟430中,將關於最初之BD亦即BD[0]的資訊,予以解碼。關於k>0的BD[k]之資訊,係參照比其更早出現之緩衝區描述BD[m]而進行預測解碼(步驟460)。如上述,此處係採用m=k-1。所有的BD[k]所被解碼出來的緩衝區描述資訊,係被儲存在緩衝區管理器209。將各影像進行解碼之際,基於被其壓縮資料所指定的一個緩衝區描述資訊BD[k],緩衝區管理器209會先備妥位於畫格記憶體207 內的參照影像,然後進行解碼、再生處理。
圖8中所圖示之緩衝區描述(BD[k]、k>0)的發送方式是最有效率的。若依據本實施形態,則對象之BD[k]和其預測上所使用的BD[m],係呈如下關係。
(a)BD[k]中所記載之參照影像,係至少一部分是被記載在BD[m]中。
(b)上記(a)還加上被新編碼、解碼之N張影像,是被當成「追加參照影像」而記載在BD[k]中。此處,N係為0以上之整數。
然後,更理想的形態係為:(c)m=(k-1),亦即在緩衝區描述資訊之中,將前1個BD使用於預測。
(d)上記(b)所記載之追加參照影像係只有1張(N=1)。又,該1張追加參照影像係為使用BD[m]時所生成之影像,較為理想。
使用圖16來說明上述的關係。圖16的欄1601係表示編碼.解碼處理之對象的對象影像的POC號碼。從上起按照編碼.解碼處理之順序而做排列。亦即,將POC=32之影像進行編碼.解碼後,POC=28之影像會被編碼.解碼。又,各對象影像之編碼.解碼處理進行時所使用的參照影像(複數)的POC號碼,係寫在欄1602之下的各格子中。
為了將POC=32之對象影像(1610)進行編碼.解碼/再生而使用之參照影像的相關資訊,係視為BD[0]而使用圖 8之820的語法而被編碼。此時,#△POC0 =4,POC號碼18,20,22,24的參照影像係視為△POC0,i 而進行編碼。△POC0,i 之值係為位於圖17的行1710中的i=0~3之值,是從參照影像的POC號碼與對象影像的POC號碼之差而求出。
圖16的行1611~1617中所記載的參照影像之相關資訊,係視為BD[k]、k>0,使用圖8的822、824之語法而被編碼。行1611係對應於k=1,表示被POC=28之對象影像所使用之參照影像的POC號碼的相關資訊。此後的POC號碼(22,24,32),係會先被一度換算成△POC1,i 。其值係被位於圖17的行1711中的i=0~2之值所給定。在本發明的實施形態中,這些△POC1,i 之值係參照△POC0,i (位於行1710的i=0~3之值)來進行預測編碼。
說明本發明所述之緩衝區描述資訊的預測編碼方法。令對象之緩衝區描述資訊為BD[k],令用來預測BD[k]所需之緩衝區描述資訊為BD[m]。令利用BD[k]之資訊的對象影像的POC號碼為POCcurrent ,令利用BD[m]之資訊的對象影像的POC號碼為POCprevious 。又,令利用BD[k]的第i個參照影像的POC號碼為POCk,i ,令利用BD[m]的第j個參照影像的POC號碼為POCm,j 。此時,△POCk,i 、△POCm,j 係如下給定。
△POCk,i =POCk,i -POCcurrent (1)
△POCm,j =POCm,j -POCprevious (2) △POCk,i 係將△POCm,j 當作預測值而被編碼。亦即,△POCk,i -△POCm,j =(POCk,i -POCcurrent )-(POCm,j -POCprevious )=(POCk,i -POCm,j )+(POCprevious -POCcurrent )=-(POCk,i -POCm,j )+△BDk (3)
此處,若滿足前述(a)的條件時,則POCm,j 係位於BD[m],因此將指向(POCk,i -POCm,j )為零之△POCm,j 的識別元(或索引),予以編碼。在本實施形態中,係使用如下定義的識別元△idxk,i
△idxk,i =offsetk,i -offsetk,i-1 (4)此處,offsetk,i =j-i、offsetk,-1 =0。又,上記式(3)中所被定義的△BDk 係無論(i,j)之值為何皆為一定,因此△BDk =POCprevious -POCcurrent (5)這只要對BD[k]記載一次即可。
另一方面,(POCk,i -POCm,j )為零之△POCm,j ,有時候不存在於BD[m]。舉例來說,圖16的成分POC1,2 =32(格子1620)係沒有成為1610之參照影像而出現。此時,雖然將△POCk,i 之值直接進行編碼即可,但若利用前述(d)的條件則會變成△POCk,i =△BDk ,由於該值已經被記載在BD[k]中因此不需要再次進行編碼。為了表示BD[m]中 沒有相同POC號碼這件事情,作為j之值係設定BD[m]之成分之個數的值(亦即#△POCm )或其以上的值。之後解碼之際使用j之值的△POCk,i 之解碼方法,將於後述。
至於各參照影像所具有之依存度資訊D_IDk,i ,係若該當參照影像是存在於預測時所使用之BD[m]中,則依存度資訊D_IDk,i 係等於D_IDm,j 因此不需要編碼。另一方面,若該當參照影像不存在於預測時所使用之BD[m]中,則將依存度資訊D_IDk,i 予以編碼。
基於以上的思考方式,構成了圖8的822、824之內容(語法),接著,基於此一思考方式來說明圖3的區塊360與圖4的區塊460之處理。
圖6係本發明的實施形態所述之動態影像預測編碼裝置100中的緩衝區描述資訊之編碼處理(圖3的區塊360之處理)的流程圖。這是相當於圖8中的k>0時的BD[k]之編碼處理。在步驟610中,係將BD[k]之成分的個數、亦即所描述之參照影像的張數#△POCk ,予以編碼。接著算出△BDk (步驟620)之後,將其進行編碼(步驟630)。接著,針對BD[k]的各成分,進行下記處理。在步驟640中,從BD[m](m=k-1)之中,偵測出是否有與△POCk,i 共用相同參照影像的△POCm,j (亦即POCm,j =POCk,i )存在。在步驟645中若判定為有存在,則前進至步驟650,依照上記式(4)而求出△idxk,i 之值,然後將其予以編碼。步驟645中若判定為不存在時,則前進至步驟655。在步驟655中,係對值j設定BD[m]之成分的個數(#△POCm )之 值。亦可為比其還大的值。在步驟660中係依照上記式(4)而求出△idxk,i 之值,然後將其予以編碼。在步驟670中係將該當參照影像的依存度資訊D_IDk,i 予以編碼。上述各值係先轉換成2值編碼然後實施算術編碼以進行編碼,但亦可使用其他的熵編碼方法。上記的處理係重複直到BD[k]的最後的成分為止。
將圖17所示之先前技術所致的緩衝區描述資訊,以上述本發明之方法處理後的結果,示於圖5。欄501係表示BD[k]的識別元,在本實施形態中係明示性地不進行編碼。欄502係表示BD[k]之成分的個數,504係表示用來描述BD[k]之參照影像所需的資料。行510係相當於BD[0],以△POCk,i 之值進行編碼。行511以下係表示△idxk,i 之值。欄505係表示預測時所用的BD[m]之識別元,但在本實施形態中,由於設成m=k-1,因此不需要進行編碼。欄506係表示△BDk 。又,關於格子520~523的各成分,係該當於預測時所用之BD[m]中沒有相同參照影像的情形,除了△idxk,i ,還必須要將D_IDk,i 予以編碼,但圖5中係被省略。圖5的位於504之下的各格子所示的值幾乎都是“0”,相較於圖17的先前技術之資訊,值比較小,動態範圍較小,因此具有能夠高效率地編碼之效果。又,在先前技術中是將所有成分的D_IDk,i 予以編碼,但在本發明的方法中,係僅對有限的成分將D_IDk,i 予以編碼,因此還可更加削減編碼量。
圖7係本發明的實施形態所述之動態影像預測解碼裝 置200中的緩衝區描述資訊之解碼處理(圖4的區塊460之處理)的流程圖。這是相當於圖8中的k>0時的BD[k]之解碼處理。在步驟710中係將BD[k]之成分的個數、亦即所描述之參照影像的張數#△POCk ,予以解碼。在步驟730中係將△BDk 予以解碼。接著,針對BD[k]的各成分,進行下記之解碼處理。在步驟740中係先將△idxk,i 予以解碼,然後使用下式來求出索引j之值(步驟745)。
j=i+△idxk,i +offsetk,i-1 其中しoffsetk,-1 =0 (6)
使用該索引j,判定步驟750中做為解碼對象△POCk,i 之參照值的△POCm,j 是否存在於BD[m]中。此處,若為j<BD[m]之成分的個數(#△POCm )則△POCm,j 係存在,若j≧(#△POCm )則△POCm,j 係不存在。步驟750中若判定為存在時則前進至步驟760,求出△POCk,i 之值。依存度資訊D_IDk,i 係將△POCm,j 所擁有的資訊直接複製而已。請注意,不需要將依存度資訊D_IDk,i 予以編碼。步驟750中若判定為不存在時,則前進至步驟765。此處,將依存度資訊D_IDk,i 予以解碼,在步驟770中作為△POCk,i 之值而代入△BDk 。上記的處理係重複直到BD[k]的最後的成分為止。
如此,在本發明所述之緩衝區描述資訊的編碼.解碼方法中,利用參照影像會被重複利用之性質,利用其與被不同影像所使用之緩衝區描述資訊BD[k]之間的相關性, 將冗長的資訊予以精簡,藉此可高效率地將緩衝區描述資訊進行編碼。
如圖16所示,緩衝區相關資訊係按照對象影像的編碼.解碼之順序而被整理。因此,前述(a)~(d)之關係係會成立,可藉由上述實施形態而以最有效率的方法,將緩衝區描述資訊予以編碼。另一方面,緩衝區描述的順序係亦可任意排列,即使以和圖16所示之順序不同的順序來記載各BD[k]也無妨。說明對應此情形之本發明所述之最具通用性的實施形態。
圖9係以和圖16若干不同的順序來記載緩衝區之資訊。和圖16不同的點係為,關於POC=25(913)的緩衝區資訊,係比POC=30(914)還先被描述。但是,所被利用的參照影像係和圖16之情形相同。此處,POC=25(913)之對象影像,係利用POC=22、24、32、28、26、30的參照影像,但其上1個的POC=26(912)之對象影像係利用POC=22、24、32、28。為了預測行913的緩衝區描述資訊BD[k],若使用行912的緩衝區描述資訊BD[m],則隸屬於BD[k]的POC=30之成分(963)係不會出現在BD[m],也不是藉由BD[m]之利用而被生成者。亦即,若使用前述(c)的條件(m=k-1),則會變成不滿足前述(d)。
為了解決此課題,放寬前述(c)之條件,使得能夠自由選擇BD[m],取而代之,將用來識別預測時所用之BD[m]所需的索引m予以編碼。若如此設計,則為了預測行913的緩衝區描述資訊BD[k],若將行914的緩衝區描 述資訊當成BD[m]使用(前提是追加索引m的編碼與解碼),則可直接適用圖6與圖7。
又,作為其他方法,針對預測時所用之BD[m]中所沒有的追加參照影像,係可將前述式(1)中的POC號碼△POCk,i 直接進行編碼,或是亦可將從△POCk,i 減去△BDk 後的值當作IBDRk,i 而加以編碼。
IBDRk,i =△POCk,i -△BDk (7)
若將上記式(7)展開,則等於(POCk,i -POCprevious )。上述本發明的最具通用性之實施形態所生成的PPS之中所記載的緩衝區描述資訊的模式圖,示於圖12。圖12的1211係和圖8的811相同,1220係和820相同。k>0的BD[k],係以1222或1224所示的語法而被傳輸。此時的語法係由:BD[k]之成分的個數(亦即相當於對象影像及其以後之影像所必須的參照影像之張數)#△POCk (1233、1240)、預測時所用之緩衝區描述資訊的識別元mk (1234、1241)、△BDk (1235、1242)、△idxk,i (1236、1237、1243、1244)、或是{△idxk,i ,D_IDk,i ,IBDRk,i }(1238、1239、1245、1246)所構成。
圖12所示的緩衝區描述資訊,係如下述般地被編碼.解碼。圖10係本發明的實施形態所述之動態影像預測編碼裝置100中的較具通用性的緩衝區描述資訊之編碼處理(圖3的區塊360之處理)的流程圖。這是相當於圖12 中的k>0時的BD[k]之編碼處理。在步驟1010中,係將BD[k]之成分的個數、亦即所描述之參照影像的張數#△POCk ,予以編碼。接著決定預測時所用的參照用之緩衝區描述資訊BD[m],在特定出其識別元mk 的同時,算出△BDk (步驟1020)。在步驟1030中係將mk 和△BDk 予以編碼。接著,針對BD[k]的各成分,進行下記處理。在步驟1040中,從BD[mk ]之中,偵測出是否有與△POCk,i 共用相同參照影像的△POCm,j (亦即POCm,j =POCk,i )存在。在步驟1045中若判定為有存在,則前進至步驟1050,依照前述式(4)而求出△idxk,i 之值,然後將其予以編碼。步驟1045中若判定為不存在時,則前進至步驟1055。在步驟1055中,係對索引j設定BD[m]之成分的個數(#△POCm )之值以上的值。此情況下(不存在於BD[m]中的)追加參照影像係有可能是1張以上,為了對應之,還會將未使用於設定的值,當作索引j之值而加以設定。在步驟1060中係依照前述式(4)而求出△idxk,i 之值,然後將其予以編碼。在步驟1070中係依照上記式(7)而求出IBDRk,i 之值,然後連同該當參照影像的依存度資訊D_IDk,i 一起予以編碼。上述各值係先轉換成2值編碼然後實施算術編碼以進行編碼,但亦可使用其他的熵編碼方法。上記的處理係重複直到BD[k]的最後的成分為止。
將圖9的緩衝區描述資訊,先一度換算成圖20所示的△POCk,i ,然後以上述的具有通用性之方法進行處理的結果,示於圖21。欄941係表示各BD[k]的識別元。欄 942係表示BD[k]之成分的個數,欄944係表示用來描述BD[k]之參照影像所需的資料。行950係相當於BD[0],以△POCk,i 之值進行編碼。行951以後係以△idxk,i 或是{△idxk,i ,D_IDk,i ,IBDRk,i }進行編碼(圖21中係省略D_IDk,i )。欄945係表示預測時所用之BD[m]之識別元mk 。欄946係表示△BDk 。又,關於格子980~983的各成分,係該當於預測時所用之BD[m]中沒有相同參照影像的情形,相當於將{△idxk,i ,D_IDk,i ,IBDRk,i }予以編碼的情形。圖21的位於944之下的各格子所示的值幾乎都是“0”,相較於圖20的先前技術之資訊,值比較小,動態範圍較小,因此具有能夠高效率地編碼之效果。
圖11係本發明的實施形態所述之動態影像預測解碼裝置200中的較有通用性之緩衝區描述資訊之解碼處理(圖4的區塊460之處理)的流程圖。這是相當於圖12中的k>0時的BD[k]之解碼處理。在步驟1110中係將BD[k]之成分的個數、亦即所描述之參照影像的張數#△POCk ,予以解碼。在步驟1130中係將mk 和△BDk 予以解碼。接著,針對BD[k]的各成分,進行下記之解碼處理。在步驟1140中係先將△idxk,i 予以解碼,然後使用上記式(6)來求出索引j之值(步驟1145)。
使用該索引j,判定步驟1150中做為解碼對象△POCk,j 之參照值的△POCm,j 是否存在於BD[m]中。此處,若為j<BD[m]之成分的個數(#△POCm )則△POCm,j 係存在,若j≧(#△POCm )則△POCm,j 係不存在。步驟 1150中若判定為存在時則前進至步驟1160,求出△POCk,i 之值。依存度資訊D_IDk,i 係僅將△POCm,j 所擁有的資訊直接複製即可。步驟1150中若判定為不存在時,則前進至步驟1165。此處,將IBDRk,i 與依存度資訊D_IDk,i 予以解碼,在步驟1170中算出△POCk,i 之值。上記的處理係重複直到BD[k]的最後的成分為止。
如此,在本發明所述之緩衝區描述資訊的編碼.解碼方法中,利用參照影像會被重複利用之性質,利用其與被不同影像所使用之緩衝區描述資訊BD[k]之間的相關性,將冗長的資訊予以精簡,藉此可高效率地將緩衝區描述資訊進行編碼。除此以外,緩衝區描述資訊的相互參照是能自由進行的情況下,也具有能夠高效率編碼之效果。
圖6與圖10的編碼處理,或圖7與圖11的解碼處理雖然個別說明,但亦可將這二個實施形態加以組合使用。在解碼處理中,圖7的步驟765、770與圖11的步驟1165、1170係為不同,但在組合使用的時候,只要追加用來識別這些處理所需之資訊(1位元)而加以編碼即可。
又,如圖5的行512,513,514,517中所見,△idxk,i 之值係全部為零值,因此亦可不將這些值個別編碼,而是以一個訊號(旗標)來代表之。
又,在上記實施形態中,緩衝區描述資訊中所記載之參照影像的POC號碼,係先一度換算成△POCk,i ,然後將本發明所述之緩衝區描述資訊予以編碼.解碼,但本發明所述之方法亦可對POC號碼本身施行。亦即,當位於對 象之緩衝區描述資訊BD[k]中的POC號碼,是位於預測時所用之BD[m]中的時候,則將指示該POC號碼的△idxk,i 予以編碼。若所望之POC號碼沒有存在於BD[m]中,則將前述式(1)所求出的△POCk,i 當成IBDRk,i 而予以編碼。亦可取代前述式(1)而改用式(7)。此時圖3的區塊360之處理係示於圖18,圖4的區塊460之處理係示於圖19。圖18係和圖10、圖19係和圖11分別進行大致相同的處理,在圖18、圖19中,對應之圖10、圖11之處理步驟的步驟號碼是使用附上「S」的步驟號碼。但是,是取代△POC而改成對POC實施處理。又,此時△BDk 係為零,因此不需要將其進行編碼.解碼。而且,若固定為m=(k-1)時(亦即從上一個BD[m]進行預測時),mk 也不需要進行編碼.解碼。
此外,於上記的實施形態中,若令對象之緩衝區描述BD[k]的i成分為bdk,i ,令預測時所用之BD[m]的成分為bdm,j ,則△idxk,i 係可認為是從bdk,i 來看的bdm,j 之相對位置(索引、位址)。亦即,若將bdk,i 及bdm,j 想成資訊儲存庫,則該當資訊儲存庫中係可放入POC號碼,也可放入△POC之值。此情況下,△idxk,i 係會被視為資訊儲存庫間(條件是這些的內容是使用共通的POC號碼)的相對位置。換言之,本發明所述之緩衝區描述,係為描述儲存對象影像緩衝區資訊的資訊儲存庫與儲存對象影像所參照之緩衝區資訊的資訊儲存庫的位置關係,藉由比較所指示的資訊儲存庫之位置(j)與裡面存在的資訊儲存庫之個數 (#△POCm 或#POCm ),提供將bdk,i 內容之再生方法予以切換的方法。
針對在本發明所述之緩衝區描述資訊的編碼.解碼方法,係還有如下的實施形態。本實施形態,係和圖6與圖7所示的實施形態相同,是以前述條件(c)與(d)為前提。亦即,令用來預測對象之緩衝區描述資訊為BD[k]而使用的緩衝區描述資訊為BD[m],而使用位於其前1個的BD。亦即m=(k-1)。又,位於BD[k]的追加參照影像係只有1張,該1張追加參照影像係為使用BD[m]時所被生成。
根據這些條件,本實施形態係為,在將對象之緩衝區描述BD[k]的資訊進行編碼之際,會去識別在預測時所用之BD[m]之中,與BD[k]之成分的△POCk,i 共用相同參照影像的△POCm,j (亦即POCm,j =POCk,i )「是否存在」。可是,在前述的實施形態中是使用「相對位置△idxk,i 」,但在本實施形態中係單純使用表示「是否存在」的旗標。作為該旗標,此處係記載為ibd_flagk,j 。若旗標ibd_flagk,j 是表示「存在」,則已經被儲存在緩衝區中的第j個影像係繼續被當成參照影像而使用。另一方面,若另一方面ibd_flagk,j 係表示「不存在」,則已被指定之其他影像就會被新當成參照影像(追加參照影像)而儲存至緩衝區。
又,根據條件(c)與(d),BD[k]的個數,最多就是比BD[m]的個數多1個,亦即總是為#△POCk =#△POCm +1,因此不需要送出#△POCk 。因此,在本實施形態中,可更加削減編碼量。
基於上記思考方式,本實施形態所述的緩衝區描述資訊的編碼處理,係示於圖22。此係為圖3的步驟360之處理。在步驟2210中,取得關於△POCk 之個數與△POCm 之個數的資訊,用於後續的判定所需。在步驟2220中係求出式(5)所給定的△BDk ,將△BDk 予以編碼。亦即,△BDk 係被當成利用BD[k]之資訊的對象影像之POC號碼POCcurrent 、與利用BD[k]之預測時所用之BD[m]之資訊的影像的POC號碼POCprevious 的差,而被求出。在步驟2230中,係將BD[k]的計數器i、和BD[m]的計數器j予以初期化成零。
接著經過步驟2240至2265,調查△POCm 之個數份的BD[m]之成分。具體而言,若滿足步驟2245之條件則前進至步驟2250,若非如此時則前進至步驟2260。可是,步驟2245之條件係由式(3)所給定,相當於(POCk,i =POCm,j )的情形。在步驟2250中係為了表示滿足該當條件而將ibd_flagk,j 設成1而予以編碼。同時將BD[k]的計數器i予以增加。另一方面,在步驟2260中係為了表示不滿足該當條件而將ibd_flagk,j 設成0而予以編碼。在步驟2265中,係為了調查下個BD[m]而將計數器j予以增加。
若不滿足步驟2240之步驟,亦即BD[m]的全部成分都調查結束時,則前進至步驟2270。此處係將對象之緩衝區描述資訊BD[k]的計數器i與△POCk 之個數,進行比 較。BD[k]的計數器i係從0起開始計算,因此其最大值係為(△POCk 之個數-1)。在步驟2270中若滿足(i=△POCk 之個數)之條件,則計數器i係超過BD[k]之成分的個數,因此將ibd_flagk,j 設成0而進行編碼,結束處理。另一方面,在步驟2270中若不滿足(i=△POCk 之個數)之條件,則意味著將不存在於BD[m]中的追加參照影像,儲存至緩衝區之意思。為了將關於其之資訊予以編碼,在步驟2290中係將ibd_flagk,j 設成1而編碼,在步驟2295中係將該當追加參照影像的依存度資訊D_IDk,i 予以編碼。此外,如圖6中所說明,該當追加參照影像的△POCk,i 之值係為△BDk ,因此不需要編碼。
如此所生成之PPS之中所記載的緩衝區描述資訊的資料序列係示於圖24。圖24係和圖8大致相同。2411所示的「BD之個數」係和圖8的811相同,最初之BD亦即BD[0]的相關資訊2420係和圖8的820相同,分別是由圖3的步驟320與330所生成。
k>0的BD[k]中所含資訊係例示於圖24的2422、2424。其內容係記載著△BDk (2434、2440)、ibd_flagk,j (2435、2436、2437、2441、2442、2443、2444)、或是{ibd_flagk,j ,D_IDk,i }(2438)。其資料結構(語法)係和圖8相似,注意k>0的BD[k]之個數亦即#△POCk (833、839)係不被需要。ibd_flagk,j 係會取1或是0的值。由於不需要將關於BD[k]之個數的資訊進行編碼,因此具有能夠以較少的位元數來表示緩衝區描述資訊 的效果。
圖23中係圖示本實施形態所述之緩衝區描述資訊的解碼處理的另一實施方法。在步驟2310中,係取得預測時所用之BD[m]之成分亦即△POCm 之個數(#△POCm )。藉由一面復原BD[m],一面計數其成分之個數,就會得到△POCm 之個數(#△POCm )。在步驟2320中,係將BD[k]的計數器i、和BD[m]的計數器j予以初期化成零。在步驟2330中,將緩衝區資訊中所記載之△BDk 之值予以解碼。接著,將(#△POCm +1)個份的ibd_flagk,j 予以解碼(受步驟2345所控制)。基於已被解碼之ibd_flagk,j 之值,進行步驟2345以後的處理。
在步驟2345中係判定BD[m]的計數器j。在計數器j達到△POCm 之個數以前,會一直根據ibd_flagk,j 之值(1或0),判定是否使用△POCm,j 來復原△POCk,i (步驟2350)。若ibd_flagk,j 之值為1,則在步驟2355中將△BDk 與△POCm,j 進行加算而生成△POCk,i 。此情況下,由於△POCk,i 與△POCm,j 係共用相同的參照影像(POCm,j =POCk,i ),因此依存度資訊D_IDk,i 係僅須將△POCm,j 所關連到的依存度資訊D_IDm,j 直接複製即可。接著將BD[k]的計數器i增加,對BD[m]的下一成分進行判斷。
在檢查BD[m]之成分到最後之前(相當於步驟2345中變成NO之情形),會一直判定最後的ibd_flagk,j 之值(步驟2370)。若ibd_flagk,j =0,則意味著沒有追加參照影像存在,不進行任何處理,前進至後述的步驟2390。另一 方面,若ibd_flagk,j =1,則意味著有(不存在於BD[m]中的)追加參照影像,在步驟2375中將依存度資訊D_IDk,i 予以復原。在步驟2380中,作為該當追加參照影像的POC號碼是使用△BDk (因為利用了條件(d))。又,將BD[k]的計數器i予以增加。最後,將以計數器i所計算之值,當作BD[k]的個數而加以儲存(步驟2390)。該BD[k]的個數,係被用於生成BD[k+1]之各成分時所需(步驟2310)。
在圖22與圖23之處理方法中,雖然是位於BD[k]之追加參照影像是只有1張時的實施方法,但當追加參照影像有N張時,只要將該N的值當成BD[k]的資訊的一部分而加以收送訊即可。此時,關於追加參照影像的POC號碼係使用IBDRk,i 而被編碼.解碼。具體而言,圖22的步驟2295係執行和圖10之步驟1070相同的處理、圖23的步驟2375係執行和圖11之步驟1165相同的處理、圖23的步驟2380係執行和圖11之步驟1170相同的處理即可。
又,雖然在上述中是將ibd_flagk,j 之值以1位元(1或0)來表示,但亦可用1位元以上來表示。此情況下,使用追加之位元,來識別其他資訊(D_IDk,i 、IBDRk,i 或其以外之資訊)是否有被明示性地編碼。
甚至,亦可使用該當追加之位元,來表示涉及△POCk,i 的參照影像(亦即POC號碼是具有式(1)所給定之POCk,i 的參照影像)的適用範圍。具體而言,若ibd_flagk,j 為「1」,則使用△POCm,j 來復原△POCk,i 的同時,△POCk,i 所涉及之參照影像,係適用於目前處理對象之影像(目前影像)及其後續之將來的影像(未來影像,亦可為複數)。又,若ibd_flagk,j 為「01」,則使用△POCm,j 來復原△POCk,i 的同時,△POCk,i 所涉及之參照影像,係不適用於目前處理對象之影像(目前影像),僅使用於其後續之將來的影像(未來影像,亦可為複數)。再者,若ibd_flagk,j 為「00」,則不將△POCm,j 使用於△POCk,i 之復原。
在上記實施形態中,雖然對緩衝區描述資訊中所記載之△POCk,i 實施處理,但亦可對各參照影像所擁有之POC號碼本身施行處理。
此外,於上記的所有實施形態中,是針對緩衝區描述資訊來說明。緩衝區描述資訊,係也是將對象影像進行編碼.解碼所需使用的複數參照影像的相關描述,因此上記的實施形態也可當成參照影像清單的管理方法來使用。
又,在上記的實施形態中,雖然說明了將緩衝區描述資訊整批當作PPS資訊之一部分來進行編碼的情形,但即使將緩衝區描述資訊記載在各個對象影像之標頭時,也能適用。亦即,將圖5的行510之資訊記載於POC=32之影像的壓縮資料的開頭(標頭)中,或將行511之資訊記載於POC=28之影像的壓縮資料的開頭(標頭)中的情況下,也能適用。此時,隸屬於對象影像k的緩衝區描述資訊BD[k],係可參照先行處理之影像m中所屬的緩衝區描述 資訊BD[m],以圖6,7,10,11,18,19之處理進行編碼.解碼。但是,隨著預測之構造,有時候,對象影像m係完全不會被當成參照影像來使用(依存度資訊D_ID之值較大),此時就不把隸屬於影像m的BD[m]用於預測上。這是因為,完全不被當成參照影像使用的影像m,係為了控制資料量或是減輕解碼處理,因而會被捨棄。
用來使電腦成為上記動態影像預測編碼裝置100而發揮機能所需的動態影像預測編碼程式,係可儲存在記錄媒體中而提供。同樣地,用來使電腦成為上記動態影像預測解碼裝置200而發揮機能所需的動態影像預測解碼程式,係可儲存在記錄媒體中而提供。作為記錄媒體則例如有,軟碟片、CD-ROM、DVD、或ROM等記錄媒體,或是半導體記憶體等。
圖13係將記錄媒體中所記錄之程式加以執行所需之電腦30的硬體構成之圖示,圖14係將記錄媒體中所記憶之程式加以執行所需之電腦30的斜視圖。此處的電腦30,係廣泛包含具備CPU而可進行軟體所致之資訊處理或控制的DVD播放器、機上盒、行動電話等。
如圖13所示,電腦30係具備:軟碟片驅動裝置、CD-ROM驅動裝置、DVD驅動裝置等之讀取裝置12、讓作業系統常駐的作業用記憶體(RAM)14、用來記憶記錄媒體10中所記憶之程式的記憶體16、顯示器這類顯示裝置18、屬於輸入裝置的滑鼠20及鍵盤22、進行資料等之收送訊用的通訊裝置24、控制著程式之執行的CPU26。一 旦記錄媒體10被***至讀取裝置12,則電腦30係可從讀取裝置12存取記錄媒體10中所儲存的動態影像預測編碼程式,藉由該當動態影像預測編碼程式,就可成為上記動態影像預測編碼裝置100而作動。同樣地,一旦記錄媒體10被***至讀取裝置12,則電腦30係可從讀取裝置12存取記錄媒體10中所儲存的動態影像預測解碼程式,藉由該當動態影像預測解碼程式,就可成為上記動態影像預測解碼裝置200而作動。
100‧‧‧動態影像預測編碼裝置
101‧‧‧輸入端子
102‧‧‧區塊分割器
103‧‧‧預測訊號生成器
104‧‧‧畫格記憶體(或緩衝區DPB)
105‧‧‧減算器
106‧‧‧轉換器
107‧‧‧量化器
108‧‧‧逆量化器
109‧‧‧逆轉換器
110‧‧‧加算器
111‧‧‧熵編碼器
112‧‧‧輸出端子
114‧‧‧緩衝區管理器
200‧‧‧動態影像預測解碼裝置
201‧‧‧輸入端子
202‧‧‧資料解析器
203‧‧‧逆量化器
204‧‧‧逆轉換器
205‧‧‧加算器
206‧‧‧輸出端子
207‧‧‧畫格記憶體
208‧‧‧預測訊號生成器
209‧‧‧緩衝區管理器
[圖1]本發明之實施形態所述之動態影像預測編碼裝置的區塊圖。
[圖2]本發明之實施形態所述之動態影像預測解碼裝置的區塊圖。
[圖3]本發明的實施形態所述之動態影像預測編碼裝置中的緩衝區管理方法的流程圖。
[圖4]本發明的實施形態所述之動態影像預測解碼裝置中的緩衝區管理方法的流程圖。
[圖5]本發明之實施形態中所使用的緩衝區管理方法所生成之緩衝區描述資訊的表。
[圖6]本發明的實施形態所述之動態影像預測編碼裝置中的緩衝區描述資訊之編碼處理的流程圖。
[圖7]本發明的實施形態所述之動態影像預測解碼裝置中的緩衝區描述資訊之解碼處理的流程圖。
[圖8]本發明之實施形態所生成的PPS之中所記載的緩衝區描述資訊的模式圖。
[圖9]表示在處理對象影像與各對象影像之際,位於緩衝區DPB內的複數參照影像之狀態的另一例。
[圖10]關於圖9之例子的本發明的實施形態所述之動態影像預測編碼裝置中的緩衝區描述資訊之編碼處理的流程圖。
[圖11]關於圖9之例子的本發明的實施形態所述之動態影像預測解碼裝置中的緩衝區描述資訊之解碼處理的流程圖。
[圖12]關於圖9之例子的本發明之實施形態所生成的PPS之中所記載的緩衝區描述資訊的模式圖。
[圖13]將記錄媒體中所記錄之程式加以執行所需之電腦的硬體構成之圖示。
[圖14]將記錄媒體中所記憶之程式加以執行所需之電腦的斜視圖。
[圖15]先前技術的PPS之中的緩衝區描述資訊的模式圖。
[圖16]表示在處理對象影像與各對象影像之際,位於緩衝區DPB內的複數參照影像之狀態的一例。
[圖17]基於先前技術,從圖16之例子中所求出的緩衝區描述資訊的表。
[圖18]本發明的實施形態所述之動態影像預測編碼裝置中的將緩衝區描述資訊之POC號碼直接進行編碼之處 理的流程圖。
[圖19]本發明的實施形態所述之動態影像預測解碼裝置中的將緩衝區描述資訊之POC號碼直接進行解碼之處理的流程圖。
[圖20]基於先前技術,從圖9之例子中所求出的緩衝區描述資訊的表。
[圖21]基於本發明的實施形態中所使用之緩衝區管理方法,從圖20之例子中所求出的緩衝區描述資訊的表。
[圖22]本發明的實施形態所述之動態影像預測編碼裝置中的將緩衝區描述資訊之編碼處理相關之有別於圖6之處理的其他實施方法的流程圖。
[圖23]本發明的實施形態所述之動態影像預測解碼裝置中的將緩衝區描述資訊之解碼處理相關之有別於圖7之處理的其他實施方法的流程圖。
[圖24]基於圖22的本發明之實施形態所述之緩衝區描述資訊的編碼處理所生成的PPS之中所記載之緩衝區描述資訊的模式圖。
100‧‧‧動態影像預測編碼裝置
101‧‧‧輸入端子
102‧‧‧區塊分割器
103‧‧‧預測訊號生成器
104‧‧‧畫格記憶體(或緩衝區、DPB)
105‧‧‧減算器
106‧‧‧轉換器
107‧‧‧量化器
108‧‧‧逆量化器
109‧‧‧逆轉換器
110‧‧‧加算器
111‧‧‧熵編碼器
112‧‧‧輸出端子
113‧‧‧輸入端子
114‧‧‧緩衝區管理器

Claims (6)

  1. 一種動態影像預測編碼裝置,係特徵為,具備:輸入手段,係用以將構成動態影像的複數影像,進行輸入;和編碼手段,係用以將前記影像,以過去曾經編碼後而被解碼、再生之複數影像當作參照影像,來進行預測編碼,生成壓縮影像資料;和復原手段,係用以將前記壓縮影像資料進行解碼,以復原出再生影像;和影像儲存手段,係用以將前記再生影像,當作後續影像進行編碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係用以控制前記影像儲存手段;其中,該動態影像預測編碼裝置係為,前記緩衝區管理手段,係在處理前記影像之前,根據將前記影像進行預測編碼之際所被使用之複數參照影像的相關之緩衝區描述資訊BD[k],來控制前記影像儲存手段,同時,參照與前記影像不同之另一影像的緩衝區描述資訊BD[m],而將緩衝區描述資訊BD[k]進行編碼後,將其編碼資料附加至前記壓縮影像資料。
  2. 一種動態影像預測編碼方法,係屬於由動態影像預測編碼裝置所執行的動態影像預測編碼方法,其特徵為,具備:輸入步驟,係用以將構成動態影像的複數影像,進行輸入;和 編碼步驟,係用以將前記影像,以過去曾經編碼後而被解碼、再生之複數影像當作參照影像,來進行預測編碼,生成壓縮影像資料;和復原步驟,係用以將前記壓縮影像資料進行解碼,以復原出再生影像;和影像儲存步驟,係用以將前記再生影像,當作後續影像進行編碼所需使用之參照影像而儲存1個以上;和緩衝區管理步驟,係用以控制前記影像儲存步驟;該動態影像預測編碼方法的特徵係為,在前記緩衝區管理步驟中,係在處理前記影像之前,根據將前記影像進行預測編碼之際所被使用之複數參照影像的相關之緩衝區描述資訊BD[k],來控制前記影像儲存步驟,同時,將前記緩衝區描述資訊BD[k],參照與前記影像不同之另一影像的緩衝區描述資訊BD[m]而將緩衝區描述資訊BD[k]進行編碼後,將其編碼資料附加至前記壓縮影像資料。
  3. 一種動態影像預測編碼程式,係特徵為,係用以令電腦發揮機能而成為:輸入手段,係用以將構成動態影像的複數影像,進行輸入;和編碼手段,係用以將前記影像,以過去曾經編碼後而被解碼、再生之複數影像當作參照影像,來進行預測編碼,生成壓縮影像資料;和復原手段,係用以將前記壓縮影像資料進行解碼,以 復原出再生影像;和影像儲存手段,係用以將前記再生影像,當作後續影像進行編碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係用以控制前記影像儲存手段;其中,該動態影像預測編碼程式係為,前記緩衝區管理手段,係在處理前記影像之前,根據將前記影像進行預測編碼之際所被使用之複數參照影像的相關之緩衝區描述資訊BD[k],來控制前記影像儲存手段,同時,參照與前記影像不同之另一影像的緩衝區描述資訊BD[m],而將緩衝區描述資訊BD[k]進行編碼後,將其編碼資料附加至前記壓縮影像資料。
  4. 一種動態影像預測解碼裝置,其特徵為,具備:輸入手段,係用以輸入壓縮影像資料,該壓縮影像資料係中含有:對構成動態影像之複數影像之每一者,將過去被解碼、再生之複數影像當作參照影像而做預測編碼而成的資料、和前記複數參照影像的相關之緩衝區描述資訊BD[k]的編碼資料;和復原手段,係用以將前記壓縮影像資料進行解碼,以復原出再生影像;和影像儲存手段,係用以將前記再生影像,當作後續影像進行解碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係用以控制前記影像儲存手段;其中,該動態影像預測解碼裝置係為,前記緩衝區管理手段,係在將前記再生影像予以復原 之前,參照與前記再生影像不同之另一影像的緩衝區描述資訊BD[m],而將前記再生影像的緩衝區描述資訊BD[k]的編碼資料予以解碼後,根據前記已被解碼之緩衝區描述資訊BD[k],來控制前記影像儲存手段。
  5. 一種動態影像預測解碼方法,係屬於由動態影像預測解碼裝置所執行的動態影像預測解碼方法,其特徵為,具備:輸入步驟,係用以輸入壓縮影像資料,該壓縮影像資料係中含有:對構成動態影像之複數影像之每一者,將過去被解碼、再生之複數影像當作參照影像而做預測編碼而成的資料、和前記複數參照影像的相關之緩衝區描述資訊BD[k]的編碼資料;和復原步驟,係用以將前記壓縮影像資料進行解碼,以復原出再生影像;和影像儲存步驟,係用以將前記再生影像,當作後續影像進行解碼所需使用之參照影像而儲存1個以上;和緩衝區管理步驟,係用以控制前記影像儲存步驟;該動態影像預測解碼方法的特徵係為,在前記緩衝區管理步驟中,係在將前記再生影像予以復原之前,參照與前記再生影像不同之另一影像的緩衝區描述資訊BD[m],而將前記再生影像的緩衝區描述資訊BD[k]的編碼資料予以解碼後,根據前記已被解碼之緩衝區描述資訊BD[k],來控制前記影像儲存步驟。
  6. 一種動態影像預測解碼程式,其特徵為,係令電 腦發揮機能而成為:輸入手段,係用以輸入壓縮影像資料,該壓縮影像資料係中含有:對構成動態影像之複數影像之每一者,將過去被解碼、再生之複數影像當作參照影像而做預測編碼而成的資料、和前記複數參照影像的相關之緩衝區描述資訊BD[k]的編碼資料;和復原手段,係用以將前記壓縮影像資料進行解碼,以復原出再生影像;和影像儲存手段,係用以將前記再生影像,當作後續影像進行解碼所需使用之參照影像而儲存1個以上;和緩衝區管理手段,係用以控制前記影像儲存手段;其中,該動態影像預測解碼程式係為,前記緩衝區管理手段,係在將前記再生影像予以復原之前,參照與前記再生影像不同之另一影像的緩衝區描述資訊BD[m],而將前記再生影像的緩衝區描述資訊BD[k]的編碼資料予以解碼後,根據前記已被解碼之緩衝區描述資訊BD[k],來控制前記影像儲存手段。
TW101137724A 2011-10-18 2012-10-12 Dynamic image predictive coding method, dynamic image predictive coding device, dynamic image predictive coding program, dynamic image prediction decoding method, dynamic image prediction decoding device and dynamic image prediction decoding program TWI510060B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011228758 2011-10-18
JP2011240334A JP5698644B2 (ja) 2011-10-18 2011-11-01 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム

Publications (2)

Publication Number Publication Date
TW201320772A TW201320772A (zh) 2013-05-16
TWI510060B true TWI510060B (zh) 2015-11-21

Family

ID=48140690

Family Applications (8)

Application Number Title Priority Date Filing Date
TW105130460A TWI611688B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法、動態影像預測解碼裝置
TW101137724A TWI510060B (zh) 2011-10-18 2012-10-12 Dynamic image predictive coding method, dynamic image predictive coding device, dynamic image predictive coding program, dynamic image prediction decoding method, dynamic image prediction decoding device and dynamic image prediction decoding program
TW104111245A TW201528787A (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法、動態影像預測解碼裝置、動態影像預測解碼程式、動態影像預測編碼方法、動態影像預測編碼裝置及動態影像預測編碼程式
TW106137198A TWI619377B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法及動態影像預測解碼裝置
TW108114160A TWI704798B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法
TW107102752A TWI661712B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法及動態影像預測解碼裝置
TW104111247A TWI520587B (zh) 2011-10-18 2012-10-12 Dynamic image predictive decoding method, dynamic image predictive decoding device, dynamic image predictive decoding program, dynamic image predictive coding method, dynamic image predictive coding device and dynamic image predictive coding program
TW104111246A TWI540883B (zh) 2011-10-18 2012-10-12 Dynamic image predictive decoding method, dynamic image predictive decoding device, dynamic image predictive decoding program, dynamic image predictive coding method, dynamic image predictive coding device and dynamic image predictive coding program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105130460A TWI611688B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法、動態影像預測解碼裝置

Family Applications After (6)

Application Number Title Priority Date Filing Date
TW104111245A TW201528787A (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法、動態影像預測解碼裝置、動態影像預測解碼程式、動態影像預測編碼方法、動態影像預測編碼裝置及動態影像預測編碼程式
TW106137198A TWI619377B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法及動態影像預測解碼裝置
TW108114160A TWI704798B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法
TW107102752A TWI661712B (zh) 2011-10-18 2012-10-12 動態影像預測解碼方法及動態影像預測解碼裝置
TW104111247A TWI520587B (zh) 2011-10-18 2012-10-12 Dynamic image predictive decoding method, dynamic image predictive decoding device, dynamic image predictive decoding program, dynamic image predictive coding method, dynamic image predictive coding device and dynamic image predictive coding program
TW104111246A TWI540883B (zh) 2011-10-18 2012-10-12 Dynamic image predictive decoding method, dynamic image predictive decoding device, dynamic image predictive decoding program, dynamic image predictive coding method, dynamic image predictive coding device and dynamic image predictive coding program

Country Status (19)

Country Link
US (7) US9621923B2 (zh)
EP (8) EP2938079B1 (zh)
JP (1) JP5698644B2 (zh)
KR (5) KR101648443B1 (zh)
CN (7) CN107105276B (zh)
AU (1) AU2012324191B2 (zh)
BR (1) BR112014009023B1 (zh)
CA (8) CA3039173C (zh)
DK (1) DK3700214T3 (zh)
ES (8) ES2957483T3 (zh)
FI (1) FI3700214T3 (zh)
HU (1) HUE063249T2 (zh)
MX (2) MX336539B (zh)
PL (8) PL2938076T3 (zh)
PT (8) PT3457693T (zh)
RU (8) RU2586592C2 (zh)
SG (1) SG11201401568WA (zh)
TW (8) TWI611688B (zh)
WO (1) WO2013058034A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126037A (ja) 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
CN107247676A (zh) * 2017-05-18 2017-10-13 深圳市小牛在线互联网信息咨询有限公司 动态图播放方法、装置、存储介质和计算机设备
CN112714322B (zh) * 2020-12-28 2023-08-01 福州大学 一种面向游戏视频的帧间参考优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006698B2 (en) * 1996-06-21 2006-02-28 Hewlett-Packard Development Company, L.P. Method and apparatus for compressing a video image
TW201108747A (en) * 2006-12-14 2011-03-01 Panasonic Corp Moving image coding method, moving image coding device, moving image recording method, recording medium, moving image playback method, moving image playback device, and moving image playback system
TW201125370A (en) * 2009-10-30 2011-07-16 Panasonic Corp Decoding method, decoder apparatus, encoding method, and encoder apparatus

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
JP3109349B2 (ja) * 1993-11-16 2000-11-13 松下電器産業株式会社 映像信号再生装置
KR100517993B1 (ko) * 1996-12-18 2005-09-29 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 효율적인 고정-길이 블록 압축 및 압축해제
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
EP2053863B1 (en) * 2002-07-11 2012-03-07 Panasonic Corporation Video decoder display buffer reusing previous picture upon picture resizing.
CN1568622B (zh) * 2002-08-08 2010-05-26 松下电器产业株式会社 图像编码方法及图像编码装置
RU2335860C2 (ru) * 2002-10-01 2008-10-10 Томсон Лайсенсинг С.А. Неявное взвешивание опорных изображений в видеодекодере
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US20050207490A1 (en) * 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
US20050229231A1 (en) * 2004-03-31 2005-10-13 Lippincott Louis A Converter-assisted video encoder
JP4020883B2 (ja) * 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
CN101065780A (zh) * 2004-10-14 2007-10-31 诺基亚公司 视频编码中的参考图像管理
US20060083298A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
WO2007042914A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
BRPI0621340A2 (pt) * 2006-02-13 2011-12-06 Toshiba Kk Toshiba Corp método e aparelho e programa de codificação/decodificação de vìdeo
WO2008005574A2 (en) * 2006-07-06 2008-01-10 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
US8265159B2 (en) * 2006-12-27 2012-09-11 Panasonic Corporation Moving picture decoding apparatus
RU2335869C1 (ru) * 2007-03-27 2008-10-20 Виктор Николаевич Ожерельев Приспособление к дисковому почвообрабатывающему орудию
CN101682787A (zh) * 2007-04-12 2010-03-24 诺基亚公司 空间增强的变换编码
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
JP2009267689A (ja) 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、及び動画像符号化方法
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US8446949B2 (en) * 2008-06-23 2013-05-21 Sungkyunkwan University Foundation For Corporate Collaboration Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Nttドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Nttドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US20110235716A1 (en) * 2009-10-19 2011-09-29 Takeshi Tanaka Decoding apparatus, decoding method, program and integrated circuit
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
WO2011121731A1 (ja) * 2010-03-30 2011-10-06 富士通株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006698B2 (en) * 1996-06-21 2006-02-28 Hewlett-Packard Development Company, L.P. Method and apparatus for compressing a video image
TW201108747A (en) * 2006-12-14 2011-03-01 Panasonic Corp Moving image coding method, moving image coding device, moving image recording method, recording medium, moving image playback method, moving image playback device, and moving image playback system
TW201125370A (en) * 2009-10-30 2011-07-16 Panasonic Corp Decoding method, decoder apparatus, encoding method, and encoder apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rickard Sjoberg et al, "Absolute signaling of reference pictures", JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th meeting: Torino, July 2011 *

Also Published As

Publication number Publication date
EP3457693B1 (en) 2020-06-17
TWI661712B (zh) 2019-06-01
EP3177019A1 (en) 2017-06-07
PL2938077T3 (pl) 2017-04-28
TW201528787A (zh) 2015-07-16
EP2938078A1 (en) 2015-10-28
PT2938076T (pt) 2017-01-04
TWI704798B (zh) 2020-09-11
RU2699412C1 (ru) 2019-09-05
US20160373786A1 (en) 2016-12-22
TWI520587B (zh) 2016-02-01
TWI540883B (zh) 2016-07-01
CA3039171C (en) 2021-01-19
EP2938077B1 (en) 2016-11-23
KR20160096231A (ko) 2016-08-12
EP2938079A1 (en) 2015-10-28
PL3457693T3 (pl) 2020-10-19
EP2938078B1 (en) 2016-11-09
KR20140085513A (ko) 2014-07-07
CN106454369A (zh) 2017-02-22
EP2938076B1 (en) 2016-11-30
PT3457693T (pt) 2020-07-16
EP3177019B1 (en) 2018-12-26
CA3039172A1 (en) 2013-04-25
AU2012324191A1 (en) 2014-06-12
PL2938079T3 (pl) 2017-07-31
CN107105276A (zh) 2017-08-29
EP2938078B8 (en) 2017-04-12
CA3039173A1 (en) 2013-04-25
PL2770737T3 (pl) 2017-06-30
AU2012324191B2 (en) 2015-06-25
FI3700214T3 (fi) 2023-09-13
PL3177019T3 (pl) 2019-03-29
ES2707780T3 (es) 2019-04-05
TWI611688B (zh) 2018-01-11
CN103858429A (zh) 2014-06-11
CA2972448A1 (en) 2013-04-25
CA2972448C (en) 2019-05-28
PT2938078T (pt) 2016-12-27
KR20160099109A (ko) 2016-08-19
BR112014009023A2 (pt) 2017-05-02
CA3039168C (en) 2021-01-19
ES2957483T3 (es) 2024-01-19
US9681153B2 (en) 2017-06-13
US20160373781A1 (en) 2016-12-22
ES2806049T3 (es) 2021-02-16
RU2689424C1 (ru) 2019-05-28
US9667998B2 (en) 2017-05-30
PT2938079T (pt) 2017-04-24
PL3700214T3 (pl) 2023-12-11
KR101686520B1 (ko) 2016-12-14
KR101581399B1 (ko) 2015-12-30
SG11201401568WA (en) 2014-09-26
RU2684573C1 (ru) 2019-04-09
US20170208337A1 (en) 2017-07-20
EP2770737A4 (en) 2015-06-03
US10257534B2 (en) 2019-04-09
CN106412599A (zh) 2017-02-15
MX2014004501A (es) 2014-09-08
CA3039173C (en) 2021-01-19
US20180295378A1 (en) 2018-10-11
RU2630180C1 (ru) 2017-09-05
EP2770737A1 (en) 2014-08-27
TW201707453A (zh) 2017-02-16
MX336539B (es) 2016-01-22
CN106412599B (zh) 2018-06-05
CN106454369B (zh) 2019-07-23
ES2614357T3 (es) 2017-05-30
US10257533B2 (en) 2019-04-09
PT3177019T (pt) 2019-02-04
CA3039172C (en) 2021-01-19
RU2586592C2 (ru) 2016-06-10
PT3700214T (pt) 2023-09-21
CN107105264B (zh) 2019-11-08
CA3039176A1 (en) 2013-04-25
EP2938076A1 (en) 2015-10-28
RU2719334C1 (ru) 2020-04-17
CN106851301B (zh) 2018-08-07
ES2614512T3 (es) 2017-05-31
CA3039174A1 (en) 2013-04-25
US9621923B2 (en) 2017-04-11
CN107105265A (zh) 2017-08-29
JP2013102258A (ja) 2013-05-23
DK3700214T3 (da) 2023-09-25
US20160373758A1 (en) 2016-12-22
PT2770737T (pt) 2017-02-01
CA3039168A1 (en) 2013-04-25
CA2852888C (en) 2017-09-26
CN106851301A (zh) 2017-06-13
US10015509B2 (en) 2018-07-03
US20140226716A1 (en) 2014-08-14
CN107105264A (zh) 2017-08-29
CN107105276B (zh) 2018-09-14
PL2938078T3 (pl) 2017-04-28
EP2938077A1 (en) 2015-10-28
CN107105265B (zh) 2018-06-26
EP3457693A1 (en) 2019-03-20
CA3039176C (en) 2020-10-27
RU2014119878A (ru) 2015-11-27
KR101686519B1 (ko) 2016-12-14
KR101648443B1 (ko) 2016-08-16
EP2938079B1 (en) 2017-03-29
TW201531092A (zh) 2015-08-01
KR20160005375A (ko) 2016-01-14
PL2938076T3 (pl) 2017-06-30
HUE063249T2 (hu) 2024-01-28
ES2613525T3 (es) 2017-05-24
RU2707145C1 (ru) 2019-11-22
CN103858429B (zh) 2018-11-27
KR101664202B1 (ko) 2016-10-10
ES2622777T3 (es) 2017-07-07
TW201929544A (zh) 2019-07-16
WO2013058034A1 (ja) 2013-04-25
KR20160099110A (ko) 2016-08-19
US20180295377A1 (en) 2018-10-11
CA2852888A1 (en) 2013-04-25
PL2770737T4 (pl) 2019-04-30
MX350923B (es) 2017-09-26
BR112014009023B1 (pt) 2019-07-02
TW201818721A (zh) 2018-05-16
ES2618287T3 (es) 2017-06-21
TW201531093A (zh) 2015-08-01
CA3039174C (en) 2021-06-29
US9743113B2 (en) 2017-08-22
PT2938077T (pt) 2017-01-09
TWI619377B (zh) 2018-03-21
TW201808009A (zh) 2018-03-01
EP3700214A1 (en) 2020-08-26
RU2660619C1 (ru) 2018-07-06
EP3700214B1 (en) 2023-08-23
TWI562607B (zh) 2016-12-11
JP5698644B2 (ja) 2015-04-08
TW201320772A (zh) 2013-05-16
CA3039171A1 (en) 2013-04-25
EP2770737B1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
RU2719334C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
TW202143729A (zh) 動態影像預測解碼方法
TWI517673B (zh) Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program
JP5898924B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置および動画像予測復号プログラム
JP5711416B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム