TWI601413B - Dynamic video encoding device and dynamic video encoding method - Google Patents

Dynamic video encoding device and dynamic video encoding method Download PDF

Info

Publication number
TWI601413B
TWI601413B TW105138888A TW105138888A TWI601413B TW I601413 B TWI601413 B TW I601413B TW 105138888 A TW105138888 A TW 105138888A TW 105138888 A TW105138888 A TW 105138888A TW I601413 B TWI601413 B TW I601413B
Authority
TW
Taiwan
Prior art keywords
prediction
motion information
motion
block
unit
Prior art date
Application number
TW105138888A
Other languages
English (en)
Other versions
TW201717636A (zh
Inventor
Shigeru Fukushima
Hideki Takehara
Motoharu Ueda
Original Assignee
Jvc Kenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012067664A external-priority patent/JP2013201532A/ja
Priority claimed from JP2012067663A external-priority patent/JP2013201531A/ja
Application filed by Jvc Kenwood Corp filed Critical Jvc Kenwood Corp
Publication of TW201717636A publication Critical patent/TW201717636A/zh
Application granted granted Critical
Publication of TWI601413B publication Critical patent/TWI601413B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

動態影像編碼裝置及動態影像編碼方法
本發明係有關於利用運動補償預測的動態影像編碼及解碼技術。
在以MPEG-4 AVC/H.264(以下簡稱AVC)等為代表的動態影像編碼中，將圖像分割成矩形區塊，在圖像間依區塊單位來進行運動推定、補償的運動補償預測，會被採用。運動補償預測中，在各區塊裡所生成的運動向量，係為了削減其編碼量，而被施予預測處理。
在AVC中，利用相鄰之區塊的運動向量之間具有較強相關性的特性，從相鄰區塊算出預測值，將與該預測值的差分向量予以編碼，藉此以削減編碼量。可是，在這些預測方法中，由於所參照的相鄰區塊的位置是受限定，因此若預測失準，則運動向量的差分會變大，導致發生編碼量增加之課題。又，雖然運動向量的編碼量是被削減，但預測種別或參照影像索引等之其他運動資訊係隨著每一處理對象之區塊而被編碼，因此還存在有難以達到有效率編碼的課題。
為了解決這些課題，如專利文獻1所述，藉由將用來從複數相鄰區塊之中特定出所參照之相鄰區塊用的附加資訊予以編碼，就可不必將處理對象之區塊的運動資訊予以編碼，而是使用相鄰區塊之運動資訊來進行編碼，以削減編碼量的合併編碼技術，係被採用。
〔先前技術文獻〕 〔專利文獻〕
〔專利文獻1〕日本特開平10-276439號公報
合併編碼，係不將處理對象之區塊的運動資訊予以編碼，而是使用空間及時間上相鄰之區塊的運動資訊來進行編碼，藉此以削減編碼量而提升編碼效率。又，藉由準備複數個參照相鄰區塊之候補，將用來特定參照相鄰區塊的附加資訊予以編碼，就可參照更近似於編碼對象區塊之運動資訊的相鄰區塊。
因此，若自動地算出運動補償預測之預測種別，則無法限制所定預測區塊尺寸以下的預測區塊的預測種別，有時候編碼效率會降低。若無法限制所定預測區塊尺寸以下的預測區塊之預測種別，則例如為了抑制運動補償預測的記憶體頻寬，而會有不利的情形。
本發明係有鑑於此種狀況而研發，其目的在於提供一種，可控制運動補償預測的運動資訊而提升編碼 效率的技術。
為了解決上記課題，本發明的某個態樣的動態影像編碼裝置，係屬於以動態影像之各圖像所被分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼裝置，其特徵為，具備：運動資訊導出部(109)，係導出編碼對象區塊的運動資訊；和運動資訊變更部(108)，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成部(108)，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一態樣，係亦為動態影像編碼裝置。該裝置係屬於以動態影像之各圖像所被分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼裝置，其特徵為，具備：運動資訊候補清單生成部(906)，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於編碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊編碼部(110)，係將索引予以編碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中所決定出來的所定運動資訊；和運動資訊變更部(108)，係當前記編碼對象區塊是所定尺寸以下時，則 針對該所定尺寸以下之編碼對象區塊，變更前記已被決定之前記所定之運動資訊；和預測訊號生成部(108)，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被決定之前記所定之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一其他態樣，係為動態影像編碼方法。該方法係屬於以動態影像之各圖像所被分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼方法，其特徵為，具備：運動資訊導出步驟，係導出編碼對象區塊的運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的再另一態樣，係亦為動態影像編碼方法。該方法係屬於以動態影像之各圖像所被分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼方法，其特徵為，具備：運動資訊候補清單生成步驟，係生成運動資訊候補清單，其中該清單係被 登錄有，從空間上或時間上相鄰於編碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊編碼步驟，係將索引予以編碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中被決定出來的所定運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被決定之前記所定之運動資訊；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被決定之前記所定之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一其他態樣，係為送訊裝置。該裝置係具備：封包處理部，係將編碼列進行封包化而獲得編碼串流，該編碼列係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來編碼前記動態影像之動態影像編碼方法所編碼而成者；和送訊部，係將已被封包化之前記編碼串流，予以發送。前記動態影像編碼方法係具備：運動資訊導出步驟，係導出編碼對象區塊的運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被導出之運動資訊；當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被 變更之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一其他態樣，係亦為送訊裝置。該裝置係具備：封包處理部，係將編碼列進行封包化而獲得編碼串流，該編碼列係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來編碼前記動態影像之動態影像編碼方法所編碼而成者；和送訊部，係將已被封包化之前記編碼串流，予以發送。前記動態影像編碼方法係具備：運動資訊候補清單生成步驟，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於編碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊編碼步驟，係將索引予以編碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中被決定出來的所定運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被決定之前記所定之運動資訊；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被決定之前記所定之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一其他態樣，係為送訊方法。該方法係具備：封包處理步驟，係將編碼列進行封包化而獲 得編碼串流，該編碼列係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來編碼前記動態影像之動態影像編碼方法所編碼而成者；和送訊步驟，係將已被封包化之前記編碼串流，予以發送。前記動態影像編碼方法係具備：運動資訊導出步驟，係導出編碼對象區塊的運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的另一其他態樣，係亦為送訊方法。該方法係具備：封包處理步驟，係將編碼列進行封包化而獲得編碼串流，該編碼列係藉由以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測來編碼前記動態影像之動態影像編碼方法所編碼而成者；和送訊步驟，係將已被封包化之前記編碼串流，予以發送。前記動態影像編碼方法係具備：運動資訊候補清單生成步驟，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於編碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊編碼步驟，係將索引予以編碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中被決定出來的所定運動資 訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，變更前記已被決定之前記所定之運動資訊；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記已被決定之前記所定之運動資訊，當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
本發明的某個態樣的動態影像解碼裝置，係屬於將以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測進行過編碼的編碼列予以解碼的動態影像解碼裝置，其係具備：運動資訊導出部(606)，係導出解碼對象區塊的運動資訊；和運動資訊變更部(608)，係當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成部(608)，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一態樣，係亦為動態影像解碼裝置。該裝置係屬於將以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測進行過編碼的編碼列予以解碼的動態影像解碼裝置，其係具備：運動資訊候補清單生成 部(2604)，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於解碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊解碼部(606)，係將索引予以解碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中所應被選擇出來的所定運動資訊；和運動資訊變更部(608)，係基於前記已被解碼之索引，而從前記運動資訊候補清單中選擇出前記所定之運動資訊，當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被選擇之前記所定之運動資訊；和預測訊號生成部(608)，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被選擇之前記所定之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一其他態樣，係為動態影像解碼方法。該方法係屬於將以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測進行過編碼的編碼列予以解碼的動態影像解碼方法，其係具備：運動資訊導出步驟，係導出解碼對象區塊的運動資訊；和運動資訊變更步驟，係當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成步驟，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記 解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的再另一態樣，係亦為動態影像解碼方法。該方法係屬於將以動態影像之各圖像所分割而成之區塊單位而使用運動補償預測進行過編碼的編碼列予以解碼的動態影像解碼方法，其係具備：運動資訊候補清單生成步驟，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於解碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊解碼步驟，係將索引予以解碼，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中所應被選擇出來的所定運動資訊；和運動資訊變更步驟，係基於前記已被解碼之索引，而從前記運動資訊候補清單中選擇出前記所定之運動資訊，當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被選擇之前記所定之運動資訊；和預測訊號生成步驟，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被選擇之前記所定之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一其他態樣，係為收訊裝置。該裝置係屬於將動態影像所被編碼而成之編碼列予以接收並 解碼的收訊裝置，其特徵為，具備：收訊部，係將編碼列所被封包化而成之編碼串流予以接收，該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而將前記動態影像予以編碼而成者；和復原部，係將所接收到的前記被封包化之編碼串流，進行封包處理，以復原出原本的編碼列；和運動資訊導出部，係導出解碼對象區塊的運動資訊；和運動資訊變更部，係當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成部，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被導出之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一其他態樣，係亦為收訊裝置。該裝置係屬於將動態影像所被編碼而成之編碼列予以接收並解碼的收訊裝置，其特徵為，具備：收訊部，係將編碼列所被封包化而成之編碼串流予以接收，該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而將前記動態影像予以編碼而成者；和復原部，係將所接收到的前記被封包化之編碼串流，進行封包處理，以復原出原本的編碼列；和運動資訊候補清單生成部，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於解碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊解碼部，係從已被復原之 前記原本之編碼列解碼出索引，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中所應被選擇出來的所定運動資訊；和運動資訊變更部，係基於前記已被解碼之索引，而從前記運動資訊候補清單中選擇出前記所定之運動資訊，當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被選擇之前記所定之運動資訊；和預測訊號生成部，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被選擇之前記所定之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一其他態樣，係為收訊方法。該方法係屬於將動態影像所被編碼而成之編碼列予以接收並解碼的收訊方法，其特徵為，具備：收訊步驟，係將編碼列所被封包化而成之編碼串流予以接收，該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而將前記動態影像予以編碼而成者；和復原步驟，係將所接收到的前記被封包化之編碼串流，進行封包處理，以復原出原本的編碼列；和運動資訊導出步驟，係導出解碼對象區塊的運動資訊；和運動資訊變更步驟，係當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被導出之運動資訊；和預測訊號生成步驟，係當前記解碼對象區塊大於前記所定尺寸 時，則使用前記已被導出之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
本發明的另一其他態樣，係亦為收訊方法。該方法係為一種收訊方法，係屬於將動態影像所被編碼而成之編碼列予以接收並解碼的收訊方法，其特徵為，具備：收訊步驟，係將編碼列所被封包化而成之編碼串流予以接收，該編碼列係以動態影像之各圖像所分割而成之區塊單位、使用運動補償預測而將前記動態影像予以編碼而成者；和復原步驟，係將所接收到的前記被封包化之編碼串流，進行封包處理，以復原出原本的編碼列；和運動資訊候補清單生成步驟，係生成運動資訊候補清單，其中該清單係被登錄有，從空間上或時間上相鄰於解碼對象區塊之區塊所擁有的運動資訊所導出的運動資訊候補；和運動資訊解碼步驟，係從已被復原之前記原本之編碼列解碼出索引，該索引係用來表示，從前記運動資訊候補清單中所被登錄之前記運動資訊候補之中所應被選擇出來的所定運動資訊；和運動資訊變更步驟，係基於前記已被解碼之索引，而從前記運動資訊候補清單中選擇出前記所定之運動資訊，當前記解碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之解碼對象區塊，變更前記已被選擇之前記所定之運動資訊；和預測訊號生成步驟，係當前記解碼對象區塊大於前記所定尺寸時，則使用前記已被選擇之前記 所定之運動資訊，當前記解碼對象區塊是前記所定尺寸以下時，則使用前記已被變更之前記所定之運動資訊，藉由運動補償預測而生成前記解碼對象區塊的預測訊號。
此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的態樣而言皆為有效。
若依據本發明，則可一面抑制運動資訊處理之際的負荷，一面提升運動資訊的編碼效率。
100‧‧‧輸入端子
101‧‧‧減算部
102‧‧‧正交轉換‧量化部
103‧‧‧預測誤差編碼部
104‧‧‧逆量化‧逆轉換部
105‧‧‧加算部
106‧‧‧解碼影像記憶體
107‧‧‧運動向量偵測部
108‧‧‧運動補償預測部
109‧‧‧預測模式判定部
110‧‧‧運動資訊編碼部
111‧‧‧運動資訊記憶體
112‧‧‧多工化部
113‧‧‧輸出端子
600‧‧‧輸入端子
601‧‧‧多工分離部
602‧‧‧預測差分資訊解碼部
603‧‧‧逆量化‧逆轉換部
604‧‧‧加算部
605‧‧‧解碼影像記憶體
606‧‧‧運動資訊解碼部
607‧‧‧運動資訊記憶體
608‧‧‧運動補償預測部
609‧‧‧輸出端子
900‧‧‧運動補償預測生成部
901‧‧‧預測誤差算出部
902‧‧‧預測向量算出部
903‧‧‧差分向量算出部
904‧‧‧運動資訊編碼量算出部
905‧‧‧預測模式評價部
906‧‧‧結合運動資訊算出部
907‧‧‧結合運動補償預測生成部
1000‧‧‧空間結合運動資訊候補清單生成部
1001‧‧‧結合運動資訊候補清單刪除部
1002‧‧‧時間結合運動資訊候補清單生成部
1003‧‧‧第1結合運動資訊候補清單追加部
1004‧‧‧第2結合運動資訊候補清單追加部
2600‧‧‧運動資訊位元串流解碼部
2601‧‧‧預測向量算出部
2602‧‧‧向量加算部
2603‧‧‧運動補償預測解碼部
2604‧‧‧結合運動資訊算出部
2605‧‧‧結合運動補償預測解碼部
〔圖1〕本發明的實施形態所述之動態影像編碼裝置之構成的圖示。
〔圖2〕編碼對象影像之一例的圖示。
〔圖3〕預測區塊尺寸之詳細定義的圖示。
〔圖4〕圖4(a)~(d)係運動補償預測之預測種別的說明圖。
〔圖5〕本發明的實施形態所述之動態影像編碼裝置中的編碼處理之動作流程的流程圖。
〔圖6〕本發明的實施形態所述之動態影像解碼裝置之構成的圖示。
〔圖7〕本發明的實施形態所述之動態影像解碼裝置中的解碼處理之動作流程的流程圖。
〔圖8〕圖8(a)、(b)係將本發明的實施形態中 的運動補償預測中所使用之運動資訊予以編碼所需的2個預測模式的說明圖。
〔圖9〕實施形態的動態影像編碼裝置中的預測模式判定部的詳細構成的圖示。
〔圖10〕實施形態中的圖9之結合運動資訊算出部之構成的圖示。
〔圖11〕圖5的步驟S502的運動補償預測模式/預測訊號生成處理的詳細動作的說明用流程圖。
〔圖12〕實施形態中的圖11之結合運動資訊候補清單生成之詳細動作的說明用流程圖。
〔圖13〕空間結合運動資訊候補清單生成時所使用的空間候補區塊群的圖示。
〔圖14〕空間結合運動資訊候補清單生成之詳細動作的說明用流程圖。
〔圖15〕實施形態中的結合運動資訊候補刪除之詳細動作的說明用流程圖。
〔圖16〕實施形態中的結合運動資訊候補刪除時的運動資訊候補之比較關係的圖示。
〔圖17〕實施形態中的結合運動資訊候補刪除時的運動資訊候補之比較關係的圖示。
〔圖18〕時間結合運動資訊候補清單生成時所使用的時間候補區塊群的圖示。
〔圖19〕時間結合運動資訊候補清單生成之詳細動作的說明用流程圖。
〔圖20〕相對於對時間結合運動資訊的基準運動向量值ColMv，對L0預測、L1預測而登錄之運動向量值mvL0t、mvL1t的算出手法的說明圖。
〔圖21〕第1結合運動資訊候補清單追加部之詳細動作的說明用流程圖。
〔圖22〕組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的說明圖。
〔圖23〕第2結合運動資訊候補清單追加部之詳細動作的說明用流程圖。
〔圖24〕圖11的結合預測模式評價值生成處理之詳細動作的說明用流程圖。
〔圖25〕結合運動資訊候補數為5時的Truncated Unary編碼列的圖示。
〔圖26〕圖11的預測模式評價值生成處理之詳細動作的說明用流程圖。
〔圖27〕實施形態的動態影像解碼裝置中的運動資訊解碼部之詳細構成的圖示。
〔圖28〕圖7的運動資訊解碼處理之詳細動作的說明用流程圖。
〔圖29〕圖28的結合預測運動資訊解碼處理之詳細動作的說明用流程圖。
〔圖30〕圖28的預測運動資訊解碼處理之詳細動作的說明用流程圖。
〔圖31〕圖6的運動補償預測部之詳細動作的說明 用流程圖。
〔圖32〕預測區塊的運動資訊之相關語法。
〔圖33〕根據被雙預測限制之預測區塊的雙預測之運動資訊預測的說明圖。
以下，連同圖面來詳細說明本發明的實施形態所述之動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式的理想實施形態。此外，圖面的說明中，對同一要素係賦予同一符號，並省略重複說明。
〔動態影像編碼裝置全體構成〕
圖1係本發明的實施形態所述之動態影像編碼裝置之構成的圖示。以下，說明各部的動作。實施形態所述的動態影像編碼裝置，係具備：輸入端子100、減算部101、正交轉換‧量化部102、預測誤差編碼部103、逆量化‧逆轉換部104、加算部105、解碼影像記憶體106、運動向量偵測部107、運動補償預測部108、預測模式判定部109、運動資訊編碼部110、運動資訊記憶體111、多工化部112、及輸出端子113。
從由輸入端子100所輸入的影像訊號中，編碼處理對象之預測區塊的影像訊號，係基於預測區塊的位置資訊與預測區塊尺寸而被切出，預測區塊的影像訊號， 係被供給至減算部101、運動向量偵測部107及預測模式判定部109。
圖2係編碼對象影像之一例的圖示。關於實施形態所述之預測區塊尺寸，係如圖2所示般地，編碼對象影像是以64×64像素的編碼區塊(CU)單位而被編碼處理，預測區塊係由編碼區塊再被分割而成的單位所構成。最大預測區塊尺寸係為和編碼區塊同樣地64×64像素，最小預測區塊尺寸係為4×4像素。編碼區塊對預測區塊的分割構成，係可為非分割(2N×2N)、對水平‧垂直之分割(N×N)、僅對水平方向之分割(2N×N)、僅對垂直方向之分割(N×2N)。只有在對水平‧垂直分割的情況下，可將再次分割之預測區塊視為編碼區塊而階層式地分割成預測區塊，將其階層以CU分割數來表現。
圖3係預測區塊尺寸之詳細定義的圖示。會有從CU分割數為0且為最大之預測區塊尺寸的64像素×64像素，至CU分割數為3且為最小之預測區塊尺寸的4像素×4像素為止的13個預測區塊尺寸存在。
關於本發明的實施形態所述之預測區塊的分割構成，並不限定於此一組合。又，動態影像編碼裝置中的預測區塊尺寸之選擇，係可以編碼區塊單位來適應性選擇編碼效率較佳的構造，但實施形態係著眼於以預測區塊單位的畫面間預測及畫面間運動資訊之編碼，因此關於最佳預測區塊尺寸之選擇的構成要素及說明就省略。以下關於動態影像編碼裝置之動作，係說明以已選擇之預測區塊 尺寸單位所施行的動作。
回到圖1，減算部101，係將輸入端子100所供給之影像訊號與預測模式判定部109所供給之預測訊號進行減算，以算出預測誤差訊號，將預測誤差訊號供給至正交轉換‧量化部102。
正交轉換‧量化部102，係對於減算部101所供給的預測誤差訊號，實施正交轉換及量化，將已被量化之預測誤差訊號，供給至預測誤差編碼部103及逆量化‧逆轉換部104。
預測誤差編碼部103，係將正交轉換‧量化部102所供給之已被量化之預測誤差訊號，進行熵編碼，生成相對於預測誤差訊號的編碼列，供給至多工化部112。
逆量化‧逆轉換部104，係對正交轉換‧量化部102所供給之已被量化之預測誤差訊號，進行逆量化或逆正交轉換等之處理，生成解碼預測誤差訊號而供給至加算部105。
加算部105，係將逆量化‧逆轉換部104所供給之解碼預測誤差訊號、和預測模式判定部109所供給之預測訊號，進行加算，以生成解碼影像訊號，將解碼影像訊號供給至解碼影像記憶體116。
解碼影像記憶體106，係將加算部105所供給之解碼影像訊號加以儲存。又，針對影像全體之解碼已經完成的解碼影像，係視為參照影像，而記憶1以上之所定影像數，將參照影像號碼供給至運動向量偵測部107與運 動補償預測部108。
運動向量偵測部107係接受輸入端子100所供給之預測區塊的影像訊號、和解碼影像記憶體106中所記憶之參照影像號碼的輸入，對各參照影像偵測出運動向量，將運動向量值供給至預測模式判定部109。
一般的運動向量之偵測方法，係針對從與影像訊號同一位置起移動了所定之移動量的參照影像所相當之影像訊號，算出誤差評價值，將誤差評價值為最小的移動量，當作運動向量。作為誤差評價值，係可利用每一像素的差分絕對值之總和SAD(Sum of Absolute Difference)、或每一像素的平方誤差值的總和SSE(Sum of Square Error)等。甚至，關於運動向量之編碼的編碼量，也可包含在誤差評價值之中。
運動補償預測部108，係依照預測模式判定部109所指定的預測種別、參照影像指定資訊、運動向量值及雙預測限制資訊，而將令解碼影像記憶體106內的參照影像指定資訊所示的參照影像，從與預測區塊的影像訊號同一位置起移動了一運動向量值所示之量的位置上的影像訊號加以取得，以生成預測訊號。
當預測模式判定部109所指定的預測模式是單預測時，則將從1個參照影像所取得之預測訊號，視為運動補償預測訊號，若預測模式是雙預測時，則將從2個參照影像所取得之預測訊號予以加權平均後的值，視為運動補償預測訊號，將運動補償預測訊號供給至預測模式判 定部109。此處係將雙預測的加權平均之比率，設成1：1。
在本實施形態中，有時候係用與預測模式判定部109所指定之預測種別不同的預測種別，來進行運動補償預測。亦即，在運動補償預測部108內，基於雙預測限制資訊，來修正預測種別，進行運動補償預測。關於以和所被指定之預測種別不同之預測種別所做的運動補償預測之細節，將於後述。
圖4(a)~(d)係運動補償預測之預測種別的說明圖。將從單一之參照影像進行預測的處理定義為單預測，定義時係利用稱作L0預測或L1預測之此種2個參照影像管理清單裡所被登錄的參照影像的其中一方。
圖4(a)係圖示了單預測且L0預測之參照影像(RefL0Pic)是位於比編碼對象影像(CurPic)還前面之時刻的情形。圖4(b)係圖示了單預測且L0預測之參照影像是位於比編碼對象影像還後面之時刻的情形。同樣地，亦可將圖4(a)及圖4(b)的L0預測之參照影像，置換成L1預測之參照影像(RefL1Pic)而進行單預測。
將從2個參照影像進行預測的處理定義為雙預測，雙預測時係利用L0預測與L1預測之雙方而表現成BI預測。圖4(c)係圖示了雙預測且L0預測之參照影像是位於比編碼對象影像還前面之時刻，且L1預測之參照影像是位於比編碼對象影像還後面之時刻的情形。圖4(d)係圖示了雙預測且L0預測之參照影像與L1預測之 參照影像是位於比編碼對象影像還前面之時刻的情形。如此，L0/L1之預測種別與時間的關係，係亦可不限定於L0是過去方向、L1是未來方向而使用之。
雙預測係必須要對2個參照影像記憶體存取影像資訊，因此相較於單預測，有時候會需要2倍以上的記憶體頻寬。在構成硬體時，運動補償預測之預測區塊尺寸較小時的雙預測，會成為記憶體頻寬的瓶頸，在本實施形態中係抑制記憶體頻寬的瓶頸。
回到圖1，預測模式判定部109，係對運動向量偵測部107所輸入之各參照影像，以所偵測到的運動向量值、和運動資訊記憶體111中所儲存的運動資訊(預測種別、運動向量值、及參照影像指定資訊)為基礎，將實施形態中所定義之運動補償預測模式之每一者所使用的預測種別、參照影像指定資訊與運動向量值及雙預測限制資訊，設定至運動補償預測部108。藉由所設定的值，使用運動補償預測部108所供給之運動補償預測訊號、和輸入端子100所供給之預測區塊的影像訊號，來決定最佳的運動補償預測模式。
預測模式判定部109，係將已決定之預測模式、及符合預測模式的預測種別、運動向量、及參照影像指定資訊予以特定的資訊，供給至運動資訊編碼部110，將已決定之預測模式及針對該預測模式的預測種別、運動向量、及參照影像指定資訊，供給至運動資訊記憶體111，並且對減算部101及加算部105供給對應於已決定 之預測模式的預測訊號。
在動態影像編碼裝置中，為了將基準的參照影像予以編碼而使用同一畫面內的已編碼影像來進行預測的畫面內預測會被進行，但實施形態係著眼於畫面間預測，因此與畫面內預測相關連的構成要素係省略。至於預測模式判定部109之詳細構成，將於後述。
運動資訊編碼部110，係將預測模式判定部109所供給之預測模式、及符合預測模式的預測種別、運動向量、及參照影像指定資訊予以特定的資訊，依照所定之語法結構而加以編碼，藉此以生成運動資訊的編碼列，供給至多工化部112。
運動資訊記憶體111，係將預測模式判定部109所供給之運動資訊(預測種別、運動向量、及參照影像索引)，以最小預測區塊尺寸單位為基準而記憶了所定影像之份量。將處理對象之預測區塊的相鄰區塊之運動資訊，視為空間候補區塊群，將與處理對象之預測區塊位於同一位置的ColPic上的區塊和其周邊區塊的運動資訊，視為時間候補區塊群。
所謂ColPic，係指有別於處理對象之預測區塊的另一已解碼之影像，且在解碼影像記憶體106中當成參照影像而被記憶。在實施形態中，ColPic係為前一個已解碼之參照影像。此外，雖然在實施形態中，ColPic係設為前一個已解碼之參照影像，但亦可為顯示順序上前一個參照影像或顯示順序上後一個參照影像，亦可在編碼串流 中，直接指定ColPic上所使用的參照影像。
運動資訊記憶體111，係將空間候補區塊群與時間候補區塊群的運動資訊，當作候補區塊群的運動資訊而供給至預測模式判定部109。多工化部112，係將從預測誤差編碼部103所供給之預測誤差的編碼列、和從運動資訊編碼部110所供給之運動資訊的編碼列予以多工化，以生成編碼位元串流，經由輸出端子113，向記錄媒體、傳輸路等輸出該當編碼編碼位元串流。
圖1所示的動態影像編碼裝置之構成，係亦可藉由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體來實現。
圖5係本發明的實施形態所述之動態影像編碼裝置中的編碼處理之動作流程的流程圖。每預測區塊單位地，由輸入端子100取得處理對象之預測區塊(S500)。運動向量偵測部107，係藉由處理對象之預測區塊影像與解碼影像記憶體106中所儲存的複數參照影像，而算出每一參照影像的運動向量值(S501)。
接著，預測模式判定部109，係使用運動向量偵測部107所供給之向量、和運動資訊記憶體111中所儲存之運動資訊，將針對實施形態中所定義之各個運動補償預測模式的預測訊號，使用運動補償預測部108而加以取得，選擇最佳的預測模式，生成預測訊號(S502)。步驟S502之處理細節，將於後述。
接著，減算部101，係將處理對象之預測區塊 影像與預測模式判定部109所供給之預測訊號的差分予以算出來作為預測誤差訊號(S503)。運動資訊編碼部110，係將預測模式判定部109所供給之預測模式、及符合預測模式的預測種別、運動向量、及參照影像指定資訊予以特定的資訊，依照所定之語法結構而加以編碼，生成運動資訊的編碼資料(S504)。
接著，預測誤差編碼部103，係將正交轉換‧量化部102所生成之已被量化之預測誤差訊號，進行熵編碼，生成預測誤差的編碼資料(S505)。多工化部112，係將從運動資訊編碼部110所供給之運動資訊的編碼資料、和從預測誤差編碼部103所供給之預測誤差的編碼資料予以多工化，生成編碼位元串流(S506)。
加算部105，係將逆量化‧逆轉換部104所供給之解碼預測誤差訊號、和預測模式判定部109所供給之預測訊號，進行加算，以生成解碼影像訊號(S507)。藉由加算部105，已被生成之解碼影像訊號係被供給至解碼影像記憶體106而儲存，以後會被使用於進行編碼之編碼影像的運動補償預測處理(S508)。運動資訊記憶體111，係將運動向量偵測部107所供給之運動資訊(預測種別、運動向量、及參照影像指定資訊)，以最小預測區塊尺寸單位加以儲存(S509)。
〔動態影像解碼裝置全體構成〕
圖6係本發明的實施形態所述之動態影像解碼裝置之 構成的圖示。以下，說明各部的動作。實施形態所述的動態影像解碼裝置，係具備：輸入端子600、多工分離部601、預測差分資訊解碼部602、逆量化‧逆轉換部603、加算部604、解碼影像記憶體605、運動資訊解碼部606、運動資訊記憶體607、運動補償預測部608、及輸出端子609。
編碼位元串流係由輸入端子600而供給至多工分離部601。多工分離部601，係將所被供給的編碼位元串流的編碼列，分離成預測誤差訊號的編碼列、和由預測模式、預測種別、運動向量、及參照影像指定資訊予以特定的資訊所構成的運動資訊的編碼列。將該當預測誤差資訊的編碼列供給至預測差分資訊解碼部602，將該當運動資訊的編碼列供給至運動資訊解碼部606。
預測差分資訊解碼部602，係將多工分離部601所供給之預測誤差資訊的編碼量予以解碼，生成已被量化之預測誤差訊號。預測差分資訊解碼部602，係將所生成之已被量化之預測誤差訊號，供給至逆量化‧逆轉換部603。
逆量化‧逆轉換部603，係將預測差分資訊解碼部602所供給之已被量化之預測誤差訊號，進行逆量化或逆正交轉換等之處理而生成預測誤差資訊，將解碼預測誤差訊號供給至加算部604。
加算部604，係將逆量化‧逆轉換部603所供給之解碼預測誤差訊號、和運動補償預測部608所供給之 預測訊號，進行加算，以生成解碼影像訊號，將解碼影像訊號供給至解碼影像記憶體605。
解碼影像記憶體605，係具有和圖1之動態影像編碼裝置中的解碼影像記憶體106相同之機能，將從加算部604所供給之解碼影像訊號予以儲存，將參照影像訊號供給至運動補償預測部608。又，解碼影像記憶體605，係將已儲存之解碼影像訊號配合再生時刻，依照影像的顯示順序而供給至輸出端子609。
運動資訊解碼部606，係由多工分離部601所供給之運動資訊的編碼列，將預測模式、預測種別、運動向量、及參照影像指定資訊予以特定的資訊，解碼成為運動資訊。根據已解碼之運動資訊、和運動資訊記憶體607所供給之候補區塊群的運動資訊，將運動補償預測中所用之預測種別、運動向量及參照影像指定資訊予以再生，供給至運動補償預測部608。又，運動資訊解碼部606係將已再生之運動資訊，供給至運動資訊記憶體607。運動資訊解碼部606之詳細構成，將於後述。
運動資訊記憶體607，係具有與圖1之動態影像編碼裝置中的運動資訊記憶體111相同之機能，將運動資訊解碼部606所供給之已再生之運動資訊，以最小預測區塊尺寸單位為基準而記憶所定影像份。又，運動資訊記憶體607，係將空間候補區塊群與時間候補區塊群的運動資訊，當作候補區塊群的運動資訊而供給至運動資訊解碼部606。
運動補償預測部608，係具有與圖1之動態影像編碼裝置中的運動補償預測部108相同之機能，基於運動資訊解碼部606所供給之運動資訊，將解碼影像記憶體605內的參照影像指定資訊所示的參照影像，從與預測區塊的影像訊號同一位置起移動了一運動向量值所示之量的位置的影像訊號加以取得，以生成預測訊號。若運動補償預測之預測種別是雙預測，則將各預測種別之預測訊號予以平均而成者加以生成來作為預測訊號，將預測訊號供給至加算部604。只不過，針對已被雙預測限制之預測區塊，係即使預測種別是雙預測時，仍視為單預測而生成預測訊號。
如本實施形態的編碼裝置所說明，在本實施形態中，係有時候會以和運動資訊解碼部606所指定之參照影像指定資訊不同的參照影像指定資訊，來進行運動補償預測。亦即，在運動補償預測部608內，基於預測種別、雙預測限制資訊，來修正預測種別，進行運動補償預測。關於以和所被指定之預測種別不同之預測種別所做的運動補償預測之細節，將於後述。
輸出端子609，係將解碼影像記憶體605所供給之解碼影像訊號，輸出至顯示器等之顯示媒體，藉此，解碼影像訊號係被再生。
圖6所示的動態影像解碼裝置之構成也是，和圖1所示的動態影像編碼裝置之構成同樣地，亦可藉由具備CPU、畫格記憶體、硬碟等的資訊處理裝置等之硬體 來實現。
圖7係本發明的實施形態所述之動態影像解碼裝置中的解碼處理之動作流程的流程圖。多工分離部601，係將輸入端子600所供給之編碼位元串流，分離成預測誤差資訊的編碼列、和運動資訊的編碼列(S700)。已被分離之運動資訊的編碼列係被供給至運動資訊解碼部606，使用運動資訊記憶體607所供給之候補區塊群的運動資訊，將解碼對象區塊的運動資訊予以解碼(S701)。步驟S701之處理細節，將於後述。
已被分離的預測誤差資訊的編碼列，係被供給至預測差分資訊解碼部602，被解碼成已被量化之預測誤差訊號，在逆量化‧逆轉換部603中實施逆量化或逆正交轉換等之處理，以生成解碼預測誤差訊號(S702)。
由運動資訊解碼部606，解碼對象區塊的運動資訊係被供給至運動補償預測部608，運動補償預測部608係依照運動資訊來進行運動補償預測而算出預測訊號(S703)。加算部604，係將從逆量化‧逆轉換部603所供給之解碼預測誤差訊號、和從運動補償預測部608所供給之預測訊號，進行加算，生成解碼影像訊號(S704)。
加算部604所供給之解碼影像訊號，係被儲存在解碼影像記憶體605中(S705)，並且運動資訊解碼部606所供給之解碼對象區塊的運動資訊，會被儲存在運動資訊記憶體607(S706)。藉此，預測區塊單位的解碼處理就結束。
〔實施形態的詳細機能說明〕
本發明的實施形態所述之動態影像編碼裝置之預測模式判定部109之動作，圖5的流程圖中的步驟S502之處理，以及本發明的實施形態所述之動態影像解碼裝置中的運動資訊解碼部606之動作，圖7的流程圖中的步驟S701之處理的詳細動作，說明如下。
〔實施形態中的運動補償預測模式之定義〕
圖8(a)、(b)係將本發明的實施形態中的運動補償預測中所使用之運動資訊予以編碼所需的2個預測模式的說明圖。第一預測模式，係使用預測對象區塊與該當預測對象區塊所相鄰之已編碼區塊的時間方向或空間方向之運動的連續性，該當預測對象區塊係不將自身的運動資訊直接予以編碼，而是將空間及時間上相鄰之區塊的運動資訊使用於編碼的手法，稱作結合預測模式(合併模式)。
第一預測模式，係使用預測對象區塊與該當預測對象區塊所相鄰之已編碼區塊的時間方向或空間方向之運動的連續性，該當預測對象區塊係不將自身的運動資訊直接予以編碼，而是將空間及時間上相鄰之區塊的運動資訊使用於編碼的手法，稱作結合預測模式(合併模式)。
此處，所謂空間性相鄰之區塊，係指隸屬於與預測對象區塊相同影像的已編碼區塊之中，相鄰於預測 對象區塊的相鄰。此處，所謂時間性相鄰之區塊，係指隸屬於與預測對象區塊不同之已編碼之影像的區塊之中，與預測對象區塊位於同一空間位置及其周邊的區塊。
結合預測模式的情況下，係定義了可根據複數相鄰區塊候補而做選擇性結合的運動資訊，運動資訊係將所使用之相鄰區塊加以指定之資訊(索引)予以編碼，藉此將根據指定資訊所取得之運動資訊，直接用於運動補償預測。再者，在結合預測模式中，還定義有不會將預測差分資訊予以編碼傳輸，而是將已被結合預測模式所預測之預測訊號視為解碼圖像的Skip模式，僅以結合後之運動資訊的少量資訊，就能再生出解碼影像，具有如此構成。在Skip模式下所傳輸的運動資訊，係和結合預測模式同樣地是將相鄰區塊予以定義的指定資訊。
第二預測模式，係將運動資訊之構成要素個別地全部編碼，將相對於預測區塊而預測誤差較少的運動資訊予以傳輸的手法，稱作運動偵測預測模式。運動偵測預測模式，係和先前的運動補償預測的運動資訊的編碼同樣地，表示是雙預測還是單預測的預測種別、用來特定參照影像的資訊(參照影像索引)、和用來特定運動向量的資訊，是被個別地編碼。
在運動偵測預測模式下，係以預測模式來指示要使用單預測與雙預測之哪一者，若為單預測時則將對1個參照影像的參照影像加以特定之資訊、和運動向量與預測向量之差分向量，予以編碼。若為雙預測時則將對2 個參照影像的參照影像加以特定之資訊、和運動向量，分別予以個別地編碼。對運動向量的預測向量，係和AVC同樣地是從相鄰區塊之運動資訊所生成，但和結合預測模式同樣地，可根據複數相鄰區塊候補而選擇要使用於預測向量的運動向量，運動向量係將使用於預測向量的相鄰區塊加以指定之資訊(索引)和差分向量這2者加以編碼，藉此而被傳輸。
〔實施形態中的動態影像編碼裝置中的預測模式判定部的詳細動作說明〕
圖9係實施形態的動態影像編碼裝置中的預測模式判定部109的詳細構成的圖示。預測模式判定部109，係具有決定最佳運動補償預測模式的機能。
預測模式判定部109係含有：運動補償預測生成部900、預測誤差算出部901、預測向量算出部902、差分向量算出部903、運動資訊編碼量算出部904、預測模式評價部905、結合運動資訊算出部906、及結合運動補償預測生成部907。
對圖1中的預測模式判定部109，運動向量偵測部107所輸入之運動向量值，係被供給至運動補償預測生成部900，運動資訊記憶體111所輸入之運動資訊，係被供給至預測向量算出部902、及結合運動資訊算出部906。
又，對運動補償預測部108，從運動補償預測 生成部900、及結合運動補償預測生成部907，會輸出運動補償預測時所使用的預測種別和參照影像指定資訊和運動向量，由運動補償預測部108，已被生成之運動補償預測影像係被供給至預測誤差算出部901。預測誤差算出部901係還會由輸入端子100供給著，作為編碼對象的預測區塊的影像訊號。
又，從預測模式評價部905，對運動資訊編碼部110供給著要進行編碼的運動資訊與已確定之預測模式資訊，向運動資訊記憶體111供給運動資訊，將運動補償預測訊號供給至減算部101及加算部105。
運動補償預測生成部900，係將針對預測時所能使用之各參照影像所算出的運動向量值予以接收，依照雙預測限制資訊來進行運動補償預測，將參照影像指定資訊供給至預測向量算出部902，將參照影像指定資訊與運動向量予以輸出。
預測誤差算出部901，係根據所被輸入的運動補償預測影像與處理對象之預測區塊影像，算出預測誤差評價值。作為用來算出誤差評價值的演算，係和運動向量偵測時的誤差評價值同樣地，可使用每一像素的差分絕對值之總和SAD、或每一像素的平方誤差值之總和SSE等。甚至，還考慮在進行預測殘差之編碼之際所施行的、進行正交轉換、量化而在解碼影像中所產生的失真成分的量，藉此可算出更正確的誤差評價值。此種情況下，藉由在預測誤差算出部901內具有圖1的減算部101、正交轉 換‧量化部102、逆量化‧逆轉換部104、加算部105之機能，就可加以實現。
預測誤差算出部901，係將各預測模式下所算出的預測誤差評價值、和運動補償預測訊號，供給至預測模式評價部905。
預測向量算出部902，係被從運動補償預測生成部900供給著參照影像指定資訊，根據從運動資訊記憶體111所供給的相鄰區塊之運動資訊中的候補區塊群，輸入針對已被指定之參照影像的運動向量值，將複數預測向量連同預測向量候補清單一併加以生成，向差分向量算出部903，連同參照影像指定資訊一併加以供給。預測向量算出部902，係作成預測向量之候補，當作預測向量候補而加以登錄。
差分向量算出部903，係對預測向量算出部902所供給的預測向量候補之每一者，計算與從運動補償預測生成部900所供給之運動向量值的差分，算出差分向量值。在將已被算出之差分向量值與對預測向量候補的指定資訊亦即預測向量索引予以編碼之際，編碼量會是最少。差分向量算出部903，係將對於資訊量最少的預測向量的預測向量索引與差分向量值，連同參照影像指定資訊，一起供給至運動資訊編碼量算出部904。
運動資訊編碼量算出部904，係根據由差分向量算出部903所供給之差分向量值、參照影像指定資訊、預測向量索引、及預測模式，而算出各預測模式下的運動 資訊所需之編碼量。又，運動資訊編碼量算出部904，係從結合運動補償預測生成部907，收取在結合預測模式下有必要傳輸的結合運動資訊索引和用來表示預測模式的資訊，算出結合預測模式下的運動資訊所需之編碼量。
運動資訊編碼量算出部904，係將各預測模式下所算出之運動資訊及運動資訊所需編碼量，供給至預測模式評價部905。
從預測模式評價部905，係使用預測誤差算出部901所供給之各預測模式的預測誤差評價值、和從運動資訊編碼量算出部904所供給之各預測模式的運動資訊編碼量，算出各預測模式的綜合運動補償預測誤差評價值，選擇最少之評價值的預測模式，將已選擇之預測模式與對已選擇之預測模式的運動資訊，輸出至運動資訊編碼部110、運動資訊記憶體111。又，預測模式評價部905係同樣地，對預測誤差算出部901所供給之運動補償預測訊號，將已選擇之預測模式下的預測訊號予以選擇，然後輸出至減算部101及加算部105。
結合運動資訊算出部906，係使用運動資訊記憶體111所供給的相鄰區塊之運動資訊中的候補區塊群，由表示單預測還是雙預測的預測種別、參照影像指定資訊、運動向量值構成運動資訊，將複數運動資訊連同結合運動資訊候補清單一併加以生成，供給至結合運動補償預測生成部907。
圖10係圖示結合運動資訊算出部906之構 成。結合運動資訊算出部906係含有：空間結合運動資訊候補清單生成部1000、結合運動資訊候補清單刪除部1001、時間結合運動資訊候補清單生成部1002、第1結合運動資訊候補清單追加部1003及第2結合運動資訊候補清單追加部1004。結合運動資訊算出部906，係根據空間性相鄰之候補區塊群而以所定順序來作成運動資訊之候補，從其中刪除了帶有相同運動資訊的候補之後，追加根據時間性相鄰之候補區塊群所作成之運動資訊之候補，藉此僅將有效之運動資訊，登錄成為結合運動資訊候補。將該時間結合運動資訊候補清單生成部配置在結合運動資訊候補清單刪除部後段這點，是本實施形態的特徵性構成，將時間結合運動資訊候補排除在刪除相同運動資訊之處理對象之外，藉此就可不降低編碼效率就能削減演算量。關於結合運動資訊算出部906的詳細動作，將於後述。
回到圖9，結合運動補償預測生成部907，係藉由結合運動資訊算出部906所供給之結合運動資訊候補清單，對於已被登錄之結合運動資訊候補的每一者，在運動補償預測部108中根據運動資訊，隨應於預測種別而指定1個參照影像(單預測)或2個參照影像(雙預測)之參照影像指定資訊與運動向量值，生成運動補償預測影像，並且將各個結合運動資訊索引，供給至運動資訊編碼量算出部904。
在本實施形態中，有時候會用和從結合運動資訊算出部906所供給之參照影像指定資訊不同之參照影 像指定資訊，來進行運動補償預測。亦即，在運動補償預測部108中，係基於預測種別、參照影像指定資訊、運動向量值、雙預測限制資訊，來修正預測種別，進行運動補償預測。關於以和所被供給之預測種別不同之預測種別所做的運動補償預測之細節，將於後述。
在圖9的構成中，各個結合運動資訊索引的預測模式評價，係在預測模式評價部905中實施，但亦可採取以下構成：預測誤差評價值及運動資訊編碼量是從預測誤差算出部901及運動資訊編碼量算出部904收取，在結合運動補償預測生成部907內，確定了最佳之結合運動補償預測的結合運動索引後，進行包含其他預測模式的最佳預測模式之評價。
圖11係圖5的步驟S502的運動補償預測模式/預測訊號生成處理的詳細動作的說明用流程圖。此動作係圖示了圖9的預測模式判定部109中的詳細動作。
首先，進行結合運動資訊候補清單生成(S1100)，生成結合預測模式評價值(S1101)。接著，生成預測模式評價值(S1102)，藉由和已生成之評價值做比較，以選擇最佳的預測模式(S1103)。可是，步驟S1101及S1102的評價值生成順序係不限定於此。
依照所被選擇之預測模式而輸出預測訊號(S1104)，依照所被選擇之預測模式而輸出運動資訊(S1105)，藉此就結束預測區塊單位的運動補償預測模式/預測訊號生成處理。關於步驟S1100、S1101、及 S1102的詳細動作，將於後述。
圖12係圖11的步驟S1100的結合運動資訊候補清單生成的詳細動作的說明用流程圖。此動作係圖示了圖9的結合運動資訊算出部906中之構成的詳細動作。
圖10的空間結合運動資訊候補清單生成部1000，係根據運動資訊記憶體111所供給之空間候補區塊群的領域外的候補區塊、或除了屬於畫面內模式之候補區塊以外的候補區塊，而生成空間結合運動資訊候補清單(S1200)。空間結合運動資訊候補清單生成的詳細動作，將於後述。
接著，結合運動資訊候補清單刪除部1001中，從已被生成之空間結合運動資訊候補清單，將帶有相同運動資訊的結合運動資訊候補予以刪除而更新運動資訊候補清單(S1201)。結合運動資訊候補刪除之詳細動作，將於後述。
時間結合運動資訊候補清單生成部1002係接著根據運動資訊記憶體111所供給之時間候補區塊群的領域外的候補區塊、或除了屬於畫面內模式之候補區塊以外的候補區塊，生成時間結合運動資訊候補清單(S1202)，與時間結合運動資訊候補清單做結合而成為結合運動資訊候補清單。時間結合運動資訊候補清單生成的詳細動作，將於後述。
接著，第1結合運動資訊候補清單追加部1003係根據時間結合運動資訊候補清單生成部1002所生 成的已被登錄在結合運動資訊候補清單中的結合運動資訊候補，來生成0個至2個第1結合運動資訊候補然後追加至結合運動資訊候補清單(S1203)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補清單追加部1004。第1結合運動資訊候補清單追加的詳細動作，將於後述。
接著，第2結合運動資訊候補清單追加部1004，係生成不依存於第1結合運動資訊候補清單追加部1003所供給之結合運動資訊候補清單的0個至4個第2結合運動資訊候補，追加至第1結合運動資訊候補清單追加部1003所供給之結合運動資訊候補清單(S1204)，結束處理。第2結合運動資訊候補清單追加的詳細動作，將於後述。
藉由運動資訊記憶體111，被供給至結合運動資訊算出部906的運動資訊的候補區塊群中，係含有空間候補區塊群和時間候補區塊群。首先說明空間結合運動資訊候補清單生成。
圖13係空間結合運動資訊候補清單生成時所使用的空間候補區塊群的圖示。空間候補區塊群，係表示編碼對象影像之預測對象區塊所相鄰的同一影像之區塊。區塊群，其管理是以最小預測區塊尺寸單位來進行，候補區塊的位置，係以最小預測區塊尺寸之單位來管理，但若相鄰區塊之預測區塊尺寸是大於最小預測區塊尺寸時，則對預測區塊尺寸內的所有候補區塊會儲存相同的運動資 訊。在實施形態中，係在相鄰的區塊群之內，將如圖13所示的區塊A0、區塊A1、區塊B0、區塊B1、區塊B2的5區塊，視為空間候補區塊群。
圖14係空間結合運動資訊候補清單生成之詳細動作的說明用流程圖。空間候補區塊群中所含的5個候補區塊當中，針對區塊A0、區塊A1、區塊B0、區塊B1、區塊B2，以區塊A1、區塊B1、區塊B0、區塊A0之順序，重複進行以下處理(S1400~S1403)。
首先檢查候補區塊的有效性(S1401)。若候補區塊既非領域外也非畫面內模式，則候補區塊係為有效。若候補區塊是有效(S1401：YES)，則將候補區塊之運動資訊，追加至空間結合運動資訊候補清單(S1402)。
接續於步驟S1400至步驟S1403的重複處理，若已被追加至空間結合運動資訊候補清單的候補數未滿4(S1404：YES)，則檢查候補區塊B2的有效性(S1405)。若區塊B2非領域外也非畫面內模式(S1405：YES)，則將區塊B2之運動資訊追加至空間結合運動資訊候補清單中(S1406)。
此處係假設空間結合運動資訊候補清單中是含有4筆以下的候補區塊之運動資訊，但空間候補區塊群係只要是相鄰於處理對象之預測區塊的至少1個以上的已處理之區塊，且會隨著候補區塊之有效性而改變空間結合運動資訊候補清單之數目即可，並非限定於此。
圖15係結合運動資訊候補刪除之詳細動作的說明用流程圖。藉由空間結合運動資訊候補清單作成處理，若令所生成之結合運動資訊候補的最大數為MaxSpatialCand，則對從i=MaxSpatialCand-1至i>0為止的結合運動資訊候補(候補(i))，重複進行以下之處理(S1500~S1506)。
若候補(i)存在(S1501的YES)，則對ii=i-1至ii>=0為止的結合運動資訊候補(候補(ii))，重複進行以下之處理(S1502~S1505)，若候補(i)不存在(S1501的NO)則略過步驟S1502至S1505的針對候補(ii)的重複處理。
首先，檢查候補(i)的運動資訊(運動資訊(i))和候補(ii)的運動資訊(運動資訊(ii))是否為相同(S1503)，若為相同(S1503的YES)，則將候補(i)從結合運動資訊候補清單中刪除(S1504)，結束針對候補(ii)的重複處理。
若運動資訊(i)與運動資訊(ii)並非相同(S1503的NO)，則從ii減去1，重複針對候補(ii)的處理(S1502~S1505)。
接續於步驟S1500至步驟S1505的重複處理，從i減去1，重複針對候補(i)的處理(S1500~S1506)。
圖16係圖示結合運動資訊候補為4個時的清單中的候補的比較關係。亦即，針對不含時間結合運動資 訊候補的4個空間結合運動資訊候補，進行循環比較以判定同一性，刪除重複的候補。
此處，結合預測模式係使用時間方向或空間方向的運動的連續性，預測對象區塊係不將自身的運動資訊直接予以編碼，而是將空間及時間上相鄰之區塊的運動資訊使用於編碼的手法，但相對於空間結合運動資訊候補是基於空間方向之連續性的方法，時間結合運動資訊候補係以基於時間方向之連續性的後述之方法所生成，它們的性質係為不同。因此時間結合運動資訊候補與空間結合運動資訊候補中含有同一運動資訊是很少見的，即使將時間結合運動資訊候補排除在用來刪除同一運動資訊所需的結合運動資訊候補刪除處理的對象之外，最終獲得之結合運動資訊候補清單中含有同一運動資訊仍是很少見的。
又，如後述，時間結合運動資訊候補區塊係以大於最小預測區塊的尺寸亦即最小時間預測區塊單位而被管理，因此當時間性相鄰之預測區塊的大小是小於最小時間預測區塊時，則從原本位置錯開之位置的運動資訊會被使用，其結果為，經常造成運動資訊中含有誤差。因此，會有很多與空間結合運動資訊候補之運動資訊不同的運動資訊，即使排除在用來刪除相同運動資訊所需的結合運動資訊候補刪除處理的對象之外，影響仍很少。
圖17係空間結合運動資訊候補之最大數為4之情況下的結合運動資訊候補刪除時的候補之比較內容之一例。圖17(a)係僅將空間結合運動資訊候補視為結合 運動資訊候補刪除處理之對象時的比較內容，圖17(b)係將空間結合運動資訊候補與時間結合運動資訊視為處理對象時的比較內容。藉由僅將空間結合運動資訊候補視為結合運動資訊候補刪除處理之對象，可使運動資訊比較次數，從10次減少為6次。
如此，藉由不把時間結合運動資訊候補當作結合運動資訊候補刪除處理之對象，就可適切地刪除相同的運動資訊，同時將運動資訊的比較次數，從10次削減到6次。
又，不比較所有空間預測候補的同一性，而是僅進行空間位置相近之候補間的比較，藉此亦可削減結合運動資訊候補刪除處理的次數。具體而言，從圖13之B1位置所算出之結合運動資訊係與A1位置的結合運動資訊進行比較，從B0位置所算出之結合運動資訊係僅和B1位置的結合運動資訊進行比較，從A0位置所算出之結合運動資訊係僅和A1比較，從B2位置所算出之結合運動資訊係僅和A1、B1比較，藉此可將運動資訊的比較次數，限制成最多5次。
如上記僅對特定之空間預測候補進行結合運動資訊的同一比較時，在空間結合運動資訊候補清單生成中S1200)，就進行了結合運動資訊候補刪除處理(S1201)，同一結合運動資訊不慎殘留而導致編碼效率降低的影響會較少。亦即，在空間結合運動資訊候補清單生成時進行結合運動資訊的同一比較，藉此可以不必追加 多餘的結合運動資訊，所以當把圖14的步驟S1404的最大空間預測候補數限制成4個的時候，可提高從B2位置所算出之結合運動資訊被追加的可能性的緣故。
接著說明時間結合運動資訊候補清單生成。圖18係時間結合運動資訊候補清單生成時所使用的時間方向周邊預測區塊之定義的說明圖。時間候補區塊群係表示，與預測對象區塊所屬影像不同之已解碼之影像ColPic中所屬的區塊之中，位於與預測對象區塊相同位置及其周邊的區塊。區塊群，其管理是以最小時間預測區塊尺寸單位來進行，候補區塊的位置，係以最小時間預測區塊尺寸之單位來管理。於本發明的實施形態中，最小時間預測區塊尺寸係為，將最小預測區塊尺寸往垂直方向、水平方向分別放大2倍之大小。若時間性相鄰之區塊的預測區塊的尺寸是大於最小時間預測區塊尺寸時，則預測區塊尺寸內的所有候補區塊中會儲存相同的運動資訊。另一方面，若預測區塊的尺寸小於最小時間預測區塊尺寸時，則將時間方向周邊預測區塊的左上位置之預測區塊的運動之資訊，當作時間方向周邊預測區塊之資訊。圖18(b)圖示了預測區塊尺寸小於最小時間預測區塊尺寸時的時間方向周邊預測區塊的運動資訊。
圖18(a)中的A1~A4、B1~B4、C、D、E、F1~F4、G1~G4、H、I1~I16之位置的區塊，係為時間上相鄰的區塊群。在實施形態中，係在這些時間上相鄰的區塊群之內，令時間候補區塊群為區塊H和區塊I6這 2個區塊。
圖19係時間結合運動資訊候補清單生成之詳細動作的說明用流程圖。針對時間候補區塊群裡所含的2個候補區塊亦即區塊H和區塊I11(S1800、S1805)，係以區塊H、區塊I11之順序，檢查候補區塊的有效性(S1801)。若候補區塊為有效(S1801：YES)，則會進行步驟S1802~步驟S1804之處理，已被生成之運動資訊會被登錄至時間結合運動資訊候補清單中，結束處理。當候補區塊是表示畫面領域外之位置時、或候補區塊是畫面內預測區塊時(S1801：NO)，候補區塊並非有效，進行下個候補區塊的有效/無效判定。
若候補區塊為有效(S1801：YES)，則根據候補區塊之運動資訊來確定要登錄至結合運動資訊候補的參照影像選擇候補(S1802)。在實施形態中係將L0預測之參照影像，設成L0預測之參照影像當中距離處理對象影像最近的參照影像，將L1預測之參照影像，設成L1預測之參照影像當中距離處理對象影像最近的參照影像。
此處的參照影像選擇候補的確定手法，係只要能決定L0預測之參照影像與L1預測之參照影像即可，並非限定於此。編碼處理與解碼處理以同一手法來確定參照影像，藉此可確定編碼時所意圖之參照影像。作為其他確定手法，係可使用例如，例如將L0預測之參照影像及L1預測之參照影像的參照影像索引薇0的參照影像加以選擇的手法，或將空間相鄰區塊所使用之L0參照影像及 L1參照影像加以選擇的手法，或在編碼串流中指定各預測種別之參照影像的手法。
接著，根據候補區塊之運動資訊來確定要登錄至結合運動資訊候補的運動向量值(S1803)。實施形態中的時間結合運動資訊，係根據候補區塊之運動資訊且為有效之預測種別的運動向量值，算出雙預測的運動資訊。候補區塊的預測種別為L0預測或L1預測的單預測時，係選擇被使用於預測之預測種別(L0預測或L1預測)的運動資訊，將該參照影像指定資訊與運動向量值，當作雙預測運動資訊生成的基準值。
候補區塊的預測方向為雙預測時，係將L0預測或L1預測之其中一方的運動資訊，選擇來作為基準值。基準值的選擇方法，係可舉例如，選擇與ColPic相同預測種別上存在的運動資訊，在候補區塊的L0預測、L1預測之各個參照影像中選擇與ColPic之影像間距離較近者，或是在編碼側做選擇然後以語法來明示性地傳輸等等。
若雙預測運動資訊生成基準的運動向量值已確定，則會算出要登錄至結合運動資訊候補的運動向量值。
圖20係相對於對時間結合運動資訊的基準運動向量值ColMv，對L0預測、L1預測而登錄之運動向量值mvL0t、mvL1t的算出手法的說明圖。
將對基準運動向量值ColMv之ColPic與作為 候補區塊之基準的運動向量之對象的參照影像之間的影像間距離，令作ColDist。將L0預測、L1預測之各參照影像與處理對象影像之間的影像間距離，令作CurrL0Dist、CurrL1Dist。將ColMv以ColDist與CurrL0Dist、CurrL1Dist之距離比率進行了比例縮放而成的運動向量，分別視為要進行登錄的運動向量。具體而言，進行登錄的運動向量值mvL0t、mvL1t，係以下記式1、2予以算出。
mvL0t=mvCol×CurrL0Dist/ColDist‧‧‧(式1)
mvL1t=mvCol×CurrL1Dist/ColDist‧‧‧(式2)。
回到圖19，將如此所生成的雙預測之參照影像選擇資訊(索引)和運動向量值，追加至結合運動資訊候補(S1804)，時間結合運動資訊候補清單作成處理係結束。
接著說明第1結合運動資訊候補清單追加部1003的詳細動作。圖21係第1結合運動資訊候補清單追加部1003之動作的說明用流程圖。首先，根據時間結合運動資訊候補清單生成部1002所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與結合運動資訊候補最大數(MaxNumMergeCand)，將生成第1追加結合運動資訊候補的最大數MaxNumGenCand，由式3予以算出(S2000)。
MaxNumGenCand=MaxNumMergeCand-NumCandList；(NumCandList>1) MaxNumGenCand=0；(NumCandList<=1) (式3)
接著，檢查MaxNumGenCand是否大於0(S2001)。若MaxNumGenCand並非大於0(S2001的NO)，則結束處理。若MaxNumGenCand大於0(S2001的YES)，則進行以下處理。首先，決定組合檢查次數loopTimes。loopTimes係設定成NumCandList×NumCandList。但是，loopTimes超過8時則loopTimes係限制成8(S2002)。此處，loopTimes係為0至7的整數。重複進行以下的處理loopTimes次(S2002至S2008)。
決定結合運動資訊候補M與結合運動資訊候補N之組合(S2003)。此處，說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係。
圖22係用來說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的圖。如圖22所示，M與N是不同值，首先將M固定成0而令N的值在1~4(最大值係為NumCandList)中做變化，其後，將N固定成0而令M的值在1~4(最大值係為NumCandList)中做變化。此種組合定義係具有以下效果：將被選擇的機率最高的運動資訊亦即結合運動資訊候補清單內最初的運動資訊做有效活用，同時實際上不帶有 組合表而藉由計算就可算出組合模態。
檢查是否為結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2004)。若結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2004的YES)，則將結合運動資訊候補M的L0預測之運動向量與參照影像與結合運動資訊候補N的L1預測之運動向量與參照影像進行組合，而生成雙結合運動資訊候補(S2005)。若並非結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S2004的NO)，則處理下個組合。此處，作為第1追加結合運動資訊候補，是有L0預測之運動資訊與L1預測是相同的情形，即使以雙預測進行運動補償，仍會獲得和L0預測或是L1預測知單預測相同的結果，因此L0預測之運動資訊與L1預測之運動資訊為相同的追加結合運動資訊候補生成，係成為運動補償預測的演算量增加的主因。因此，通常係比較L0預測之運動資訊與L1預測之運動資訊是否相同，只有在不同的時候，當作是第1追加結合運動資訊候補。可是，在本實施形態中係以後述的運動補償預測部統一進行將雙預測轉換成單預測的處理，因此第1追加結合運動資訊候補清單追加部中的L0預測之運動資訊與L1預測之運動資訊的同一性判斷就可免除而可削減演算量。接續於步驟S2005，將雙結合運動資訊候補追加至結合運動資訊候補清單(S2006)。接續於步驟S2006之後，檢查 已生成之雙結合運動資訊的數目是否為MaxNumGenCand(S2007)。若已被生成之雙結合運動資訊的數目是MaxNumGenCand(S2007的YES)，則結束處理。若已被生成之雙結合運動資訊的數目不是MaxNumGenCand(S2007的NO)，則處理下個組合。
此處，第1追加結合運動資訊候補，係當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有微妙的偏差時，將已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊予以修正而生成有效的結合運動資訊候補，藉此就可提高編碼效率。
接著說明第2結合運動資訊候補清單追加部1004的詳細動作。圖23係第2結合運動資訊候補清單追加部1004之動作的說明用流程圖。首先，根據第1結合運動資訊候補清單追加部1003所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與結合運動資訊候補最大數(MaxNumMergeCand)，將生成第1追加結合運動資訊候補的最大數MaxNumGenCand，由式4予以算出(S2200)。
MaxNumGenCand=MaxNumMergeCand-NumCandList； (式4) 接著，將以下的處理，針對i重複進行 MaxNumGenCand次(S2201至S2205)。此處，i係為0至MaxNumGenCand-1的整數。生成L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的預測種別為雙預測的第2追加結合運動資訊候補(S2202)。將第2追加結合運動資訊候補追加至結合運動資訊候補清單(S2203)。處理下個i(S2204)。
此處，將第2追加結合運動資訊候補設成，L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的預測種別為雙預測的結合運動資訊候補。這是因為，在一般的動態影像中，L0預測之運動向量與L1預測之運動向量為(0,0)的結合運動資訊候補的發生頻率在統計上較高的緣故。不依存於已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊，只要是統計上利用頻率較高的結合運動資訊候補即可，並非限定於此。例如，L0預測或L1預測之運動向量係亦可分別是(0,0)以外的向量值，亦可設定成L0預測與L1預測的參照索引不同。又，亦可將第2追加結合運動資訊候補，當成已編碼之影像或已編碼之影像之一部分的發生頻率較高的運動資訊，編碼在編碼串流中加以傳輸而設定。此外，此處雖然說明B圖像(B切片)，但若為P圖像(P切片)的情況，係以L0預測之運動向量為(0,0)，生成預測種別為L0預測的第2追加結合運動資訊候補。
此處，作為第2追加結合運動資訊候補，若L0預測之參照影像與L1預測之參照影像是相同，則和第1追加結合運動資訊候補清單生成部同樣地，即使以雙預測進行運動補償，仍會獲得和L0預測或是L1預測知單預測相同的結果，因此L0預測之參照影像與L1預測之參照影像是相同的追加結合運動資訊候補生成，係成為運動補償預測的演算量增加的主因。可是，在本實施形態中係以後述的運動補償預測部統一進行將雙預測轉換成單預測的處理，因此第2追加結合運動資訊候補清單追加部中的L0預測之運動資訊與L1預測之運動資訊的同一性判斷就可不必進行而可削減演算量。
此處，藉由設定不依存於被當成第2追加結合運動資訊候補而登錄在結合運動資訊候補清單中之結合運動資訊候補的結合運動資訊候補，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補為0個時，就可利用結合預測模式，可提升編碼效率。又，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有所不同的情況下，藉由生成新的結合運動資訊候補來擴展選項的幅度，就可提升編碼效率。
圖24係圖11的步驟S1101中的結合預測模式評價值生成處理之詳細動作的說明用流程圖。此動作係圖示了，使用圖9的結合運動補償預測生成部907之構成的詳細動作。
首先將預測誤差評價值設定成最大值，將預測誤差為最小的結合運動資訊索引予以初期化(例如-1等之清單外的值)(S2300)。藉由結合運動資訊候補清單生成處理，將已被生成之結合運動資訊候補清單的數目令作num_of_index，則對i=0至num_of_index-1為止的結合運動資訊候補，重複進行以下之處理(S2301至S2313)。
首先，由結合運動資訊候補清單，取得被儲存在索引i的運動資訊(S2302)。接著算出運動資訊編碼量(S2303)。於結合預測模式中，由於只有結合運動資訊索引被編碼，因此只有結合運動資訊索引會成為運動資訊編碼量。
作為結合運動資訊索引的編碼列，在實施形態中係使用Truncated Unary編碼列。圖25係結合運動資訊候補數為5時的Truncated Unary編碼列的圖示。使用Truncated Unary編碼列將結合運動資訊索引之值予以編碼時，係結合運動資訊索引越小，被指派給結合運動資訊索引的編碼位元會越小。例如，當結合運動資訊候補數為5個時，若結合運動資訊索引為1則以‘10’之2位元來表現，但若結合運動資訊索引為3則以‘1110’之4位元來表現。此外，此處如上記，雖然是在結合運動資訊索引的編碼時利用Truncated Unary編碼列，但亦可使用其他編碼列生成手法，並非限定於此。
接著，若運動資訊的預測種別是單預測 (S2304：YES)，則運動補償預測部108，係使用對1個參照影像的參照影像指定資訊與運動向量來生成運動補償單預測區塊(S2307)。
若運動資訊並非單預測，亦即若運動資訊是雙預測時(S2304：NO)，則運動補償預測部108，係判定L0預測之運動資訊與L1預測之運動資訊(參照影像資訊及運動向量)是否相同，若L0預測之運動資訊與L1預測之運動資訊是相同(S2305：YES)，則僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S2308)。但是，雙預測之運動資訊係維持，L1預測之運動資訊係不變更。
若L0預測之運動資訊與L1預測之運動資訊並非相同(S2305：NO)，則判定預測區塊尺寸是否為雙預測限制尺寸以下，若預測區塊尺寸是雙預測限制區塊尺寸以下(S2306：YES)，則與L0預測之運動資訊與L1預測之運動資訊是相同的情形(S2305：YES)同樣地，僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S2308)。但是，雙預測之運動資訊係維持，L1預測之運動資訊係不變更。雙預測限制的目的係為藉由將雙預測限制成單預測以抑制運動補償預測的記憶體頻寬，因此被雙預測限制所限制的預測清單(L0/L1)，係當然亦可設成L1單預測。
此處，雙預測限制區塊尺寸，係設定為未滿8x8的區塊。但是，此閾值並不限於8x8，只要是最大預 測區塊尺寸至最小預測區塊尺寸之間即可，亦可將雙預測限制區塊尺寸設定成其他值，當然亦可設定成包含8x8區塊的8x8以下之區塊。亦可從編碼側往解碼側載位元串流內以語法來明示性地傳輸。又，為了削減關於雙預測限制的語法的編碼量，亦可設計成，以是否在所定之區塊尺寸(例如8x8)進行雙預測限制的旗標的方式，從編碼側傳輸，在解碼側上判斷是否以所定之區塊尺寸進行雙預測限制。
若預測區塊尺寸並非雙預測限制區塊尺寸以下(S2306：NO)，則運動補償預測部108係使用對2個參照影像的參照影像指定資訊與運動向量，來生成運動補償雙預測區塊(S2306)。
接著，根據運動補償預測區塊與預測對象區塊的預測誤差和運動資訊編碼量，算出預測誤差評價值(S2310)，若預測誤差評價值為最小值則將評價值予以更新，並且更新預測誤差最小索引(S2311)。
如此，於結合運動預測候補生成中的各處理中，不會追加是否為所定預測區塊尺寸以下的條件判斷，在運動資訊決定後的運動補償預測時統一地，當所定預測區塊尺寸以下的預測區塊之預測種別是雙預測時則當成L0方向之單預測來進行運動補償預測，藉此，就可以用最小限度的條件分歧之追加，來抑制運動補償預測的記憶體頻寬。又，可使預測訊號是與單預測相同，同時，可維持運動資訊會是雙預測的結合運動資訊候補。藉此，如圖 33所示，即使是所定預測區塊尺寸以下的預測區塊，L0預測、L1預測的運動資訊都會被保存，因此以後就可直接把雙預測之資訊當成是被編碼、解碼的預測區塊的相鄰參照運動資訊而利用，可提升之後被編碼‧解碼之預測區塊的運動預測處理的預測效率。又，在增加圖像之空間解析度的可調式編碼中，作為從基礎圖層來預測增強圖層之際的運動資訊也可利用雙預測之運動資訊。再者，規定了雙預測限制來作為編碼‧解碼之規格時，在規格所決定的解碼中在運動補償預測時係僅使用L0預測資訊，但在解碼規格之外則使用雙預測之運動資訊來進行運動補償預測，藉此可改善畫質。尤其是，在不把已解碼影像當作參照影像的影像之解碼中，係即使在已被雙預測限制之預測區塊中進行了雙預測時也是，不會對之後被解碼之圖像的運動補償預測造成影響而可正常地解碼，因此更為有效。
回到圖24的流程圖，針對所有結合運動資訊候補的預測誤差評價值被比較的結果，將已被選擇之預測誤差最小索引，當作結合預測模式中所使用之結合運動資訊索引，連同預測誤差最小值、運動補償預測區塊一起輸出(S2312)，結束結合預測模式評價值生成處理。
圖26係圖11的步驟S1102的預測模式評價值生成處理之詳細動作的說明用流程圖。
首先，判別預測模式是否為單預測(S2500)。但是，若為雙預測限制區塊尺寸以下時，則暗示性地為L0單預測，因此是否為單預測的判斷 (S2500)係可免除。
圖32中係圖示，預測區塊的運動資訊之相關語法。圖32中的merge_flag係表示是否為結合預測模式，merge_flag=0時係表示運動偵測預測模式。在運動偵測預測模式的情況下可使用雙預測的B切片的時候，將表示預測種別是單預測還是雙預測的旗標inter_pred_flag予以傳輸。此處，即使得預測區塊的尺寸是雙預測限制區塊尺寸以下時，也不禁止雙預測而傳輸inter_pred_flag。亦即，將預測種別設成雙預測而傳輸了運動資訊時，雖然傳輸L0及L1的運動資訊，但運動補償預測係以L0單預測而進行之。這是因為，若隨著預測區塊的尺寸是否為雙預測限制區塊尺寸以下而切換是否傳輸inter_pred_flag，則熵編碼、解碼中會需要條件分歧，所以這是為了要防止處理變複雜。又，如圖33所示，即使是所定預測區塊尺寸以下的預測區塊，L0預測、L1預測的運動資訊都會被保存，因此以後就可直接把雙預測之資訊當成是被編碼、解碼的預測區塊的相鄰參照運動資訊而利用，可提升之後被編碼‧解碼之預測區塊的運動預測處理的預測效率。又，在增加圖像之空間解析度的可調式編碼中，作為從基礎圖層來預測增強圖層之際的運動資訊也可利用雙預測之運動資訊。再者，規定了雙預測限制來作為編碼‧解碼之規格時，在規格所決定的解碼中在運動補償預測時係僅使用L0預測資訊，但在解碼規格之外則使用雙預測之運動資訊來進行運動補償預測，藉此可改善畫質。尤其是，在不 把已解碼影像當作參照影像的影像之解碼中，係即使在已被雙預測限制之預測區塊中進行了雙預測時也是，不會對之後被解碼之圖像的運動補償預測造成影響而可正常地解碼，因此更為有效。
若為單預測，則將處理對象的參照影像清單(LX)，設定至預測時所使用之參照影像清單(S2501)。若非單預測，則由於是雙預測，因此此時係將LX設成L0(S2502)。
回到圖26的流程圖，接著，取得對LX預測的參照影像指定資訊(索引)與運動向量值(S2503)。接著，生成預測向量候補清單(S2504)，從預測向量之中選擇出最佳預測向量，生成差分向量(S2505)。最佳預測向量的選擇手法，係選擇使得預測向量與傳輸之運動向量的差分向量在實際編碼之際的編碼量最少者較為理想，但亦可藉由單純選擇差分向量之水平、垂直成分的絕對值之總和較小者等之手法，而簡易地算出。
接著，再度判別預測模式是否為單預測(S2506)，若預測模式是單預測則前進至步驟S2509。若非單預測、亦即是雙預測，則判定處理對象的參照清單LX是否為L1(S2507)。若參照清單LX是L1，則前進至步驟S2509，若非L1亦即是L0，則將LX設成L1(S2508)，進行與步驟S2503至步驟S2506之處理相同的處理。
接著，算出運動資訊編碼量(S2509)。若為 單預測模式的情況下，作為進行編碼的運動資訊，係為預測種別、針對1個參照影像的參照影像指定資訊、差分向量值、及預測向量索引之4個要素，若為雙預測模式的情況下，則為預測種別、針對L0與L1之2個參照影像的參照影像指定資訊、差分向量值、及預測向量索引之總計7個要素，各個已被編碼之編碼量的總量是被算出來作為運動資訊編碼量。作為本實施形態中的預測向量索引的編碼列生成手法，係假設和結合運動資訊索引之編碼列同樣地是使用Truncated Unary編碼列。
接著，圖1中的運動補償預測部108，係使用對參照影像的參照影像指定資訊與運動向量，來生成運動補償預測區塊(S2510)。此處，於運動偵測預測模式中也是，和對結合預測模式之動作同樣地，針對所定區塊尺寸以下的被雙預測限制的預測區塊，係即使運動資訊之預測種別是雙預測，仍視為L0單預測來進行運動補償預測。
然後，根據運動補償預測區塊與預測對象區塊的預測誤差和運動資訊編碼量，算出預測誤差評價值(S2511)，將預測誤差評價值、和預測種別、對參照影像之運動資訊、亦即參照影像指定資訊與差分向量值與預測向量索引，連同運動補償預測區塊一起輸出(S2512)，結束預測模式評價值生成處理。
以上之處理，係為實施形態中的動態影像編碼裝置中的預測模式判定部109的詳細動作。
〔實施形態中的動態影像解碼裝置中的運動資訊解碼部的詳細動作說明〕
圖27係圖6所示之實施形態的動態影像解碼裝置中的運動資訊解碼部606之詳細構成的圖示。運動資訊解碼部606係含有：運動資訊位元串流解碼部2600、預測向量算出部2601、向量加算部2602、運動補償預測解碼部2603、結合運動資訊算出部2604、及結合運動補償預測解碼部2605。
對圖6中的運動資訊解碼部606，多工分離部601所輸入之運動資訊位元串流，係被供給至運動資訊位元串流解碼部2600，運動資訊記憶體607所輸入之運動資訊，係被供給至預測向量算出部2601、及結合運動資訊算出部2604。
又，對運動補償預測部608，從運動補償預測解碼部2603、及結合運動補償預測解碼部2605，會輸出運動補償預測時所使用的預測種別和參照影像指定資訊和運動向量，已被解碼之運動資訊，係被儲存在運動資訊記憶體607中。
運動資訊位元串流解碼部2600，係將多工分離部601所輸入之運動資訊位元串流，依照編碼語法而逐一進行解碼，生成所被傳輸之預測模式、和相應於預測模式的運動資訊。在已生成之運動資訊之中，結合運動資訊索引係被供給至結合運動補償預測解碼部2605，參照影 像指定資訊係被供給至預測向量算出部2601，預測向量索引係被供給至向量加算部2602，差分向量值係被供給至向量加算部2602。
預測向量算出部2601，係根據運動資訊記憶體607所供給之相鄰區塊之運動資訊、和運動資訊位元串流解碼部2600所供給之參照影像指定資訊，生成針對運動補償預測之對象之參照影像的預測向量候補清單，連同參照影像指定資訊一起供給至向量加算部2602。關於預測向量算出部2601之動作，係進行與動態影像編碼裝置中的圖9之預測向量算出部902相同之動作，生成與編碼時的預測向量候補清單相同的候補清單。
向量加算部2602，係根據預測向量算出部2601所供給之預測向量候補清單及參照影像指定資訊、和從運動資訊位元串流解碼部2600所供給之預測向量索引及差分向量，將預測向量索引所示之位置上所被登錄的預測向量值與差分向量值進行加算，再生出相對於運動補償預測對象之參照影像的運動向量值。已被再生之運動向量值，係連同參照影像指定資訊及預測種別，一起被供給至運動補償預測解碼部2603。
運動補償預測解碼部2603，係被向量加算部2602供給著針對參照影像的已被再生之運動向量值與參照影像指定資訊及預測種別，將運動向量值和參照影像指定資訊和預測種別，設定至運動補償預測部608，藉此以生成運動補償預測訊號。
結合運動資訊算出部2604，係根據從運動資訊記憶體607所供給之相鄰區塊之運動資訊，生成結合運動資訊候補清單，將結合運動資訊候補清單與清單內的構成要素亦即結合運動資訊候補的預測種別和參照影像指定資訊和運動向量值，供給至結合運動補償預測解碼部2605。
關於結合運動資訊算出部2604之動作，係進行與動態影像編碼裝置中的圖9之結合運動資訊算出部906相同之動作，生成與編碼時的結合運動資訊候補清單相同的候補清單。
結合運動補償預測解碼部2605，係根據結合運動資訊算出部2604所供給之結合運動資訊候補清單與清單內的構成要素亦即結合運動資訊候補的參照影像指定資訊與運動向量值，和運動資訊位元串流解碼部2600所供給之結合運動資訊索引，將結合運動資訊索引所示之結合運動資訊候補清單中的預測種別和參照影像指定資訊和運動向量值予以再生，設定至運動補償預測部608，藉此以生成運動補償預測訊號。
圖28係圖7的步驟S701的運動資訊解碼處理之詳細動作的說明用流程圖。藉由運動資訊位元串流解碼部2600與預測向量算出部2601、及結合運動資訊算出部2604，圖7的步驟S701之運動資訊解碼處理就會被進行。
運動資訊解碼處理，係為根據以特定語法結 構而被編碼成的編碼位元串流，來解碼運動資訊的處理。首先以編碼區塊的所定單位來解碼Skip旗標(S2700)。以後係為預測區塊單位之處理。
Skip旗標是表示Skip模式時(S2701：YES)，則進行結合預測運動資訊解碼(S2702)。關於步驟S2702的詳細處理，將於後述。
若非Skip模式(S2701：NO)，則將合併旗標予以解碼(S2703)。若合併旗標是表示1(S2704：YES)，則前進至步驟S2702的結合預測運動資訊解碼。
若合併旗標非1(S2704：NO)，則將運動預測旗標予以解碼(S2705)，進行預測運動資訊解碼(S2706)。關於步驟S2706的詳細動作，將於後述。
圖29係圖28的步驟S2702的結合預測運動資訊解碼處理之詳細動作的說明用流程圖。
首先對預測模式設定結合預測模式(S2800)，生成結合運動資訊候補清單(S2801)。步驟S2801之處理，係和動態影像編碼裝置中的圖11之步驟S1100的結合運動資訊候補清單生成處理相同之處理。
接著，將結合運動資訊索引予以解碼(S2802)，接著，由結合運動資訊候補清單，取得結合運動資訊索引所示之位置上所被儲存的運動資訊(S2803)。作為所取得之運動資訊，係為表示單預測/雙預測的預測種別、參照影像指定資訊、運動向量值。
已被生成之運動資訊，係被當成結合預測模 式的運動資訊而儲存(S2804)，被供給至結合運動補償預測解碼部2606。
圖30係圖28的步驟S2706的預測運動資訊解碼處理之詳細動作的說明用流程圖。
首先，判別預測種別是否為單預測預測(S2900)。若為單預測，則將處理對象的參照影像清單(LX)，設定至預測時所使用之參照影像清單(S2901)。若非單預測，則由於是雙預測，因此此時係將LX設成L0(S2902)。
接著，將參照影像指定資訊予以解碼(S2903)，將差分向量值予以解碼(S2904)。接著，生成預測向量候補清單(S2905)，若預測向量候補清單大於1(S2906：YES)，則將預測向量索引予以解碼(S2907)，若預測向量候補清單為1時(S2906：NO)，則對預測向量索引設定0(S2908)。
此處，在步驟S2905中，是進行與動態影像編碼裝置中的圖26之流程圖之步驟S2504相同的處理。
接著，由預測向量候補清單，取得預測向量索引所示之位置上所被儲存的運動向量值(S2909)。藉由將已解碼之差分向量值與運動向量值進行加算，而再生出運動向量(S2910)。
接著，再度判別預測種別是否為單預測(S2911)，若預測種別是單預測則前進至步驟S2914。若非單預測、亦即是雙預測，則判定處理對象的參照清單 LX是否為L1(S2912)。若參照清單LX是L1，則前進至步驟S2914，若非L1亦即是L0，則將LX設成L1(S2913)，進行與步驟S2903至步驟S2911之處理相同的處理。
接著，作為已被生成之運動資訊，在單預測時，係將預測種別及、對1個參照影像的參照影像指定資訊與運動向量值，在雙預測時，係將對2個參照影像的參照影像指定資訊與運動向量值，當成運動資訊而加以儲存(S2914)，並被供給至運動補償預測解碼部2603。
圖31係圖6所示之實施形態的動態影像解碼裝置中的運動補償預測部608的詳細動作之說明用流程圖。運動補償預測部608係具有和圖1之動態影像編碼裝置中的運動補償預測部108相同之機能，進行以下的動作。
若所被供給之運動資訊的預測種別是單預測(S3101：YES)，則使用對1個參照影像的參照影像指定資訊與運動向量來生成運動補償單預測區塊(S3104)。
若所被供給之運動資訊並非單預測，亦即若運動資訊是雙預測時(S3101：NO)，則判定L0預測之運動資訊與L1預測之運動資訊(參照影像資訊及運動向量)是否相同，若L0預測之運動資訊與L1預測之運動資訊是相同(S3102：YES)，則僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S3105)。但是，雙預測 之運動資訊係維持，L1預測之運動資訊係不變更。
若所被供給之L0預測之運動資訊與L1預測之運動資訊並非相同(S3102：NO)，則判定預測區塊尺寸是否為雙預測限制尺寸以下，若預測區塊尺寸是雙預測限制區塊尺寸以下(S3103：YES)，則與L0預測之運動資訊與L1預測之運動資訊是相同的情形(3102：YES)同樣地，僅使用L0預測之運動資訊來進行L0單預測運動補償預測(S3105)。但是，雙預測之運動資訊係維持，L1預測之運動資訊係不變更。雙預測限制的目的係為藉由將雙預測限制成單預測以抑制運動補償預測的記憶體頻寬，因此被雙預測限制所限制的預測清單(L0/L1)，係當然亦可設成L1單預測。
此處，雙預測限制區塊尺寸，係和編碼側上的雙預測限制同樣地設定為未滿8x8的區塊。但是，此閾值並不限於8x8，只要是最大預測區塊尺寸至最小預測區塊尺寸之間即可，亦可設定成其他值，當然亦可設定成包含8x8區塊的8x8以下之區塊。亦可依照從編碼側所被傳輸之語法來設定雙預測限制區塊尺寸。又，為了削減關於雙預測限制的語法的編碼量，亦可設計成，以是否在所定之區塊尺寸(例如8x8)進行雙預測限制的旗標的方式，從編碼側傳輸，在解碼側上判斷是否以所定之區塊尺寸進行雙預測限制。
若所被供給之預測區塊尺寸並非雙預測限制區塊尺寸以下(S3103：NO)，則使用對2個參照影像的 參照影像指定資訊與運動向量，來生成運動補償雙預測區塊(S3106)。
於實施形態中的動態影像編碼裝置及動態影像解碼裝置中，係為了抑制運動補償預測的記憶體頻寬，而限制所定預測區塊尺寸以下的預測區塊之預測種別。具體而言，對運動偵測預測模式，係即使在所定預測區塊尺寸以下，仍許可預測區塊之預測種別的傳輸，對結合預測模式，係即使所定預測區塊尺寸以下的預測區塊之預測種別是雙預測時，仍當成L0方向之單預測來進行運動補償預測。亦即，在運動資訊決定之處理中，係不進行關於雙預測限制的條件分歧。於運動偵測預測模式及結合運動預測候補生成中的各處理中，不會追加是否為所定預測區塊尺寸以下的條件判斷，在運動資訊決定後的運動補償預測時統一地，當所定預測區塊尺寸以下的預測區塊之預測種別是雙預測時則當成L0方向之單預測來進行運動補償預測，藉此，就可以用最小限度的條件分歧之追加，來抑制運動補償預測的記憶體頻寬。
又，可使預測訊號是與單預測相同，同時，可維持運動資訊會是雙預測的結合運動資訊候補。藉此，如圖33所示，即使是所定預測區塊尺寸以下的預測區塊，L0預測、L1預測的運動資訊都會被保存，因此以後就可直接把雙預測之資訊當成是被編碼、解碼的預測區塊的相鄰參照運動資訊而利用，可提升之後被編碼‧解碼之預測區塊的運動預測處理的預測效率。
又，在本實施形態中雖然說明了，在運動補償預測時，若預測種別是雙預測則藉由變更成單預測來抑制運動補償預測之記憶體頻寬的例子，但進行變更的運動資訊係亦可不只有預測種別，參照影像指定資訊或運動向量資訊之變更亦可適用。
為了抑制運動補償預測之記憶體頻寬而變更參照影像指定資訊的情況下，為了使所定區塊尺寸以下的預測區塊的參照影像變成相同，而即使運動資訊所示之參照影像指定資訊是0以外，仍將參照影像指定資訊變更成0而進行運動補償預測。亦可藉由將所定區塊尺寸以下的預測區塊的參照影像指定資訊全部指定成0，在所定區塊尺寸以下，係隨應於變更過的參照影像間之距離而將運動向量予以比例縮放，來提升運動向量的信賴性。
為了抑制運動補償預測之記憶體頻寬而變更運動向量資訊的情況下，將所定區塊尺寸以下的預測區塊的運動向量值變更成所定範圍內來進行運動補償預測。亦即，進行運動向量值的限幅處理，抑制在所定區塊尺寸以下的預測區塊上運動向量會帶有較大的值而增大記憶體頻寬。例如，運動向量是(345,272)，則限幅成(256,256)。但是，限幅的值係不限於256。
又，相較於只在編碼側在運動資訊選擇時禁止將所定區塊尺寸以下的預測區塊選擇成為雙預測的情形，本實施形態的運動補償預測時進行雙預測限制，可強化位元串流的錯誤忍受性。亦即，在運動補償預測時不具 有所定區塊尺寸以下的預測區塊的雙預測限制機能之構成中，雖然伴隨雙預測限制的位元串流之限制係為必要，但在運動補償預測時限制雙預測的情況下，伴隨雙預測限制的位元串流之限制就可免除，不需要在解碼側上個別進行對應於規格外位元串流的動作之對應。尤其是，於結合預測模式中，係隨應於結合預測模式之候補分別是否為雙預測來適應性地改變所應限制之語法要素，因此僅在編碼側上將預測種別限制成單預測的情況下，在解碼側上位元串流之錯誤判斷會變得複雜。另一方面，於本發明的結合預測模式中，係變成不需要考慮隨應於結合預測模式候補之預測種別是否為雙預測而值是否會被限制地變化的Skip旗標、合併旗標、結合運動資訊索引之各語法要素的錯誤判定。本實施形態係具有，處理量負荷最少而具備錯誤忍受性之雙預測限制機能的構成。
以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。
動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形 式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。
動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。
以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(Read Only Memory)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。
以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。
〔產業上利用之可能性〕
本發明係可利用於，使用了運動補償預測的動態影像編碼及解碼技術。
100‧‧‧輸入端子
101‧‧‧減算部
102‧‧‧正交轉換‧量化部
103‧‧‧預測誤差編碼部
104‧‧‧逆量化‧逆轉換部
105‧‧‧加算部
106‧‧‧解碼影像記憶體
107‧‧‧運動向量偵測部
108‧‧‧運動補償預測部
109‧‧‧預測模式判定部
110‧‧‧運動資訊編碼部
111‧‧‧運動資訊記憶體
112‧‧‧多工化部
113‧‧‧輸出端子

Claims (2)

  1. 一種動態影像編碼裝置，係屬於以動態影像之各圖像分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼裝置，其特徵為，具備：運動資訊導出部，係從與編碼對象區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資訊；和運動資訊生成部，係藉由將前記已被導出之運動資訊加以組合以生成會成為雙預測的新的運動資訊；和運動資訊變更部，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，將前記會成為雙預測的新生成之運動資訊，從雙預測變更成單預測；和預測訊號生成部，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記會成為雙預測的新的運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號；當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更成單預測的新的運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
  2. 一種動態影像編碼方法，係屬於以動態影像之各圖像分割而成之區塊單位而使用運動補償預測來將前記動態影像予以編碼的動態影像編碼方法，其特徵為，具備：運動資訊導出步驟，係從與編碼對象區塊空間性相鄰之區塊及時間性相鄰之區塊的至少任一者，導出運動資 訊；和運動資訊生成步驟，係藉由將前記已被導出之運動資訊加以組合以生成會成為雙預測的新的運動資訊；和運動資訊變更步驟，係當前記編碼對象區塊是所定尺寸以下時，則針對該所定尺寸以下之編碼對象區塊，將前記會成為雙預測的新生成之運動資訊，從雙預測變更成單預測；和預測訊號生成步驟，係當前記編碼對象區塊大於前記所定尺寸時，則使用前記會成為雙預測的新的運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號；當前記編碼對象區塊是前記所定尺寸以下時，則使用前記已被變更成單預測的新的運動資訊，藉由運動補償預測而生成前記編碼對象區塊的預測訊號。
TW105138888A 2012-03-23 2013-03-22 Dynamic video encoding device and dynamic video encoding method TWI601413B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012067664A JP2013201532A (ja) 2012-03-23 2012-03-23 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2012067663A JP2013201531A (ja) 2012-03-23 2012-03-23 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム

Publications (2)

Publication Number Publication Date
TW201717636A TW201717636A (zh) 2017-05-16
TWI601413B true TWI601413B (zh) 2017-10-01

Family

ID=49222281

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102110283A TWI569631B (zh) 2012-03-23 2013-03-22 Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
TW105138888A TWI601413B (zh) 2012-03-23 2013-03-22 Dynamic video encoding device and dynamic video encoding method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102110283A TWI569631B (zh) 2012-03-23 2013-03-22 Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program

Country Status (3)

Country Link
US (2) US10063860B2 (zh)
TW (2) TWI569631B (zh)
WO (1) WO2013140807A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093602A (ja) * 2012-11-01 2014-05-19 Toshiba Corp 画像処理装置、画像処理方法、画像処理プログラム、および立体画像表示装置
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
KR20240007298A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
TWI719526B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 查找表的更新
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040047418A1 (en) * 2002-07-19 2004-03-11 Alexandros Tourapis Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
TW200536400A (en) * 2003-12-22 2005-11-01 Nec Corp Method and device for encoding moving picture
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
US20090168878A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Moving picture coding device, moving picture coding method, and recording medium with moving picture coding program recorded thereon
TWI350699B (en) * 2002-11-25 2011-10-11 Panasonic Corp Moving picture coding method, moving picture coding apparatus and data storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637996B2 (ja) 1997-03-28 2005-04-13 シャープ株式会社 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
US20130195188A1 (en) * 2012-01-26 2013-08-01 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040047418A1 (en) * 2002-07-19 2004-03-11 Alexandros Tourapis Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
TWI350699B (en) * 2002-11-25 2011-10-11 Panasonic Corp Moving picture coding method, moving picture coding apparatus and data storage medium
TW200536400A (en) * 2003-12-22 2005-11-01 Nec Corp Method and device for encoding moving picture
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
US20090168878A1 (en) * 2007-12-26 2009-07-02 Kabushiki Kaisha Toshiba Moving picture coding device, moving picture coding method, and recording medium with moving picture coding program recorded thereon

Also Published As

Publication number Publication date
TWI569631B (zh) 2017-02-01
US20180324442A1 (en) 2018-11-08
US10123023B1 (en) 2018-11-06
TW201717636A (zh) 2017-05-16
WO2013140807A1 (ja) 2013-09-26
US20140376614A1 (en) 2014-12-25
TW201345268A (zh) 2013-11-01
US10063860B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
TWI601413B (zh) Dynamic video encoding device and dynamic video encoding method
TWI607650B (zh) Motion picture decoding apparatus, motion picture decoding method, and motion picture decoding program
TWI720750B (zh) 動態影像編碼裝置及動態影像編碼方法
TW201724861A (zh) 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP6065069B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6414307B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6065070B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6399184B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP6399183B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP6406409B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6406408B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6399182B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP6323543B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6311782B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
TW201320771A (zh) 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP2013141078A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013141077A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013201531A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2013201532A (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム