TW201345270A - 視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法 - Google Patents

視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法 Download PDF

Info

Publication number
TW201345270A
TW201345270A TW102113444A TW102113444A TW201345270A TW 201345270 A TW201345270 A TW 201345270A TW 102113444 A TW102113444 A TW 102113444A TW 102113444 A TW102113444 A TW 102113444A TW 201345270 A TW201345270 A TW 201345270A
Authority
TW
Taiwan
Prior art keywords
decoding
group
time
video image
groups
Prior art date
Application number
TW102113444A
Other languages
English (en)
Other versions
TWI477124B (zh
Inventor
Junpei Koyama
Kimihiko Kazui
Satoshi Shimada
Akira Nakagawa
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of TW201345270A publication Critical patent/TW201345270A/zh
Application granted granted Critical
Publication of TWI477124B publication Critical patent/TWI477124B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種方法包括：判定每一區塊所屬之群組，區塊係藉由分割視訊影像資料中所含的每一圖片而獲得；將包括區塊之群組的資訊添加至輸出串流；計算群組之解碼時間且將解碼時間添加至輸出串流；計算群組之顯示時間且將顯示時間添加至輸出串流；控制編碼量，以使得用來解碼群組中所含的所有區塊之資料在顯示時間以前到達解碼裝置之接收緩衝器；以及當用來解碼群組中所含的所有區塊之資料在顯示時間以前未到達接收緩衝器時，實施控制以使得下一圖片中的第一資料在顯示時間以前不會到達接收緩衝器。

Description

視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法 發明領域
本文中所揭示的實施例係關於視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置以及視訊影像解碼方法，上述各者係用來將視訊影像資料中所含的圖片分割成多個區塊並且編碼每一區塊。
發明背景
通常，視訊影像資料包括大量資料。因此，用以處置視訊影像資料之裝置在將視訊影像資料發送至另一裝置時或在將視訊影像資料儲存於儲存裝置中時藉由編碼視訊影像資料來壓縮視訊影像資料。
作為一種用以編碼視訊影像的代表性標準技術，廣泛使用在ISO/IEC(國際標準化組織/國際電工協會)開發出的MPEG(動畫專家群階段)-2、MPEG-4或MPEG-4 AVC/H.264(H.264 MPEG-4進階視訊編碼)。
作為上述標準編碼技術，有框間編碼(inter encoding)方法及框內編碼(intra encoding)方法，框間編碼方法用來藉由使用作為編碼目標的圖片之資訊及在編碼目標前後的各圖片之資訊來編碼圖片，框內編碼方法用來藉由僅使用作為編碼目標的圖片之資訊來編碼圖片。
通常，藉由框間編碼方法來編碼的圖片或區塊之編碼量小於藉由框內編碼方法來編碼的圖片或區塊之編碼量。因此，根據所選編碼方法，圖片之編碼量在同一序列內變得不相稱。類似地，根據所選編碼模式，區塊之編碼量在同一圖片內變得不相稱。
因此，為了即使在編碼量隨時間變化時仍以恆定的傳輸速率傳輸包括已編碼視訊影像之資料串流，給傳輸來源裝置提供用於資料串流的傳輸緩衝器，並且給傳輸目的地中之提供用於資料串流的接收緩衝器。
由此等緩衝器導致的延遲(下文中為「緩衝器延遲」)係導致如下延遲的主要因素，即，自於編碼裝置中輸入每一圖片時直至於解碼裝置中顯示每一圖片為止的延遲(下文中為「編碼解碼器延遲」)。作為編碼解碼器延遲，有解碼延遲(即，與解碼有關的延遲)及顯示延遲(即，與顯示(輸出)有關的延遲)。
藉由減小緩衝器之大小，減小緩衝器延遲及編碼解碼器延遲。然而，隨著緩衝器之大小減小，為每一圖片分配編碼量的自由度減小。因此，再生的視訊影像之影像品質變差。分配編碼量的自由度意味著編碼量之變化程度。
MPEG-2及MPEG-4 AVC/H.264分別規定 VBV(視訊緩衝驗證器)及CPB(編碼圖片緩衝器)，其係在理想解碼裝置中之接收緩衝器之操作。
視訊影像編碼裝置控制編碼量以使得理想解碼裝置之接收緩衝器不會溢位(overflow)或欠溢(underflow)。規定理想解碼裝置來進行瞬時解碼，其中解碼處理程序所用的時間為零。例如，有一種用以控制與VBV有關的視訊影像編碼裝置之技術(例如參見專利文件1)。
視訊影像編碼裝置控制編碼量，來確保將要解碼之圖片之資料在理想解碼裝置解碼該圖片時係儲存於接收緩衝器中，以使得理想解碼裝置之接收緩衝器不會溢位或欠溢。
當視訊影像編碼裝置以恆定的傳輸速率傳輸串流時，接收緩衝器欠溢，但在視訊影像解碼裝置解碼且顯示圖片以前，用來解碼圖片之資料的傳輸並未完成，因為針對每一圖片有很大編碼量。亦即，接收緩衝器的欠溢意味著用來解碼圖片之資料在解碼裝置之接收緩衝器中並不存在。在此情況下，視訊影像解碼裝置不可能進行解碼處理程序，且因此發生圖框跳過。
為了在不導致接收緩衝器欠溢的情況下進行解碼處理程序，視訊影像解碼裝置在使串流自接收時間延遲預定長度的時間之後顯示圖片。
如上所述，規定理想解碼裝置以使得解碼處理程序瞬時完成，其中處理時間為零。因此，假設在視訊影像編碼裝置中輸入第「i」個圖片(下文中亦表示為「P(i)」) 之時間為t(i)，且在理想解碼裝置中解碼「P(i)」之時間為dt(i)，則有可能在與解碼時間相同的時間(即，在dt(i))顯示此圖片。
對於所有圖片，圖片之顯示時間段{t(i+1)-t(i)}及{dt(i+1)-dt(i)}相等，且因此解碼時間dt(i)變為{dt(i)=t(i)+dly}，其自輸入時間t(i)延遲了固定時間dly。因此，視訊影像編碼裝置在時間dt(i)以前必須完成將用於解碼的資料傳輸至視訊影像解碼裝置之接收緩衝器。
圖1例示出根據習知技術的接收緩衝器之緩衝器佔用量之轉變的實例。在圖1之實例中，水平軸指示時間且垂直軸指示接收緩衝器之緩衝器佔用量。實線所指示的線10指示在某一時間點的緩衝器佔用量。
在接收緩衝器中，以預定傳輸速率復原緩衝器佔用量，且自緩衝器擷取在每一圖片之解碼時間用來解碼圖片之資料。在圖1之實例中，P(i)之資料在時間at(i)開始被輸入至接收緩衝器，且P(i)之最後資料在時間ft(i)被輸入。理想解碼裝置在時間dt(i)完成解碼P(i)，且有可能在時間dt(i)顯示P(i)。
理想解碼裝置進行瞬時解碼，而實際視訊影像解碼裝置用預定長度的時間來進行解碼處理程序。通常，一個圖片之解碼處理程序時間比圖片之顯示時段短，然而，實際視訊影像解碼裝置用接近圖片之顯示時段的時間量來進行解碼處理程序。
P(i)之資料自時間at(i)至時間ft(i)被輸入至接收 緩衝器。無法確保用來解碼每一區塊之資料到達的時間在at(i)與ft(i)之間。因此，實際視訊影像解碼裝置自時間ft(i)開始解碼P(i)之處理程序。因此，假設用來解碼一個圖片之最大處理時間為ct，則僅有可能確保實際視訊影像解碼裝置在時間ft(i)+ct內完成解碼處理程序。
視訊影像編碼裝置確保用來解碼P(i)之資料在時間dt(i)以前到達接收緩衝器，即，確保滿足ft(i)dt(i)。因此，當ft(i)為最遲時間時，ft(i)變為與dt(i)相同。
在此情況下，確保完成整個P(i)之解碼處理程序的時間係dt(i)+ct。為了以相等的間隔顯示所有圖片，視訊影像解碼裝置將使個別圖片之顯示時間相對於理想解碼裝置至少延遲時間ct。
在MPEG-2之VBV及MPEG-4 AVC/H.264之CPB中，將在視訊影像解碼裝置中每一已編碼圖片之到達時間與每一已編碼圖片之顯示時間之間的差值表示為(ft(i)-at(i)+ct)。亦即，難以達成小於時間ct之編碼解碼器延遲，其中編碼解碼器延遲自每一圖片輸入至編碼裝置時延伸至於解碼裝置中輸出該圖片時。亦即，時間ct通常為一個圖片之處理時間，且因此難以達成小於一個圖片之處理時間的編碼解碼器延遲。
專利文件1：日本專利特許公開案第2003-179938號
非專利文件1：JCTVC-H1003，「高效率視訊編碼(HEVC)文字規範第6稿」，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊編碼聯合協作團隊，2012年2月
非專利文件2：MPEG-2測試模型5。1993年4月。ISO-IEC/JTC1/SC29/WG11/N0400(http：//www.mpeg.org/MPEG/MSSG/tm5/)
在習知技術中，難以使編碼解碼器延遲變為一個圖片之處理時間。然而，有以下方法用來使編碼解碼器延遲變得小於一個圖片之處理時間。例如，此方法係用來將圖片中之每一區塊指派給N個群組中之一者，並且將解碼開始時間指派給每一群組。例如，群組係一個區塊列(block line)。區塊列表示在圖片之水平方向上的一列區塊。
若使每一群組中所產生資訊的量一致，則連續群組之解碼開始時間匹配每一群組之處理時間，且時間ct變為每一群組之處理時間ct/N。因此，作為結果，有可能將編碼解碼器延遲減小為每一群組之處理時間。
圖2例示出藉由群組分割使編碼解碼器延遲小於一個圖片時間的實例。圖2中的圖線表示習知方法之緩衝器佔用量之時間轉變。同時，圖2中的圖線15表示根據群組分割之緩衝器佔用量之時間轉變。
根據群組分割方法，定義P(i)之第「n」個群組(下文中亦表示為G(i,n))之解碼開始時間dgt(i,n)，且減小緩衝器佔用量。自對應的解碼開始時間開始，用參考數字16所指示的群組解碼時間ct/N來解碼每一群組。因此，減小每一群組之顯示可能時間(在此時間期間可能進行顯示)的延遲。
在群組分割方法中，每一群組中所產生資訊的量大體上相等，且因此編碼解碼器延遲減小為每個群組之時間。在群組中每一區塊中之資訊產生量很不相稱的情況下，編碼解碼器延遲為最大值。然而，在實際情況下，藉由適當速率控制來減小群組中每一區塊中的所產生資訊量的不相稱。在此情況下，理論上可能進一步減小碼延遲，但藉由區塊分割方法難以達成此減少。參考圖3至圖6來描述其原因。
圖3例示出視訊影像解碼裝置之接收緩衝器的操作。在圖3之實例中，使用到達接收緩衝器之已編碼資料量的累積值以及解碼處理程序所用已編碼資料的累積值來表示接收緩衝器之操作。
圖3中之圖線20表示到達接收緩衝器之已編碼資料量的累積值。已編碼資料係以固定速率R自視訊影像編碼裝置傳輸至視訊影像解碼裝置。在圖3之實例中，第一個位元在時間「at(0)」(即，零)到達視訊影像解碼裝置之接收緩衝器。
圖3中之圖線21表示以圖片為單位之瞬時解碼處理程序所用已編碼資料的累積值。在初始延遲dly之後，第「i」個圖片P(i)(i=0,...)在dt(i)依序受到瞬時解碼。兩個連續圖片之間的瞬時解碼時間的差值dt(i+1)-dt(i)係固定的。P(i)之編碼資訊量由b(i)表示。
at(i)及ft(i)分別表示P(i)之已編碼資料中的第一個位元及P(i)之已編碼資料中的最後一個位元到達視訊影 像解碼裝置的時間。為了防止視訊影像解碼裝置之接收緩衝器發生欠溢，P(i)之所有已編碼資料應在dt(i)到達。亦即，應滿足dt(i)ft(i)及dt(i-1)at(i)。
接收緩衝器在每一時間的容量對應於在每一時間在圖線20與圖線21之間的差值。例如，在時間dt(0)對P(0)的瞬時間解碼之後，接收緩衝器的容量係參考數字25所指示的位元量。
圖4例示出接收緩衝器之操作，其集中在一個P(i)上。藉由放大圖3之部分來說明圖4。特別地，圖4之實例例示出以圖片為單位進行瞬時解碼之情況，視訊影像解碼裝置之接收緩衝器不會欠溢，且at(i)及ft(i)係最遲時間，即，dt(i)=ft(i)且dt(i-1)=at(i)。在圖4之實例中，群組數N為4，且區塊數及每一群組的所產生資訊量dgt(i,n+1)-dgt(i,n)係一致的。
圖4中的圖線30表示到達視訊影像解碼裝置之接收緩衝器之已編碼資料量的累積值。圖4中的圖線31表示以圖片為單位之瞬時解碼所用已編碼資料的累積值。
圖線32表示在dgt(i,n)時P(i)之第「n」個群組G(i,n)中的瞬時解碼所用之已編碼資料的累積值。
在群組分割方法中，假設個別群組中所產生資訊的量在圖片中係平均的。亦即，在P(i)之群組中之區塊中所產生資訊的量為b(i)/N。b(i)係P(i)中所產生資訊的量。
在P(i)之群組中之區塊中所產生資訊的量之最小值為零，且最大值為b(i)/N。在自dt(i-1)至dt(i)以相等間 隔來瞬時解碼P(i)中之區塊的情況下，表示所用已編碼資料的累積值之圖線f(t)存在於參考數字35至38所指示的正方形區域內。
當各區塊中所產生資訊的量相等時，f(t)係將參考數字35至38所指示的正方形區域中之每一者之左下角頂點與右上角頂點相連的直線(匹配圖線30)。當整個群組之位元量係在前導區塊處產生時，f(t)係連接該等正方形區域中之每一者之左邊緣與上邊緣的線。後一種情況對應於最大延遲(就緩衝器延遲而言)。
在圖4之實例中，在dt(i-1)至dt(i)的時間之間，P(i)中之區塊之位元到達接收緩衝器。第「x」個位元(x=[1,b(i)])之到達時間g(x)由以下公式表示。
鑒於實際視訊影像解碼裝置之操作，考量自dt(i-1)至dt(i)以相等間隔來瞬時解碼P(i)中之區塊的情況。假設圖片中區塊之總數為M，P(i)中第「m」個區塊之理想瞬時解碼時間p(i,m)由以下公式表示。
取決於f(t)之形狀，f(t)可能在圖線30以上。亦即，滿足f(p(i,m))<g(f(p(i,m)))，且用來解碼區塊之所有位 元未到達視訊影像解碼裝置之接收緩衝器，且發生欠溢。當區塊具有相等數目個位元時，滿足f(p(i,m))=g(f(p(i,m)))且不會發生欠溢，但此係最壞的情況(就緩衝器延遲而言)。
當整個群組之位元量係在前導區塊處產生時，用來解碼前導區塊之所有位元的到達時間延遲了dgt(i,n+1)-dtg(i,n)。
在群組分割方法中，視訊影像解碼裝置並不知道f(t)之形狀。因此，確保即使在G(i,n)之前導區塊之位元到達延遲係最大值dgt(i,n)-dgt(i,n-1)時仍避免欠溢。因此，G(i,n)中所有區塊之瞬時解碼時間將延遲至dgt(i,n)。亦即，G(i,n)中前導區塊之解碼開始時間為dgt(i,1)。因此，習知技術之第一個問題在於，不可能進一步減小編碼解碼器延遲。
此外，在習知技術中，假設有可能在用解碼時間ct/N來解碼之後瞬時顯示圖片。然而，在非專利文件1中，使用被稱為方塊(tile)之編碼方法，藉由此方法，不僅水平分割圖片，而且亦可垂直分割圖片。因此，即使在用解碼時間ct/N來解碼之後，仍可能存在不可能瞬時顯示圖片的情況。參考圖5描述不可能瞬時顯示圖片的情況之實例。
圖5例示出不可能有影像之瞬時顯示的實例。在非專利文件1中，藉由不僅水平分割而且亦垂直分割圖片而獲得的圖片區域被稱為方塊。在圖5之實例中，圖片被分割成四個方塊。
按左上方、右上方、左下方及右下方的次序，將 該等方塊稱為方塊0(t40)、方塊1(t41)方塊2(t42)及方塊3(t43)，並且按此次序處理該等方塊。
此外，在每一方塊內，有若干群組，其包括多個區塊。在圖5之實例中，群組0至3由s41至s44指示。在此情況下，按群組之次序進行解碼，該次序係掃描次序或解碼次序，如參考數字sc41至sc42所指示。
不同於解碼次序，顯示次序可為光柵掃描，其取決於顯示器。在此情況下，該次序係如參考數字sc43所指示。在此情況下，即使完成了針對各群組之解碼處理程序，仍不可能瞬時顯示圖片。
例如，緊接在解碼群組0(s41)之後，方塊0(t40)中所含圖片之上部級段之左半邊中的CTB(例如，區塊b41及區塊b42)屬於群組0(s41)且因此可顯示。因此，方塊1(t41)中所含圖片之上部級段之右半邊中的CTB(例如，區塊b45及區塊b46)屬於群組2(s43)未解碼且因此不可顯示。
當藉由光柵掃描來進行顯示時，結構經組配來按自螢幕左邊緣至螢幕右邊緣之次序顯示圖片。因此，當將顯示圖片之上部級段時，將顯示屬於群組2(s43)之區塊。因此，將等待群組2(s43)被解碼以使得群組2(s43)變得可顯示。
用來完成群組2(s43)之解碼的時間係用來按掃描次序解碼sc41及sc41所通過的所有區塊之時間。
在群組分割方法中，可快速進行解碼，但未考量 可顯示時間。因此，習知技術之第二個問題在於，為確保顯示圖片，將等待用於一個圖片之時間。
此外，非專利文件1定義了在圖片更複雜的情況下，當將用來解碼圖片之位元量大於可累積在緩衝器中之位元量時的操作。
圖6例示出當將用來解碼圖片之位元量大於可累積在緩衝器中之位元量時的操作。視訊影像編碼裝置調整編碼量，以使得在圖6中之圖表50中由預定速率51指示的速率R之累積不超過圖片之所繪位元量之累積52。
然而，當圖片複雜時，累積在緩衝器中的位元量不足以進行編碼，且存在發生欠溢的情況。實例係圖6中之圖表53之情況。
當發生欠溢時，如圖6中之圖表54所指示，解碼裝置在圖片之原始解碼時間dt(0)不開始解碼，而是在時間dt’(此時在緩衝器處接收到解碼所用的位元)執行解碼。
通常，已解碼圖片之顯示定時係定時dt(1)，此 係本應顯示下一圖片的時間。對於在時間dt(1)本應顯示的圖片，進行解碼但跳過了顯示。
習知技術之第三個問題在於，非專利文件1未清晰定義以群組為單位發生欠溢時的操作。
發明概要
根據實施例之一態樣，一種視訊影像編碼裝置包括：一群組組配判定單元，其經組配來判定多個區塊中之 每一者所屬之群組，該等多個區塊係藉由分割視訊影像資料中所含的每一圖片而獲得；一群組資訊添加單元，其經組配來將群組資訊添加至一輸出串流，該群組資訊表示該等多個區塊中之每一者所屬之群組；一解碼時間判定單元，其經組配來計算該等群組中之每一者之解碼時間且將該解碼時間添加至該輸出串流；一輸出時間判定單元，其經組配來計算該等群組中之每一者之顯示時間且將該顯示時間添加至該輸出串流；一編碼量控制單元，其經組配來當用來解碼該等群組中之一者中所含的所有區塊之資料係以預定傳輸速率傳輸至一解碼裝置時，控制編碼量以使得該資料在由該輸出時間判定單元計算出的顯示時間所表示的時間以前到達該解碼裝置之一接收緩衝器；一編碼處理程序單元，其經組配來基於該編碼量控制單元之控制資訊進行編碼；以及一資訊量控制單元，其經組配來當用來解碼該等群組中之一者中所含的所有區塊之資料在該顯示時間以前未到達該解碼裝置之該接收緩衝器時，實施控制以使得下一圖片中之第一資料在該顯示時間以前不會到達該解碼裝置之該接收緩衝器。
10‧‧‧線
15、20、21、30、31、32、60、61‧‧‧圖線
16、25、35、36、37、38、sc41、sc42、sc43、62~66、67~71、95‧‧‧參考數字
t40~t43、t80~t83‧‧‧方塊
b41、b42、b45、b46‧‧‧區塊
s41~s44、s81~s83‧‧‧群組
50、53、54、90、91‧‧‧圖表
51‧‧‧預定速率
52‧‧‧位元量之累積
sc83‧‧‧光柵掃描次序
96‧‧‧編碼串流到達速率
100‧‧‧視訊影像編碼裝置
110、310‧‧‧編碼處理程序單元
111、311‧‧‧正交變換單元
112、312‧‧‧量化單元
113、313‧‧‧熵編碼單元
120、320‧‧‧編碼量控制單元
121、321‧‧‧量化值計算單元
122、322‧‧‧緩衝器佔用量計算單元
123、323‧‧‧位元計數器
130、330‧‧‧群組判定單元
131、331‧‧‧群組組配判定單元
132、332‧‧‧群組資訊添加單元
140‧‧‧解碼時間判定單元
141、222、341、422‧‧‧群組解碼時間計算單元
142、342‧‧‧群組解碼延遲判定單元
143、343‧‧‧群組解碼延遲資訊添加單元
150、350‧‧‧輸出時間判定單元
151、232、351、432‧‧‧群組輸出時間計算單元
152、352‧‧‧群組輸出延遲判定單元
153、353‧‧‧群組輸出延遲資訊添加單元
200、400‧‧‧視訊影像解碼裝置
205、405‧‧‧接收緩衝器
210、410‧‧‧區塊解碼單元
211、411‧‧‧圖框記憶體
212、412‧‧‧群組輸出單元
220、420‧‧‧解碼時間計算單元
221、421‧‧‧群組解碼延遲資訊擷取單元
230、430‧‧‧輸出時間計算單元
231、431‧‧‧群組輸出延遲資訊擷取單元
240、440‧‧‧群組資訊擷取單元
300‧‧‧視訊影像編碼裝置
324‧‧‧填充符添加單元
340‧‧‧編碼時間判定單元
413‧‧‧顯示控制單元
500‧‧‧視訊影像處理裝置
501‧‧‧控制單元
502‧‧‧主記憶體單元
503‧‧‧次記憶體單元
504‧‧‧驅動裝置
505‧‧‧記錄媒體
506‧‧‧網路I/F單元
507‧‧‧輸入單元
508‧‧‧顯示單元
S100~S106、S200~S202、S300~S306、S400~S403、S500~S501、S600~S601‧‧‧步驟
圖1例示出根據習知技術之接收緩衝器之緩衝器佔用量的轉變之實例；圖2例示出藉由群組分割使編碼解碼器延遲小於一個圖片時間的實例； 圖3例示出視訊影像解碼裝置之接收緩衝器之操作；圖4例示出接收緩衝器之操作，其集中在一個P(i)上；圖5例示出不可能有影像之瞬時顯示的實例；圖6例示出當將原來解碼圖片之位元量大於可累積在緩衝器中之位元量時的操作；圖7係例示出根據第一實施例之視訊影像編碼裝置之示意性組配的方塊圖；圖8例示出在集中在P(i)上的情況下，已編碼資料之累積值；圖9例示出顯示延遲；圖10例示出在到達接收緩衝器之已編碼資料之位元量的累積值與P(i)中每一區塊中所產生資訊量的累積值之間的關係；圖11係用以描述群組輸出時間資訊之計算；圖12係例示出根據第一實施例之視訊影像編碼處理程序之實例的流程圖；圖13係例示出根據第一實施例之輸出處理程序之實例的流程圖；圖14係例示出根據第二實施例之視訊影像解碼裝置之示意性組配的方塊圖；圖15係例示出根據第二實施例之視訊影像解碼處理程序之實例的流程圖；圖16係例示出根據第二實施例之輸出處理程序之實例的流程圖； 圖17係例示出根據第三實施例之視訊影像編碼裝置之示意性組配的方塊圖；圖18係用以描述欠溢之發生；圖19係用以描述當發生欠溢時進行的處理程序；圖20係例示出根據第三實施例之視訊影像編碼裝置之處理程序的實例之流程圖；圖21係例示出根據第四實施例之視訊影像解碼裝置之示意性組配的流程圖；圖22係例示出根據第四實施例之視訊影像解碼裝置之處理程序的實例之流程圖；圖23係根據第五實施例之視訊影像處理裝置之實例的方塊圖。
較佳實施例之詳細說明
將參考隨附圖式來闡釋本發明之較佳實施例。實施例中所描述之視訊影像編碼裝置以群組為單位來編碼視訊影像資料中所含的圖片，並且輸出位元串流作為已編碼資料。
圖片可為圖框或場。圖框係視訊影像資料中之一個靜態影像，而場係藉由自圖框擷取奇數列資料或偶數列資料而獲得的靜態影像。
此外，作為編碼目標之視訊影像可為彩色視訊影像或單色視訊影像。
第一實施例 組配
圖7係例示出根據第一實施例之視訊影像編碼裝置100之示意性組配的方塊圖。視訊影像編碼裝置100包括編碼處理程序單元110、編碼量控制單元120、群組判定單元130、解碼時間判定單元140以及輸出時間判定單元150。
編碼處理程序單元110包括正交變換單元111、量化單元112以及熵編碼單元113。
編碼量控制單元120包括量化值計算單元121、緩衝器佔用量計算單元122以及位元計數器123。
在用來輸出群組中所含的所有區塊之資料係以預定傳輸速率傳輸至解碼裝置時的情況下，編碼量控制單元120控制編碼量，以使得該資料在由計算出的輸出時間及所判定輸出延遲表示的時間以前到達輸出裝置之解碼緩衝器。
群組判定單元130包括群組組配判定單元131以及群組資訊添加單元132。
解碼時間判定單元140包括群組解碼時間計算單元141、群組解碼延遲判定單元142以及群組解碼延遲資訊添加單元143。
輸出時間判定單元150包括群組輸出時間計算單元151、群組輸出延遲判定單元152以及群組輸出延遲資訊添加單元153。
視訊影像編碼裝置100中所含的單元係作為分 開的電路安裝在視訊影像編碼裝置100中。或者，視訊影像編碼裝置100中所含的單元可作為單個積體電路安裝在視訊影像編碼裝置100中，實施該等單元之功能的各電路係整合於該積體電路中。或者，視訊影像編碼裝置100中所含的單元可為由視訊影像編碼裝置100中所含的處理器中所執行之電腦程式實現的功能模組。
視訊中所含的編碼目標圖片係由控制單元(未例示出)分割成區塊單位，並且個別區塊被輸入至正交變換單元111中。區塊包括例如16×16個像素。
正交變換單元111根據已局部解碼且儲存於圖框記憶體(未例示出)中的圖片來計算框內預測值或框間預測值。然後，正交變換單元111對輸入區塊與計算出的值進行差集運算，並且計算預測區塊誤差。此外，正交變換單元111對預測區塊誤差進行正交變換。
量化單元112對已經歷正交變換之預測區塊誤差進行量化。量化操作中的量化參數(控制資訊)係由量化值計算單元121給出。由於量化而獲得的已量化正交變換係數以及框內預測或框間預測之參數(框內預測方向、運動向量資訊)係作為區塊之壓縮資料被輸出至熵編碼單元113。局部解碼單元(未例示出)對已量化正交變換係數進行反量化及反正交變換，且然後添加框內預測值或框間預測值來產生已局部解碼的區塊，且將該區塊儲存於圖框記憶體中。
熵編碼單元113對自量化單元112輸出之區塊壓 縮資料進行熵編碼。
量化值計算單元121根據理想解碼裝置中之接收緩衝器之狀態及接下來將要編碼的區塊之所產生資訊量的上限(上述兩者係自緩衝器佔用量計算單元122輸出)來計算每一區塊之量化值。
緩衝器佔用量計算單元122基於以下各者來計算理想解碼裝置中之接收緩衝器之狀態及接下來將要編碼的區塊之所產生資訊量的上限：自位元計數器123輸出的已編碼資料之位元量累積值、自群組組配判定單元131輸出的群組資訊，以及自群組解碼延遲判定單元142輸出的群組解碼時間及群組解碼延遲。
位元計數器123對熵編碼單元113之輸出位元數計數，並且輸出已編碼資料之累積值
群組組配判定單元131針對多個區塊判定每一區塊所屬之群組。群組組配判定單元131使用以下各者藉由預定方法判定正在經歷編碼處理程序的區塊所屬之群組：自控制單元(未例示出)接收到之區塊計數資訊，以及自控制單元(未例示出)接收到之編碼方法規定資訊。
區塊計數資訊表示圖片中所含每一區塊的數目。例如，將圖片之左上方邊緣處的區塊之數目設定為一，且按光柵掃描次序將數目依序指派給區塊。然後，將最高數目指派給圖片之右下方邊緣處的區塊。區塊計數資訊可包括根據另一次序指派給各區塊的數目。
例如，若群組組配判定單元131將該等區塊以區 塊列為單位分割成群組，則有可能在任意圖片大小下使每一群組中所含的區塊數相等。
例如，當圖片大小為對應於高清晰度電視(HDTV)的1920個像素×1088個像素時，區塊大小為16個像素×16個像素且區塊列之數目為68。
每一群組中所含的區塊數可為自一至整個螢幕中區塊之總數的值。
群組組配判定單元131向緩衝器佔用量計算單元122報告編碼目標區塊所屬之群組的識別資訊。群組組配判定單元131向群組解碼時間計算單元141及群組輸出時間計算單元151報告每一群組中所含區塊的資訊。群組組配判定單元131可向群組解碼時間計算單元141及群組輸出時間計算單元151報告位於每一群組的開頭的區塊之索引。
群組資訊添加單元132將指示圖片中之群組數及每一群組中之區塊資訊的群組資訊添加至已編碼資料。
群組解碼時間計算單元141根據自群組組配判定單元131輸出的群組資訊來計算每一群組之解碼時間，並且向群組解碼延遲判定單元142報告該解碼時間。
群組解碼延遲判定單元142判定每一群組之解碼延遲，並且向緩衝器佔用量計算單元122及群組解碼延遲資訊添加單元143報告該解碼延遲以及每一群組之解碼時間。作為延遲資訊報告所判定解碼延遲。
群組解碼延遲資訊添加單元143接收群組之解 碼延遲及解碼時間，並且將此資訊作為群組解碼延遲資訊添加至已編碼資料。
群組輸出時間計算單元151基於以下各者來計算每一群組之輸出時間(亦稱為「顯示時間」)：自控制單元(未例示出)接收到之編碼方法規定資訊，以及自群組組配判定單元131輸出的群組資訊，並且向群組輸出延遲判定單元152報告輸出時間資訊。
群組輸出延遲判定單元152根據每一群組之輸出時間來判定每一群組之輸出延遲，並且向輸出延遲資訊添加單元153報告輸出延遲資訊。
輸出延遲資訊添加單元153接收每一群組之輸出時間及輸出延遲，並且將此資訊作為群組輸出延遲資訊添加至已編碼資料。
解碼延遲
考量在dt(i-1)與dt(i)之間以相等間隔瞬時解碼第「i」個圖片P(i)中之區塊的情況。在此情況下，在所用已編碼資料之累積圖線f(t)中，有可能藉由適當速率控制(諸如設定每一區塊中資訊量的下限與上限)減小區塊傳輸延遲。此外，藉由向視訊影像解碼裝置報告此資訊，可進一步加速區塊之最早解碼開始時間。參考圖8來給出描述。
圖8例示出在集中在P(i)上的情況下，已編碼資料之累積值。圖線60表示在速率為R的情況下，已編碼資料之到達量的累積值。圖線61係在以圖片為單位進行瞬時解碼的情況下，所用已編碼資料之累積值。
參考數字62至66係在由參考數字67至71表示的個別群組(G0至G4)處用來解碼之已編碼資料之累積值。
考慮群組所在的範圍與圖線60之間的關係，在G(1)至G(4)中，速率總是大於已編碼資料之累積值。因此，即使在dt(i-1)與dgt(i,1)之間以相等間隔進行對G(1)至G(4)中之區塊的瞬時解碼時，仍不會發生欠溢。
在G(0)中，已編碼資料之累積值超過速率，且因此發生欠溢。為避免欠溢，已編碼資料之累積值不應超過速率，且最小值為間隔△t。
△t在該等群組中之任一者中小於dgt(i,n)-dgt(i,n-1)。視訊影像解碼裝置在P(i)中之每一群組中使用△t之最大值，來將P(i)中之前導區塊中的解碼開始時間設定為dt(i-1)+△t(i)，以使得在不導致欠溢的情況下以相等間隔對所有區塊進行瞬時解碼。
在整個序列中，自所有圖片之△t(i)之最大值△t，由以下公式來表示第一個圖片中之前導區塊的解碼開始時間dinit。因此，在不導致欠溢的情況下以相等間隔瞬時解碼所有圖片中的所有區塊。
公式3 dinit=dly-(dt(1)-dt(0))+△t
在P(i)中的第「n」個群組中，解碼開始成為可能的最早時間r(i,n)係由以下公式表示。
公式4 r(i,n)=△t+n/N(dt(i)-(dt(i-1)+△t))
在視訊影像編碼裝置中，控制在每一圖片及每一群組中的所產生資訊量，以使得△t小於dgt(i,n)-dgt(i,n-1)，並且將△t的值明確傳輸至視訊影像解碼裝置。在視訊影像解碼裝置中，群組G(i,n)之瞬時解碼時間為r(i,n)，且因此妥善地確保每一區塊之解碼開始時間。
視訊影像解碼裝置中之群組無須匹配自視訊影像編碼裝置報告之群組。在視訊影像解碼裝置中之群組匹配自視訊影像編碼裝置報告之群組的情況下，滿足r(i,n)=dgt(i,n)。
顯示延遲
藉由作為額外擴展資訊來明確報告目標群組之顯示延遲，向解碼裝置報告最早顯示定時，並且是顯示延遲減至最小。例如，參考圖5及圖9描述一種在如圖5中所說明之方塊分割及群組分割的情況下規定顯示延遲的方法。
在圖5中，當顯示群組0(s41)中之最上部級段時，顯示延遲為最大值。為了開始顯示群組0(s41)中之最上部級段，至少應完成群組2(s43)中之圖片之最上部級段中的像素值之解碼。因此，作為額外擴展資訊來明確報告該顯示延遲。
圖9例示出顯示延遲。0(s41)之最上部級段之顯示成為可能的時間係圖9中所指示之ogt(0)。在ogt(0)，解碼所用的時間被設定為比群組2之繪製時間dgt(2)慢。在 此情況下由以下公式表示顯示時間，其中假設以固定速度進行圖片之解碼。
公式5 ogt(0)=dgt(0)+(dgt(2)-dgt(1))+l/L(dgt(3)-dgt(2))
L係由s43表示之群組2中在垂直方向上的總列數，且1表示由s43表示之群組2中的第「1」列，其對應於圖片之右上方邊緣。l/L(dgt(3)-dgt(2))表示由s43表示之群組2中圖片之右上方邊緣的解碼完成的時間，其中假設解碼一群組要用一個群組時間。
亦即，藉由將由s41表示之群組0之瞬時解碼時間至由s43表示之群組2之瞬時解碼時間所用的時間添加至由s41表示之群組0之解碼時間dgt(0)，獲得顯示可能時間。此外，藉由添加完成對群組2中圖片之右上方邊緣之解碼實際所用的時間，獲得顯示可能時間。
在視訊影像編碼裝置中，藉由作為額外擴展資訊來明確發送由以上公式5表示的時間，有可能向解碼裝置報告考量了實際解碼時間的適當時間，且因此確保有少量延遲的顯示。
在以上實例中，當顯示時間之部分(其對應於對群組2中圖片之右上方邊緣完成了解碼時)係由實際完成對由s43表示之整個群組2之解碼所用的時間dgt(3)-dgt(2)來表示時，所報告時間與顯示可能時間為完成了對一個圖片之解碼的時間的情況相比而言較早。因此，確保有少量延遲的顯示。
解碼時間的計算
接下來，對根據第一實施例之計算群組解碼時間資訊的方法給出描述。在以下描述中，編碼目標圖片中所含區塊的總數為M。
群組解碼時間計算單元141首先基於第「i」個圖片P(i)之解碼時間(其按編碼次序自第「i」個圖片P(i)之輸入時間延遲了預定延遲時間dly)計算解碼時間dgt(i,n)，其表示圖片P(i)中第「n」個群組G(i,n)被解碼的時間。或者，代替dgt(i,n)，群組解碼時間計算單元141可計算{dgt(i,n)-dgt(i,n-1)}作為解碼時間，其等於dgt(i,n)。此外，群組解碼時間計算單元141可將解碼時間轉換成適當單位，諸如1/90000秒的倍數。
為了使對每一群組中所含的每一區塊進行解碼處理程序所用的時間相等，群組解碼時間計算單元141藉由用群組數N來等分進行每個圖片之解碼處理程序所用的時間而判定每一群組之解碼時間。在此情況下，藉由以下公式6來計算G(i,n)(n=1,2,...,N)之解碼時間dgt(i,n)。
公式6 dgt(i,n)=dt(i-1)+{dt(i)-dt(i-1)}．n/N
dgt(i)係P(i)之解碼時間。d(i+1)-d(i)係固定的(與i無關)，且在下文中表示為「s」。
此外，群組解碼時間計算單元141可計算藉由以下公式判定被編碼/解碼之第二群組之解碼時間dgt(i,n)(n2)。
公式7 dgt(i,n)=dgt(i,1)+{dt(i)-dgt(i,1)}．(n-1)/(N-1)
此外，群組解碼時間計算單元141可計算藉由以下公式判定被編碼/解碼之第二群組之解碼時間dgt(i,n)(n2)。
公式8 dgt(i,n)=dt(i-1)+△t+{dt(i)-(dt(i-1)+△t)}．(n-1)/(N-1)
群組解碼延遲判定單元142在開始編碼之前判定整個圖片中區塊延遲的最大值△t。△t經判定為在由以下公式表示的範圍內的值。
條件1 0 △t (dgt(i,n+1)-dgt(i,n))
緩衝器佔用量計算單元122將理想解碼裝置之接收緩衝器之緩衝器佔用量以及接下來要編碼的區塊中所產生資訊量之上限計算如下。
圖10例示出在到達理想解碼裝置之接收緩衝器的已編碼資料之位元量之累積值與在P(i)的編碼處理程序中在P(i)中每一區塊中所產生資訊量的累積值之間的關係。
圖線72表示已到達理想解碼裝置之接收緩衝器的已編碼資料之位元量之累積值R(t)。圖線75係藉由使圖線72向左偏移△t而獲得，且表示R'(t)。滿足關係R'(t)=R(t+△t)。
圖10中所指示的B(i)表示自P(0)至P(i)所產生的已編碼資料之累積值。b(i)表示在整個P(i)中所產生的資 訊量，且與B(i)-B(i-1)相同。
在圖線73中，在時間dt(i-1)的值為B(i-1)，且圖線73係斜率為b(i)/s的直線V(t)。s表示一個圖片時間，其與dt(i)-dt(i-1)相同。
當自時間dt(i-1)至時間dt(i)以相等間隔解碼區塊時，且當所產生資訊量等於b(i)/M時，圖線73對應於曲線f(t)，其以表示已編碼資料的用量(區塊為單位)。
圖線74為曲線f(t)，其表示已編碼資料的用量(以實際區塊為單位)，且點77表示當解碼已進行到第「m」個區塊時已編碼資料的用量(以區塊為單位)。
當在根據群組解碼時間資訊計算出的群組解碼早開始時間r(i,n)解碼群組n時，為了防止理想解碼裝置中接收緩衝器之欠溢，應滿足以下條件。量化值計算單元121計算量化值以使得總是滿足以下條件。
條件2 f(r(i,n)) R'(r(i,n)) f(dgt(i,n-1)) V(dgt(i,n-1)) f(dgt(i,n)) V(dgt(i,n))
區域76指示在時間dtg(i,u-1)與時間dtg(i,u)之間可獲得f(t)的範圍。
量化值的計算
對量化值計算單元121進行的計算區塊m之量化值的方法給出描述。在第一實施例中，每一群組中包括相等數目個區塊，即M/N。
為了開始對區塊m所屬之第「n」個群組G(i,n)中的前導區塊之處理程序，藉由以下公式計算G(i,n)之目標資訊量。此處，滿足n=Ceil(m*N/M)。
T(i)係整個P(i)之目標資訊量，且T’(i,n)係在G(i,n)處所產生的實際資訊量。T(i)係使用已知方法自P(0)至P(i-1)所產生的實際資訊量的總和。
例如，量化值計算單元121根據MPEG-2中在標準組織參考軟體測試模型5(參見非專利文件2)中描述的量化值計算方法來計算量化值，以使得在G(i,n)處所產生的實際資訊量接近T(i,n)。
接下來，量化值計算單元121比較預定臨限DTH與差值d1，d1係在對整個G(i,n)完成編碼處理程序時在P(i)中所產生資訊量的累積值之預期值b’(i,n)與在對第「n」個群組進行熵編碼之前在P(i)中所產生資訊量的累積值B(i,n-1)之間的差值。
藉由以下公式來計算b’(i,n)。
由以下公式表示臨限DTH1。
公式11 DTH1=b0*((M/N)-m)+offset Offset：偏移
b0係當量化值在可能範圍內為最大值時在每一區塊中所產生的最大編碼量。((M/N)-m)對應於G(i,m)中還未完成編碼處理程序的區塊之數目。偏移係邊限用詞。
當滿足d1<DTH1時，量化值計算單元121將量化值設定為最大值。
b0可為所有頻率係數為零時區塊之編碼量。當滿足d1<DTH1時，量化值計算單元121判定量化值，以使得編碼目標區塊之所有頻率係數被量化成零。藉由此控制操作，當群組中還未完成編碼處理程序的剩餘區塊之編碼量之平均值不超過b0時，確保T(i,n)T’(i,n)，即f(dtg(i,n))V(dtg(i,n))。因此，確保理想解碼裝置之接收緩衝器不會欠溢。
如上所述，量化值計算單元121實際上根據預定速率R將輸出串流自視訊影像編碼裝置100傳輸至視訊影像解碼裝置，且因此視訊影像之編碼量受到控制以使得視訊影像解碼裝置之接收緩衝器不會欠溢。
量化值計算單元121向量化單元112報告所獲得的量化值。
輸出時間的計算
接下來，對根據第一實施例之計算群組輸出時間的方法給出描述。圖11係用以描述群組輸出時間資訊之計算。
在以下描述中，編碼目標圖片中所含區塊的總數為M。此外，圖片之寬度及高度、方塊之寬度及高度，以及CTB之寬度及高度分別為(widthp,heightp)、(widtht,heightt)，以及(widthc,heightc)。所有方塊(t80至t83)的大小相同，且按光柵掃描次序sc83來處理該等方塊。亦即，在圖11之實例中，按方塊0(t80)、方塊1(t81)、方塊2(t82)及方塊3(t83)的次序來處理該等方塊。
此外，在圖11之實例中，群組包括17個CTB，且所有群組具有相同數目個CTB。在此情況下，群組0(s81)根據索引0定位於圖片中的CTB中的第三行、第四列。
根據此思考方式，在右上方的方塊1(t81)之最上部級段中的CTB行係包括於群組2(s83)中。因此，當按光柵掃描次序來顯示顯示螢幕時，至少群組0(s81)可能僅在群組2(s83)已解碼之後才能顯示。
當在群組2(s83)已解碼之後顯示群組0(s81)時，假設進行瞬時解碼並且繪製群組k之定時為d(k)，則群組0(s81)之輸出時間ogt(0)由以下公式表示。
公式12 ogt(0)=d(k)
此外，假設解碼所用的時間為一個圖片時間並且圖片中的群組數為N，則解碼一群組所用的時間表示為s/N。亦即，藉由使用瞬時解碼之解碼時間dgt，由以下公式來表示群組2之解碼完成的時間dgt’(2)以及顯示群組0(s81)的時間ogt(0)。
公式13 ogt(0)=dgt'(2)=dgt(2)+s/N
此處，視訊影像編碼裝置100向解碼裝置報告輸出延遲時間，該時間係藉由自先前解碼圖片之解碼時間減去群組之輸出時間而獲得。因此，在解碼裝置處確保顯示時間。
因此，在後置濾波器(例如非專利文件1中所揭示之HEVC中的解區塊濾波器)中，為了顯示群組，存在如下情況：其中為了顯示群組，應等待後續群組被解碼。在此情況下，藉由在考量隨後被解碼之群組之解碼時間的情況下適當設定顯示延遲，有可能達成小於一個圖片時間的顯示延遲。
輸出串流
為了使視訊影像編碼裝置100與視訊影像解碼裝置共享區塊所屬之群組、群組解碼延遲及群組輸出延遲，至少將表示屬於每一群組之區塊的群組資訊、群組解碼延遲資訊及群組輸出延遲資訊添加至輸出資料串流並且報告給視訊影像解碼裝置。輸出資料串流亦被直接稱為「輸出串流」。
因此，例如，群組解碼延遲資訊添加單元143在每一預定間隔針對每一圖片或針對多個圖片將群組解碼延遲添加至輸出資料串流之標頭資訊。
此外，群組輸出延遲資訊添加單元153在每一預定間隔針對每一圖片或針對多個圖片將群組輸出延遲添加 至輸出資料串流之標頭資訊。
此外，群組資訊添加單元132在每一預定間隔針對每一圖片或針對多個圖片將群組資訊添加至輸出資料串流之標頭資訊。
標頭資訊可為例如MPEG-2中規定的序列標頭，或H.264中規定的序列參數集或補充增強資訊。可將每一群組之解碼時間添加至總是附接至每一圖片之標頭資訊，諸如MPEG-2中定義的圖片標頭或H.264中定義的片段標頭。
若以每一群組包括相同數目個區塊的方式判定了該等群組，則視訊影像編碼裝置100向視訊影像解碼裝置報告所有區塊已等分成N個群組。因此，群組組配判定單元131向群組資訊添加單元132報告群組數N作為群組資訊。
群組資訊添加單元132編碼該群組資訊。在MPEG-2及H.264中，以16個像素×16個像素之區塊(稱為巨集區塊)為單位進行編碼，且此區塊數通常不超過可由20個位元來表示的範圍。群組數N之最大值等於區塊數之最大值，且因此可用固定的位元長度完成N之編碼。
此外，每一群組並非總是包括相同數目個區塊。在此情況下，群組組配判定單元131向群組資訊添加單元132報告前導區塊之索引資訊(作為群組資訊)以及群組數N。
群組資訊添加單元132首先編碼群組數N，然後 依序編碼每一群組中之前導區塊之索引資訊。例如，藉由具有固定的位元長度之編碼方法進行第一區塊中之索引資訊的編碼。此外，群組資訊添加單元132可使用另一種編碼方法(包括可變長度編碼方法，諸如霍夫曼(Huffman)編碼)來編碼群組數N以及每一群組中之第一區塊中之索引資訊。
操作
接下來，對根據第一實施例之視訊影像編碼裝置100之操作給出描述。圖12係例示出根據第一實施例之視訊影像編碼處理程序的實例之流程圖。
在步驟S100，為了開始序列之編碼操作，首先判定群組解碼延遲△t。將△t判定為小於序列中所含區塊之數目最小時的群組之時間。
在步驟S101，群組解碼延遲資訊添加單元143將群組資訊及群組解碼時間延遲資訊添加至資料串流。
在步驟S102，為了開始編碼每一圖片，群組組配判定單元131首先判定該圖片中的群組。可針對每一圖片判定群組數以及序列中每一圖片中之每一群組中所含區塊之數目。或者，序列中所有圖片可具有相同數目個群組，且該等群組可包括相同數目個區塊。
在步驟S103，群組解碼延遲判定單元142計算每一群組的群組解碼延遲(步驟S103)。
在步驟S104，為了開始解碼該等群組，緩衝器佔用量計算單元122估計理想解碼裝置中之接收緩衝器之 緩衝器狀態以及接下來要編碼的群組之所產生資訊量的上限。
在步驟S105，量化值計算單元121基於接收緩衝器之緩衝器狀態以及接下來要編碼的群組之所產生資訊量的上限來計算區塊之量化值，以使得群組中的所有資料在該群組之最早解碼開始時間以前到達接收緩衝器。
在步驟S106，編碼處理程序單元110使用計算出的量化值來編碼該區塊。
接下來，對根據第一實施例之視訊影像編碼裝置100之輸出處理程序給出描述。圖13係例示出根據第一實施例之輸出處理程序的實例之流程圖。
在步驟200，輸出時間判定單元150自資料串流擷取群組資訊。
在步驟201，群組輸出延遲判定單元152判定群組輸出延遲資訊。可如上所述來判定群組輸出延遲資訊。
在步驟202，群組輸出延遲添加單元153將群組輸出延遲資訊添加至資料串流。
根據第一實施例，在實現小於一個圖片時間的編碼解碼器延遲時，加速群組之解碼或輸出，因此實現較低的延遲。
第二實施例
接下來，對根據第二實施例之視訊影像解碼裝置給出描述。在第二實施例中，適當地解碼在根據第一實施例之視訊影像編碼裝置100中已編碼的串流。
組配
圖14係例示出根據第二實施例之視訊影像解碼裝置200之示意性組配的方塊圖。視訊影像解碼裝置200包括接收緩衝器205、區塊解碼單元210、圖框記憶體211、群組輸出單元212、解碼時間計算單元220、輸出時間計算單元230以及群組資訊擷取單元240。
群組資訊擷取單元240自輸入串流擷取群組資訊，其指示以預定間隔分割區塊而獲得的群組。
解碼時間計算單元220包括群組解碼延遲資訊擷取單元221及群組解碼時間計算單元222。
輸出時間計算單元230包括群組輸出延遲資訊擷取單元231及群組輸出時間計算單元232。
視訊影像解碼裝置200中所含的單元係作為分開的電路安裝在視訊影像解碼裝置200中。或者，視訊影像解碼裝置200中所含的單元可作為單個積體電路安裝在視訊影像解碼裝置200中，實施該等單元之功能的各電路係整合於該積體電路中。或者，視訊影像解碼裝置200中所含的單元可為由視訊影像解碼裝置200中所含的處理器中所執行之電腦程式實現的功能模組。
接收緩衝器205接收由視訊影像編碼裝置100發送的串流，並且進行緩衝。
區塊解碼單元210在自群組解碼時間計算單元222輸出的群組解碼開始時間自接收緩衝器205獲取資料，自前導區塊開始進行解碼處理程序，並且依序輸出已 解碼區塊。解碼開始時間亦被直接稱為「解碼時間」。
圖框記憶體211保存自區塊解碼單元210輸出的已解碼區塊。圖框記憶體211用作解碼緩衝器，其中在輸出之前緩衝輸出目標群組。解碼緩衝器可具有與圖框記憶體211之組配不同的組配。
群組輸出單元212在自群組輸出時間計算單元232輸出的群組輸出時間輸出群組。
群組解碼延遲資訊擷取單元221自輸入串流(其係已編碼資料)擷取群組解碼延遲資訊。
群組解碼時間計算單元222基於自群組資訊擷取單元240輸出的群組資訊以及自群組解碼延遲資訊擷取單元221輸出的群組解碼延遲資訊來計算每一群組之解碼開始時間。
群組解碼時間計算單元222藉由以下公式來計算第「i」個圖片P(i)中之前導區塊的解碼開始時間dtb(i)。
公式14 dtb(i)=dt(i-1)+△t
群組輸出延遲資訊擷取單元231自輸入串流(其係已編碼資料)擷取群組輸出延遲資訊。
群組輸出時間計算單元232基於自群組資訊擷取單元240輸出的群組資訊以及自群組解碼延遲資訊擷取單元221輸出的群組輸出延遲資訊來計算每一群組之輸出時間。
視訊影像解碼裝置200基於群組數N以及已報 告之群組解碼延遲資訊來計算每一解碼群組的解碼開始時間。此外，視訊影像解碼裝置200基於群組數N以及已報告之群組輸出延遲資訊來計算每一解碼群組的輸出時間。
操作
接下來，對根據第二實施例之視訊影像解碼裝置200之操作給出描述。圖15係例示出根據第二實施例之視訊影像解碼處理程序之實例的流程圖。在圖15之步驟S300，為了開始每一圖片之解碼，首先，群組資訊擷取單元240自資料串流擷取群組資訊。
在步驟S301，群組解碼延遲擷取單元221自資料串流擷取群組解碼延遲。
在步驟S302，群組解碼時間計算單元222計算前導群組之解碼開始時間。
可針對每一圖片判定解碼群組的數目以及序列中每一圖片中之每一解碼群組中所含區塊的數目。或者，序列中所有圖片可具有相同數目個解碼群組，且解碼群組可包括相同數目個區塊。此外，解碼群組可與區塊解碼時間資訊中所描述的群組相同。
在步驟S303，區塊解碼單元210在群組解碼迴圈中一直等到群組之解碼時間。
在步驟S304，區塊解碼單元210自接收緩衝器獲取資料，並且解碼每一區塊。
在步驟S305，群組解碼時間計算單元222計算下一個群組之解碼開始時間。
在步驟S306，區塊解碼單元210將已解碼區塊輸出至圖框記憶體211。
接下來，對根據第二實施例之視訊影像解碼裝置200之輸出處理程序給出描述。圖16係例示出根據第二實施例之輸出處理程序的實例之流程圖。
在步驟S400，首先，為了解碼圖片，群組解碼延遲資訊擷取單元221自資料串流擷取群組輸出延遲資訊。
在步驟S401，接下來，群組解碼時間計算單元222基於群組輸出延遲資訊來計算P(i)中前導群組之輸出開始時間。
在步驟S402，群組輸出時間計算單元232計算群組之輸出開始時間。
在步驟S403，區塊解碼單元210根據群組之輸出開始時間來計算屬於該群組之解碼區塊。
根據第二實施例，適當地解碼由根據第一實施例之視訊影像編碼裝置100編碼的串流。
第三實施例
接下來，對根據第三實施例之視訊影像編碼裝置給出描述。在第三實施例中，定義在發生欠溢時要進行的處理程序。
組配
圖17係例示出根據第三實施例之視訊影像編碼裝置300之示意性組配的方塊圖。視訊影像編碼裝置300包括編碼處理程序單元310、編碼量控制單元320、群組判 定單元330、解碼時間判定單元340以及輸出時間判定單元350。編碼處理程序單元310包括正交變換單元311、量化單元312以及熵編碼單元313。群組判定單元330包括群組組配判定單元331及群組資訊添加單元332。解碼時間判定單元340包括群組解碼時間計算單元341、群組解碼延遲判定單元342以及群組解碼延遲資訊添加單元343。輸出時間判定單元350包括群組輸出時間計算單元351、群組輸出延遲判定單元352以及群組輸出延遲資訊添加單元353。
編碼處理程序單元310、群組判定單元330、解碼時間判定單元340以及輸出時間判定單元350分別進行與圖7中所例示的編碼處理程序單元110、群組判定單元130、解碼時間判定單元140以及輸出時間判定單元150相同的處理程序。
編碼量控制單元320包括量化值計算單元321、緩衝器佔用量計算單元322、位元計數器123以及填充符添加單元324。
在用來解碼群組中所含的所有區塊之資料係以預定傳輸速率傳輸至解碼裝置時的情況下，編碼量控制單元320控制編碼量，以使得該資料在由所判定顯示時間表示的時間以前到達解碼裝置之接收緩衝器。
量化值計算單元321及位元計數器323分別進行與圖7中所例示的量化值計算單元121及位元計數器123相同的處理程序。
除了圖7中所例示的緩衝器佔用量計算單元122 之操作，緩衝器佔用量計算單元322還檢查是否發生緩衝器欠溢，其中群組之所產生資訊量超過目標值並且群組中的所有資料在解碼開始時間以前未到達理想解碼裝置之接收緩衝器。
當偵測到緩衝器欠溢時，緩衝器佔用量計算單元322命令填充符添加單元324在已處理圖片的末尾***虛擬資料，並且向總體控制單元(未例示出)報告緩衝器欠溢狀態。當總體控制單元(未例示出)接收到緩衝器欠溢狀態的報告時，總體控制單元實施控制，來跳過對下一個要編碼的圖片之編碼處理程序。
填充符添加單元324在已處理圖片的末尾***虛擬資料。將要***的虛擬資料之量係由緩衝器佔用量計算單元322指出。
當用來解碼群組中所含的所有區塊之資料在顯示時間以前未到達解碼裝置之接收緩衝器時，填充符添加單元324將填充符資料添加至輸出串流。此外，藉由添加填充符資料，填充符添加單元324實施控制以使得用來解碼包括該群組的圖片中之最後一個區塊之資料在顯示時間以前不會到達解碼裝置之接收緩衝器。
在本實施例中，當圖片中之群組中發生欠溢時，***填充符資料。然而，藉由用圖17中所例示的量化值計算單元321控制量化值，可增加整個圖片之資訊量來在圖片中故意導致欠溢。
具體而言，如圖18中所例示，假設圖片由四個 群組組成。當在dgt(0)在第一群組中發生欠溢時，量化值計算單元321控制圖片中所產生資訊的量，並且控制群組1至群組3之量化器以使得在下一圖片之到達時間dt(0)=dgt(3)在圖片中發生欠溢。類似地，當第「n」個群組中發生欠溢時，量化值計算單元321控制第「n+1」個群組及以後的量化器，以使得圖片中發生欠溢。
如上所述，當圖片中之群組當中的至少一群組中發生欠溢時，控制圖片中所產生的資訊量以使得整個圖片中發生欠溢。
如上所述，填充符添加單元324具有資訊量控制單元之功能。當用來解碼群組中所含的所有區塊之資料在顯示時間以前未到達解碼裝置之接收緩衝器時，填充符添加單元324實施控制以使得下一圖片中之第一資料在顯示時間以前不會到達解碼裝置之接收緩衝器。
發生欠溢時的處理程序
參考圖18，考量圖片中之群組中發生欠溢的情況。圖18係用以描述欠溢的發生。如圖18中之圖表90所指示，基本上，當以群組為單位定義解碼時間時，編碼裝置調整編碼量以使得在解碼時間進行解碼，該解碼時間係根據由額外資訊(諸如SEI訊息)發送至解碼裝置的資訊來排程。
然而，如圖18中之圖表91所指示，當在dgt(0)在第一群組中發生欠溢時，與以上類似，直到在緩衝器處接收到解碼所用的位元才進行解碼。
應注意，應確保一個圖片之顯示，並且當群組中發生欠溢時，顯示應被延遲一個圖片。原因在於，當群組中發生欠溢時，一直等到在緩衝器處接收到用來解碼一個群組的位元。下一解碼定時係圖18之線圖91所指示的dgt’。
在此情況下，後續解碼時間被對應地延遲。因此，即使當解碼且顯示群組所屬之圖片的時間dt(0)接近時，所有群組之解碼仍未完成。因此，一個圖片之顯示被延遲。
考量群組中發生欠溢但針對圖片未發生欠溢的情況。以群組為單位，已發生欠溢。因此，群組解碼將被延遲，一個圖片之顯示將被延遲，並且下一圖片將被跳過。
然而，以圖片為單位，未發生欠溢，因此嘗試以定期的定時來顯示圖片，此係矛盾的狀態。在此情況下，群組之解碼被延遲，且因此圖片之解碼在用以顯示該圖片之定期的定時未完成。因此，不可能輸出適當的圖片。
此外，在用以顯示下一圖片的定時，下一圖片之解碼未完成。因此，不可能輸出適當的圖片。因此，在用以顯示圖片的定時，未進行解碼來輸出適當的圖片。
因此，如圖19中所例示，當群組中發生欠溢時，控制對應的圖片中所產生的資訊量以使得針對圖片亦發生欠溢。一個圖片之顯示被延遲且接下來要顯示的圖片被跳過。因此，在以群組為單位進行解碼的情況下，且在以圖片為單位進行解碼的情況下，跳過相同的圖片。因此，在 以群組為單位來解碼的情況下以及在以圖片為單位來解碼的情況下，達成圖片之間的相同顯示間隔。
圖19係用以描述當發生欠溢時進行的處理程序。在圖19之實例中，假設當在dgt(1)發生欠溢時，即使由參考數字95指示的在dt(1)將被解碼之圖片量小於編碼串流到達速率96之量，在dt(1)仍發生欠溢。因此，一個圖片之顯示被延遲，且在dt(2)顯示本應在dt(1)顯示的圖片，並且跳過本應在dt(2)顯示的圖片。
此外，在編碼裝置處，當群組中發生欠溢時，針對對應的圖片中之後續群組，對圖片之編碼資料進行量化控制及填充符資料的添加，以使得在對應的圖片處故意導致欠溢。因此，在以群組為單位進行解碼的情況下，且在以圖片為單位進行解碼的情況下，跳過相同的圖片。因此，針對兩種情況，圖片之間的顯示間隔(包括跳過)係相同的，因此獲得一致性。
欠溢偵測、圖片資訊量控制
對根據第三實施例之視訊影像編碼裝置進行的偵測欠溢之方法以及控制圖片中所產生資訊量之方法給出描述。
首先，編碼量控制單元320進行與第一實施例之操作相同的操作。藉由緩衝器佔用量計算單元322偵測欠溢。在此情況下，當群組中之至少一者中不滿足條件(2)時，緩衝器佔用量計算單元322偵測到圖片中所含的群組中已發生欠溢。
此時，緩衝器佔用量計算單元322向填充符添加單元324報告欠溢發生資訊。當填充符添加單元324接收到欠溢發生資訊並且確認已發生欠溢時，填充符添加單元324進行跳過圖片之顯示的處理程序。
例如，藉由將填充符資料附接至輸出串流，以圖片為單位故意導致欠溢，且跳過圖片之顯示。容易類推附接填充符資料的方法，且因此不再進一步描述。
或者，當緩衝器佔用量計算單元322在圖片中之群組中偵測到欠溢時，量化值計算單元321控制量化值來控制整個圖片中所產生的資訊量，以使得在圖片中對應的群組之後的群組中，圖片中發生欠溢，且在圖片中故意導致欠溢。
藉由進行以上處理程序，跳過圖片之顯示，因此不會改變顯示多個圖片之次序。
操作
接下來，對視訊影像編碼裝置300之操作給出描述。圖20係例示出根據第三實施例之視訊影像編碼裝置300之處理程序的實例之流程圖。
在步驟S500，緩衝器佔用量計算單元322基於解碼裝置之接收緩衝器之緩衝器佔用量來確認以群組為單位是否將發生欠溢。
在步驟S501，當緩衝器佔用量計算單元322判定以群組為單位將發生欠溢時，緩衝器佔用量計算單元322控制圖片中所產生的資訊量，以使得以圖片為單位亦發生 欠溢。控制方法之實例為，藉由填充符添加單元324用填充符對輸出串流施加負載，或控制量化值。已發生欠溢的圖片亦被稱為大圖片。
根據第三實施例，當以群組為單位發生欠溢時，進行適當的處理程序。
第四實施例
接下來，對根據第四實施例之視訊影像解碼裝置給出描述。在第四實施例中，適當地解碼由根據第三實施例之視訊影像編碼裝置編碼的已編碼資料。
組配
圖21係例示出根據第四實施例之視訊影像解碼裝置400之示意性組配的流程圖。視訊影像解碼裝置400包括接收緩衝器405、解碼時間計算單元420、輸出時間計算單元430、群組解碼延遲資訊擷取單元421、群組輸出延遲資訊擷取單元431、群組解碼時間計算單元422、群組輸出時間計算單元432、群組資訊擷取單元440、區塊解碼單元410、圖框記憶體411、群組輸出單元412以及顯示控制單元413。
視訊影像編碼裝置400中所含的單元係作為分開的電路安裝在視訊影像編碼裝置400中。或者，視訊影像編碼裝置400中所含的單元可作為單個積體電路安裝在視訊影像編碼裝置400中，實施該等單元之功能的各電路係整合於該積體電路中。或者，視訊影像編碼裝置400中所含的單元可為由視訊影像編碼裝置400中所含的處理器 中所執行之電腦程式實現的功能模組。
欠溢偵測、串流編輯
對根據第四實施例之視訊影像編碼裝置400進行的偵測欠溢之方法以及編輯位元串流之方法給出描述。
首先，區塊解碼單元410進行與第一實施例之操作相同的操作。藉由區塊解碼單元410偵測欠溢。區塊解碼單元410自熵解碼單元(未例示出)接收位元量資訊。
在此情況下，當群組中之至少一者中不滿足條件(2)時，區塊解碼單元410偵測到圖片中所含的群組中已發生欠溢。例如，圖18中之圖表91指示在dgt(1)已發生欠溢。
此時，區塊解碼單元410向顯示控制單元413報告欠溢發生資訊。當顯示控制單元413接收到欠溢發生資訊並且確認已發生欠溢時，顯示控制單元413進行跳過圖片之顯示的處理程序。
亦即，當具有解碼時間dt(k)的圖片中之群組dgt(1)中發生欠溢時，即使可被解碼為圖片的位元量在dt(k)已累積在緩衝器中，仍在dt(k+1)顯示dt(k)之圖片。跳過本應在dt(k+1)顯示的圖片。
在圖19之實例中，在dt(2)顯示本應在dt(1)顯示的圖片，且跳過本應在dt(2)顯示的圖片。在此實例中，假設瞬時進行解碼，並且在解碼的同時進行輸出(顯示)。
藉由進行以上處理程序，跳過圖片之顯示，因此不會改變顯示多個圖片之次序。
操作
接下來，對視訊影像編碼裝置400之操作給出描述。圖22係例示出根據第四實施例之視訊影像編碼裝置400之處理程序的實例之流程圖。
在步驟S600，區塊解碼單元410基於接收緩衝器405之緩衝器佔用量來確認以群組為單位是否將發生欠溢。
在步驟S601，當區塊解碼單元410判定以群組為單位將發生欠溢時，區塊解碼單元410向顯示控制單元413報告欠溢產生資訊。當報告了欠溢產生資訊時，顯示控制單元413校正顯示該圖片之定時。
根據第四實施例，適當地解碼由根據第三實施例之視訊影像編碼裝置300編碼的已編碼資料。
第五實施例
圖23係根據第五實施例之視訊影像處理裝置500之實例的方塊圖。視訊影像處理裝置500係在個別實施例中描述之視訊影像編碼裝置或視訊影像解碼裝置之實例。如圖23中所例示，視訊影像處理裝置500包括控制單元501、主記憶體單元502、次記憶體單元503、驅動裝置504、網路I/F單元506、輸入單元507以及顯示單元508。經由匯流排連接此等單元，因此有可能在彼此之間交換資料。
控制單元501控制個別裝置並且在電腦中對資料進行計算及處理。此外，控制單元501係處理器，其用以執行儲存於主記憶體單元502及次記憶體單元503中之 程式、自輸入單元507及儲存裝置接收資料、對資料進行計算及處理，並且將資料輸出至顯示單元508及儲存裝置。
主記憶體單元502係例如ROM(唯讀記憶體)或RAM(隨機存取記憶體)，且係用以儲存或暫時保存OS(其係基本軟體)及程式(諸如由控制單元501執行之應用軟體)以及資料的儲存裝置。
次記憶體單元503係例如HDD(硬碟機)，其係用以儲存於應用軟體有關的資料之儲存裝置。
驅動裝置504係用以自記錄媒體505(諸如軟碟)讀取程式，並且將該程式安裝在儲存裝置中。
記錄媒體505儲存預定程式。經由驅動裝置504將儲存於記錄媒體505中的程式安裝在視訊影像處理裝置500中。
網路I/F單元506係視訊影像處理裝置500與具有通訊功能之周邊裝置之間的介面，該等周邊裝置係經由諸如LAN(區域網路)及WAN(廣域網路)之網路來連接，該網路係由有線及/或無線資料傳輸路徑構成。
輸入單元507包括遊標鍵、鍵盤(其包括用以輸入數字的鍵及各種功能)以及滑鼠及薄板(用以選擇顯示單元508之顯示螢幕上的鍵)。此外，輸入單元507係使用者用來向控制單元501給出操作指令並且輸入資料的使用者介面。
顯示單元508包括LCD(液晶顯示器)，並且根據自控制單元501輸入的顯示資料來顯示資訊。顯示單元 508可提供在外部，在此情況下視訊影像處理裝置500具有顯示控制單元。
因此，在以上實施例中描述之視訊影像編碼處理程序或視訊影像解碼處理程序可實施為將由電腦執行的程式。藉由安裝來自伺服器的此程式並且導致電腦執行此電腦，有可能實施上述視訊影像編碼處理程序或視訊影像解碼處理程序。
此外，視訊影像編碼程式或視訊影像解碼程式可記錄於記錄媒體505中，並且導致電腦或行動終端讀取記錄此程式的之記錄媒體505來實施上述視訊影像編碼處理程序或視訊影像解碼處理程序。
記錄媒體505可為各種類型之記錄媒體，諸如：用來以光學方式、電氣方式或磁性方式記錄資訊的記錄媒體，例如CD-ROM、軟碟及磁光碟；或用來以電氣方式記錄資訊的半導體記憶體，例如ROM及快閃記憶體。記錄媒體505不包括載波。
視訊影像處理裝置500所執行的程式具有包括以上實施例中描述之個別單元的模組組配。作為實際硬體，控制單元501自次記憶體單元503讀取程式並且執行該程式來將一或多個上述單元載入主記憶體單元502中，以使得在主記憶體單元502中產生一或多個單元。
以上實施例中描述之視訊影像編碼處理程序可安裝在一或多個積體電路中。
根據以上實施例之視訊影像編碼裝置可用於各 種目的。例如，視訊影像編碼裝置或視訊影像解碼裝置可建置於視訊攝影機、影像傳輸裝置、影像接收裝置、視訊電話語音(videotelephony)系統、電腦或行動電話中。
根據實施例之一態樣，當以群組為單位發生欠溢時，進行適當的處理程序。
本發明不限於本文中描述之具體實施例，且在不脫離本發明之範疇的情況下，可作出改變及修改。可組合以上實施例中之所有或多個組配元件。
300‧‧‧視訊影像編碼裝置
310‧‧‧編碼處理程序單元
311‧‧‧正交變換單元
312‧‧‧量化單元
313‧‧‧熵編碼單元
320‧‧‧編碼量控制單元
321‧‧‧量化值計算單元
322‧‧‧緩衝器佔用量計算單元
323‧‧‧位元計數器
324‧‧‧填充符添加單元
330‧‧‧群組判定單元
331‧‧‧群組組配判定單元
332‧‧‧群組資訊添加單元
340‧‧‧編碼時間判定單元
341‧‧‧群組解碼時間計算單元
342‧‧‧群組解碼延遲判定單元
343‧‧‧群組解碼延遲資訊添加單元
350‧‧‧輸出時間判定單元
351‧‧‧群組輸出時間計算單元
352‧‧‧群組輸出延遲判定單元
353‧‧‧群組輸出延遲資訊添加單元

Claims (4)

  1. 一種視訊影像編碼裝置，其包含：一群組組配判定單元，其經組配來判定多個區塊中之每一者所屬之一群組，該等多個區塊係藉由分割視訊影像資料中所含的每一圖片而獲得；一群組資訊添加單元，其經組配來將群組資訊添加至一輸出串流，該群組資訊表示該等多個區塊中之每一者所屬之該群組；一解碼時間判定單元，其經組配來計算該等群組中之每一者之一解碼時間且將該解碼時間添加至該輸出串流；一輸出時間判定單元，其經組配來計算該等群組中之每一者之一顯示時間且將該顯示時間添加至該輸出串流；一編碼量控制單元，其經組配來當用來解碼該等群組中之一者中所含的所有區塊之資料係以一預定傳輸速率傳輸至一解碼裝置時，控制一編碼量以使得該資料在由該輸出時間判定單元計算出的該顯示時間所表示的一時間以前到達該解碼裝置之一接收緩衝器；一編碼處理程序單元，其經組配來基於該編碼量控制單元之控制資訊進行編碼；以及一資訊量控制單元，其經組配來當用來解碼該等群組中之一者中所含的所有區塊之資料在該顯示時間以 前未到達該解碼裝置之該接收緩衝器時，實施控制以使得下一圖片中之第一資料在該顯示時間以前不會到達該解碼裝置之該接收緩衝器。
  2. 一種由一電腦執行之方法，該方法包含下列步驟：判定多個區塊中之每一者所屬之一群組，該等多個區塊係藉由分割視訊影像資料中所含的每一圖片而獲得；將群組資訊添加至一輸出串流，該群組資訊表示該等多個區塊中之每一者所屬之該群組；計算該等群組中之每一者之一解碼時間且將該解碼時間添加至該輸出串流；計算該等群組中之每一者之一顯示時間且將該顯示時間添加至該輸出串流；當用來解碼該等群組中之一者中所含的所有區塊之資料係以一預定傳輸速率傳輸至一解碼裝置時，控制一編碼量以使得該資料在由該輸出時間判定單元計算出的該顯示時間所表示的一時間以前到達該解碼裝置之一接收緩衝器；基於受到控制的該編碼量來進行編碼；以及當用來解碼該等群組中之一者中所含的所有區塊之資料在該顯示時間以前未到達該解碼裝置之該接收緩衝器時，控制一資料量以使得下一圖片中之第一資料在該顯示時間以前不會到達該解碼裝置之該接收緩衝器。
  3. 一種視訊影像解碼裝置，其包含：一群組資訊擷取單元，其經組配來自一輸入串流擷取表示一群組之群組資訊，該輸入串流指示藉由分割視訊影像資料中所含的每一圖片而獲得之多個區塊之已編碼資料；一解碼時間計算單元，其經組配來計算該等群組中之每一者的解碼時間資訊；一輸出時間計算單元，其經組配來計算該等群組中之每一者的一輸出時間；一區塊解碼單元，其經組配來接收該輸入串流，對該輸入串流進行解碼，並且輸出已解碼區塊；一圖框記憶體，其經組配來保存該等已解碼區塊；一群組輸出單元，其經組配來輸出保存於該圖框記憶體中的該等群組中之每一者中所含的該等已解碼區塊；以及一顯示控制單元，其經組配來控制該等群組中之每一者的顯示，其中該區塊解碼單元確認解碼所用的所有資料在該等群組中之一者的該解碼時間已到達，以及當解碼所用的所有資料在該等群組中之一者的該解碼時間還未到達時，該顯示控制單元控制該群組輸出單元顯示保存於該圖框記憶體中的另一已解碼區塊代替該等群組中之一者中所含的該等已解碼區塊。
  4. 一種由一電腦執行之方法，該方法包含下列步驟： 自一輸入串流擷取表示一群組之群組資訊，該輸入串流指示藉由分割視訊影像資料中所含的每一圖片而獲得之多個區塊之已編碼資料；計算該等群組中之每一者的解碼時間資訊；計算該等群組中之每一者的一輸出時間；接收該輸入串流，對該輸入串流進行解碼，並且輸出已解碼區塊；將該等已解碼區塊保存於一圖框記憶體中；輸出保存於該圖框記憶體中的該等群組中之每一者中所含的該等已解碼區塊；以及控制該等群組中之每一者的顯示，其中該進行該解碼之步驟包括：確認解碼所用的所有資料在該等群組中之一者的該解碼時間已到達，以及該控制該顯示之步驟包括：當解碼所用的所有資料在該等群組中之一者的該解碼時間還未到達時，控制來顯示保存於該圖框記憶體中的另一已解碼區塊代替該等群組中之一者中所含的該等已解碼區塊。
TW102113444A 2012-04-27 2013-04-16 視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法 TWI477124B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012104003A JP5994367B2 (ja) 2012-04-27 2012-04-27 動画像符号化装置、動画像符号化方法

Publications (2)

Publication Number Publication Date
TW201345270A true TW201345270A (zh) 2013-11-01
TWI477124B TWI477124B (zh) 2015-03-11

Family

ID=48190102

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113444A TWI477124B (zh) 2012-04-27 2013-04-16 視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法

Country Status (9)

Country Link
US (5) US20130287118A1 (zh)
EP (2) EP3217666B1 (zh)
JP (1) JP5994367B2 (zh)
KR (5) KR20130121733A (zh)
CN (5) CN105812809B (zh)
BR (1) BR102013010166A2 (zh)
CA (2) CA2899536C (zh)
MX (3) MX344920B (zh)
TW (1) TWI477124B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2909990B1 (en) * 2012-10-18 2019-01-16 VID SCALE, Inc. Decoding complexity for mobile multimedia streaming
EP2988466B1 (en) * 2014-08-18 2017-05-24 Alcatel Lucent Methods and devices for transmission of media content
CN108694995B (zh) * 2015-12-17 2020-10-20 广州宝荣科技应用有限公司 一种医疗诊断***及方法
JP6288129B2 (ja) * 2016-03-07 2018-03-07 富士通株式会社 動画像復号装置及び動画像復号方法
EP3559724B1 (de) 2016-12-20 2020-06-17 EV Group E. Thallner GmbH Vorrichtung und verfahren zur belichtung einer lichtempfindlichen schicht
CN114167690A (zh) 2016-12-20 2022-03-11 Ev 集团 E·索尔纳有限责任公司 不同焦点平面
US10666955B2 (en) * 2017-02-23 2020-05-26 Panasonic Intellectual Property Management, Co., Ltd. Still image generating apparatus and information recording medium used in still image generating apparatus
CN112839229A (zh) * 2019-11-25 2021-05-25 合肥杰发科技有限公司 计算解码耗时的方法、计算编码耗时的方法及其相关装置
US20230217034A1 (en) * 2020-09-04 2023-07-06 Attila Mihály Split Rendering To Improve Tolerance To Delay Variation In Extended Reality Applications With Remote Rendering

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3969776B2 (ja) * 1997-01-21 2007-09-05 沖電気工業株式会社 伝送画像復号装置
EP1354483B1 (en) * 2001-01-22 2006-10-04 STMicroelectronics Asia Pacific Pte Ltd. Method and apparatus for video buffer verifier underflow and overflow control
JP4276420B2 (ja) 2002-11-05 2009-06-10 三菱電機株式会社 動き補償方法
US7020201B2 (en) * 2002-11-20 2006-03-28 National Chiao Tung University Method and apparatus for motion estimation with all binary representation
US7047991B2 (en) * 2002-12-10 2006-05-23 J.T. Posey Company Bed enclosure
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
JP4379779B2 (ja) * 2003-04-28 2009-12-09 Ｋｄｄｉ株式会社 映像配信方式
FR2872974A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
US7234825B2 (en) * 2004-07-29 2007-06-26 Wei Meng Curved rearview system for vehicles
US20060104351A1 (en) * 2004-11-15 2006-05-18 Shu-Wen Teng Video/image processing devices and methods
WO2007058113A1 (ja) * 2005-11-21 2007-05-24 Pioneer Corporation デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム並びにデジタル放送受信装置
TW200619985A (en) * 2006-03-03 2006-06-16 Univ Chang Gung A new cellular search algorithm of video image coding
JP4762052B2 (ja) * 2006-05-31 2011-08-31 パナソニック株式会社 ストリームデータ処理装置及びストリームデータ処理方法
US8320686B2 (en) * 2006-09-11 2012-11-27 Panasonic Corporation Detailed description of the invention
JP5162939B2 (ja) * 2007-03-30 2013-03-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR100923961B1 (ko) * 2007-07-09 2009-10-29 세종대학교산학협력단 저지연 영상 통신 시스템 및 방법
US7650455B2 (en) * 2007-07-27 2010-01-19 International Business Machines Corporation Spider web interconnect topology utilizing multiple port connection
JP2009105477A (ja) * 2007-10-19 2009-05-14 Canon Inc 再生装置及び再生方法
JP2009111932A (ja) * 2007-10-31 2009-05-21 Panasonic Corp 動画像復号化装置
US8467444B2 (en) * 2008-06-16 2013-06-18 Canon Kabushiki Kaisha Information processing system, information processing apparatus, information processing method, and program
JP2010166140A (ja) * 2009-01-13 2010-07-29 Hitachi Kokusai Electric Inc 画像復号装置および画像データ出力方法
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP5343703B2 (ja) * 2009-05-22 2013-11-13 ソニー株式会社 復号処理装置、復号処理方法、およびプログラム
JP2011217082A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP5521940B2 (ja) * 2010-09-22 2014-06-18 富士通株式会社 符号化方法、復号化方法、符号化装置及び復号化装置
KR101627568B1 (ko) * 2010-09-30 2016-06-09 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램

Also Published As

Publication number Publication date
MX344920B (es) 2017-01-10
JP2013232801A (ja) 2013-11-14
KR20160031469A (ko) 2016-03-22
EP2658257A2 (en) 2013-10-30
KR20140106484A (ko) 2014-09-03
CA2899536A1 (en) 2013-10-27
EP2658257A3 (en) 2014-09-03
US20170054980A1 (en) 2017-02-23
CN103379337B (zh) 2016-08-03
CN105744276A (zh) 2016-07-06
CN105812809A (zh) 2016-07-27
MX364616B (es) 2019-05-02
MX2013004678A (es) 2013-10-28
KR20140106482A (ko) 2014-09-03
CN105812808A (zh) 2016-07-27
BR102013010166A2 (pt) 2015-06-30
CN105744276B (zh) 2019-03-01
US20170054981A1 (en) 2017-02-23
CA2899536C (en) 2017-11-07
CA2812653A1 (en) 2013-10-27
CN105812810A (zh) 2016-07-27
TWI477124B (zh) 2015-03-11
EP2658257B1 (en) 2019-08-28
CN103379337A (zh) 2013-10-30
US20170054979A1 (en) 2017-02-23
KR101697456B1 (ko) 2017-02-01
CN105812809B (zh) 2018-12-07
EP3217666A1 (en) 2017-09-13
JP5994367B2 (ja) 2016-09-21
KR20130121733A (ko) 2013-11-06
KR20140106483A (ko) 2014-09-03
MX341030B (es) 2016-08-03
CA2812653C (en) 2018-02-20
EP3217666B1 (en) 2019-09-04
US20130287118A1 (en) 2013-10-31
KR101461856B1 (ko) 2014-11-14
US20170054978A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
TWI477124B (zh) 視訊影像編碼裝置、視訊影像編碼方法、視訊影像解碼裝置及視訊影像解碼方法
US9648337B2 (en) Video image encoding device and video image encoding method
JP6234659B2 (ja) 動画像復号装置
JP6194973B2 (ja) 動画像復号装置及び動画像復号方法
JP6394766B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6146502B2 (ja) 動画像符号化復号システム及び動画像符号化復号方法
JP6249040B2 (ja) 動画像復号方法
JP6288129B2 (ja) 動画像復号装置及び動画像復号方法
JP6194974B2 (ja) 動画像復号装置及び動画像復号方法
JP6164324B2 (ja) 動画像復号方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees