TWI579802B

TWI579802B - An image coding method, an image decoding method, a memory management method, an image coding apparatus, an image decoding apparatus, a memory management apparatus, and an image coding and decoding apparatus

Info

Publication number: TWI579802B
Application number: TW101101442A
Authority: TW
Inventors: Takahiro Nishi; Youji Shibahara; Hisao Sasai; Toshiyasu Sugio
Original assignee: Sun Patent Trust
Priority date: 2011-01-14
Filing date: 2012-01-13
Publication date: 2017-04-21
Also published as: CN103053160A; RU2597469C2; PL4027644T3; ES2967302T3; US10652566B2; US20220321903A1; PL3700212T3; MX2013001652A; CN107071448A; JPWO2012096186A1; KR101912472B1; US20120183059A1; WO2012096186A1; US11044489B2; CA2806615A1; CN106454363A; EP3700212B1; US20210235103A1; BR112013004435B1; RU2013106283A

Description

圖像編碼方法、圖像解碼方法、記憶體管理方法、圖像編碼裝置、圖像解碼裝置、記憶體管理裝置及圖像編碼解碼裝置

發明領域

本發明係關於動態圖像之圖像編碼方法及圖像解碼方法等。

背景技術

在將動態圖像進行編碼之圖像編碼方法中，一般而言都是利用動態圖像具有的空間方向及時間方向之冗長性進行資訊量的壓縮。為此一般就利用空間方向的冗長性之方法而言，採用對於頻率區域的轉換，就利用時間方向的冗長性之方法而言，採用圖片間預測(以下稱為畫面間預測(inter prediction))編碼處理。在畫面間預測編碼處理中，在將某一圖片進行編碼時，對於編碼對象圖片將以顯示順序位於前方或後方之已編碼的圖片用來作為參考圖片。再者，藉由對於該參考圖片之編碼對象圖片的動作檢測，導出動作向量，藉由取得根據動作向量進行動作補償而得到之預測圖像資料與編碼對象圖片之圖像資料之差分，去除時間方向的冗長性。

在已經標準化之被稱為H. 264之圖像編碼方式中，為了資訊量的壓縮，使用所謂I圖片、P圖片、及B圖片之3種圖片形式。I圖片係為沒有進行畫面間預測編碼處理之圖片，也就是圖片內預測(以下稱為畫面內預測(intra prediction))編碼處理的圖片。P圖片係為參考以顯示順序位於編碼對象圖片的前方或後方之已編碼的1張圖片進行畫面間預測編碼之圖片。B圖片係為參考以顯示順序位於編碼對象圖片的前方或後方之已編碼的2張圖片進行畫面間預測編碼之圖片。再者，對於I圖片及P圖片而言，存在有為了資料流的切換等之Switching切片(SI切片、SP切片)等。

在以現行的H. 264規格為基準之圖像編碼方法及圖像解碼方法中，要求與根據此等種類的圖片定義所具有觀念之參考關係整體對應。例如，在P圖片的解碼時，要求即使參考以顯示順序位於後方的圖片亦可。又若是對於B圖片之動作向量為2條的話，該等動作向量的方向為前方或後方皆可，即使是參考不同於切片內之每個區塊的圖片亦可。在應該與這樣的參考構造之柔軟性對應之H. 264中，對於圖像編碼方法及圖像解碼方法要求幾個過程的實行(例如參考非專利文獻1)。

先前技術文獻【非專利文獻】

【非專利文獻1】1TU-TH. 26403/2010

然而，在上述非專利文獻1之圖像編碼方法及圖像解碼方法中會有所謂處理負擔為大的問題。

因此，本發明係有鑑於該問題而開發出來者，以提供可以減輕處理負擔之圖像編碼方法及圖像解碼方法等為目的。

為了達成上述目的，關於本發明之一態樣的圖像編碼方法，係將動態圖像訊號進行編碼之圖像編碼方法，其特徵為：在以包含在前述動態圖像訊號之複數個圖像各自歸屬於複數個階層之中的任一個之方式，將前述複數個圖像階層化分類的情況下，將歸屬於因應前述複數個圖像之中的任一個圖像，也就是編碼對象圖像所歸屬的第1階層而有所限制的範圍之第2階層的圖像作為對於前述編碼對象圖像的參考圖像進行參考，依據前述參考圖像將前述編碼對象圖像進行編碼。

藉此，在編碼對象圖像的編碼所參考之參考圖像歸屬的階層係因應編碼對象圖像所歸屬的第1階層而位在有所限制的範圍。因此，由於在編碼對象圖像的編碼所參考之參考圖像係因應第1階層而有所限制，因此可以減輕該編碼的處理負擔。再者，在將如此所編碼的圖像進行解碼時亦同，由於參考圖像係有所限制，因此可以減輕該解碼的處理負擔。

又在參考前述參考圖像之時，禁止歸屬於比前述第1階層更上階層的圖像之參考，將歸屬於限制在前述第1階層以下的範圍之前述第2階層的圖像作為前述參考圖像進行參考亦可。

藉此，由於禁止歸屬於比編碼對象圖像所歸屬之第1階層更上階層的圖像之參考，因此可以利用少的處理負擔將編碼對象圖像進行編碼。同樣，在將已編碼的圖像進行解碼時亦同，由於不必參考歸屬於比該編碼對象圖像所歸屬之階層更上階層的圖像，因此可以利用少的處理負擔將該已編碼的圖像進行解碼。又在將包含在動態圖像訊號之複數個圖像各自作為編碼對象圖像而將動態圖像訊號進行編碼的情況下，即使在被包含在已編碼之動態圖像訊號的任何一個圖像的解碼，也不必參考歸屬於比該圖像所歸屬之階層更上階層的圖像。因此，圖像解碼裝置係只要將歸屬於成為特殊播放對象之階層的圖像進行解碼即可，可以節省特意將歸屬於比成為特殊播放對象之階層更上階層的圖像進行解碼參考的時間。例如，在成為N倍速播放(N>2)等特殊播放對象之階層為位於最下之最下位階層的情況下，圖像解碼裝置係不必特意將位於比該最下位階層更上階層之沒有成為播放對象之圖像進行解碼參考，只要將歸屬於最下位階層的圖像進行解碼即可。例如前述複數個圖像係各自為圖片或切片。

又為了達成上述目的，關於本發明之一態樣之圖像編碼方法，係將動態圖像訊號進行編碼之圖像編碼方法，其特徵為：在以包含在前述動態圖像訊號之複數個圖像各自歸屬於複數個階層之中的任一個之方式，將前述複數個圖像階層化分類的情況下，產生顯示對於前述複數個圖像之中的任一個圖像，也就是編碼對象圖像的編碼所參考之參考圖像的選擇是否增加限制之旗標，在前述旗標為顯示增加限制的情況下，將滿足因應前述編碼對象圖像所屬於的第1階層而有所限制的條件之圖像選擇作為對於前述編碼對象圖像的參考圖像，參考已選擇的前述參考圖像將前述編碼對象圖像進行編碼，在已編碼之前述動態圖像訊號包含前述旗標。

藉此，在利用旗標顯示增加限制的情況下，將滿足因應編碼對象圖像所歸屬的第1階層而有所限制的條件之圖像選擇作為參考圖像。也就是，使在編碼對象圖像的編碼所參考之參考圖像因應第1階層而有所限制。其結果為可以減輕編碼對象圖像之編碼的處理負擔。又由於使顯示對於參考圖像的選擇是否增加限制之旗標被產生，並且包含在已編碼之動態圖像訊號，因此在將該已編碼之動態圖像訊號進行解碼之圖像解碼裝置，其係依據該旗標，易於掌握對於參考圖像的選擇是否增加限制。其結果為圖像解碼裝置係可以利用少的處理負擔適當將該已編碼之動態圖像訊號進行解碼。

又在選擇前述參考圖像時，以編碼順序在前述編碼對象圖像與候補圖像之間，具有歸屬於因應前述第1階層而有所限制的範圍之第2階層的基準圖像之情況下，禁止選擇前述候補圖像作為前述參考圖像，選擇前述候補圖像以外的圖像作為前述參考圖像亦可。例如，在選擇前述參考圖像時，在具有歸屬於限制在比前述第1階層更下的範圍之前述第2階層的前述基準圖像的情況下，禁止選擇前述候補圖像作為前述參考圖像。又在選擇前述參考圖像時，禁止選擇以編碼順序位在前述編碼對象圖像更前的前述候補圖像作為前述參考圖像。

藉此，可以選擇適當的圖像作為參考圖像，並且可以更進一步抑制處理負擔。

又為了達成上述目的，關於本發明之一態樣之圖像解碼方法，係將編碼動態圖像訊號進行解碼之圖像解碼方法，其特徵為：在以包含在前述編碼動態圖像訊號之複數個圖像各自歸屬於複數個階層之中的任一個之方式，將前述複數個圖像階層化分類的情況下，將歸屬於因應前述複數個圖像之中的任一個圖像，也就是解碼對象圖像所歸屬的第1階層而有所限制的範圍之第2階層的圖像作為對於前述解碼對象圖像的參考圖像進行參考，根據前述參考圖像將前述解碼對象圖像進行解碼。例如，在前述圖像解碼方法中，進一步產生參考索引，該參考索引係顯示在包含在前述編碼動態圖像訊號之複數個圖像中，除了各自歸屬於比前述第1階層更上的全部階層之全部圖像外，歸屬於前述第1階層以下的階層之至少1個圖像，在參考前述參考圖像時，從前述參考索引所示之至少1個圖像選擇前述參考圖像。

藉此，在解碼對象圖像的解碼所參考之參考圖像歸屬的階層係因應該解碼對象圖像所歸屬的第1階層而位在有所限制的範圍。因此，由於在解碼對象圖像的解碼所參考之參考圖像係因應第1階層而有所限制，因此可以減輕該解碼的處理負擔。

又為了達成上述目的，本發明之一態樣的圖像解碼方法，其係為將編碼動態圖像訊號進行解碼之圖像解碼方法，其特徵為：在以包含在前述編碼動態圖像訊號之複數個圖像各自歸屬於複數個階層之中的任一個之方式，將前述複數個圖像階層化分類的情況下，從前述編碼圖像訊號取得顯示對於前述複數個圖像之中的任1個圖像，也就是解碼對象圖像的解碼所參考之參考圖像的選擇是否增加限制之旗標，在前述旗標顯示為增加限制的情況下，將滿足因應前述解碼對象圖像所歸屬的第1階層而有所限制之條件的圖像選擇作為對於前述解碼對象圖像的參考圖像，參考已選擇的前述參考圖像將前述解碼對象圖像進行解碼。

藉此，在利用旗標顯示增加限制的情況下，將滿足因應解碼對象圖像所歸屬的第1階層而有所限制的條件之圖像選擇作為參考圖像。也就是，使在解碼對象圖像的解碼所參考之參考圖像因應第1階層而有所限制。其結果為可以減輕解碼對象圖像之解碼的處理負擔。

又為了達成上述目的，關於本發明之一態樣的記憶體管理方法，其係為管理儲存有為了動態圖像訊號的編碼或解碼所參考的圖像之記憶體的記憶體管理方法，在以包含在前述動態圖像訊號之複數個圖像各自歸屬於複數個階層之中的任一個之方式，將前述複數個圖像階層化分類的情況下，於已被限制在階層容量之前述記憶體內的區域，儲存前述儲存對象圖像，而前述階層容量係對於前述複數個圖像中的儲存對象圖像所歸屬的階層分配的容量。具體而言，在前述記憶體管理方法中，進一步在每個階層，將前述記憶體內之可使用的容量之中的一部份容量作為階層容量而對於該階層進行分配。

例如，有將涵蓋長時間被參考之長時間參考圖像歸屬於其他階層，而將該長時間參考圖像儲存在記憶體內的其他區域之情況。在該情況下，當將儲存對象圖像儲存在其他區域時，會造成該長時間參考圖像從記憶體被刪除。因此，在長時間參考圖像從記憶體被刪除後，為了參考該長時間參考圖像，而必須將進行將該長時間參考圖像再次解碼等的處理。因此，在關於本發明之一態樣的記憶體管理方法中，由於在已限制於對於儲存對象圖像所歸屬的階層而分配的階層容量之記憶體內的區域，儲存該儲存對象圖像，可以防止長時間參考圖像從記憶體被刪除。也就是，可以將必要的參考圖像確實儲存在記憶體。其結果為可以省略將長時間參考圖像再次解碼等的多餘處理。又由於將必要的參考圖像確實儲存在記憶體，可以節省逐一適用指示不要圖像的刪除之記憶體管理指令等的處理負擔。

為此，在儲存前述儲存對象圖像時，在前述區域沒有留下用以儲存前述儲存對象圖像的容量之情況，將已儲存在前述區域之至少1個既存圖像之中，將最早儲存的既存圖像從前述區域刪除，儲存前述儲存對象圖像亦可。

又包含在前述動態圖像訊號之複數個圖像中之處理對象圖像的編碼或解碼所參考之圖像，也就是參考圖像歸屬的階層係限制在前述處理對象圖像之所屬階層以下的階層，在前述每個階層分配前述階層容量時，對於前述複數個階層之中位於最下面之最下位階層，分配對於比位於前述最下位階層更上之上位階層分配的階層容量更大之階層容量亦可。

藉此，由於參考圖像所歸屬的階層係限制在處理對象圖像所歸屬的階層以下之階層，因此歸屬於最下位階層的圖像係比歸屬於上位階層的圖像涵蓋更長時間被參考的可能性為高。因此，在本發明之一態樣的記憶體管理方法中，由於將比對於上位階層所分配的階層容量更大之階層容量對於最下位階層有所分配，因此可以將歸屬於最下位階層之圖像涵蓋長時間儲存在記憶體。其結果為在參考歸屬於最下位階層之圖像時，可以防止該圖像從記憶體被刪除，而無法參考該圖像。

又在前述記憶體管理方法中，進一步在儲存於前述記憶體之複數個圖像之中，對於歸屬於成為編碼或解碼對象之處理對象圖像所歸屬的階層更上階層之圖像標記屬性亦可。例如，在標記前述屬性時，標記顯示沒被用於參考的圖像之屬性。

藉此，由於對於圖像標記屬性，可以簡單特定沒被用於參考之不要的圖像，可以將該圖像優先從記憶體刪除。其結果為可以有效活用記憶體的容量。

又本發明不只是成為這樣的圖像編碼方法、圖像解碼方法及記憶體管理方法予以實現，即使是實行伴隨該等方法之處理的裝置、積體電路，用以在電腦實行伴隨該等方法之處理的程式，儲存該程式之記憶媒體也可以予以實現。

本發明之圖像編碼方法及圖像解碼方法係可以減輕處理負擔。

圖式簡單說明

第1圖係為本發明之實施形態1的圖像編碼裝置之方塊圖。

第2圖係為顯示根據本發明之實施形態1的畫面間預測部1111所構築之參考構造之圖面。

第3圖係為顯示在刪除必要的參考圖像之情況下之記憶體管理方法的一例之圖面。

第4圖係為顯示在圖像之編碼順序有所限制的情況下之記憶體管理方法的一例之圖面。

第5圖係為顯示根據本發明之實施形態1的記憶體控制部1200之記憶體管理方法之圖面。

第6圖係為顯示根據本發明之實施形態1的圖像編碼裝置1000的處理之流程圖。

第7圖係為顯示根據本發明之實施形態1的圖像編碼裝置1000之使用旗標的處理之流程圖。

第8圖係為顯示根據本發明之實施形態1的圖像編碼裝置1000之具體處理之流程圖。

第9圖係為本發明之實施形態1的圖像解碼裝置之方塊圖。

第10圖係為顯示根據本發明之實施形態1的圖像解碼裝置2000的處理之流程圖。

第11圖係為顯示根據本發明之實施形態1的圖像解碼裝置2000之使用旗標的處理之流程圖。

第12圖係為顯示根據本發明之實施形態1的記憶體管理方法之流程圖。

第13圖係為顯示根據本發明之實施形態1的圖像解碼裝置2000之具體處理之流程圖。

第14圖係為顯示關於本發明之實施形態1的變形例之參考構造的圖面。

第15圖係為顯示關於本發明之實施形態1的變形例之記憶體管理方法的一例之圖面。

第16圖係為顯示關於本發明之實施形態1的變形例之記憶體管理方法的其他例之圖面。

第17圖係為實現內容傳送服務之內容供給系統的整體構成圖。

第18圖係為數位播放用系統的整體構成圖。

第19圖係為顯示電視機的構成例之方塊圖。

第20圖係為顯示在光碟，也就是記錄媒體進行資訊的讀取寫入之資訊播放/記錄部的構成例之方塊圖。

第21圖係為顯示光碟，也就是記錄媒體的構造例之圖面。

第22A圖係為顯示手機的一例之圖面。

第22B圖係為顯示手機的構成例之方塊圖。

第23圖係為顯示多工化資料的構成之圖面。

第24圖係為模式顯示各資料流是如何在多工化資料中進行多工化之圖面。

第25圖係為更詳細顯示影像資料流是如何儲存在PES封包列的圖面。

第26圖係為顯示多工化資料中之TS封包與源包的構造之圖面。

第27圖係為顯示PMT的資料構成之圖面。

第28圖係為顯示多工化資料資訊的內部構成之圖面。

第29圖係為顯示資料流屬性資訊的內部構成之圖面。

第30圖係為辨識映像資料的步驟之圖面。

第31圖係為顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路的構成例之方塊圖。

第32圖係為顯示切換驅動頻率的構成之圖面。

第33圖係為顯示辨識映像資料，並且切換驅動頻率之步驟的圖面。

第34圖係為顯示附與映像資料的規格與驅動頻率對應之查閱表的一例之圖面。

第35A圖係為顯示將訊號處理部之模組共有化之構成的一例之圖面。

第35B圖係為顯示將訊號處理部之模組共有化之構成的其他例之圖面。

用以實施發明之形態

首先，在說明本發明之實施形態之前，針對在編碼或解碼圖像時所進行的幾個處理予以說明。

例如，圖像編碼裝置及圖像解碼裝置係構築參考索引(也可以稱為參考圖片索引)。換言之，此等裝置係在參考其他圖片將B切片等切片編碼或解碼時，列舉出對於該切片(被包含在切片之巨集區塊)所參考之圖片而構築參考索引。在該過程中，於參考索引內必須將各圖片依照圖片號碼順序分類(參考索引之初期化的排序)。例如，圖像編碼裝置及圖像解碼裝置係在取得B切片時，將對於該B切片所參考之參考圖片(被用於短時間參考及長時間參考的圖片，以下相同)追加到參考索引(L0、L1)。為此，圖像編碼裝置及圖像解碼裝置係將該參考索引(L0、L1)內的各參考圖片因應該參考圖片的圖片號碼(PicNum)降序(由新到舊)分類。

又圖像編碼裝置及圖像解碼裝置係將例如經過長時間持續參考的參考圖片等圖片保持在1個理論性記憶體(DPB:Decoded Picture Buffer，解碼圖片緩衝區)。為此，為了以該記憶體不會飽和的方式管理保持在該記憶體的參考圖片，而要求在此等圖片標記屬性。

例如，圖像編碼裝置及圖像解碼裝置係對於沒被用於作為參考圖片之圖片，在判斷該圖片被參考的可能性為低之時點，或者，在收受特定的指令(MMCO：記憶體管理指令)之時點，標記屬性「沒被用於參考(unused for reference)」。又，該特定的指令係為明示成為管理對像之圖片不被參考的指令。換言之，在這樣的標記方式或控制中，有FIFO(First-In First-Out，先進先出)管理方式、及根據記憶體管理指令之適應記憶體控制。

為此，根據H.264之圖片定義而成為可參考構造的柔軟度係對於圖像解碼裝置的安裝簡易化沒有直接的貢獻。雖然參考構造的柔軟性係對於編碼壓縮率的提升有所幫助，但是該柔軟性對於播放編碼資料(編碼資料流)之圖像解碼裝置的安裝簡易性是否有幫助則是另外的話題。換言之，根據參考構造的柔軟度，會增加圖像編碼裝置及圖像解碼裝置的處理負擔。例如，若是可以掌握給予制約條件乙事的話，也存在有使圖像解碼裝置的安裝變得簡單之情況。

又至少過度的柔軟性會有對於廣泛處理會造成界限的情況。例如，當長時間參考多數的參考圖片之圖像編碼裝置及圖像解碼裝置根據上述之FIFO方式管理(標記處理)記憶體時，由於該記憶體為有限的，會造成參考所必要的圖片從記憶體刪除。又，該圖像編碼裝置及圖像解碼裝置係在根據上述之根據記憶體管理指令進行適應記憶體控制的情況下，指令(記憶體管理指令)為逐一必要。

因此，在本發明之實施形態中之圖像編碼方法及圖像解碼方法中，其特徵為根據附加制約條件之參考構造而減輕處理負擔。又在本發明之實施形態中之記憶體管理方法中，其特徵為抑制處理負擔的增加，並且防止參考所必要的圖片從記憶體被刪除。

以下，針對本發明之實施形態，一邊參照圖面一邊進行詳細說明。又在以下說明的實施形態，任一個都是顯示本發明之適合的一具體例。對於在以下的實施形態中所示之數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟順序等都只是一例，不是限定本發明之宗旨。本發明只依據申請專利範圍而有所限定。因此，在以下的實施形態中之構成要素之中，對於顯示本發明之最上位概念之沒被記載於獨立請求項之構成要素，雖然在達成本發明的課題不一定是必要的，但是作為構成更佳的形態者而予以說明。

(實施形態1)

第1圖係為本發明之實施形態1中之圖像編碼裝置的方塊圖。

本實施形態中之圖像編碼裝置1000係具備：減算器1101、直交轉換部1102、量化部1103、熵編碼部1104、反向量化部1105、反向直交轉換部1106、加算器1107、去區塊效應濾波器1108、記憶體1109、面內預測部1110(intra-prediction)、畫面間預測部1111(inter-prediction)、動作檢測部1112、開關1113、及記憶體控制部1200。

減算器1101係在取得動態圖像訊號的同時，從開關1113取得預測圖像。再者，減算器1101係藉由從被包含在該動態圖像訊號之編碼對像區塊減算預測圖像而產生差餘圖像。

直交轉換器1102係藉由對於利用減算器1101所產生的差餘圖像，進行離散餘弦轉換等直交轉換(頻率轉換)，將該差餘圖像轉換為由複數個頻率係數構成之係數區塊。量化部1103係藉由將被包含在該係數區塊的各頻率係數量化，產生已量化的係數區塊。

反向量化部1105係藉由將利用量化部1103所量化的係數區塊反向量化。反向直交轉換部1106係藉由對於被包含在該已反向量化之係數區塊的各頻率係數，進行反離散餘弦轉換等反向直交轉換(反向頻率轉換)，產生解碼差餘圖像。

加算器1107係從開關1113取得預測圖像，並且藉由將該預測圖像、與利用反向直交轉換部1106所產生的解碼差餘圖像進行加算，產生局部解碼圖像(再構成圖像)。

去區塊效應濾波器1108係除去利用加算器1107所產生之局部解碼圖像的區塊變形，並且將該局部解碼圖像儲存在記憶體1109。記憶體1109係為用以儲存局部解碼圖像作為畫面間預測時的參考圖像之記憶體。又該記憶體1109係用來作為解碼圖片緩衝區(DPB)。

面內預測部1110係使用利用加算器1107所產生之局部解碼圖像，藉由對於編碼對象區塊進行畫面內預測，產生預測圖像(畫面內預測圖像)。

動作檢測部1112係對於被包含在動態圖像訊號之編碼對象區塊檢測出動作向量，並且將該檢測出的動作向量輸出到畫面間預測部1111及熵編碼部1104。

畫面間預測部1111係藉由將儲存在記憶體1109的圖像作為參考圖像予以參考的同時，而且使用根據動作檢測部1112所檢測的動作向量，對於編碼對象區塊進行動作補償。畫面間預測部1111係藉由進行這樣的動作補償，也就是對於編碼對象區塊進行畫面間預測，產生編碼對象區塊的預測圖像(畫面間預測圖像)。

又畫面間預測部1111係將被包含在動態圖像訊號之複數個圖片階層化。具體而言，畫面間預測部1111係以將被包含在動態圖像訊號之複數個圖片各自歸屬於複數層(階層)之中的任一個之方式，將該複數個圖片階層化分類。又在本實施形態中，雖然畫面間預測部1111係將複數個圖片階層化作為一例，但是成為階層化對象之複數個圖像的各個係不限於圖片，切片等其他圖像單位亦可。

在該情況下，畫面間預測部1111係將屬於位在因應複數個圖片之中的任一個圖片，也就是編碼對象圖片所歸屬的第1層而有所限制的範圍之第2層的圖片，作為對於編碼對象圖片的參考圖片予以參考。具體而言，畫面間預測部1111係禁止進行屬於位在比第1層更上(高層級)之層的圖片之參考，並且將屬於位在限制於第1層以下的範圍之第2層的圖片作為參考圖片予以參考。

再者，畫面間預測部1111係產生顯示是否增加對於上述之複數個圖片之中的任一個圖片，也就是編碼對象圖片的編碼所參考之參考圖片的選擇之限制的旗標，將其輸出到熵編碼部1104。例如，如上述所示，在對於編碼對象圖片增加根據階層構造的參考限制之情況下，畫面間預測部1111係產生顯示1的旗標並且將其輸出到熵編碼部1104。換言之，畫面間預測部1111係根據旗標顯示出增加限制的情況下，將滿足因應編碼對象圖片所歸屬的第1層而有所限制的條件之圖片選擇作為對於編碼對象圖片之參考圖片。

再者，畫面間預測部1111係對於被階層化之複數個圖片的各個產生顯示該圖片所歸屬之層的層資訊，將該層資訊輸出到熵編碼部1104及記憶體控制部1200。

開關1113係在編碼對象區塊進行畫面內預測編碼的情況下，將利用面內預測部1110所產生的預測圖像(畫面內預測圖像)輸出到減算器1101及加算器1107。一方面，開關1113係在編碼對象區塊進行畫面間預測編碼的情況下，將利用畫面間預測部1111所產生的預測圖像(畫面間預測圖像)輸出到減算器1101及加算器1107。

熵編碼部1104係藉由將利用量化部1103量化的係數區塊、利用動作檢測部1112檢測的動作向量、及利用畫面間預測部1111產生的旗標與層資訊進行熵編碼(可變長編碼)而產生編碼資料流。藉此，在編碼資料流中係包含有上述之旗標及層資訊。

記憶體控制部1200係從畫面間預測部1111取得各圖片的層資訊，根據利用該等層資訊所顯示之各圖片的層，也就是根據階層構造，管理儲存在記憶體1109之複數個圖片的各個。具體而言，記憶體控制部1200係對於每層將記憶體1109內之可使用的記憶體容量之中的一部份容量作為階層容量，對於該層予以分配。再者，記憶體控制部1200係在被限制為對於應該被儲存之儲存對象圖片所歸屬的層所分配的容量，也就是階層容量之記憶體1109內的區域，儲存該儲存對象圖片。又記憶體控制部1200係在用以儲存儲存對象圖片之容量在該區域沒有剩餘的情況下，將已儲存在該區域之至少1個既有圖片之中，最早儲存的既有圖片從該區域刪除，儲存儲存對象圖片亦可。

為此，記憶體控制部1200係在對於每層分配階層容量時，對於該複數層之中位於最下之最下位層而言，分配到對於位在該最下位層更上之上位層所分配的階層容量更大的階層容量。

再者，記憶體控制部1200係對於儲存在記憶體1109之複數個圖片之中，屬於位在編碼對象圖片所歸屬的層更上之層的圖片標記屬性。具體而言，記憶體控制部1200係標記顯示不使用於參考的圖片之屬性。

以下，針對利用畫面間預測部1111所構築之圖片的階層構造及參考構造進行詳細說明。

第2圖係為顯示利用畫面間預測部1111所構築之階層構造及參考構造的圖面。又第2圖中附加在圖片的字母及數字係各別顯示圖片樣式及圖片的表示順序。例如，I0係顯示圖片樣式「I」及圖片的表示順序「0」，Br2係顯示圖片樣式「B」及圖片的表示順序「2」。

畫面間預測部1111係如第2圖所示，根據藉由將被包含在動態圖像訊號之複數個圖片各自分類在各層(階層)所構築的階層構造，定義參考構造。為此，畫面間預測部1111係將利用圖片的表示順序位於前面的圖片作為I圖片，將前頭的I圖片以外的圖片作為B圖片。又畫面間預測部1111係在複數層的各層中，在屬於該層之圖片的畫面間預測時，參考屬於與該層同一層的圖片、或是屬於更低層級的層之圖片。換言之，在利用畫面間預測部1111所構築之參考構造中，付予所謂不承認被分類在位於比編碼對象圖片所歸屬的層更高或上的層之圖片的參考之限制。

例如，畫面間預測部1111係如第2圖所示，在對於歸屬在層3之圖片B1進行畫面間預測時，參考歸屬於層0的圖片I0、及歸屬於層2之圖片Br2。又畫面間預測部1111係在畫面間預測歸屬於層級為最低之層0的圖片Bf8時，參考歸屬於與該層相同層0之圖片I0。為此，在歸屬於層級之最低層的圖片之畫面間預測時，只可以參考利用表示順序位於前方的圖片。

如此一來，在本實施形態中之參考構造中，由於I圖片以外的圖片係構成為B圖片，因此可以使動態圖像訊號之壓縮率提升。一般而言，參考多的參考圖片予以編碼的圖片係比參考少的參考圖片進行編碼的圖片更可以提高壓縮率。因此，在本實施形態中之參考構造中，由於將I圖片以外的圖片都構成為B圖片，因此可以提高動態圖像訊號的壓縮率。

再者，在本實施形態中之參考構造中，複數層之中，歸屬於層級高的層之圖片係參考歸屬於與該層相同層之圖片、或者歸屬於比該層更低層級的層之圖片再進行編碼。因此，在具備畫像解碼裝置之播放裝置中，易於進行倍速播放等特殊播放。

例如，在播放裝置進行高速播放的情況下，只播放歸屬於層0的圖片。在第2圖所示之參考構造中，再生裝置係播放圖片I0、Bf8、Bf16。在減低播放速度的情況下，播放裝置係播放各自歸屬於層0及層1的圖片，進一步再減低播放速度的情況下，播放各自歸屬於層0、層1及層2的圖片。如此一來，藉由伴隨著層而定義參考構造，易於實現柔軟的高速播放。

換言之，圖像編碼裝置係將歸屬於比利用特殊播放顯示的顯示對象圖片所歸屬的層更高層之圖片作為參考圖片予以參考，而將該顯示對象圖片進行編碼時，播放裝置係在特殊播放中，儘管該參考圖片不會顯示，也必須將該參考圖片解碼。但是，在本實施形態中的圖像編碼裝置1000中，對於每個圖片，禁止將歸屬於比該圖片所歸屬的層更高層級的層之圖片作為參考圖片予以參考。因此，播放裝置係在特殊播放中，可以節省所謂特意將不能顯示的參考圖片進行解碼之時間。其結果為在本實施形態中，可以減輕播放裝置所具備之圖像解碼裝置的處理負擔。

為此，畫面間預測部1111係如上述所示產生旗標。換言之，畫面間預測部1111係輸出以1位元辨識是否為了特殊用途(例如特殊播放等)具有階層性的限制條件而使動態圖像訊號(資料流)進行編碼者、或是沒有受到限制而進行編碼者的旗標。熵編碼部1104係例如在編碼資料流中之存取單位(例如隨機存取單位或排序)的前方附加該旗標(1位元)。藉此，播放裝置係可以利用最小的位元數判斷編碼資料流或編碼圖片是否為用以高速播放或隨機存取等特殊用途者。其結果為可以將對於利用習知之H.264方式所編碼之動態圖像圖訊號，也就是編碼資料流、及將該編碼資料流進行解碼之圖像解碼裝置的互換性影響抑制在最小限度。又將顯示因應用途之階層構造及參考構造的資料，也就是顯示限制有無的資料與上述旗標(1位元)有所不同，附予SEI(Supplemental enhancement Information；補充增強訊號)等附加部份亦可。

再者，畫面間預測部1111係上述所示產生層資訊。換言之，畫面間預測部1111係輸出對於每個圖片，用以將該圖片是歸屬於哪層的層資訊(辨識資訊)。此時，熵編碼部1104係將層資訊附加在與該層資訊對應之圖片的前頭。具體而言，畫面間預測部1111係對於1張圖片(圖框或場對)內的全部資料流分配相同的層資訊。此係為了在高速播放或隨機存取等特殊播放的情況下，不必將圖片內的各部份(資料流)分配在相互不同的層。藉此，熵編碼部1104係在圖片參數集等圖片前頭附加層資訊。

其結果為播放裝置係在對於編碼資料流進行高速播放時，從圖片的前頭取得層資訊，並且對於高速播放只要播放必要的圖片。

又熵編碼部1104係在編碼資料流的前方匯集配置複數個層資訊亦可。具體而言，熵編碼部1104係依照被包含在編碼資料流之複數個圖片的編碼順序或顯示順序並列，並且將該等複數個圖片的層資訊作為管理資訊配置在編碼資料流的前頭。播放裝置係在將編碼資料流進行解碼之前，首先藉由讀入前頭的管理資訊，可以判斷可否進行怎樣的高速播放(特殊播放)。

又熵編碼部1104係在將在編碼資料流儲存於光碟時等，與編碼資料流不同另外將管理資訊儲存於光碟亦可。藉由與編碼資料流不同另外儲存管理資訊，播放裝置係在播放編碼資料流之前，可以判斷可否進行怎樣的高速播放。

又在本實施形態中，歸屬於層級高的層之圖片係參考歸屬於與該層相同層的圖片、或是歸屬於比該層更低層級的層之圖片進行編碼。但是，有所例外，歸屬於特定層級的層之圖片係參考歸屬於比該特定層更高層級的層之圖片進行編碼亦可。例如，如第2圖的虛線箭頭方向所示，歸屬於最低層級的層之圖片係參考歸屬於更高層級的層之圖片進行編碼。具體而言，歸屬於最低層級的層0之圖片Br16係參考歸屬於更高層級的層1之圖片Br4、及歸屬於更高層級的層2之圖片Br6進行編碼。

如此一來，藉由使歸屬於特定層級的層之圖片參考歸屬於層級高的層之圖片，可以更提高動態圖像訊號的壓縮率。一方面，由於特殊播放係有所限制，因此在編碼料流重新追加顯示可否進行怎樣的特殊播放之資訊亦可。例如，對於歸屬於最低層級的層之圖片而言，附加顯示可否參考直到歸屬於哪一層的圖片之資訊。例如，如第2圖所示，畫面間預測部1111係輸出顯示可以參考直到歸屬於層2的圖片之資訊，熵編碼部1104係將該資訊附加在編碼資料流。其結果為，播放裝置係根據該資訊，判斷出可以將各自歸屬於層0、層1及層2的圖片之播放；以及各自歸屬於層0、層1、層2及層3的圖片之播放作為特殊播放。顯示可否參考直到歸屬於哪一層的圖片之資訊係附加在編碼資料流亦可，與編碼資料流不同成為另外的管理資訊予以儲存亦可。

又畫面間預測部1111係對於比歸屬於最低層級的層之圖片依照顯示順序位於後方的圖片之畫面間預測而言，禁止進行比歸屬於最低層級的層之圖片依照顯示順序位於前方的圖片之參考亦可。換言之，畫面間預測部1111係將歸屬於最低層級的層之圖片作為設計參考限制時的基準圖片予以處理。藉由設計這樣的參考限制，圖像解碼裝置係在歸屬於最低層級的層之圖片進行隨機存取時，可以保證位於已進行隨機存取的圖片之後的圖片之解碼。又畫面間預測部1111係對於歸屬於最低層級的層之圖片，輸出顯示該圖片是否為參考限制所用之基準圖片的資訊亦可。在該情況下，熵編碼部1104係對於該圖片附加顯示是否為基準圖片的資訊。藉此，在歸屬於最低層級的層之圖片中由於混雜有基準圖片、及非基準圖片的圖片，因此可以達到動態圖像訊號之壓縮率的提升與隨機存取的兩全其美。

為此，基準圖片不是歸屬於最低層級的層之圖片，例如是歸屬於比編碼對像圖片的層更低層之圖片亦可。換言之，基準圖片是歸屬於在因應編碼對象圖片所歸屬的第1層而有所限制的範圍，也就是制限在比第1層更下的範圍之第2層的圖片。例如，依照編碼順序在編碼對象圖片與候補圖片之間存在有基準圖片。在該情況下，畫面間預測部1111係在選擇參考圖片時，禁止選擇依照編碼順序位於比編碼對象圖片更前之該候補圖片作為參考圖片。藉此，可以選擇適當的圖片作為參考圖片，並且可以進一步抑制處理負擔。

又畫面間預測部1111係進一步對於位於隨機存取之存取位置的圖片之畫面間預測而言，參考歸屬於最低層級的層之圖片亦可。換言之，針對歸屬於可以成為隨機存取的存取位置之層3的圖片之畫面間預測，一定只能將歸屬於層0的圖片作為參考圖片進行參考亦可。藉此，圖像解碼裝置係在將隨機存取的存取位置之圖片進行解碼時，直接參考層0的參考圖片，並且不必將中間層(存取位置的圖片所歸屬的層及位於最低層級的層之間的層)的圖片進行解碼，可以將該存取位置的圖片進行解碼。再者也不需要Switching P(SP)切片等追加的編碼資料。

以下，針對記憶體控制部1200管理記憶體1109之記憶體管理方法進行詳細說明。

例如，對於第2圖所示之參考構造，當單純適用現行的H.264規格中的記憶體管理方法時，會使編碼對象圖片的編碼所參考之參考圖片從記憶體刪除，會發生無法參考該參考圖片的情況。

第3圖係為顯示在必要的參考圖片被刪除的情況下之記憶體管理方法的一例之圖面。

首先，在依照編碼順序第0個的處理之中，將圖片I0進行編碼及解碼，並且作為參考圖片I0儲存在記憶體。之後，將參考圖片依序儲存在記憶體，在依照編碼順序第3個的處理之中，將圖片I0、圖片Bf8、圖片Br4、及圖片Br2儲存在記憶體。其次，在依照編碼順序第4個的處理中，將圖片Br6重新追加在記憶體1109，而最先儲存在記憶體之圖片I0係從該記憶體被刪除。

但是，圖片I0係在依照編碼順序第5個的處理之中，由於在圖片B1的編碼予以參考，因此在第5個的處理之中必須再次將圖片I0進行解碼。換言之，為了圖片B1的編碼，在記憶體中必須只儲存圖片I0之更大的記憶體容量。

又同樣地，在依照編碼順序第9個的處理之中，使圖片Bf8從記憶體被刪除。但是圖片Bf8係在依照編碼順序第10個的處理之中，由於在圖片Br12的編碼予以參考，因此在第10個的處理之中必須再次將圖片Bf8進行解碼。換言之，在依照編碼順序第10個的處理之中，為了能夠達到將圖片Bf8儲存在記憶體的狀態，在該記憶體必須要有更大的記憶體容量。或者，必須進行記憶體管理指令(MMCO)的適用。

如此一來，對於第2圖所示之參考構造，當單純適用現行的H.264規格中的記憶體管理方法時，會發生應該被儲存在記憶體的參考圖片被刪除的課題。

為了解決這樣的課題，在圖片的編碼順序設定限制亦可。

第4圖係為顯示在對於圖片的編碼順序設定限制的情況下之記憶體管理方法的一例之圖面。

例如，設定所謂將在歸屬於最高層級的層以外的層之圖片的編碼順序儘可能在後面進行之限制。又即使在這樣的限制中，也不會有依照編碼順序在前面的圖片之編碼要參考後面的圖片之情況。又編碼順序係與解碼順序相同。

具體而言，在根據第4圖所示之編碼順序中，層2的圖片Br6係位於比層3的圖片B1及B3的編碼順序更後面。根據這樣的編碼順序，在將層3的圖片B1進行編碼時，圖片B1所參考的圖片I0係儲存在記憶體1109。因此，可以節省圖片I0的再解碼之時間的同時，而且可以抑制記憶體1109容量的增加。

但是，即使在該情況下，圖片Bf8係根據依照編碼順序第9個的處理(圖片Bf16的編碼及解碼)，而從記憶體被刪除。其結果為，圖片Bf8在依照編碼順序第10個的處理之中，由於在圖片Br12的編碼予以參考，因此必須再次將圖片Bf8進行解碼。或者，在依照編碼順序第10個的處理之中，為了儲存圖片Bf8，在記憶體必須要有更大的記憶體容量。或者，必須進行記憶體管理指令(MMCO)的適用。

第5圖係為顯示根據本實施形態之記憶體控制部1200之記憶體管理方法的圖面。

記憶體控制部1200係使用圖片的階層構造及參考構造管理記憶體1109。例如，記憶體1109係具有只能夠儲存4張圖片的記憶體容量。在該情況下，記憶體控制部1200係在記憶體1109的可使用容量，也就是4張圖片份的記憶體容量之中，將2張圖片份的記憶體容量作為階層容量分配給最低層級的層0。再者，記憶體控制部1200係在記憶體1109的上述4張圖片份的記憶體容量之中，將1張圖片份的記憶體容量作為階層容量各自分配給層1及層2。換言之，使1張圖片份的階層容量除了最低層級的層0及最高層級的層3之外，也各自分配到中間階。

其次，記憶體控制部1200係從畫面間預測部1111取得被包含在動態圖像訊號之圖片的層資訊。再者，在該層資訊顯示為層0的情況下，記憶體控制部1200係在記憶體1109內之對於層0所分配的階層容量之區域儲存該圖片。又在該層資訊顯示為層1或2的情況下，記憶體控制部1200係在記憶體1109內之對於層1或2所分配的階層容量之區域儲存該圖片。

如此一來，在本實施形態中，對於從其他圖片被參考的可能性為高之圖片所歸屬的層級低之層，分配多的階層容量，對於從其他圖片被參考的可能性為低之圖片所歸屬的層級高之層，分配少的階層容量。藉此，不必使記憶體1109的記憶體容量擴大，或者不必適用MMCO，可以將編碼及解碼所必須的參考圖片確實儲存在記憶體1109。

又階層容量的分配方法係不限於第5圖所示之例子。記憶體控制部1200係對於層級低的層分配多的階層容量亦可，例如對於層0分配3張圖片份的階層容量，對於其他層1及層2的整體分配1張圖片份的階層容量亦可。

第6圖係為顯示本實施形態之根據圖像編碼裝置的處理之流程圖。

圖像編碼裝置1000的畫面間預測部1111係將位於因應編碼對象圖像所歸屬之第1層而有所限制的範圍之歸屬於第2層的圖像作為對於編碼對象圖像的參考圖像予以參考(步驟S10)。再者，圖像編碼裝置1000係根據參考圖像將編碼對象圖像進行編碼(步驟S11)。又在本實施形態中，畫面間預測部1111係作為參考參考圖像之參考部(第1參考部)予以構成。又圖像編碼裝置1000所具備之至少1個構成要素係作為將編碼對象圖像進行編碼之編碼部予以構成。

藉此，在編碼對象圖像被參考的參考圖像所歸屬的層係位於因應該編碼對象圖像所歸屬之第1層而有所限制的範圍。因此，由於使編碼對象圖像被參考的參考圖像因應第1層而有所限制，因此可以減輕該編碼的處理負擔。再者，如此一來即使在將已編碼的圖像進行解碼時，也由於使參考圖像有所限制，可以減輕該解碼的處理負擔。

為此，畫面間預測部1111係在利用步驟S10參考參考圖像時，禁止進行歸屬於比第1層更上的層之圖像的參考，將歸屬於被限制在第1層以下的範圍之第2層的圖像作為參考圖像予以參考。

藉此，由於禁止進行歸屬於比編碼對象圖像所歸屬之第1層更上的層之圖像的參考，可以利用少的處理負擔將編碼對象圖像進行編碼。同樣，在將已編碼的圖像進行解碼時，由於不必參考歸屬於比該已編碼圖像所歸屬的層更上之層的圖像，可以利用少的處理負擔將該已編碼圖像進行解碼。又在將被包含動態圖像訊號之複數個圖像各自作為編碼對象圖像而將該動態圖像訊號進行編碼的情況下，即使在被包含在已編碼之動態圖像訊號之任何圖像的解碼之中，也都不必參考歸屬於該圖像所歸屬之層更上的層之圖像。因此，圖像解碼裝置係只要將歸屬於成為特殊播放(高速播放)對象之層的圖像進行解碼即可，可以節省特意將歸屬於成為特殊播放對象之層更上的層之圖像進行解碼參考的時間。例如使成為N倍速播放(N>2)等特殊播放的對象之層為位於最下之最下位層0的情況下，圖像解碼裝置係不必特意將位於比其最下位層0更上之層1、2及3之不是成為播放對象的圖像予以參考，只要將歸屬於最下位層0的各圖像即可。又複數個圖像係各自為圖片或資料流。

第7圖係為顯示根據本實施形態之圖像編碼裝置1000之使用旗標的處理之流程圖。

圖像編碼裝置1000的畫面間預測部1111係產生顯示是否在編碼對象圖像的編碼所參考之參考圖像的選擇增加限制之旗標(步驟S20)。其次，畫面間預測部1111係在旗標顯示為增加限制的情況下，將滿足因應編碼對象圖像所歸屬的第1層而有所限制的條件之圖像作為對於編碼對象圖像的參考圖像予以選擇(步驟S21)。其次，圖像編碼裝置1000係參考已選擇之參考圖像將編碼對象圖像進行編碼(步驟S22)。再者，圖像編碼裝置1000之熵編碼部1104係在已編碼之動態圖像訊號，也就是編碼資料流包含該旗標(步驟S23)。又在本實施形態中，畫面間預測部1111係構成為產生旗標的產生部的同時，而且構成為選擇參考圖像的選擇部。又圖像編碼裝置1000所具備之至少1個構成要素係構成為將編碼對象圖像進行編碼的編碼部。又熵編碼部1104係構成為在編碼資料流包含旗標之***部。

藉此，在根據旗標顯示增加限制的情況下，將滿足因應編碼對象圖像所歸屬的第1層而有所限制的條件之圖像作為參考圖像予以選擇。換言之，使在編碼對象圖像的編碼所參考之參考圖像因應第1層而有所限制。其結果為可以減輕編碼對象圖像的編碼處理負擔。又由於產生顯示對於參考圖像的選擇是否增加限制之旗標，並且包含在編碼資料流，將該編碼資料流進行解碼之圖像解碼裝置係根據該旗標，易於掌握對於參考圖像的選擇是否增加限制。其結果為圖像解碼裝置係可以利用少的處理負擔適當地將該已編碼的動態圖像訊號進行解碼。

第8圖係為顯示根據本實施形態之圖像編碼裝置1000之具體處理的流程圖。

首先，圖像編碼裝置1000係取得已編碼的動態圖像訊號(S100)。

其次，圖像編碼裝置1000係將被包含在已取得之動態圖像訊號之圖片分類到層(步驟S101)。再者，圖像編碼裝置1000係依照根據圖片的參考構造之限制將圖片進行編碼(步驟S102)。其次，圖像編碼裝置1000係輸出包含已編碼的圖片、該圖片的層資訊、及旗標之編碼資料流(S103)。

第9圖係為本實施形態中之圖像解碼裝置的方塊圖。

本實施形態中之圖像解碼裝置2000係為適當地將利用圖像編碼裝置1000所產生的編碼資料流進行解碼之裝置，其係具備：熵解碼部2101、反向量化部2102、反向直交轉換部2103、加算器2104、去區塊效應濾波器2105、記憶體2106、面內預測部2107、畫面間預測部2108、開關2109、及記憶體控制部2200。

熵解碼部2101係取得編碼資料流，將該編碼資料流進行熵解碼(可變長解碼)。換言之，熵解碼部2101係根據該熵解碼，產生已量化的係數區塊、動作向量、旗標、及層資訊。

反向量化部2102係將根據利用熵解碼部2101的熵解碼所產生的已量化係數區塊進行反向量化。反向直交轉換部2103係藉由對於包含在該已反向量化之係數區塊的各頻率係數進行反離散餘弦轉換等反向直交轉換(反向頻率轉換)，產生解碼差餘圖像。

加算器2104係從開關2109取得預測圖像，藉由將該預測圖像、與利用反向直交轉換部2103所產生的解碼差餘圖像進行加算而產生解碼圖像(再構成圖像)。

去區塊效應濾波器2105係除去利用加算器2104所產生之解碼圖像的區塊變形，將該解碼圖像儲存在記憶體2106的同時，而且輸出該解碼圖像。

面內預測部2107係使用利用加算器2104所產生之解碼圖像，藉由對於解碼對象區塊進行畫面內預測，產生預測圖像(畫面內預測圖像)。

畫面間預測部2108係藉由將儲存在記憶體2106之圖像作為參考圖像予以參考的同時，而且使用根據利用熵解碼部2101的熵解碼所產生的動作向量，對於解碼對象區塊進行補償。畫面間預測部2101係藉由進行這樣的補償，也就是藉由對於解碼對象區塊進行畫面間預測，產生解碼對象區塊的預測圖像(畫面間預測圖像)。

為此，該畫面間預測部2108係與圖像編碼裝置1000的畫面間預測部1111相同，對於參考圖像的選擇設定限制。換言之，畫面間預測部2108係將歸屬於因應解碼對象圖片所歸屬的第1層而有所限制的範圍之第2層的圖片作為對於解碼對象圖片的參考圖片予以參考。具體而言，畫面間預測部2108係禁止進行歸屬於比第1層更上(高層級)之層的圖片之參考，並且將歸屬於限制於第1層以下範圍之第2層的圖片作為參考圖片予以參考。

又畫面間預測部2108係產生參考索引，該參考索引係顯示在包含於編碼資料流之複數個圖像中，除了各自歸屬於第1層更上的全部層之全部圖片外，歸屬於第1層以下的層之至少1個圖片。再者畫面間預測部2108係在參考參考圖片時，從被顯示在該參考索引的至少1張圖片選擇作為參考圖片。

又畫面間預測部2108係取得上述的旗標。為此，畫面間預測部係在該旗標顯示為增加限制的情況下，將滿足因應解碼對象圖片所歸屬的第1層而有所限制的範圍之條件的圖片選擇作為對於解碼對象圖片的參考圖片。例如，畫面間預測部2108係與圖像編碼裝置1000的畫面間預測部1111相同，使用基準圖片選擇參考圖片。再者畫面間預測部2108係參考被選擇的該參考圖片將解碼對象圖片進行解碼。

開關2109係在解碼對象區塊進行畫面內預測編碼的情況下，將利用面內預測部2107所產生的預測圖像(畫面內預測圖像)輸出到加算器2104。一方面，開關2109係在解碼對象區塊進行畫面間預測編碼的情況下，將利用畫面間預測部2108所產生的預測圖像(畫面間預測圖像)輸出到加算器2014。

記憶體控制部2200係從熵解碼部2101取得各圖片的層資訊，並且與圖像編碼裝置1000的記憶體控制部1200相同，根據利用該等層資訊所顯示之各圖片的層，也就是根據階層構造，管理儲存在記憶體2106之複數個圖片的各個。

第10圖係為顯示利用本實施形態中之圖像解碼裝置2000的處理之流程圖。

圖像解碼裝置2000的畫面間預測部2108係將位於因應解碼對象圖像所歸屬之第1層而有所限制的範圍之歸屬於第2層的圖像作為對於解碼對象圖像的參考圖像予以參考(步驟S30)。再者，圖像解碼裝置2000係根據參考圖像將解碼對象圖像進行解碼(步驟S31)。又在本實施形態中，畫面間預測部2108係作為參考參考圖像之參考部(第2參考部)予以構成。又圖像解碼裝置2000所具備之至少1個構成要素係作為將解碼對象圖像進行解碼之解碼部予以構成。又圖像為圖片或是資料流等。

例如，畫面間預測部2108係產生參考索引，該參考索引顯示在包含於編碼資料流之複數個圖像中，除了各自歸屬於第1層更上的全部層之全部圖片外，歸屬於第1層以下的層之至少1個圖片。再者畫面間預測部2108係步驟S30中參考參考圖像時，從顯示在該參考索引之至少1個圖像選擇作為參考圖像。

藉此，在解碼對象圖像被參考的參考圖像所歸屬的層係位於因應該解碼對象圖像所歸屬之第1層而有所限制的範圍。因此，由於被解碼對象圖像參考的參考圖像因應第1層而有所限制，因此可以減輕該編碼的處理負擔。

第11圖係為顯示根據本實施形態之圖像解碼裝置2000之使用旗標的處理之流程圖。

圖像解碼裝置2000的畫面間預測部2108係將顯示是否在被包含在編碼資料流之複數個圖像之中的任一個圖像，也就是解碼對象圖像的編碼參考之參考圖像的選擇增加限制之旗標，從編碼資料流取得(步驟S40)。其次，畫面間預測部2108係在該旗標顯示為增加限制的情況下，將滿足因應解碼對象圖像所歸屬的第1層而有所限制的條件之圖像選擇作為對於解碼對象圖像的參考圖像(步驟S41)。再者，圖像解碼裝置2000係參考已選擇之參考圖像將解碼對象圖像進行解碼(步驟S42)。又在本實施形態中，畫面間預測部2108係構成為取得該旗標之旗標取得部的同時，而且構成為選擇參考圖像的選擇部。

藉此，在利用旗標顯示增加限制的情況下，將滿足因應解碼對象圖像所歸屬的第1層而有所限制的條件之圖像選擇作為參考圖像。換言之，使被解碼對象圖像的解碼參考之參考圖像因應第1層而有所限制。其結果為可以減輕解碼對象圖像的編碼處理負擔。

第12圖係為顯示根據本實施形態之記憶體管理方法的流程圖。

圖像解碼裝置2000之記憶體控制部2200係對於被包含在編碼資料流的複數個圖像之中的儲存對象圖像所歸屬的層所分配的容量，也就是階層容量有所限制，在記憶體2106的區域儲存該儲存對象圖像(步驟S50)。換言之，記憶體控制部2200係針對每層將記憶體2106內之可使用的記憶體容量之中的一部份容量作為階層容量而對於該層有所分配。又在本實施形態中，記憶體控制部2200係成為記憶體管理裝置，並且具備儲存上述的儲存對象圖像的儲存控制部。

例如，有使經過長時間被參考之長時間參考圖像歸屬在其他層，而將該長時間參考圖像儲存在其他區域的情況。在該情況下，當儲存對象圖像儲存在其他區域時，會造成該長時間參考圖像從記憶體2106被刪除。因此，在長時間參考圖像從記憶體2106被刪除之後，為了參考該長時間參考圖像，必須進行將該長時間參考圖像再次解碼等的處理。因此，在本實施形態中的記憶體管理方法中，可以防止由於在對於儲存對象圖像所歸屬的層進行分配之階層容量有所限制的記憶體內的區域，儲存該儲存對象圖像，而使長時間參考圖像從記憶體2106被刪除的情況。換言之，可以將必要的參考圖像確實儲存在記憶體2106。該結果為，可以節省將長時間參考圖像進行再次解碼等多餘的處理。又為了確實在記憶體2106儲存必要的參考圖像，可以節省依序適用指示不要圖像的刪除之記憶體管理指令等處理負擔。

又記憶體控制部2200係在儲存儲存對象圖像時，在上述區域沒有剩餘用以儲存儲存對象圖像的容量的情況下，在已儲存於區域之至少1個既存圖像之中，將最早被儲存的既存圖像從該區域刪除，儲存儲存對象圖像。

為此，在本實施形態中，對於包含在動態圖像訊號(編碼資料流)之複數個圖像之中的處理對象圖像之編碼或解碼所參考的圖像，也就是參考圖像歸屬的層係被限制在該處理對象圖像之歸屬層以下的層。在該情況下，記憶體控制部2200係在每層分配階層容量時，對於複數層之中位於最下的最下位層0而言，分配對於比位於最下位層0更上的上位層進行分配的階層容量更大的階層容量。

藉此，由於使參考圖像歸屬的層限制在處理對象圖像之歸屬層以下的層，因此歸屬在最下位層0的圖像係比歸屬於上位層的圖像更可以經過長時間的被參考之可能性為高。因此，在本實施形態中之記憶體管理方法中，由於使比對於上位層所分配的階層容量更大之階層容量對於最下位層0進行分配，因此可以將歸屬於最下位層0的圖像經過長時間儲存在記憶體。其結果為在歸屬於最下位層0的圖像被參考時，可以防止該圖像從記憶體2106被刪除，而能夠參考該圖像。

又記憶體控制部2200係在儲存於記憶體2106之複數個圖像之中，對於位在比成為解碼對象之解碼對象圖像所歸屬的層更上的層之圖像標記屬性。例如，記憶體控制部2200係標記顯示不被用於參考的圖像之屬性。

藉此，由於對於圖像標記屬性，可以簡單地特定不被用於參考的不要圖像，並且可以從記憶體2106優先刪除該圖像。其結果為可以有效活用記憶體2106的容量。

第13圖係為顯示根據本實施形態之圖像解碼裝置2000之具體處理的流程圖。

首先，圖像解碼裝置2000係從編碼資料流取得1位元的旗標，判斷該旗標是否顯示為1(步驟S201)。

為此，圖像解碼裝置2000係當判斷旗標不是顯示為1時(步驟S201的NO)，取得與該旗標對應之解碼對象圖片(步驟S202)，利用通常的方法(例如伴隨H.264規格之畫面間預測或畫面內預測)將該解碼對象圖片進行解碼(步驟S203)。

一方面，圖像解碼裝置2000係當判斷旗標是顯示為1時(步驟S201的YES)，取得與該旗標對應之解碼對象圖片(步驟S204)，判斷該解碼對象圖片是否為利用畫面間預測所解碼的圖片(步驟S205)。

為此，圖像解碼裝置2000係當判斷解碼對象圖片不是利用畫面間預測所解碼的圖片時(步驟S205的NO)，利用畫面內預測將解碼對象圖片進行解碼(步驟S206)。

一方面，圖像解碼裝置2000係當判斷解碼對象圖片是利用畫面間預測所解碼的圖片時(步驟S205的YES)，取得該解碼對象圖片的層資訊(步驟S207)。再者，圖像解碼裝置2000的畫面間預測部2108係將歸屬於比利用該層資訊所顯示的層更高層級之層的圖片予以選定(步驟S208)。其次，畫面間預測部2108係在儲存於記憶體2106的圖片之中，使用除了被選定的圖片之圖片，構築解碼對象圖片的參考索引(L0、L1)(步驟S209)。

再者，圖像解碼裝置2000的記憶體控制部2200係對於儲存在記憶體2106之利用步驟S208進行選定的圖片，標記顯示「不用於參考」之屬性(步驟S210)。再者，畫面間預測部2108係藉由使用利用步驟S209構築的參考索引所顯示的參考圖片之畫面間預測，將解碼對象圖片進行解碼(步驟S211)。

為此，在步驟S210中，記憶體控制部2200係在儲存於記憶體2106的圖片(參考圖片)之中，對於歸屬於比利用層資訊所顯示的層更高層級的層之全部參考圖片標記屬性「不用於參考」。藉此，圖像解碼裝置2000係可以預先掌握將不承認歸屬在比解碼對象圖片的層更高層級的層之圖片的參考之限制條件附加在編碼資料流乙事。

如此一來，在本實施形態中，藉由與通常的FIFO管理及根據MMCO之適應記憶體控制不同的第3方法(依據階層構造的方法)，對於確定沒被使用於參考的參考圖片可以標記屬性「沒用於參考」。藉此，只要將該參考圖片輸出(顯示)的話，可以自然地從記憶體2106刪除該參考圖片。

又圖像解碼裝置2000係在步驟S209中之參考索引的構築(參考索引初期化時的排序處理)之中，從參考索引除去比解碼對象圖片的層更高層級的層之參考圖片，產生或更新解碼對象圖片(或是解碼對象切片)的參考索引。藉此，可以使參考索引的構築流程簡易化。

(變形例)

又在本實施形態中，進行如第14、15、及16圖所示之圖片參考及記憶體管理亦可。

第14圖係為顯示關於本變形例的參考構造之圖面。又第14圖中，附在圖片的字母、數字、及括弧內的數字係各自顯示圖片樣式、圖片的顯示順序、及圖片的編碼順序。I0(0)係顯示圖片樣式為「I」、圖片的顯示順序為「0」及圖片的編碼順序為「0」，Br2(3)係顯示圖片樣式為「B」、圖片的顯示順序為「2」及圖片的編碼順序為「3」。

例如，在關於本變形例之參考構造中，對於歸屬在層級最低的層0之B圖片，也就是圖片Bf8(1)與圖片Bf16(9)的編碼及解碼方面，如利用第14圖之實線箭頭方向(f:forword；前面)所示，各自使以顯示順序位於前面的圖片被參考。又對於歸屬於層級比該層0更高，而且層級比層級最高的層3更低的層之圖片，例如歸屬在層2之圖片Br2(3)等的編碼及解碼方面，如利用第14圖之實線箭頭方向(r:rear；後面)所示，使以顯示順序位於後面的圖片被參考。

如此一來，關於本變形例之圖像編碼裝置1000及圖像解碼裝置2000係為了將B圖片進行編碼或解碼，只將以顯示順序從B圖片位於單一方向(前方或後方)的圖片作為參考圖片進行參考亦可。在該情況下，圖像編碼裝置1000係將顯示是否只在單一方向限制參考的單一方向旗標包含在編碼資料流亦可。為此，該單一方向旗標係在層0中，顯示是否只可以參考前方並且不可以參考後方，在層1及2中，顯示是否只可以參考後方並且不可以參考前方。如此一來，單一方向旗標係利用參考構造的觀點顯示是否限制參考。又圖像編碼裝置1000係在每個編碼資料流內的序列等特定單位，將這樣的單一方向旗標包含在編碼資料流。圖像解碼裝置2000係取得包含在編碼資料流的單一方向旗標，在利用該單一方向旗標顯示參考限制的情況下，只參考位於因應解碼對象圖片的層之單一方向(前方或後方)的圖片，將解碼對象圖片進行解碼。

又圖像解碼裝置2000係即使在利用單一方向旗標顯示參考限制的情況下，若是要利用位於單一方向以外的其他方向之圖片，如利用第14圖之虛線箭頭方向(opt:option；選項)所示，參考單一方向以外的其他方向之圖片亦可。在該情況下，圖像編碼裝置1000係根據包含在編碼資料流之該圖片樣式，將位於單一方向的圖片作為參考圖片進行參考。又在層資訊包含在編碼資料流的情況下，圖像解碼裝置2000係根據該層資訊開放記憶體2106。

第15圖係為顯示本變形例之記憶體管理方法的一例之圖面。

圖像解碼裝置2000係在將第14圖所丕之參考構造的編碼資料流以1倍速播放的情況下，將全部之各自歸屬於層0、1、2、3的圖片進行解碼。此時，當圖像解碼裝置2000將各自歸屬於層0、1、2、3的圖片進行解碼時，將該等圖片作為參考圖片儲存在記憶體2106。一方面，圖像解碼裝置2000係即使將歸屬於層3的圖片進行解碼，不會將該等圖片作為參考圖片儲存在記憶體2106。或者，即使歸屬於層3的圖片儲存在記憶體2106，記憶體控制部2200係在儲存該圖片時，也對於該圖片標記屬性「不用於參考」。

第16圖係為顯示本變形例之記憶體管理方法的其他例之圖面。

圖像解碼裝置2000係在將第14圖所示之參考構造的編碼資料流以快速播放的情況下，將除了層3之各自歸屬於第0、1、2的圖片進行解碼。換言之，略過圖片Br1(4)、Br3(5)、Br5(7)、Br7(8)的解碼或播放。此時，當圖像解碼裝置2000將各自歸屬於層0、1的圖片進行解碼時，將該等圖片作為參考圖片儲存在記憶體2106。一方面，圖像解碼裝置2000係即使將歸屬於層2的圖片進行解碼，也不會將該圖片作為參考圖片儲存在記憶體2106。或者，即使將歸屬於層2的圖片儲存在記憶體2106，記憶體控制部2200係在儲存該圖片的同時，對於該圖片標記屬性「不用於參考」。

即使是關於這樣的本變形例之圖片的參考方法及記憶體管理方法，也可以減輕編碼或解碼的處理負擔。

(實施形態2)

藉由將用以實現以上述實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的構成之程式記錄在記憶媒體，可以在獨立的電腦系統中簡單實施以上述實施形態所示之處理。記憶媒體係為磁碟、光碟、光磁碟、IC卡、半導體記憶體等，可以記錄程式者即可。

再者為此，說明以上述實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統，其特徵為：具有由使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置構成之圖像編碼解碼裝置。針對系統中之其他構成係可以因應情況而適當變更。

第17圖係為顯示實現內容傳送服務之內容供給系統ex100的整體構成之圖面。依照期望的尺寸分割通訊服務的提供區域，在各單元內各自設置固定無線台，也就是基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係透過網際網路服務提供者ex102與電話網ex104、及基地台ex106到ex110，在網際網路ex101連接電腦ex111、PDA(個人數位助理器)ex112、攝影機ex113、手機ex114、遊戲機ex115等各種機器。

但是，內容供給系統ex100係不限於如第17圖所示的構成，組合連接任何的要素亦可。又即使不透過固定無線台，也就是基地台ex106至ex110，直接將各機器與電話網ex104連接亦可。又透過近距離無線等直接將各機器相互連接亦可。

攝影機ex113係為數位影像攝影機等可進行動畫攝影之機器，攝影機ex116係為可進行數位攝影等靜止畫攝影、動畫攝影之機器。又手機ex114係為GSM(商標登錄)(全球行動通訊系統)方式、CDMA(分碼多工存取)方式、W-CDMA(寬頻分碼多工存取)方式、或是LTE(長期演進技術)方式、HSPA(高速封包存取)方式的手機機、或者PHS(個人手機系統)等，任何一個皆可。

在內容供給系統ex100中，藉由通過基地台ex109、電話網ex104將攝影機ex113等與串流伺服器ex103連接，可以達到即時傳送等。在即時傳送中，使用者係對於使用攝影機ex113所攝影的內容(例如音樂現場的映像等)進行以上述實施形態說明的編碼處理(也就是作為本發明之圖像編碼裝置的機能)，並且傳送到串流伺服器ex103。一方面，串流伺服器ex103係對於有要求的客戶將已傳送旳內容資料進行資料流傳送。就客戶而言，具有可將上述已編碼處理的內容資料進行解碼之電腦ex111、PDAex112、攝影機113、手機ex114、遊戲機ex115等。在接收已傳送的資料之各種機器中係將已接收的資料進行解碼處理再播放(也就是作為本發明之圖像解碼裝置的機能)。

又已攝影的資料之編碼處理係即使利用攝影機ex113予以進行，或是利用進行資料的傳送處理之串流伺服器ex103予以進行皆可，使其相互分擔予以進行亦可。同樣，已傳送之資料的解碼處理係即使利用客戶予以進行，或是利用串流伺服器ex103予以進行皆可，使其相互分擔予以進行亦可。又不限於攝影機ex113，將利用攝影機ex116所攝影的靜止畫像及/或動態圖像資料透過電腦ex111傳達到串流伺服器ex103亦可。該情況的編碼處理係利用攝影機116、電腦ex111、串流伺服器ex103的任何一個予以進行皆可，使其相互分擔予以進行亦可。

又此等編碼‧解碼處理係一般而言都是在具有電腦ex111或各種機器之LSIex500中進行處理。LSIex500係無論由單晶片或多晶片構成皆可。又將動態圖像編碼‧解碼用的軟體編入可利用電腦ex111等讀取之任何的記錄媒體(CD-ROM、可撓性碟片、硬碟等)，使用該軟體進行編碼‧解碼處理亦可。再者，在手機ex114為附有攝影機的情況下，將利用該攝影機取得的動畫資料進行傳送亦可。此時的動畫資料係為利用手機ex114所具有之LSIex500進行編碼處理的資料。

又串流伺服器ex103係為複數個伺服器或複數個電腦，將資料進行分散處理、記錄、傳送者亦可。

如以上所示，在內容供給系統ex100中，可以使客戶接收已編碼的資料再進行播放。如此一來在內容供給系統ex100中，使用者可以即時性將傳送的資訊由客戶接收並進行解碼、播放，即使是沒有特別權利或設備的使用者也可以實現個人廣播。

又不限於內容供給系統ex100的例子，如第18圖所示，即使在數位廣播用系統ex200中，也可以編入上述實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)的任一個。具體而言，在廣播台ex201中係將在映像資料使音樂資料進行多工化之多工化資料透過電波進行通訊或傳送到衛星ex202。該映像資料係為利用以上述實施形態說明的動態圖像編碼方法進行編碼之資料(也就是利用本發明的圖像編碼裝置進行編碼的資料)。接收此資料的衛星ex202係發送廣播用的電波，由可進行衛星廣播的接收之家庭天線ex204接收該電波。將已接收的多工化資料由電視機(接收器)ex300或機上盒(STB)ex217等裝置進行解碼播放(也就是作為本發明之圖像解碼裝置的機能)。

又即使在讀取記錄在DVD、BD等記錄媒體ex215之多工化資料再進行解碼、或者在記錄媒體ex215將映像訊號進行編碼、進一步根據情況與音樂訊號一起多工化再寫入之讀取/記錄器，也可以安裝以上述實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。在該情況下，已播放的映像訊號係顯示在螢幕ex219，可以利用記錄有多工化資料的記錄媒體ex215在其他裝置或系統中播放映像訊號。又在有線電視機用的電線ex203或是與衛星/地面廣播的天線ex204連接之機上盒ex217內安裝動態圖像解碼裝置，利用電視機的螢幕ex219顯示此訊號亦可。此等不是在機上盒，而是在電視機機內編入動態圖像解碼裝置亦可。

第19圖係為顯示使用以上述實施形態說明的動態圖像解碼方法及動態圖像編碼方法之電視機機(接收器)ex300的圖面。電視機機ex300係具備：透過接收上述廣播之天線ex204或電線ex203等取得、或者輸出在映像資料使聲音資料進行多工化的多工化資料之調諧器ex301；將已接收的多工化資料進行解調、或者傳送到外部之調制為多工化資料之調制/解調部ex302；將已解調的多工化資料分離為映像資料與聲音資料、或者利用訊號處理部ex306將已編碼的映像資料、聲音資料進行多工化之多工/分離部ex303。

又電視機機ex300係具有：具有將聲音資料、映像資料各自進行解碼、或者將各個資訊進行編碼之聲音訊號處理部ex304、映像訊號處理部ex305(作為本發明之圖像編碼裝置或圖像解碼裝置的機能)之訊號處理部ex306；具有輸出已解碼的聲音訊號之揚聲器ex307、及顯示已解碼的映像訊之顯示器等顯示部ex308之輸出部ex309。再者，電視機機ex300係具備有受理使用操作的輸入之操作輸入部ex312等之介面部ex317。再者電視機機ex300係具有總括性控制各部之控制部ex310、將電力供給到各部之電源電路部ex311。介面部ex317係除了操作輸入部ex312以外，具有與讀取/記錄器ex218等外部機器連接之橋接器ex313；用以能夠安裝SD卡等記錄媒體ex216之插槽ex314；用以與硬碟等外記記錄媒體連接之驅動器ex315；與電話網連接之數據機ex316等亦可。又記錄媒體ex216係為利用儲存的非揮發性/揮發性半導體記憶元件而能夠進行電氣性資訊記錄者。電視機機ex300的各部係透過同步匯排流而相互連接。

首先，針對電視機機ex300將利用天線ex204等從外部取得的多工化資料進行解碼、播放的構成予以說明。電視機機ex300係接收來自遙控器ex220等的使用者操作，根據具有CPU等控制部ex310的控制，將利用調制/解調部ex302所解調的多工化資料利用多工/分離部ex303進行分離。再者，電視機機ex300係利用聲音訊號處理部ex304將已分離的聲音資料進行解碼，利用映像訊號處理部ex305將已分離的映像資料使用以上述實施形態說明的解碼方法進行解碼。已解碼的聲音訊號、映像訊號係各自從輸出部ex309朝向外部輸出。在輸出時，以聲音訊號與映像訊號同步播放的方式，在緩衝器ex318、ex319等將此等訊號儲存一次亦可。又電視機機ex300即使不是從廣播等，而是從磁/光碟、SD卡等記錄媒體ex215、ex216讀出多工化資料亦可。其次，針對電視機機ex300將聲音訊號或映像訊號進行編碼，傳送到外部或者寫入記錄媒體等的構成予以說明。電視機機ex300係接收來自遙控器ex220等的使用者操作，根據控制部ex310的控制，利用聲音訊號處理部ex304將聲音訊號進行編碼，利用映像訊號處理部ex305將映像訊號使用以上述實施形態說明的編碼方法進行編碼。已編碼的聲音訊號、映像訊號係利用多工/分離部ex303進行多工化再輸出到外部。在多工化時，以聲音訊號與映像訊號同步的方式，在緩衝器ex320、ex321等將此等訊號儲存一次亦可。又緩衝器ex318、ex319、ex320、ex321係如圖示所示具備複數個亦可，成為共有1個以上的緩衝器之構成亦可。再者，在圖示以外，例如也可以作為在調制/解調部ex302或多工/分離部ex303之間等避免系統的過流、下溢之緩衝材而將資料儲存在緩衝器亦可。

又電視機機ex300係除了從廣播等或記錄媒體等取得聲音訊號、映像訊號以外，並且具備受理麥克風或攝影機的AV輸入之構成，對於從該等取得的資料進行編碼處理亦可。又在此電視機機ex300雖然形成為能夠進行上述的編碼處理、多工化、及外部輸出的構成予以說明，但是即使不能進行此等處理，只是形成為能夠進行上述接收、解碼處理、外部輸出的構成亦可。

又利用讀取/記錄器ex218從記錄媒體讀出、或者寫入多工化資料的情況下，上述解碼處理或編碼處理係利用電視機機ex300、讀取/記錄器ex218的任一個進行皆可，使電視機機ex300與讀取/記錄器ex218相互分擔進行亦可。

作為一例，在第20圖顯示從光碟進行資料讀入或寫入的情況之資訊播放/記錄部ex400的構成。資訊播放/記錄部ex400係具備以下說明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401係在光碟，也就是記錄媒體ex215的記錄面照射雷射光點進行資訊寫入、檢測來自記錄媒體ex215的記錄面之反射光進行資訊讀入。調制記錄部ex402係電氣驅動內藏在光學頭ex401的半導體雷射，並且因應記錄資料進行雷射光的調制。播放解調部ex403係利用內藏在光學頭ex401的光檢測器，將電氣檢測來自記錄面的反射光之播放訊號放大，並且將記錄在記錄媒體ex215的訊號成份分離解調，播放必要的資訊。緩衝器ex404係將用以記錄在記錄媒體ex215之資訊、及從記錄媒體ex215播放的資訊暫時儲存。碟片馬達ex405係使記錄媒體ex215旋轉。伺服控制部ex406係一邊控制碟片馬達ex405的旋轉驅動，一邊將光學頭ex401移動到特定的資訊磁軌，進行雷射光點的追踪處理。系統控制部ex407係進行資訊播放/記錄部ex400整體的控制。上述之讀出或寫入處理係藉由使系統控制部ex407利用儲存在緩衝器ex404的各種資訊，且因應必要進行新的資訊之生成.追加的同時，而且一邊使調制記錄部ex402、播放解調部ex403、伺服控制部ex406協調動作，一邊通過光學頭ex401進行資訊的記錄播放予以實現。系統控制部ex407係例如利用微電腦予以構成，藉由實行讀出寫入的程式可以實行該等處理。

在以上，雖然光學頭ex401係以照射雷射光點進行說明，但是使用近場光進行更高密度的記錄之構成亦可。

在第21圖顯示光碟，也就是記錄媒體ex215的模式圖。在記錄媒體ex215的記錄面中係使引導溝(群組)形成為螺旋狀，在資訊磁軌ex230中係藉由預先群組形狀的變化而將顯示碟片上的絕對位置之地址訊號予以記錄。該地址訊號係包含用以特定記錄資料的單位，也就是記錄區塊ex231的位置之資訊，在進行記錄或播放的裝置中藉由播放資訊磁軌ex230讀取地址訊號，可以特定記錄區塊。又記錄媒體ex215係包含資料記錄區域ex233、內周區域ex232、外周區域ex234。被用來作為記錄使用者資料的區域為資料記錄區域ex233，配置在比資料記錄區域ex233更內周或更外周之內周區域ex234與外周區域ex234係用於使用者資料的記錄以外的特定用途。資訊播放/記錄部ex400係對於這樣的記錄媒體ex215之資料記錄區域ex233，進行已編碼的聲音資料、映像資料或者將此等多工化的多工化資料之讀寫。

在以上中，雖然舉出1層的DVD、BD等光碟為例進行說明，但是不限於此等，即使是多層構造在表面以外也可以記錄之光碟亦可。又在碟片的相同處使用各種不同的波長色光記錄資訊、從各種角度記錄不同的資訊層等可進行多次元記錄/播放的構造之光碟亦可。

又在數位廣播用系統ex200中，也可以利用具有天線ex205的汽車ex210從衛星ex202等接收資料，在汽車ex210所具有的汽車導航裝置ex211等顯示裝置播放動畫。又汽車導航裝置ex211的構成係在第19圖所示之構成中，被認為是增加GPS接收部的構成，而同樣的事在電腦ex111或手機ex114等也被認可。

第22A圖係為顯示使用以上述實施形態說明的動態圖像解碼方法及動態圖像編碼方法之手機ex114的圖面。手機ex114係具備：在與基地台ex110之間用以接收傳送電波之天線ex350；可拍攝映像、靜止畫之攝影機部ex365；將利用攝影機部ex365拍攝的映像、利用天線ex350接收的映像等進行解碼的資料予以顯示之液晶顯示器等顯示部ex358。手機ex114係進一步具備：具有操作鍵盤ex366之本體部；用以輸出聲音之揚聲器等聲音輸出部ex357；用以輸入聲音之麥克風等聲音輸入部ex356；將拍攝的映像、靜止畫、錄音的聲音、或者接收的映像、靜止畫、訊息等已編碼的資料或已解碼的資料進行儲存之記憶體部ex367；或者與同樣儲存資料的記錄媒體之介面部，也就是插槽ex364。

再者，針對手機ex114的構成例，使用第22B圖進行說明。手機ex114係對於統括性控制具備顯示部ex358及操作鍵盤ex366之本體部的各部之控制部ex360，使電源電路部ex361、操作輸入控制部ex362、映像訊號處理部ex355、攝影機介面部ex363、LCD(液晶顯示器)控制部ex359、調制/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽ex364、記憶體部ex367透過匯流排ex370而相互連接。電源電路部ex361係當藉由使用者的操作而使終話及電源鍵成為開狀態時，藉由從電池組件將電力對於各部供給而使手機ex114起動為可動作的狀態。

手機ex114係根據具有CPU、ROM、RAM等主控制部ex360的控制，在聲音通話模式時將利用聲音輸入部ex356接收的聲音訊號利用聲音訊號處理部ex354轉換為數位聲音訊號，利用調制/解調部ex352將此訊號進行頻譜擴散處理，在利用傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理後透過天線ex350進行傳送。又手機ex114係在聲音通話模式時透過天線ex350將已接收的接收資料放大並且施行頻率轉換處理及數位類比轉換處理，利用調制/解調部ex352進行頻譜逆擴散處理，利用聲音訊號處理部ex354轉換為類比聲音訊號後，將該訊號從聲音輸出部ex357輸出。

再者，在資料通訊模式時傳送電子郵件的情況下，利用本體部的操作鍵盤部ex366等之操作所輸入的電子郵件的本文資料係透過操作輸入控制部ex362送出到主控制部ex360。主控制部ex360係利用調制/解調部ex352將本文資料進行頻譜擴散處理，在利用傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送到基地台ex110。在接收電子郵件的情況下，對於已接收的資料進行與此大約相反的處理，輸出到顯示部ex358。

在資料通訊模式時傳送映像、靜止畫、或映像與聲音的情況下，映像訊號處理部ex355係將從攝影機部ex365所供給的映像訊號利用以上述實施形態所示之圖像編碼方法進行壓縮編碼(也就是作為本發明之圖像編碼裝置的機能)，將已編碼的映像資料送出到多工/分離部ex353。又聲音訊號處理部ex354係將在利用攝影機部ex365拍攝映像、靜止畫中利用聲音輸入部ex356收音的聲音訊號進行編碼，將已編碼的聲音資料送出到多工/分離部ex353。

多工/分離部ex353係利用特定的方式將從映像訊號處理部ex355供給之已編碼的映像資料、及從聲音訊號處理部ex354供給之已編碼的聲音資料進行多工化，其結果為將已得到的多工化資料利用調制/解調部(調制/解調電路部)ex352進行頻譜擴散處理，在利用傳送/接收部ex351施行數位類比轉換處理及頻率轉換處理後透過天線ex350進行傳送。

在資料通訊模式時接收與網頁連結之動態圖像檔案的資料之情況、或者接收附有映像及/或聲音的電子郵件之情況下，為了將透過天線ex350所接收的多工化資料進行解碼，多工/分離部ex353係利用分離多工化資料而分成為映像資料的位元流及聲音資料的位元流，透過同步匯流排ex370將已編碼的映像資料供給到映像訊號處理部ex355的同時，而且將已編碼的聲音資料供給到聲音訊號處理部ex354。映像訊號處理部ex355係藉由利用與以上述的實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法進行解碼而將映像訊號進行解碼(也就是作為本發明之圖像解碼裝置的機能)，透過LCD控制部ex359從顯示部ex358顯示包含在例如與網頁連結之動態圖像檔案的映像、靜止畫。又聲音訊號處理部ex354係將聲音訊號進行解碼，從聲音輸出部ex357將聲音輸出。

又上述手機ex114等的終端係與電視機機ex300相同，認為有所謂除了具有編碼器‧解碼器兩方之接收傳送型終端之外，也有僅編碼器之傳送終端、僅解碼器之接收終端的3種安裝形式。再者，在數位廣播用系統ex200中，雖然就接收、傳送在映像資料將音樂資料等進行多工化之多化工資料進行說明，但是在聲音資料以外將與映像相關之文字資料等進行多工化的資料亦可，不是多工化資料只是映像資料本身亦可。

如此一來，可以將以上述的實施形態所示之動態圖像編碼方法或動態圖像解碼方法使用在上述之任一個機器‧系統，藉此，可以得到以上述實施形態說明的效果。

又本發明係不限於上述實施形態，在不脫離本發明的範圍下可以進行各種變形或修正。

(實施形態3)

藉由因應必要適當切換以上述各實施形態所示之動態圖像編碼方法或裝置、及以MPEG-2、MPEG4-AVC、VC-1等不同規格為基準之動態圖像編碼方法或裝置，也可以產生映像資料。

為此，在產生以各種不同規格為基準的複數種映像資料的情況下，在進行解碼時，必須選擇因應各種規格的解碼方法。然而，由於無法辨識解碼的映像資料是以何種規格為基準者，因此發生了無法選擇適當的解碼方法。

為了解決該課題，在映像資料將聲音資料等進行多工化的多工化資料係構成為包含顯示映像資料是以何種規格為基準者的辨識資訊。在以下說明包含利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的映像資料之多工化資料的具體構成。多工化資料係為傳輸串流形式的數位資料流。

第23圖係為顯示多工化資料的構成。如第23圖所示多工化資料係在影像資料流、音訊資料流、演式圖形資料流(PG)、交互圖形資料流之中，藉由將1個以上進行多工化而得到。影像資料流係顯示電影的主映像及副映像、音訊資料流(IG)係顯示電影的主聲音部份及與該主聲混合的副聲音、演式圖形資料流係顯示電影的字幕。在此所謂主映像係表示在畫面中所顯示之通常的映像，所謂副映像係表示在主映像之中以小的畫面所顯示之映像。又交互圖形資料流係顯示藉由在畫面上配置GUI零件而作成的對話畫面。影像資料流係利用以上述各實施形態示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的動態圖像編碼方法或裝置進行編碼。音訊資料流係利用杜比AC-3(Dolby Digital Plus；杜比數位技術)、MLP、DTS、DTS-HD、或線性PCM等方式進行編碼。

包含在多工化資料的各資料流係利用PID辨識。例如，在利用於電影之映像的影像資料流中係分配到0x1011、在音訊資料流中分配到0x1100至0x111F、在演式圖形資料流分配到0x1200至0x121F、在交互圖形資料流中分配到0x1400至0x141F，在利用於電影的副映像之影像資料流中係分配到0x1B00至0x1B1F、在利用於與主聲音混合之副聲音的音訊資料流中分配到0x1A00至0x1A1F。

第24圖係為模式顯示多工化資料是如何進行多工化的圖面。首先，將由複數個影像框構成的影像資料流ex235、由複數個音訊框構成的音訊資料流ex238各自轉換為PES封包列ex236及ex239，再轉換為TS封包ex237及ex240。同樣將演式圖形資料流ex241及交互圖形資料流ex244各自轉換為PES封包列ex242及ex245，進一步轉換為TS封包ex243及ex246。多工化資料ex247係藉由將此等TS封包在1條的資料流進行多工化予以構成。

第25圖係為更詳細顯示如何在PES封包列儲存影像資料流。第25圖中的第1段係顯示影像資料流的影像框列。第2段係顯示PES封包列。如第25圖之箭頭方向yy1、yy2、yy3、yy4所示，影像資料流中之複數個影像演示單元(Video Presentation Unit)，也就是I圖片、B圖片、P圖片係分割為每個圖片，並且儲存在PES封包列的酬載。各PES封包係具有PES標頭，在PES標頭中係儲存圖片的顯示時刻，也就是PTS(Presentation Time-Stamp；演示時間標記)或圖片的解碼時刻，也就是DTS(Decoding Time-Stamp；解碼時間標記)。

第26圖係顯示在最後寫入到多工化資料之TS封包的形式。TS封包係為由具有辨識資料流之PID等資訊之4位元的TS標頭、及儲存資料之184位元的TS酬載構成之188位元固定長度的封包，上述之PES封包係被分割並儲存在TS酬載。在BD-ROM的情況下，在TS封包中，附予4位元的TP_Extra_Header(TP附加標頭)而構成192位元的源包，被寫入到多工化資料。在TP_Extra_Header中係記載ATS(Arrival Time Stamp；到達時間標記)等資訊。ATS係顯示該TS封包之對於解碼器的PID過濾之傳送開始時刻。在多工化資料中係如第26圖下段所示，形成為源包並列，從多工化資料的前頭增加的號碼係被稱為SPN(源包號碼)。

又在包含於多工化資料之TS封包中，除了映像‧聲音‧字幕等各資料流以外，也有PAT(Program Association Table；節目關聯表)、PMT(Program Map Table；節目映射表)、PCR(Program Clock Reference；節目參考時鐘)等。PAT係顯示被利用在多工化資料中之PMT的PID為何，PAT本身的PID係以0登錄。PMT係具有包含在多工化資料中之映像‧聲音‧字幕等各資料流的PID及與各PID對應之資料流的屬性資訊，而且具有關於多工化資料的各種描述符。在描述符中係具有指示多工化資料之複製許可‧不許可之複製控制資訊。PCR係為了取得ATS之時間軸，也就是ATC(Arrival Time Clock；到達時間時鐘)與PTS‧DTS的時間軸，也就是STC(System Time Clock；系統時間時鐘)的同步，具有與使該PCR封包被傳送到解碼器之ATS對應的STC時間資訊。

第27圖係為詳細說明PMT的資料構造之圖面。在PMT的前頭中係配置記錄有被包含在PMT的資料長度等之PMT標頭。在其後係配置複數個關於多工化資料的描述符。將上述複製控制資訊等作為描述符予以記載。在描述符之後係配置複數個關於包含在多工化資料的各資料流之資料流資訊。資料流資訊係為了辨識資料流的壓縮編解碼等，由記載了資料流形式、資料流的PID、資料流的屬性資訊(圖框速率、長寬比等)之資料流描述符構成。資料流描述符係只存有存在於多工化資料之資料流的數量。

在記錄媒體等進行記錄的情況下，上述多工化資料係與多工化資料資訊過濾一起記錄。

多工化資料資訊檔案係如第28圖所示，是多工化資料的管理資訊，與多工化資料為1比1對應，由多工化資料資訊、資料流屬性資訊及入口點地圖構成。

多工化資料資訊係如第28圖所示，由系統速率、播放開始時刻、播放結束時刻構成。系統速率係顯示多工化資料之對於系統標靶解碼器之PID過濾的最大傳送速率。包含在多工化資料中之ATS的間隔係構成為系統速率以下予以設定。播放開始時刻係為多工化資料前頭的影像框之PTS，播放結束時刻係在多工化資料終端的影像框之PTS設定有滿足1圖框份的播放間隔者。

資料流屬性資訊係如第29圖所示，使對於包含在多工化資料之各資料流的屬性資料登錄在每個PID。屬性資訊係對於每個影像資料流、音訊資料流、演式圖形資料流、交互圖形資料流具有不同的資訊。影像資料流屬性資訊係具有該影像資料流是以何種壓縮編解碼進行壓縮、構成影像資料流的各個圖片資料的解像度為多少、長寬比為多少、圖框速率為多少等資訊。音訊資料流屬性資訊係具有該音訊資料流是以何種壓縮編解碼進行壓縮、包含在該音訊資料流的通道數為何、與何種語言對應、採樣頻率為多少等資訊。此等資訊係被利用於播放器播放前之解碼的初期化等。

在本實施形態中，利用上述多工化資料之中，被包含在PMT之資料流形式。又在將多工化資料記錄在記錄媒體的情況下，利用被包含在多工化資料之影像資料流屬性資訊。具體而言，在以上述各實施形態所示之動態圖像編碼方法或裝置中，設置將顯示被包含在PMT之資料流形式、或對於影像資料流屬性資訊為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的映像資料之固有資訊予以設定之步驟或手段。藉由該構成，可以辨識利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的映像資料、及以其他規格為基準之映像資料。

又在第30圖顯示本實施形態中之動態圖像解碼方法的步驟。在步驟exS100中，從多工化資料取得被包含在PMT之資料流形式、或被包含在多工化資料之影像資料流屬性資訊。其次，在步驟exS101中，判斷資料流形式或影像資料流屬性資訊是否為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的多工化資料。再者，在判斷資料流形式或影像資料流屬性資訊為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生者的情況下，在步驟exS102中，利用以上述各實施形態所示之動態圖像解碼方法進行解碼。又在顯示資料流形式或影像資料流屬性資訊為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準者的情況下，在步驟exS103中，利用以習知規格為基準的動態圖像解碼方法進行解碼。

如此一來，藉由在資料流形式或影像資料流屬性資訊設定新的固有值，在進行解碼時，可以判斷可否利用以上述各實施形態所示之動態圖像解碼方法或裝置進行解碼。因此，即使在輸入以不同規格為基準的多工化資料之情況下，由石以選擇適當的解編碼方法或裝置，因此可以達到不會產生錯誤進行解碼。又也可以將以本實施形態所示之動態圖像編碼方法或裝置、或者動態圖像解碼方法或裝置用於上述之任一個機器‧系統。

(實施形態4)

以上述各實施形態所示之動態圖像編碼方法或裝置、動態圖像解碼方法或裝置係典型而言都是利用積體電路，也就是LSI予以實現。作為一例，在第31圖顯示1晶片化之LSIex500的構成。LSIex500係具備以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係透過匯流排ex510予以連接。電源電路ex505係在電源為開狀態的情況下藉由對於各部供給電力而起動為可動作狀態。

例如在進行編碼處理的情況下，LSIex500係根據具有CPUex502、記憶體控制器ex503、資料流控制器ex504、驅動頻率控制部ex512等之控制部ex501的控制，利用AV I/O ex509從麥克風ex117或攝影機ex113等輸入AV訊號。已輸入的AV訊號係一次儲存在SDRAM等外部記憶體ex511。根據控制部ex501的控制，已儲存的資料係因應處理量或處理速度就這樣被適當分為複數次並且傳送到訊號處理部ex507，在訊號處理部ex507中進行聲音訊號的編碼及/或映像訊號的編碼。為此映像訊號的編碼處理係為以上述各實施形態所說明之編碼處理。在訊號處理部ex507中係進一步根據情況將已編碼的聲音資料及已編碼的映像資料進行多工化等的處理，從資料流I/O ex506朝外部輸出。該已輸出的多工化資料係朝向基地台ex107予以傳送、或者寫入到記錄媒體ex215。。又在進行多工化時以同步的方式將資料一次儲存在緩衝器ex508亦可。

又在上述中，雖然使記憶體ex511成為LSI ex500的外部構成予以說明，但是成為包含在LSI ex500的內部之構成亦可。緩衝器ex508也不限定於1個，具備複數個緩衝器亦可。又LSI ex500係為1晶片化者亦可，多晶片化者亦可。

又在上述中，雖然控制部ex501是構成為具有CPU ex502、記憶體控制器ex503、資料流控制器ex504、驅動頻率控制部ex512等，但是控制部ex501的構成係不限於該構成。例如使訊號處理部ex507進一步具備CPU之構成亦可。藉由也在訊號處理部ex507內部設置CPU，可以提供處理速度。又作為其他例，使CPU ex502具備訊號處理部ex507、或訊號處理部ex507的一部份之聲音訊號處理部之構成亦可。在該情況下，控制部ex501係成為具備訊號處理部ex507、或是具有其一部份之CPU ex502的構成。

又在此，雖然是構成為LSI，但是根據積體度的不同，也被稱為IC、系統LSI、超LSI、甚大LSI。

又積體電路的手法係不限於LSI，也可以利用專用電路或廣用處理器予以實現。在LSI製造後，利用可進行程式處理之FPGA(Field Programmable Gate Array；現場可程式閘陣列)、或可再構成LSI內部的電路單元的連接或設定之可重組態處理器亦可。

進一步，若是有發展出根據半導體技術的進步或衍生的其他技術而取代LSI之積體電路化的技術，當然也可以使用該技術進行機能區塊的積體化。當然有可以進行生化技術適應等的可能性。

(實施形態5)

在將利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的映像資料進行解碼的情況下，與將以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的映像資料進行解碼的情況相比，認為會使處理量增加。為此，在LSIex500中，必須設定比將以習知規格為基準之映像資料進行解碼時之CPU ex502的驅動頻率更高之驅動頻率。但是當驅動頻率變高時，會產生所謂消耗電力變高的課題。

為了解決該課題，電視機機ex300、LSI ex500等動態圖像解碼裝置係形成為辨識映像資料為以何種規格為基準者，並且因應規格切換驅動頻率之構成。第32圖係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係在映像資料為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生者的情況下，將驅動頻率設定為高。再者，對於實行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示將映像資料進行解碼。一方面，在映像資料為以習知規格為基準之映像資料的情況下，與映像資料是利用以上述各實施形態所示之動態圖像編碼方法或裝置產生者的情況相比，將驅動頻率設定為低。再者，對於以習知規格為基準之解碼處理部ex802，指示將映像資料進行解碼。

更具體而言，驅動頻率切換部ex803係由第31圖之CPU ex502及驅動頻率控制部ex512予以構成。又實行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801、及以習知規格為基準之解碼處理部ex802係相當於第31圖之訊號處理部ex507。CPU ex502係辨識映像資料是以何種規格為基準者。再者，依據來自CPU ex502的訊號，驅動頻率控制部ex512係設定驅動頻率。又依據來自CPU ex502的訊號，訊號處理部ex507係進行映像資料的解碼。為此，在映像資料的辨識方面，例如考量利用以實施形態3記載之辨識資訊。關於辨識資訊，不限於以實施形態3記載者，只要是可以辨識映像資料是以何種規格為基準者即可。例如，在依據辨識映像資料是利用於電視機機者、或是利用於碟片者等的外部訊號，可以辨識映像資料是以何種規格為基準者的情況下，依據這樣的外部訊號進行辨識亦可。又CPU ex502中之驅動頻率的選擇係例如考量依據附有與第34圖所示之映像資料的規格、及驅動頻率對應之查閱表予以進行。預先將查閱表儲存在緩衝器ex508、或LSI的內部記憶體，藉由使CPU ex502參照該查閱表，可以選擇驅動頻率。

第33圖係顯示實施本實施形態之步驟。首先在步驟exS200中，於訊號處理部ex507中從多工化資料取得辨識資訊。其次在步驟exS201中，於CPU ex502中依據辨識資訊辨識映像資料是否為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生者。在映像資料是利用以上述各實施形態所示之動態圖像編碼方法或裝置產生者的情況下，在步驟exS202中，使CPU ex502將驅動頻率設定為高的訊號傳送到驅動頻率控制部ex512。再者，於驅動頻率控制部ex512中，設定為高的驅動頻率。一方面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的映像資料之情況下，在步驟exS203中，使CPU ex502將驅動頻率設定為低的訊號傳送到驅動頻率控制部ex512。再者，於驅動頻率控制部ex512中，設定為低的驅動頻率。

再者，與驅動頻率的切換連動，藉由變更施加到LSI ex500或包含LSI ex500的裝置之電壓，可以更為提高省電效果。例如，在將驅動頻率設定為低的情況下，伴隨此點，與將驅動頻率設定為高的情況相比，考量將施加到LSI ex500或包含LSI ex500的裝置之電壓設定為低。

又驅動頻率的設定方法係只要在解碼時之處理量為大的情況下，將驅動頻率設定為高，在解碼時之處理量為小的情況下，將驅動頻率設定為低即可，不限於上述的設定方法。例如，在將以習知之MPEG4-AVC規格為基準的映像資料進行解碼的處理量比將利用以上述各實施形態所示之動態圖像編碼方法或裝置產生的映像資料進行解碼的處理量更大之情況下，考量將驅動頻率的設定形成為與上述情況相反。

再者，驅動頻率的設定方法係不限於將驅動頻率設定為低之構成。例如，也考量在辨識資訊顯示為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生之映像資料的情況下，將施加到LSI ex500或包含LSI ex500的裝置之電壓設定為高，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的映像資料之情況下，將施加到LSI ex500或包含LSI ex500的裝置之電壓設定為低。又就其他例而言，在辨識資訊顯示為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生之映像資料的情況下，使CPU ex502的驅動不停止，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的映像資料之情況下，由於處理上尚有余裕，也考量將CPU ex502的驅動暫時停止。即使在辨識資訊顯示為利用以上述各實施形態所示之動態圖像編碼方法或裝置產生之映像資料的情況下，若是處理上尚有余裕，也考量將CPU ex502的驅動暫時停止。在該情況下，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準的映像資料之情況相比，考量將停止時間設定為短。

如此一來，藉由因應映像資料依據的規格，切換驅動頻率，可以圖謀省電力化。在使用電池驅動LSIex500或包含LSIex500的裝置之情況下，伴隨著省電力化，可以使電池壽命變長。

(實施形態6)

在電視機機、或手機等上述機器‧系統中，會有以不同規格為基準之複數個映像資料被輸入的情況。如此一來，為了在即使有以不同規格為基準之複數個映像資料被輸入的情況下也能夠進行解碼，必須使LSI ex500的訊號處理部ex507與複數種規格對應。但是當個別使用與各規格對應之訊號處理部ex507時，會使LSI ex500的電路規模變大，或產生成本增加的課題。

為了解決上述課題，將用以實行以上述各實施形態所示之動態圖像解碼方法之解碼處理部、及以習知之MPEG-2、MPEG4-AVC、VC-1等規格為基準之解碼處理部形成為一部份共有化的構成。在第35A圖之ex900顯示該構成例。例如，以上述各實施形態所示之動態圖像解碼方法、及以MPEG4-AVC規格為基準之動態圖像解碼方法係在熵編碼、反向量化、去區塊效應濾波器、動作補償等處理中使處理內容為一部份共通。考量所謂針對共通的處理內容，與MPEG4-AVC規格對應之解碼處理部ex902共有，針對不與MPEG4-AVC規格對應之本發明特有的其他處理內容，則是使用專用的解碼處理部ex901之構成。關於解碼處理部之共有化，針對共通的處理內容，與用以實行以上述各實施形態所示之動態圖像解碼方法之解碼處理部共有，針對在MPEG4-AVC規格特有的處理內容，使用專用的解碼處理部之構成亦可。

又在第35B圖之ex1000顯示將處理一部份共有化之其他例。在該例中，形成使用與在本發明特有的處理內容對應之專用的解碼處理部ex1001、與在其他習知規格特有的處理內容對應之專用的解碼處理部ex1002、及與在本發明的動態圖像解碼方法與其他習知規格的動態圖像解碼方法共通之處理內容對應之共用解碼處理部ex1003之構成。為此，專用的解碼處理部ex1001、ex1002係不一定是專用於本發明、或其他習知規格特有的處理內容，也可以實行其他廣泛處理。又也可以以LSI ex500安裝本實施形態之構成。

如此一來，針對在本發明之動態圖像解碼方法、及習知規格之動態圖像解碼方法共通的處理內容，藉由使解碼處理部共有，可以使LSI的電路規格變小，而且減低成本。

產業上的可利用性

關於本發明之圖像編碼方法及圖像解碼方法係可以達到減輕處理負擔的效果。例如可以適用於影像攝影機、具有動畫的拍攝及播放機能之手機、個人電腦、或錄像播放裝置等。

1000．．．圖像編碼裝置

1101．．．減算器

1102．．．直交轉換部

1103．．．量化部

1104．．．熵編碼部

1105、2102．．．反向量化部

1106、2103．．．反向直交轉換部

1107、2104．．．加算器

1108、2105．．．去區塊效應濾波器

1109、2106．．．記憶體

1110、2107．．．面內預測部

1111、2108．．．畫面間預測部

1112．．．動作檢測部

1113、2109．．．開關

1200、2200．．．記憶體控制部

2000．．．圖像解碼裝置

2101．．．熵解碼部

S10-11、S20-S23、S100-S103、S30-S31、S40-S42、S50、S201-S206、exS100-exS13、exS200-exS203．．．步驟

ex100．．．內容供給系統

ex101．．．網際網路

ex102．．．網際網路服務提供者

ex103．．．串流伺服器

ex104．．．電話網

ex106-ex110．．．基地台

ex111．．．連接電腦

ex112．．．PDA(個人數位助理器)

ex113．．．攝影機

ex114．．．手機

ex115．．．遊戲機

ex116．．．攝影機

ex117．．．麥克風

ex200．．．數位廣播用系統

ex201．．．廣播台

ex202．．．衛星

ex203．．．電線

ex204．．．家庭天線

ex205、ex350．．．天線

ex210．．．汽車

ex211．．．汽車導航裝置

ex215．．．記錄媒體

ex216．．．插槽部

ex217．．．機上盒(STB)

ex218．．．橋接部

ex220．．．遙控器

ex230．．．資訊磁軌

ex231．．．記錄區域

ex232．．．內周區域

ex233．．．資料記錄區域

ex234．．．外周區域

ex235．．．影像資料流

ex236、ex239．．．PES封包列

ex238．．．音訊資料流

ex242、ex245．．．PES封包列

ex237、ex240．．．TS封包

ex241．．．演式圖形資料流

ex243、ex246．．．TS封包

ex244．．．交互圖形資料流

ex247．．．多工化資料

ex300．．．電視機機

ex301．．．調諧器

ex302．．．調制/解調部

ex303．．．多工/分離部

ex304．．．聲音訊號處理部

ex305．．．映像訊號處理部

ex306．．．訊號處理部

ex307．．．揚聲器

ex308、ex358．．．顯示部

ex309．．．輸出部

ex310、ex360、ex501．．．控制部

ex311．．．電源電路部

ex312、ex317．．．操作輸入部

ex313．．．橋接器

ex314、ex364．．．插槽

ex315．．．驅動器

ex316．．．數據機

ex318、ex319、ex320、ex321、ex404、ex508．．．緩衝器

ex351．．．傳送/接收部

ex352．．．調制/解調部

ex353．．．多工/分離部

ex354．．．聲音訊號處理部

ex355．．．映像訊號處理部

ex356．．．聲音輸入部

ex357．．．聲音輸出部

ex359．．．LCD(液晶顯示器)控制部

ex361．．．電源電路部

ex36．．．操作輸入控制部

ex363．．．攝影機介面部

ex365．．．攝影機部

ex366．．．鍵盤

ex367．．．記憶體部

ex370、ex510．．．匯流排

ex400．．．資訊播放/記錄部

ex401．．．光學頭

ex402．．．調制記錄部

ex403．．．播放解調部

ex405．．．碟片馬達

ex406．．．伺服控制部

ex407．．．系統控制部

ex500．．．LSI

ex502．．．CPU

ex503．．．記憶體控制器

ex504．．．資料流控制器

ex505．．．電源電路

ex506．．．資料流I/O

ex507．．．訊號處理部

ex509‧‧‧I/O

ex512‧‧‧驅動頻率控制部

ex801、ex802、ex901、ex1001、ex1002‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex902、ex1003‧‧‧共用解碼處理部