TWI593276B - Image encoding method, image encoding device, image decoding method, and image decoding device - Google Patents

Description

圖像編碼方法、圖像編碼裝置、圖像解碼方法及圖像解碼裝置 發明領域

本發明係有關於一種圖像編碼方法及圖像解碼方法。

發明背景

在動態圖像編碼處理中，一般係利用動態圖像所具有之空間方向及時間方向的冗餘來進行資訊量的壓縮。在此，一般利用空間方向冗餘的方法，係使用往頻域的轉換；而利用時間方向冗餘的方法，則係使用圖片間預測(以下稱為間預測(inter-prediction))編碼處理。間預測編碼處理中，係在將某圖片編碼時，將相對於編碼對象圖片在顯示時間順序上位於前方或後方的編碼完畢圖片，使用作為參考圖片。然後，藉由編碼對象圖片對於該參考圖片之運動檢測，來導出動態向量(motion vector)。並且，根據所導出之動態向量進行動態補償而得之預測圖像資料，算出前述預測圖像資料與編碼對象圖片之圖像資料的差分，藉此，除去時間方向之冗餘(例如，參考非專利文獻1)。在此，在動態檢測中，算出編碼圖片內之編碼對象區塊與參考圖片 內之區塊間的差分值，將差分值最小之參考圖片內的區塊決定為參考區塊。並且，使用編碼對象區塊與參考區塊，來檢測動態向量。

【先行技術文獻】 【非專利文獻】

【非專利文獻1】ITU-T Recommendation H.264 「Advanced video coding for generic audiovisual services」, 2010年3月

【非專利文獻2】JCT-VC, “WD3:Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603, March 2011.

發明概要

然而，在上述習知技術中，在使用了間預測的圖像編碼及解碼時，希望更提升編碼效率。

因此，本發明提供一種在使用了間預測的圖像編碼及解碼時，可更提升編碼效率的圖像編碼方法及圖像解碼方法。

本發明一態樣之圖像編碼方法，係將圖像依每一區塊進行編碼，而藉此來生成位元流的圖像編碼方法，包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候 補係使用於編碼對象區塊之編碼的預測方向、動態向量及參考圖片索引之組(set)的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；選擇步驟，係從前述第1合併候補及前述第2合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補者；及附加步驟，係將用以將經選擇之前述合併候補特定的索引附加於前述位元流者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補之總數小於事先定好之合併候補之最大數時，進行前述第2導出處理。

另外，該等之包括性的或具體的態樣，可由系統、方法、積體電路、電腦程式或電腦可讀取的CD-ROM(Compact Disc Read Only Memory)等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體的任意組合來實現。

本發明之一態樣之圖像編碼方法可在使用了間預測之圖像編碼及解碼中提升編碼效率。

100‧‧‧圖像編碼裝置

110‧‧‧合併候補導出部

111‧‧‧第3導出部111

112‧‧‧第1導出部112

113‧‧‧第2導出部113

120‧‧‧預測控制部

130‧‧‧編碼部

200‧‧‧圖像解碼裝置

210‧‧‧合併候補導出部

211‧‧‧第3導出部

212‧‧‧第1導出部

213‧‧‧第2導出部213

220‧‧‧解碼部220

230‧‧‧預測控制部

300‧‧‧圖像編碼裝置

301‧‧‧減算部

302‧‧‧正交變換部

303‧‧‧量化部

304‧‧‧逆量化部

305‧‧‧逆正交變換部

306‧‧‧加算部

307‧‧‧區塊記憶體

308‧‧‧訊框記憶體

309‧‧‧內預測部

310‧‧‧間預測部

311‧‧‧間預測控制部

312‧‧‧圖片形式決定部

313‧‧‧開關

314‧‧‧合併候補導出部

315‧‧‧colPic記憶體

316‧‧‧可變長度編碼部

400‧‧‧圖像解碼裝置

401‧‧‧可變長度解碼部

402‧‧‧逆量化部

403‧‧‧逆正交變換部

404‧‧‧加算部

405‧‧‧區塊記憶體

406‧‧‧訊框記憶體

407‧‧‧內預測部

408‧‧‧間預測部

409‧‧‧間預測控制部

410‧‧‧開關

411‧‧‧合併候補導出部

412‧‧‧colPic記憶體

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex107‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車輛

ex211‧‧‧車輛導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236、ex239、ex242、ex245‧‧‧PES封包列

ex237、ex240、ex243、ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/解多工部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/解多工部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AV I/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801、ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900‧‧‧構成

ex901、ex902、ex1001~ex1003‧‧‧解碼處理部

S‧‧‧步驟

【圖1A】圖1A係用以說明B圖片中之參考圖片列表之一例的圖。

【圖1B】圖1B係顯示B圖片中之預測方向0的參考圖片列表之一例的圖。

【圖1C】圖1C係顯示B圖片中之預測方向1的參考圖片列表之一例的圖。

【圖2】圖2係用以說明時間預測動態向量模式中之動態向量的圖。

【圖3】圖3係顯示在合併模式中所使用的鄰接區塊之動態向量之一例的圖。

【圖4】圖4用以說明合併候補列表之一例的圖。

【圖5】圖5係顯示合併候補尺寸(size)與分配於合併索引之位元列間的關係的圖。

【圖6】圖6係顯示使用合併模式時的編碼處理之一例的流程圖。

【圖7】圖7係顯示使用合併模式時的解碼處理的流程圖。

【圖8】圖8係表示使合併索引附隨於位元流之時的語法的圖。

【圖9】圖9係顯示實施形態1之圖像編碼裝置構成的方塊圖。

【圖10A】圖10A係顯示實施形態1之圖像編碼裝置之處理動作的流程圖。

【圖10B】圖10B係顯示實施形態1之合併候補之導出處理的流程圖。

【圖11】圖11係顯示藉由實施形態1之圖像編碼裝置所生成之合併候補列表之一例的圖。

【圖12】圖12係顯示實施形態2之圖像解碼裝置之構成 的方塊圖。

【圖13A】圖13A係顯示實施形態2之圖像解碼裝置之處理動作的流程圖。

【圖13B】圖13B係顯示實施形態2之合併候補之導出處理的流程圖。

【圖14】圖14係顯示實施形態3之圖像編碼裝置之構成的方塊圖。

【圖15】圖15係顯示實施形態3之圖像編碼裝置之處理動作的流程圖。

【圖16】圖16係顯示在實施形態3中之關於合併候補之選擇的處理的流程圖。

【圖17】圖17係顯示實施形態4之圖像解碼裝置之構成的方塊圖。

【圖18】圖18係顯示實施形態4之圖像解碼裝置之處理動作的流程圖。

【圖19】圖19係顯示在實施形態5中之zero合併候補之導出處理的流程圖。

【圖20】圖20顯示在實施形態5中經導出之zero合併候補之一例。

【圖21】圖21係顯示在實施形態6中之combined合併候補之導出處理的流程圖。

【圖22】圖22係顯示在實施形態7中之scaling合併候補之導出處理的流程圖。

【圖23】圖23顯示在實施形態7中所算出的動態向量及 參考圖片索引之一例。

【圖24】圖24係實現內容配送服務之內容供給系統的全體構成圖。

【圖25】圖25係數位放送用系統的全體構成圖。

【圖26】圖26係顯示電視之構成例的方塊圖。

【圖27】圖27係顯示對記錄媒體(光碟)寫入資訊之資訊再生/記錄部之構成例的方塊圖。

【圖28】圖28係顯示記錄媒體(光碟)之構造例的圖。

【圖29A】圖29A係顯示行動電話之一例的圖。

【圖29B】圖29B係顯示行動電話之構成例的方塊圖。

【圖30】圖30係顯示多工資料之構成的圖。

【圖31】圖31係模式性地顯示各串流在多工資料中是如何被多工的圖。

【圖32】圖32係更詳細地顯示視訊流是如何被儲存於PES封包列的圖。

【圖33】圖33係顯示多工資料中之TS封包與資源封包之構造的圖。

【圖34】圖34係顯示PMT之資料構成的圖。

【圖35】圖35係顯示多工資料資訊之內部構成的圖。

【圖36】圖36係顯示串流屬性資訊之內部構成的圖。

【圖37】圖37係顯示識別影像資料之步驟的圖。

【圖38】圖38係顯示可實現各實施形態之動態圖像編碼方法及動態圖像解碼方法的積體電路之構成例的方塊圖。

【圖39】圖39係顯示切換驅動頻率之構成的圖。

【圖40】圖40係顯示識別影像資料而切換驅動頻率之步驟的圖。

【圖41】圖41係顯示影像資料之規格與驅動頻率相對應之查找表之一例的圖。

【圖42A】圖42A係顯示將信號處理部之模組共有化之構成之一例的圖。

【圖42B】圖42B係顯示將信號處理部之模組共有化之構成之其他例的圖。

較佳實施例之詳細說明 (成為本發明基礎的知識)

在已標準化之稱為H.264的動態圖像編碼方式中，為了壓縮資訊量，使用I圖片、P圖片、B圖片等3種圖片形式。

I圖片不以間預測編碼處理進行編碼。亦即，I圖片係以圖片內預測(以下，稱為內預測(intra-prediction))編碼處理進行編碼。P圖片係以顯示時間順序，參考位於編碼對象圖片之前方或後方已編碼完畢之1個圖片而進行間預測編碼。B圖片係以顯示時間順序，參考位於編碼對象圖片之前方或後方已編碼完畢之2個圖片而進行間預測編碼。

在間預測編碼中，生成用以特定參考圖片的參考圖片列表。參考圖片列表係將參考圖片索引分配至在間 預測會參考之編碼完畢參考圖片的列表。例如，在B圖片中，由於係參考2個圖片來進行編碼，故生成2個參考列表(L0、L1)。

圖1A係用以說明B圖片中之參考圖片列表之一例的圖。圖1B顯示雙方向預測中之預測方向0的參考圖片列表0(L0)之一例。在此，在參考圖片列表0中，具有值0的參考圖片索引0，被分配到顯示順序2的參考圖片0。又，具有值1的參考圖片索引0之值1，被分配到顯示順序1之參考圖片1。又，具有值2的參考圖片索引0，被分配到顯示順序0之參考圖片2。也就是說，對於編碼對象圖片在顯示順序上的時間越近的參考圖片，會被分配到具有較小值的參考圖片索引。

另一方面，圖1C顯示雙方向預測中之預測方向1的參考圖片列表1(L1)之一例。在此，在參考圖片列表1中，具有值0的參考圖片索引1，被分配到顯示順序1的參考圖片1。又，具有值1的參考圖片索引1，被分配到顯示順序2的參考圖片0。又，具有值2的參考圖片索引1，被分配到顯示順序0的參考圖片2。

如此，可對於各參考圖片，分配依各預測方向具有不同值的參考圖片索引(圖1A之參考圖片0、1)、或者分配具有相同值的參考圖片索引(圖1A之參考圖片2)。

又，在稱為H.264之動態圖像編碼方式(非專利文獻1)中，B圖片中各編碼對象區塊之間預測的編碼模式，係使用動態向量檢測模式。在動態向量檢測模式中， 係將預測圖像資料及編碼對象區塊之圖像資料之差分值、以及使用於預測圖像資料生成的動態向量進行編碼。又，在動態向量檢測模式中，預測方向可選擇雙方向預測及單方向預測。在雙方向預測中，係參考位於編碼對象圖片前方或後方之已編碼完畢的2個圖片來生成預測圖像。又，單方向預測中，則係參考位於前方或後方之已編碼完畢的1個圖片來生成預測圖像。

又，在稱為H.264的動態圖像編碼方式中，在B圖片之編碼中，導出動態向量時，可選擇稱為時間預測動態向量模式的編碼模式。使用圖2說明時間預測動態向量模式中之間預測編碼方法。

圖2係用以說明時間預測動態向量模式中之動態向量的圖。具體而言，圖2顯示了將圖片B2之區塊a以時間預測動態向量模式進行編碼的情況。

在此，係利用了動態向量vb，該動態向量vb係位於圖片B2後方之作為參考圖片的圖片P3內的、使用於位於與區塊a相同位置之區塊b(以下，稱為「co-located區塊」)之編碼者。動態向量vb係參考圖片P1將區塊b編碼時所使用的動態向量。

使用與動態向量vb平行的動態向量，從作為前方向參考圖片的圖片P1、作為後方向參考圖片的圖片P3，取得用於區塊a的2個參考區塊。然後，根據所取得之2個參考區塊來進行2方向預測，藉此，將區塊a編碼。亦即，將區塊a編碼時所使用的動態向量，對於圖片P1為動態向 量va1，對於圖片P3為動態向量va2。

又，檢討出合併模式來作為B圖片或P圖片中之各編碼對象區塊的間預測模式(非專利文獻2)。在合併模式中，將使用於編碼對象區塊之鄰接區塊編碼的預測方向、動態向量及參考圖片索引之組(set)複製，而將編碼對象區塊編碼。此時，表示使用於編碼之預測方向、動態向量及參考圖片索引之組的索引等會被附加於位元流。藉此，可在解碼側選擇使用於編碼之預測方向、動態向量及參考圖片索引之組。參考圖3來說明具體例。

圖3係顯示在合併模式中所使用的鄰接區塊之動態向量之一例的圖。在圖3中，鄰接區塊A係編碼對象區塊之左鄰接的編碼完畢區塊。鄰接區塊B係編碼對象區塊之上鄰接的編碼完畢區塊。鄰接區塊C係編碼對象區塊之右上鄰接的編碼完畢區塊。鄰接區塊D係編碼對象區塊之左下鄰接的編碼完畢區塊。

又，鄰接區塊A係以預測方向0之單方向預測所編碼的區塊。鄰接區塊A具有預測方向0之動態向量MvL0_A，來作為對於預測方向0之參考圖片索引RefL0_A所示之參考圖片的動態向量。在此，MvL0係表示將藉由參考圖片列表0(L0)所特定之參考圖片作為參考的動態向量。又，MvL1係表示將藉由參考圖片列表1(L1)所特定之參考圖片作為參考的動態向量。

又，鄰接區塊B係以預測方向1之單方向預測所編碼的區塊。鄰接區塊B具有預測方向1之動態向量MvL1 _B，來作為對於預測方向1之參考圖片索引RefL1_B所示之參考圖片的動態向量。

又，鄰接區塊C係以內預測所編碼的區塊。

又，鄰接區塊D係以預測方向0之單方向預測所編碼的區塊。鄰接區塊D具有預測方向0之動態向量MvL0_D，來作為對於預測方向0之參考圖片索引RefL0_D所示之參考圖片的動態向量。

在如圖3之情況下，例如，從鄰接區塊A~D之預測方向、動態向量及參考圖片索引之組，以及使用co-located區塊所求出之時間預測動態向量模式下的預測方向、動態向量及參考圖片索引之組中，選擇編碼效率最佳者，作為編碼對象區塊之預測方向、動態向量及參考圖片索引之組。在此，將成為選擇之候補的預測方向、動態向量及參考圖片索引之組稱為合併候補。表示被選擇之合併候補的合併索引會被附加於位元流。

例如，選擇了鄰接區塊A之合併候補時，編碼對象區塊係使用預測方向0之動態向量MvL0_A、及參考圖片索引RefL0_A而被編碼。並且，只有表示使用了如圖4所示般之鄰接區塊A之合併候補一事的合併索引之值0，會被附加於位元流。藉此，可削減預測方向、動態向量及參考圖片索引的資訊量。

又，如圖4所示，在合併模式中，不可能利用的合併候補(以下，稱為「不可合併候補」)，以及預測方向、動態向量及、參考圖片索引之組與其他合併候補一致的合 併候補(以下，稱為「重複候補」)，會從合併候補列表被刪除。

如此，藉由削減合併候補數，可削減分配至合併索引的碼量。在此，不可能利用的合併候補係指例如：(1)以內預測所編碼的區塊之合併候補、(2)存在於切片(slice)或者圖片境界外的區塊之合併候補、或(3)尚未進行編碼的區塊之合併候補。

在圖4之例中，鄰接區塊C係以內預測進行編碼。因此，鄰接區塊C之合併候補(合併索引=3)為不可合併候補，會從合併候補列表被刪除。又，鄰接區塊D之合併候補與鄰接區塊A之合併候補，預測方向、動態向量及、參考圖片索引之組為一致。因此，鄰接區塊D之合併候補(合併索引=4)會從合併候補列表被刪除。結果，最後，合併候補數成為3，合併候補列表之列表尺寸係設定為3。

合併索引係因應合併候補列表尺寸的大小，如圖5所示，分配有位元列，且進行可變長度編碼。如此，在合併模式中，使分配至合併索引的位元列，隨著合併候補列表尺寸的大小而變化，藉此來削減碼量。

圖6係顯示使用合併模式時之編碼處理之一例的流程圖。在步驟S1001中，從鄰接區塊及co-located區塊，取得預測方向、動態向量、及參考圖片索引之組來作為合併候補。在步驟S1002中，從合併候補刪除重複候補及不可合併候補。在步驟S1003中，刪除處理後之合併候 補數係設定於合併候補列表尺寸。在步驟S1004中，決定使用於編碼對象區塊之編碼的合併索引。在步驟S1005中，已決定之合併索引係使用藉由合併候補列表尺寸所決定好的位元列來進行可變長度編碼。

圖7係顯示使用合併模式時之解碼處理之一例的流程圖。在步驟S2001中，從鄰接區塊及co-located區塊，取得預測方向、動態向量、及參考圖片索引之組來作為合併候補。在步驟S2002中，從合併候補刪除重複候補及不可合併候補。在步驟S2003中，刪除處理後之合併候補數係設定於合併候補列表尺寸。在步驟S2004中，從位元流將使用於解碼對象區塊之解碼的合併索引，使用合併候補列表尺寸來進行解碼。在步驟S2005中，使用已解碼之合併索引所示的合併候補，來生成預測圖像，進行解碼處理。

圖8表示將合併索引附加於位元流時之語法。在圖8中，merge_idx表示合併索引。merge_flag表示合併旗標。NumMergeCand表示合併候補列表尺寸。在該NumMergeCand中，設定有從合併候補刪除不可合併候補及重複候補後之合併候補數。

另一方面，在合併模式中，若從合併候補刪除重複候補，則在圖像編碼裝置與圖像解碼裝置之間產生了合併候補數不一致的情況等時，於分配至合併索引的位元列，在圖像編碼裝置與圖像解碼裝置之間會產生不一致，而無法將合併索引正確地解碼。

因此，檢討了使合併候補列表尺寸為固定尺寸一事。

合併候補數與合併候補列表尺寸為同數時，在合併候補列表中，存在有具高預測精準度之動態向量的合併候補的可能性變高。亦即，可使編碼效率向上提升。

然而，若使合併候補列表尺寸為固定尺寸，則在刪除了重複候補時，會產生合併候補數小於合併候補列表尺寸的情形。在如此之情形下，存在有具高預測精準度之動態向量的合併候補的可能性便降低。亦即，有時會使編碼效率變差。

因此，本發明一態樣之圖像編碼方法，係將圖像依每一區塊進行編碼，而藉此來生成位元流的圖像編碼方法，包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補係使用於編碼對象區塊之編碼的預測方向、動態向量及參考圖片索引之組(set)的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；選擇步驟，係從前述第1合併候補及前述第2合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補者；及附加步驟，係將用以將經選擇之前述合併候補特定的索引附加於前述位元流者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補之總數小於事先定好之 合併候補之最大數時，進行前述第2導出處理。

據此，可使第1合併候補之總數不超過預定數地進行第1導出處理。因此，可控制第1合併候補之總數，而可增加可選擇的合併候補之種類。結果，可提升編碼效率。

例如，前述圖像編碼方法亦可更包含有：第3導出步驟，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者，且在前述第2導出步驟中，當前述第1合併候補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2導出處理，在前述選擇步驟中，從前述第1合併候補、前述第2合併候補及前述第3合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補。

據此，可更藉由與第1導出處理及第2導出處理不同的方法來進行第3導出處理。因此，可更增加可選擇的合併候補之種類，而可更提升編碼效率。

例如，亦可在前述第3導出步驟中，藉由前述第3導出處理導出複數之第3合併候補，在前述第1導出步驟中，進行下述處理以作為前述第1導出處理，前述處理係將分別包含於前述複數之第3合併候補的複數之預測方向、動態向量及參考圖片索引之組進行組合，將用於2方向預測之合併候補作為前述第1合併候補而導出者。

據此，可將複數之第3合併候補組合，而導出用 於2方向預測之第1合併候補。因此，即使在複數之第3合併候補中不含有用於2方向預測之合併候補時，亦可將用於2方向預測之合併候補作為第1合併候補而新導出。結果，可增加可選擇的合併候補之種類，而可提升編碼效率。

例如，亦可在前述第3導出步驟中，進行下述處理以作為前述第3導出處理，前述處理係使用如下之預測方向、動態向量及參考圖片索引之組，來將前述第3合併候補導出者，而前述預測方向、動態向量及參考圖片索引之組則係使用於與前述編碼對象區塊在空間上或時間上鄰接之區塊之編碼者。

據此，可使用用於與編碼對象區塊在空間上或時間上相鄰接之區塊之編碼的預測方向、動態向量及參考圖片索引之組，來將第3合併候補導出。因此，可將信賴性高的合併候補作為第3合併候補而導出，可提升編碼效率。

例如，亦可在前述第2導出步驟中，到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。

據此，可在第2合併候補及第3合併候補之總數與事先定好之合併候補之最大數一致為止，重複第2導出處理。因此，可將合併候補導出至合併候補之最大數為止，而可提升編碼效率。

例如，亦可在前述第2導出步驟中，進行下述處理來作為前述第2導出處理，前述處理係將具有零向量來作為動態向量的合併候補作為前述第2合併候補而導出者。

據此，可將具有零向量作為動態向量的合併候補來作為第2合併候補而導出。因此，當編碼對象區塊為靜止區域時，可導出信賴性高的合併候補，而可提升編碼效率。

例如，前述預定數亦可相依於藉由前述第1導出處理可導出之第1合併候補的總數。

據此，可將與可藉由第1導出處理而導出的第1合併候補之總數相依的數，作為預定數來使用，而導出第1合併候補。因此，可以為了使合併候補之種類增加而使用適當的預定數來導出第1合併候補，而可提升編碼效率。

例如，前述圖像編碼方法亦可更包含有：切換步驟，係將編碼處理切換為依據第1規格的第1編碼處理、或依據第2規格的第2編碼處理者；及識別資訊附加步驟，係將顯示經切換之前述編碼處理所依據的前述第1規格或前述第2規格的識別資訊，附加於前述位元流者，當前述編碼處理被切換成前述第1編碼處理時，進行前述第1導出步驟、前述第2導出步驟、前述選擇步驟、及前述附加步驟，來作為前述第1編碼處理。

據此，可切換依據第1規格的第1編碼處理、與 依據第2規格的第2編碼處理。

又，本發明一態樣之圖像解碼方法，係將包含於位元流之編碼圖像依每一區塊進行解碼的圖像解碼方法，包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補係使用於解碼對象區塊之解碼的預測方向、動態向量及參考圖片索引之組的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；取得步驟，係從前述位元流取得索引者；及選擇步驟，係使用所取得之前述索引，從前述第1合併候補及前述第2合併候補之中，選擇使用於前述解碼對象區塊之解碼的合併候補者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補之總數小於事先定好之合併候補之最大數時，進行前述第2導出處理。

據此，可使第1合併候補之總數不超過預定數地進行第1導出處理。因此，可控制第1合併候補之總數，而可增加可選擇的合併候補之種類。結果，可將提升了編碼效率的位元流適當地解碼。

例如，前述圖像解碼方法亦可更包含有：第3導出步驟，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者，且在前述第2導出步驟中，當前述第1合併候 補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2導出處理，在前述選擇步驟中，從前述第1合併候補、前述第2合併候補及前述第3合併候補之中，選擇使用於前述解碼對象區塊之解碼的合併候補。

據此，可更以與第1導出處理及第2導出處理不同的方法將第3合併候補導出。因此，可更增加可選擇的合併候補之種類，而可將提升了編碼效率的位元流適當地解碼。

例如，亦可在前述第3導出步驟中，藉由前述第3導出處理導出複數之第3合併候補，在前述第1導出步驟中，將分別包含於前述複數之第3合併候補的複數之預測方向、動態向量及參考圖片索引之組進行組合，將用於2方向預測之合併候補作為前述第1合併候補而導出。

據此，可將複數之第3合併候補組合，而導出用於2方向預測之第1合併候補。因此，即使在複數之第3合併候補中不含有用於2方向預測的合併候補時，亦可將用於2方向預測之合併候補作為第1合併候補而新導出。結果，可增加可選擇的合併候補之種類，可將提升了編碼效率的位元流適當地解碼。

例如，亦可在前述第3導出步驟中，進行下述處理以作為前述第3導出處理，前述處理係使用如下之預測方向、動態向量及參考圖片索引之組，來將前述第3合併 候補導出者，而前述預測方向、動態向量及參考圖片索引之組則係使用於與前述解碼對象區塊在空間上或時間上鄰接之區塊之解碼者。

據此，可使用用於與編碼對象區塊在空間上或時間上相鄰接之區塊之編碼的預測方向、動態向量及參考圖片索引之組，來導出第3合併候補。因此，可將信賴性高的合併候補作為第3合併候補而導出，可將提升了編碼效率的位元流適當地解碼。

例如，亦可在前述第2導出步驟中，到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。

據此，到第2合併候補及第3合併候補之總數與事先定好之合併候補之最大數一致為止，可重複第2導出處理。因此，可在合併候補之最大數為止將合併候補導出，可將提升了編碼效率的位元流適當地解碼。

例如，亦可在前述第2導出步驟中，進行下述處理來作為前述第2導出處理，前述處理係將具有零向量來作為動態向量的合併候補作為前述第2合併候補而導出者。

據此，可導出具有零向量作為動態向量的合併候補來作為第2合併候補。因此，當編碼對象區塊為靜止區域時，可導出信賴性高的合併候補，而可將提升了編碼效率的位元流適當地解碼。

例如，前述預定數亦可相依於藉由前述第1導出處理可導出之第1合併候補的總數。

據此，可使用與可藉由第1導出處理所導出之第1合併候補之總數相依的數來作為預定數，而導出第1合併候補。因此，可以為了增加合併候補之種類而使用適當的預定數來導出第1合併候補，而可將提升了編碼效率的位元流適當地解碼。

例如，前述圖像解碼方法亦可更包含有：切換步驟，係因應附加於前述位元流且顯示為第1規格或第2規格的識別資訊，來將解碼處理切換為依據前述第1規格的第1解碼處理、或依據前述第2規格的第2解碼處理者，當前述解碼處理被切換成第1解碼處理時，進行前述第1導出步驟、前述第2導出步驟、前述取得步驟、及前述選擇步驟，來作為前述第1解碼處理。

據此，可切換依據第1規格的第1解碼處理、與依據第2規格的第2解碼處理。

另外，該等之包括性或具體性的態樣，可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體來實現，亦可由系統、方法、積體電路、電腦程式或記錄媒體的任意組合來實現。

以下，一面參考圖式，一面說明實施形態。

另外，以下所說明之實施形態皆係顯示包括性或具體性之例者。以下之實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、 步驟之順序等，皆為一例，並非限定申請專利請求範圍的主旨。又，以下實施形態中之構成要素中，關於未記載於顯示最上位概念之獨立申請專利範圍內的構成要素，係作為任意的構成要素來進行說明。

(實施形態1)

圖9係顯示實施形態1之圖像編碼裝置100之構成的方塊圖。圖像編碼裝置100將圖像依每一區塊進行編碼，藉此來生成位元流。如圖9所示，圖像編碼裝置100具備：合併候補導出部110、預測控制部120、及編碼部130。

合併候補導出部110將合併候補導出。並且，合併候補導出部110對於所導出之各合併候補，使用來特定該合併候補之索引(以下，稱為「合併索引」)與之相對應，而生成合併候補列表。具體而言，合併候補導出部110係如圖9所示，具備有：第3導出部111、第1導出部112、及第2導出部113。

第3導出部111進行藉由第3導出方法而將合併候補導出的第3導出處理。以下，將藉由第3導出處理所導出之合併候補稱為第3合併候補。並且，第3導出部111使第3合併候補與合併索引相對應而登錄於合併候補列表。

具體而言，第3導出部111進行例如以下處理作為第3導出處理，該處理係：使用用於與編碼對象區塊在空間上或時間上相鄰接之區塊之編碼的預測方向、動態向量及參考圖片索引之組，來導出第3合併候補。將如此從在空間上及時間上鄰接的區塊所導出的第3合併候補，分 別稱為空間合併候補及時間合併候補。

空間上鄰接的區塊係指包含編碼對象區塊的圖片內之區塊，係與編碼對象區塊相鄰接的區塊。具體而言，空間上鄰接的區塊例如：如圖3所示之鄰接區塊A~D。

另外，空間上鄰接的區塊並不限定於如圖3所示之鄰接區塊A~D。例如，空間上鄰接的區塊亦可為與鄰接區塊A~D中之任一者鄰接的區塊。

時間上鄰接的區塊係指與包含編碼對象區塊之圖片不同的圖片所含的區塊，係與編碼對象區塊對應的區塊。具體而言，時間上鄰接的區塊例如co-located區塊。

另外，時間上鄰接的區塊不須一定要是與編碼對象區塊相同位置的區塊(co-located區塊)。例如，時間上鄰接的區塊亦可是與co-located區塊鄰接的區塊。

又，第3導出部111亦可進行藉由其他導出方法而導出合併候補之處理來作為第3導出處理。也就是說，第3導出部111也可不進行導出空間合併候補或時間合併候補的處理來作為第3導出處理。

第1導出部112進行藉由與第3導出方法不同的第1導出方法來導出合併候補的第1導出處理。以下，將藉由該第1導出處理所導出之合併候補稱為第1合併候補。在此，第1導出部112係使第1合併候補之總數不超過預定數地進行第1導出處理。並且，第1導出部112使第1合併候補與合併索引對應而登錄於合併候補列表。

預定數係第1合併候補的上限數。預定數可為固定數，亦可為可變數。例如，預定數也可相依於可藉由第1導出處理所導出的合併候補之總數而決定之。具體而言，第1導出部112亦可與例如第3合併候補之總數、或者可參考的圖片之總數等相依而決定預定值。如此，使預定數與可藉由第1導出處理導出的合併候補之總數相依，藉此，可以為了增加合併候補之種類而使用適當的預定數來導出第1合併候補，而可提升編碼效率。

具體而言，第1導出部112進行例如將分別包含在複數之第3合併候補的複數之預測方向、動態向量及參考圖片索引之組組合，而將2方向預測之合併候補作為第1合併候補而導出這樣的處理，來作為第1導出處理。將如此導出的合併候補，稱為combined合併候補。另外，關於combined合併候補的詳細導出處理，會在實施形態6詳細說明。

另外，第1導出部112亦可進行藉由其他導出方法來導出合併候補的處理來作為第1導出處理。也就是說，第1導出部112亦可進行與導出combined合併候補的處理不同的處理來作為第1導出處理。

第2導出部113在第1合併候補及第3合併候補之總數小於事先定好之合併候補之最大數時，會進行藉由與第1導出方法及第3導出方法不同的第2導出方法來導出合併候補的第2導出處理。以下，將藉由第2導出處理導出的合併候補稱為第2合併候補。並且，第2導出部113使第2合 併候補與合併索引對應而登錄於合併候補列表。

具體而言，第2導出部113進行例如將具有零向量來作為動態向量的合併候補導出的處理而作為第2導出處理。將如此導出的合併候補，稱為zero合併候補。另外，zero合併候補的詳細導出處理，在實施形態5會詳細說明。

另外，第2導出部113亦可進行藉由其他導出方法而導出合併候補的處理來作為第2導出處理。也就是說，第2導出部113亦可不進行導出zero合併候補的處理來作為第1導出處理。

又，事先定好之合併候補之最大數係例如在已標準化之規格中事先定好之數。又例如，事先定好之合併候補之最大數亦可例如依照編碼對象圖片的特徵等來決定。此時，被決定好的最大數亦可附加於位元流。

預測控制部120從第1~第3合併候補之中，選擇使用於編碼對象區塊之編碼的合併候補。也就是說，預測控制部120從合併候補列表，選擇使用於編碼對象區塊之預測圖像生成的合併候補。

編碼部130將用以把已選擇之合併候補特定的索引(合併索引)附加於位元流。例如，編碼部130使用第1~第3合併候補之總數(合併候補數)來將索引編碼，並將已編碼的索引附加於位元流。然後，編碼部130將已編碼的索引附加於位元流。

又例如，編碼部130亦可不使用第1~第3合併候 補之總數，而是使用事先定好之合併候補之最大數來將索引編碼。具體而言，編碼部130亦可例如圖5所示，使用事先定好之合併候補之最大數，決定已分配至索引之值的位元列，將已決定好之位元列進行可變長度編碼。藉此，編碼部130可不相依於實際導出之合併候補之總數，而將索引編碼。因此，即使合併候補導出所需的資訊(例如，co-located區塊等的資訊)損耗時，在解碼側也可將索引解碼，而可提升容誤(error tolerance)。又，在解碼側，可不相依於實際導出之合併候補之總數而將索引解碼。也就是說，在解碼側，可不等待合併候補之導出處理而進行索引的解碼處理。亦即，可生成合併候補之導出處理與索引之解碼處理可以並行的位元流。

接著，說明如以上構成之圖像編碼裝置100的各種動作。

圖10A係顯示實施形態1之圖像編碼裝置100的處理動作的流程圖。

首先，合併候補導出部110將合併候補導出(S110)。合併候補導出部110將所導出之合併候補登錄於合併候補列表。

接著，預測控制部120從第1~第3合併候補之中選擇使用於編碼對象區塊之編碼的合併候補(S120)。例如，預測控制部120從所導出之合併候補中，選擇顯示編碼對象區塊之碼量等的成本為最小的合併候補。

然後，編碼部130將用以把所選擇之合併候補特 定的索引，附加於位元流(S130)。又，編碼部130使用所選擇之合併候補進行間預測，藉此，生成編碼對象區塊之間預測圖像。使用如此生成的間預測圖像，將輸入圖像資料編碼。

接著，使用圖10B及圖11說明圖10A之步驟S110的詳細內容。

圖10B係顯示實施形態1之合併候補之導出處理的流程圖。圖11係顯示藉由實施形態1之圖像編碼裝置100所生成之合併候補列表之一例的圖。在圖11中，事先定好之合併候補之最大數為「5」，預定數為「2」。

首先，第3導出部111進行第3導出處理(S111)。另外，在步驟S111中，不一定會導出第3合併候補。例如，當藉由本次之第3導出處理所導出的預定之第3合併候補，和已經導出的第3合併候補重複時，第3導出部111不會藉由本次的第3導出處理來導出第3合併候補。另外，2個合併候補重複，係指包含在2個合併候補的預測方向、動態向量及參考圖片索引之組全部一致。又例如，當從與編碼對象區塊在空間上或時間上鄰接的區塊導出合併候補時，與編碼對象區塊在空間上或時間上鄰接的區塊為：(1)已以內預測進行編碼的區塊、(2)存在於切片或者圖片境界外的區塊、或(3)尚未進行編碼的區塊時，第3導出部111不會從該區塊導出第3合併候補。

接著，第3導出部111判定是否結束第3導出處理(S112)。例如，第3導出部111從事先定好之所有鄰接區塊 判定是否已結束第3導出處理，藉此來判定是否結束第3導出處理。

在此，當判定為不結束第3導出處理時(S112之否(No))，第3導出部111再度進行第3導出處理(S111)。

在圖11中，從鄰接區塊A~D及co-located區塊導出2個第3合併候補(空間合併候補及時間合併候補)。並且，對於該等第3合併候補，分別分配有值為「0」及「1」的合併索引。

另一方面，當判定為結束第3導出處理時(S112之是(Yes))，第1導出部112進行第1導出處理(S113)。接著，第1導出部112判定藉由第1導出處理所導出之第1合併候補之總數是否小於預定數(S114)。

在此，當第1合併候補之總數小於預定數時(S114之是)，第1導出部112再度進行第1導出處理(S113)。也就是說，第1導出部112使第1合併候補之總數不超過預定數地來進行第1導出處理。

在圖11中，藉由組合2個第3合併候補，來導出2個第1合併候補(combined合併候補)。對於該等第1合併候補，分別分配有大於第3合併候補之值(「2」及「3」)的合併索引。

另一方面，當第1合併候補之總數小於預定數時(S114之否)，第2導出部113進行第2導出處理(S115)。接著，第2導出部113判定第1~第3合併候補之總數是否小於事先定好之合併候補之最大數(S116)。

在此，當第1~第3合併候補之總數小於最大數時(S116之是)，第2導出部113再度進行第2導出處理(S115)。也就是說，第2導出部113直到第1~第3合併候補之總數與事先定好之合併候補之最大數一致為止，會重複第2導出處理。

在圖11中，第1合併候補及第3合併候補之總數為「4」，由於事先定好之合併候補之最大數為「5」，故導出1個第2合併候補(zero合併候補)。對於該第2合併候補，分配有較第3合併候補及第1合併候補大的值(「4」)之合併索引。

另一方面，當第1~第3合併候補之總數非小於最大數時(S116之否)，前進至圖10A的步驟S120。

如以上，根據本實施形態之圖像編碼裝置100，可使第1合併候補之總數不超過預定數地進行第1導出處理。因此，圖像編碼裝置100可控制第1合併候補之總數，可增加可選擇可的合併候補之種類。結果，圖像編碼裝置100可提升編碼效率。

又，第2導出部113可在第2合併候補及第3合併候補之總數與事先定好之合併候補之最大數一致為止，重複第2導出處理。因此，第2導出部113可導出合併候補直到合併候補之最大數為止，而可提升編碼效率。

又，若如圖11所示，導出空間/時間合併候補來作為第3合併候補，導出combined合併候補來作為第1合併候補，導出zero合併候補來作為第2合併候補，則可從信 賴性高的合併候補開始依序導出合併候補，會提高導出信賴性高之合併候補的可能性。

又，如圖11所示，合併候補導出部110亦可依空間/時間合併候補(第3合併候補)、combined合併候補(第1合併候補)及zero合併候補(第2合併候補)之順序，使合併索引之值變大，而來將合併索引分配於合併候補。藉此，合併候補導出部110可藉由被選擇之可能性高的合併候補來分配較小值的索引，而可抑制用於索引之碼量。

另外，第1~第3合併候補並不限定於combined合併候補、zero合併候補及空間/時間合併候補。又，被分配於第1~第3合併候補的索引之值也不限定於圖11所示之索引之值。

另外，在本實施形態中，圖像編碼裝置100係導出第3合併候補，但亦可不導出第3合併候補。也就是說，合併候補導出部110亦可不具備如圖9所示之第3導出部111。此時，圖像編碼裝置100亦可不進行如圖10B所示之步驟S111及步驟S112之處理。又，在步驟S113~步驟S116中，可不使用第3合併候補地進行處理。例如，在步驟S115中，第2導出部113只要判定第1合併候補之總數是否小於事先定好之合併候補之最大數即可。

又，圖像編碼裝置100亦可更進一步導出第4合併候補。例如，當第1~第3合併候補之總數與合併候補之最大數一致為止，無法導出第2合併候補時，合併候補導出部110亦可將scaling合併候補作為第4合併候補而導出。 另外，關於scaling合併候補，會在實施形態7中詳細說明。

又，在本實施形態中，第2導出部113係在第1~第3合併候補之總數與事先定好之合併候補之最大數一致為止重複第2導出處理，但第1~第3合併候補之總數與事先定好之合併候補之最大數不用一定要一致。例如，當事先定好之合併候補之最大數與第1合併候補及第3合併候補之總數間之差分，大於可藉由第2導出處理導出的第2合併候補之總數時，第1~第3合併候補之總數與事先定好之合併候補之最大數不會一致。

(實施形態2)

接著，說明實施形態2。

圖12係顯示實施形態2之圖像解碼裝置200構成的方塊圖。該圖像解碼裝置200係對應於實施形態1之圖像編碼裝置100的裝置。具體而言，圖像解碼裝置200例如將藉由實施形態1之圖像編碼裝置100所生成之位元流所含的編碼圖像依每一區塊進行解碼。如圖12所示，圖像解碼裝置200具備有：合併候補導出部210、解碼部220、及預測控制部230。

合併候補導出部210與實施形態1之合併候補導出部110同樣地將合併候補導出。並且，合併候補導出部210使合併索引與所導出之各合併候補對應而生成合併候補列表。具體而言，合併候補導出部210如圖12所示，具備有：第3導出部211、第1導出部212、第2導出部213。

第3導出部211進行與實施形態1之第3導出部111同樣的處理。也就是說，第3導出部211進行藉由第3導出方法導出第3合併候補的第3導出處理。並且，第3導出部111使第3合併候補與合併索引對應而登錄於合併候補列表。

具體而言，第3導出部211例如進行如下之處理來作為第3導出處理：使用用於與解碼對象區塊在空間上或時間上鄰接的區塊之解碼的預測方向、動態向量及參考圖片索引之組，來導出第3合併候補。

第1導出部212進行與實施形態1之第1導出部112同樣的處理。也就是說，第1導出部212進行藉由第1導出方法導出第1合併候補的第1導出處理。此時，第1導出部212使第1合併候補之總數不超過預定數地來進行第1導出處理。並且，第1導出部212使第1合併候補與合併索引對應而登錄於合併候補列表。

具體而言，第1導出部212例如進行以下處理來作為第1導出處理：將複數之第3合併候補所含的複數之預測方向、動態向量及參考圖片索引之組組合，而將2方向預測之合併候補作為第1合併候補而導出。

2方向預測係指參考第1參考圖片列表及第2參考圖片列表兩方的預測。另外，2方向預測不一定要是參考時間上為前方向及後方向之參考圖片的預測。也就是說，2方向預測亦可為參考2個同一方向(前方向或後方向)之參考圖片的預測。

第2導出部213進行與實施形態1之第2導出部113同樣的處理。亦即，第2導出部213當第1合併候補及第3合併候補之總數小於事先定好之合併候補之最大數時，進行藉由第2導出方法導出第2合併候補的第2導出處理。並且，第2導出部213使第2合併候補與合併索引對應而登錄於合併候補列表。

具體而言，第2導出部213例如進行將具有零向量作為動態向量的合併候補(zero合併候補)導出的處理來作為第2導出處理。此時，第2導出部213依序使用可參考的複數之圖片之索引，作為zero合併候補所含之參考圖片索引，來進行第2導出處理即可。

解碼部220從位元流，取得用以將合併候補特定之索引(合併索引)。例如，解碼部220將已附加於位元流之已編碼的合併索引，使用第1~第3合併候補之總數或事先定好之合併候補之最大數進行解碼，藉此，取得合併索引。

預測控制部230使用藉由解碼部220所取得的索引，從第1~第3合併候補之中，選擇使用於解碼對象區塊之解碼的合併候補。也就是說，預測控制部230從合併候補列表，選擇使用於解碼對象區塊之預測圖像生成的合併候補。

接著，說明如以上構成之圖像解碼裝置200的各種動作。

圖13A係顯示實施形態2之圖像解碼裝置200之處 理動作的流程圖。

首先，合併候補導出部210與圖10A之步驟S110同樣地導出合併候補(S210)。

接著，解碼部220從位元流取得合併索引(S220)。例如，解碼部220使用第1~第3合併候補之總數(合併候補數)，將已編碼之合併索引解碼，藉此，取得合併索引。

另外，解碼部220例如亦可使用事先定好之合併候補之最大數，將已編碼之合併索引解碼，藉此，取得合併索引。此時，解碼部220亦可在合併候補導出處理(S210)之前，進行合併索引之取得處理(S220)。或者，解碼部220亦可與合併候補導出處理(S210)並行，而進行合併索引之取得處理(S220)。

接著，預測控制部230使用所取得之合併索引，從第1~第3合併候補之中選擇使用於解碼對象區塊之解碼的合併候補(S230)。

接著，使用圖13B說明圖13A之步驟S210之詳細內容。

圖13B係顯示實施形態2之合併候補之導出處理的流程圖。

首先，第3導出部211與圖10B之步驟S111同樣地進行第3導出處理(S211)。接著，第3導出部211判定是否結束第3導出處理(S212)。在此，當判定為不結束第3導出處理時(S212之否)，第3導出部211再度進行第3導出處理 (S211)。

另一方面，當判定為結束第3導出處理時(S212之是)，第1導出部212與圖10B之步驟S113同樣地進行第1導出處理(S213)。接著，第1導出部212判定第1合併候補之總數是否小於預定數(S214)。

另一方面，當第1合併候補之總數非小於預定數時(S214之否)，第2導出部213與圖10B之步驟S115同樣地進行第2導出處理(S215)。接著，第2導出部213判定第1~第3合併候補之總數是否小於事先定好之合併候補之最大數(S216)。

在此，當第1~第3合併候補之總數小於最大數時(S216之是)，第2導出部213再度進行第2導出處理(S215)。也就是說，第2導出部213直到第1~第3合併候補之總數與事先定好之合併候補之最大數一致為止，重複第2導出處理。

另一方面，當第1~第3合併候補之總數非小於最大數時場合(S216之否)，前進至圖13A之步驟S220。

如以上，根據本實施形態之圖像解碼裝置200，可使第1合併候補之總數不超過預定數地進行第1導出處理。因此，圖像解碼裝置200可控制第1合併候補之總數，可增加可選擇的合併候補之種類。結果，圖像解碼裝置200可將提升了編碼效率的位元流適當地解碼。

又，第2導出部213可在第1~第3合併候補之總數與事先定好之合併候補之最大數一致為止，重複第2導 出處理。因此，第2導出部213可導出合併候補直到為合併候補之最大數為止。結果，圖像解碼裝置200可將提升了編碼效率的位元流適當地解碼。

另外，在本實施形態中，圖像解碼裝置200係導出第3合併候補，但亦可不導出第3合併候補。也就是說，合併候補導出部210無須具備如圖12所示之第3導出部211。此時，圖像解碼裝置200可以不用進行如圖13B所示之步驟S211及步驟S212之處理。又，在步驟S213~步驟S216中，可不使用第3合併候補地進行處理。例如，在步驟S215中，第2導出部213判定第1合併候補之總數是否小於事先定好之合併候補之最大數即可。

(實施形態3)

接著，使用圖式具體說明實施形態3之圖像編碼裝置，作為實施形態1之圖像編碼裝置之應用例。

圖14係顯示實施形態3之圖像編碼裝置300構成的方塊圖。圖像編碼裝置300將圖像依每一區塊進行編碼，藉此來生成位元流。

圖像編碼裝置300如圖14所示，具備有：減算部301、正交變換部302、量化部303、逆量化部304、逆正交變換部305、加算部306、區塊記憶體307、訊框記憶體308、內預測部309、間預測部310、間預測控制部311、圖片形式決定部312、開關313、合併候補導出部314、colPic記憶體315、及可變長度編碼部316。

減算部301依每一區塊，從輸入圖像列所含之輸 入圖像資料減去預測圖像資料，藉此來生成預測誤差資料。

正交變換部302對於所生成之預測誤差資料，進行從圖像區域至頻率區域的變換。

量化部303對於已變換成頻率區域之預測誤差資料，進行量化處理。

逆量化部304對於已藉由量化部303進行量化處理後之預測誤差資料，進行逆量化處理。

逆正交變換部305對於已進行逆量化處理之預測誤差資料，進行從頻率區域至圖像區域的變換。

加算部306依每一區塊，將預測圖像資料、以及已藉由逆正交變換部305進行逆量化處理後的預測誤差資料進行加算，藉此生成再構成圖像資料。

在區塊記憶體307，以區塊單位保存再構成圖像資料。

在訊框記憶體308，以訊框單位保存再構成圖像資料。

圖片形式決定部312決定以I圖片、B圖片、及P圖片中何種圖片形式來將輸入圖像資料進行編碼。並且，圖片形式決定部312生成顯示所決定之圖片形式的圖片形式資訊。

內預測部309使用保存在區塊記憶體307的區塊單位之再構成圖像資料來進行內預測，藉此生成編碼對象區塊的內預測圖像資料。

間預測部310使用保存在訊框記憶體308的訊框單位之再構成圖像資料、以及藉由動態檢測等所導出的動態向量，來進行間預測，藉此生成編碼對象區塊之間預測圖像資料。例如，間預測部310當選擇了合併模式來作為預測模式時，使用合併候補進行間預測，藉此，生成編碼對象區塊之預測圖像資料。

開關313當編碼對象區塊被內預測編碼時，將藉由內預測部309所生成之內預測圖像資料，作為編碼對象區塊之預測圖像資料而輸出至減算部301及加算部306。另一方面，開關313當編碼對象區塊被間預測編碼時，將間預測部310所生成之間預測圖像資料，作為編碼對象區塊之預測圖像資料輸出至減算部301及加算部306。

合併候補導出部314與實施形態1之合併候補導出部110同樣地導出合併候補。也就是說，合併候補導出部314進行分別使用彼此互異的至少2個導出方法(第1導出方法及第2導出方法)，來導出合併候補的處理(第1導出處理及第2導出處理)。例如，合併候補導出部314使用顯示編碼對象區塊之鄰接區塊、及儲存於colPic記憶體315之co-located區塊的動態向量等的colPic資訊，導出合併候補。

在此，合併候補導出部314對於以第1導出方法導出的第1合併候補之總數設置限制，對於以第2導出方法導出的第2合併候補之總數則不設置限制。亦即，合併候補導出部314使第1合併候補之總數不超過預定數地來導出 第1合併候補。另一方面，合併候補導出部314在第1合併候補未填滿合併候補列表尺寸時，直到第1合併候補及第2合併候補之總數與合併候補列表尺寸為同數為止，導出第2合併候補。

如此，對於第1合併候補之總數設置限制，對於第2合併候補之總數則不設置限制，藉此，合併候補導出部314可導出變動(variation)不同的合併候補。又，合併候補導出部314直到與合併候補列表尺寸為同數為止，導出合併候補。因此，具有高精準度之動態向量的合併候補存在於合併候補列表的可能性會變高。亦即，合併候補導出部314可提升編碼效率。

又，合併候補導出部314對於已導出之各合併候補，分配合併索引。並且，合併候補導出部314將合併候補、合併索引，送至間預測控制部311。又，合併候補導出部314將已導出之合併候補之總數(合併候補數)發送至可變長度編碼部316。

間預測控制部311在使用由動態檢測所導出之動態向量的預測模式(動態檢測模式)、使用合併候補的預測模式(合併模式)之中，選擇可得到最小預測誤差的預測模式。又，間預測控制部311將表示預測模式是否為合併模式的合併旗標發送至可變長度編碼部316。又，間預測控制部311在選擇合併模式作為預測模式時，將與已選擇之合併候補對應的合併索引，發送至可變長度編碼部316。此外，間預測控制部311更將包含編碼對象區塊之動態向 量等的colPic資訊轉送至colPic記憶體315。

可變長度編碼部316對於經量化處理之預測誤差資料、合併旗標及圖片形式資訊，進行可變長度編碼處理，藉此生成位元流。又，可變長度編碼部316將合併候補數設定於合併候補列表尺寸。並且，可變長度編碼部316對於使用於編碼之合併索引，分配因應了合併候補列表尺寸的位元列，對於已被分配之位元列進行可變長度編碼。

接著，說明如以上構成之圖像編碼裝置300的各種動作。

圖15係顯示實施形態3之圖像編碼裝置300之處理動作的流程圖。

在步驟S310中，合併候補導出部314與實施形態1同樣地導出合併候補。

在步驟S320中，間預測控制部311將使用由動態檢測所導出之動態向量而生成的預測圖像之預測誤差、使用合併候補而生成的預測圖像之預測誤差，以後述之方法進行比較，選擇預測模式。在此，若所選擇之預測模式為合併模式，則間預測控制部311對於合併旗標設定(set)「1」；若不是，則對於合併旗標設定為「0」。

在步驟S330中，判定合併旗標之值是否為「1」(亦即，預測模式是否為合併模式)。

在此，若步驟S330之判定結果為真(S330之是)，在步驟S340中，可變長度編碼部316將合併旗標附加 於位元流。此外，在步驟S350中，可變長度編碼部316對於使用於編碼的合併候補之合併索引，分配因應了如圖5所示之合併候補列表尺寸的位元列。並且，可變長度編碼部316對於所分配之位元列進行可變長度編碼。

另一方面，若步驟S330之判定結果為偽(S330之否)，則在步驟S360中，可變長度編碼部316將合併旗標及動態檢測向量模式之資訊附加於位元流。

另外，在步驟S350中，可變長度編碼部316係將合併索引附加於位元流，但例如合併候補列表尺寸為「1」時，亦可不將合併索引附加於位元流。藉此，可削減合併索引的資訊量。

圖16係顯示圖15之步驟S320的詳細處理的流程圖。具體而言，圖16顯示關於合併候補選擇的處理。以下，說明圖16。

在步驟S321中，間預測控制部311進行處理的初始化。具體而言，間預測控制部311對合併候補索引設定為「0」，對最小預測誤差，設定動態向量檢測模式之預測誤差(成本)，對合併旗標設定為「0」。在此，成本係以例如R-D最佳化模型之以下式子所算出。

(式1)Cost=D+λR

在式1中，D表示編碼失真。例如，使用以某動態向量生成之預測圖像來將編碼對象區塊進行編碼及解碼而得到的畫素值、與編碼對象區塊原來畫素值間的差分絕 對值和等等，將該等使用為D。又，R表示發生碼量。將用於將使用於預測圖像生成之動態向量進行編碼所需的碼量等使用為R。又，λ係拉格朗其之未定乘數。

在步驟S322中，間預測控制部311判定合併候補索引之值是否小於編碼對象區塊之合併候補數。亦即，間預測控制部311判定是否存在有尚未進行以下步驟S323~步驟S325之處理的合併候補。

在此，若步驟S322之判定結果為真(S322之是)，在步驟S323中，間預測控制部311算出分配了合併候補索引的合併候補之成本。並且，在步驟S324中，間預測控制部311判定已算出之合併候補之成本是否小於最小預測誤差。

在此，若步驟S324之判定結果為真(S324之是)，則在步驟S325中，間預測控制部311更新最小預測誤差、合併索引、及合併旗標之值。另一方面，若步驟S324之判定結果為偽(S324之否)，則間預測控制部311不更新最小預測誤差、合併索引、及合併旗標之值。

在步驟S326中，間預測控制部311對於合併候補索引之值加上1，從步驟S322開始重複進行步驟S326。

另一方面，若步驟S322之判定結果為偽(S322之否)，亦即，若沒有未處理的合併候補，則在步驟S327中，間預測控制部311確定最終設定好的合併旗標及合併索引之值。

另外，在本實施形態中，在合併模式中係總是 將合併旗標附加於位元流，但並不一定限定於此。例如，在編碼對象區塊滿足預定條件的情況下，當強制性地選擇合併模式時，合併旗標亦可不附加於位元流。藉此，可削減資訊量，而可提升編碼效率。

另外，在本實施形態中，係顯示了使用從編碼對象區塊之鄰接區塊複製預測方向、動態向量及參考圖片索引而得到的合併候補，來進行編碼對象區塊之編碼的合併模式之例，但並不一定限定於此。例如，亦可以跳躍(skip)合併模式來將編碼對象區塊進行編碼。在跳躍合併模式中，與合併模式同樣地使用合併候補來進行編碼對象區塊之編碼。結果，若編碼對象區塊所有的預測誤差資料為「0」，則對跳躍旗標設定為「1」，將跳躍旗標及合併索引附加於位元流。又，若預測誤差資料不為「0」，則對跳躍旗標設定為「0」，將跳躍旗標、合併旗標、合併索引、及預測誤差資料附加於位元流。

另外，在本實施形態中，係顯示使用合併候補來將編碼對象區塊編碼之例，但不一定限定於此。例如，亦可使用合併候補來將動態向量檢測模式之動態向量進行編碼。也就是說，從動態向量檢測模式之動態向量，減去以合併索引所指定的合併候補之動態向量，藉此來算出差分，將該差分及合併索引附加於位元流。又，亦可使用動態向量檢測模式之參考圖片索引RefIdx_ME、合併候補之參考圖片索引RefIdx_Merge，將合併候補之動態向量MV_Merge如式2般換算(scaling)，從動態向量檢測模式之動 態向量減掉換算後之合併候補之動態向量scaledMV_Merge，藉此算出差分。並且，將所算出之差分及合併索引附加於位元流也無妨。

(式2)scaledMV_Merge=MV_Merge×(POC(RefIdx_ME)-curPOC)/(POC(RefIdx_Merge)-curPOC)

在此，POC(RefIdx_ME)表示參考圖片索引RefIdx_ME所示之參考圖片的顯示順序。POC(RefIdx_Merge)表示參考圖片索引RefIdx_Merge所示之參考圖片的顯示順序。curPOC表示編碼對象圖片的顯示順序。

(實施形態4)

接著，說明實施形態4。

圖17係顯示實施形態4之圖像解碼裝置400之構成的方塊圖。該圖像解碼裝置400係與實施形態3之圖像編碼裝置300對應的裝置。具體而言，圖像解碼裝置400例如將藉由實施形態3之圖像編碼裝置300所生成之位元流所含的編碼圖像依每一區塊進行解碼。

圖像解碼裝置400如圖17所示，具備有：可變長度解碼部401、逆量化部402、逆正交變換部403、加算部404、區塊記憶體405、訊框記憶體406、內預測部407、間預測部408、間預測控制部409、開關410、合併候補導出部411、colPic記憶體412。

可變長度解碼部401對於所輸入之位元流，進行可變長度解碼處理，生成圖片形式資訊、合併旗標、及量 化係數。又，可變長度解碼部401使用合併候補列表尺寸，進行合併索引之可變長度解碼處理。

逆量化部402對於藉由可變長度解碼處理所得到的量化係數，進行逆量化處理。

逆正交變換部403將藉由逆量化處理所得到的正交變換係數，從頻率區域變換至圖像區域，藉此生成預測誤差資料。

在區塊記憶體405，以區塊單位保存將預測誤差與預測圖像資料加算而生成的解碼圖像資料。

在訊框記憶體406，以訊框單位保存解碼圖像資料。

內預測部407使用保存在區塊記憶體405的區塊單位之解碼圖像資料來進行內預測，藉此生成解碼對象區塊之預測圖像資料。

間預測部408使用保存在訊框記憶體406的訊框單位之解碼圖像資料來進行間預測，藉此生成解碼對象區塊之預測圖像資料。例如，間預測部408對於合併旗標設定為1時，使用合併候補進行間預測，藉此生成解碼對象區塊之預測圖像資料。

開關410將藉由內預測部407所生成之內預測圖像資料、或藉由間預測部408所生成之間預測圖像資料，作為解碼對象區塊之預測圖像資料而輸出至加算部404。

合併候補導出部411與實施形態3同樣地，分別使用互異的至少2個導出方法(第1導出方法及第2導出方 法)，進行導出合併候補處理(第1導出處理及第2導出處理)。例如，合併候補導出部411使用顯示解碼對象區塊之鄰接區塊、及儲存於colPic記憶體412的co-located區塊之動態向量等的colPic資訊，來導出合併候補。

在此，合併候補導出部411對於以第1導出方法導出的第1合併候補之總數設置限制，而對於以第2導出方法導出的第2合併候補之總數則不設置限制。亦即，合併候補導出部411使第1合併候補之總數不超過預定數地導出第1合併候補。另一方面，合併候補導出部411在第1合併候補未滿合併候補列表尺寸時，直到第1合併候補及第2合併候補之總數與合併候補列表尺寸成為同數為止，導出第2合併候補。

如此，對於第1合併候補之總數設置限制，對於第2合併候補之總數則不設置限制，藉此，合併候補導出部411可導出變動不同的合併候補。又，合併候補導出部411可在與合併候補列表尺寸成為同數為止導出合併候補。因此，具有精準度高的動態向量的合併候補存在於合併候補列表的可能性變高。

又，合併候補導出部411對於已導出之各合併候補，分配合併索引之值。並且，合併候補導出部411將合併候補與合併索引，送至間預測控制部409。又，合併候補導出部411將已導出之合併候補之總數(合併候補數)發送至可變長度解碼部401。

間預測控制部409，若已解碼之合併旗標之值為 「0」，則使用動態向量檢測模式之資訊，使間預測部408生成間預測圖像。另一方面，若合併旗標之值為「1」，則間預測控制部409會根據已解碼之合併索引，從所導出的複數之合併候補中選擇使用於間預測的合併候補。並且，間預測控制部409使用所選擇的合併候補，使間預測部408生成間預測圖像。又，間預測控制部409將包含解碼對象區塊之動態向量等的colPic資訊轉送至colPic記憶體412。

最後，加算部404藉由將預測圖像資料與預測誤差資料進行加算，來生成解碼圖像資料。

圖18係顯示實施形態4之圖像解碼裝置400之處理動作的流程圖。

在步驟S410中，可變長度解碼部401將合併旗標解碼。

在步驟S420中若合併旗標之值為「1」(S420之是)，則在步驟S430中，以與圖15之步驟S310同樣的方法，導出合併候補。

在步驟S440中，可變長度解碼部401使用合併候補列表尺寸，將位元流中之合併索引進行可變長度解碼。

在步驟S450中，間預測控制部409使用已解碼之合併索引所示的合併候補中所含的預測方向、動態向量、及參考圖片索引，來生成間預測圖像。

在步驟S420中若合併旗標之值為「0」(S420之否)，則在步驟S460中，間預測部408使用藉由可變長度解碼部401所解碼之動態向量檢測模式之資訊，來生成間預 測圖像。

另外，當在步驟S430所導出之合併候補之總數(合併候補列表尺寸)為「1」時，合併索引不被解碼而推定為「0」亦無妨。

(實施形態5)

在實施形態5中，使用圖式詳細說明zero合併候補之導出處理，作為第1導出處理或第2導出處理之一例。

圖19係顯示實施形態5之zero合併候補之導出處理的流程圖。具體而言，圖19顯示實施形態1~4之合併候補導出部110、210、314或411之處理動作的一部份。也就是說，圖19顯示第1導出部或第2導出部的處理動作。

在步驟S501中，合併候補導出部將使用於導出zero合併候補時的、預測方向0之參考圖片索引refIdxL0之值、及預測方向1之參考圖片索引refIdxL1之值更新。於參考圖片索引refIdxL0及refIdxL1，設定為「-1」以作為初期值。並且，每次進行步驟S501之處理時，將參考圖片索引refIdxL0及refIdxL1之值加上+1。

亦即，在第1次的合併候補之導出處理中，將具有值0之動態向量(零向量)、值0之參考圖片索引的zero合併候補追加於合併候補列表，以作為用於靜止區域之zero合併候補。並且，在第2次的合併候補之導出處理中，將具有值0之動態向量、值1之參考圖片索引的zero合併候補追加於合併候補列表。

在步驟S502中，合併候補導出部判定已更新之 預測方向0之參考圖片索引refIdxL0之值，是否小於預測方向0之參考圖片列表0的最大參考枚數，並且，已更新之預測方向1之參考圖片索引refIdxL1之值，是否小於預測方向1之參考圖片列表1的最大參考枚數。

在此，若步驟S502之判定結果為真(S502之是)，在步驟S503中，合併候補導出部將動態向量(0，0)及參考圖片索引refIdxL0，分配至zero合併候補之預測方向0。此外，更在步驟S504中，合併候補導出部將動態向量(0，0)及參考圖片索引refIdxL1，分配至zero合併候補之預測方向1。

藉由該等步驟S503及步驟S504之處理，合併候補導出部可導出2方向預測之zero合併候補。圖20顯示所導出之zero合併候補之一例。

在步驟S505中，合併候補導出部判定與所導出之zero合併候補具有相同的預測方向、動態向量、及參考圖片索引的合併候補，是否已存在於合併候補列表內。也就是說，合併候補導出部判定所導出之zero合併候補是否為重複候補。

在此，若步驟S505之判定結果為偽(S505之否)，則在步驟S506中，合併候補導出部將zero合併候補登錄於合併候補列表。

另一方面，若步驟S502之判定結果為偽(S502之否)、或步驟S505之判定結果為真(S505之是)，則不將zero合併候補登錄於合併列表。

如此，合併候補導出部把對於可參考的各參考圖片具有值0之動態向量的zero合併候補導出。並且，合併候補導出部將所導出之zero合併候補新追加於合併候補列表。藉此，圖像編碼裝置，特別是在編碼對象區塊為靜止區域時，可提升合併模式之編碼效率。

另外，在本實施形態中，係顯示了使用值0之動態向量、預測方向0之參考圖片索引、及預測方向1之參考圖片索引，來導出2方向預測之zero合併候補之例，但並不一定限定於此。例如，合併候補導出部亦可使用值0之動態向量及預測方向0之參考圖片索引，來導出預測方向0之zero合併候補。又，同樣地，合併候補導出部亦可使用值0之動態向量及預測方向1之參考圖片索引，來導出預測方向1之zero合併候補。

另外，在本實施形態中，係顯示了將參考圖片索引從值0依序加算+1，一面導出zero合併候補之例，但並不一定限定於此。例如，合併候補導出部從被分配到與編碼對象圖片在顯示順序上距離最近之參考圖片的參考圖片索引開始，依序導出zero合併候補也無妨。

另外，在本實施形態中，合併候補導出部係在圖19之步驟S505中判定zero合併候補是否為重複候補，但並不一定限定於此。例如，合併候補導出部亦可省略步驟S505之判定。藉此，合併候補導出部可削減合併候補導出處理量。

如此，根據本實施形態，合併候補導出部可導 出具有靜止區域用之零動態向量的合併候補，來作為第1合併候補或第2合併候補，而可提升編碼效率。更具體而言，合併候補導出部可導出對於可參考的各參考圖片具有零向量而作為動態向量的合併候補，可將已導出之合併候補新登錄於合併候補列表。藉此，當編碼對象區塊為靜止區域時，可導出信賴性高的合併候補，而可提升編碼效率。

另外，本實施形態係顯示了導出具有零向量的合併候補來作為靜止區域用之動態向量之例，但並不一定限定於此。例如，由於考慮到影片攝影時之微小攝影機晃動等，亦可導出具有動態向量(0，1)等較零動態向量(0，0)稍大、或稍小值之動態向量的合併候補。又，亦可在時序、圖片、或切片的標頭等，附加偏移參數(OffsetX，OffsetY)等，導出具有動態向量(OffsetX，OffsetY)的合併候補。

(實施形態6)

在實施形態6中，使用圖式詳細說明combined合併候補之導出處理，作為第1導出處理、或第2導出處理之一例。

圖21係顯示實施形態6之combined合併候補之導出處理的流程圖。具體而言，圖21顯示實施形態1~4之合併候補導出部110、210、314或411之處理動作的一部份。亦即，圖21顯示第1導出部或第2導出部的處理動作。

在步驟S601中，合併候補導出部將合併候補索 引idx1、idx2更新。合併候補索引idx1、idx2係用來決定使用於combined導出合併候補之2個合併候補的索引。

例如，合併候補導出部將合併候補索引idx1、idx2更新為「0」、「1」。此時，合併候補導出部藉由進行以下步驟S602~步驟S610之處理，將分配有合併候補列表中值0之合併索引的合併候補〔0〕所含的預測方向、動態向量及參考圖片索引、以及分配有值1之合併索引的合併候補〔1〕所含的預測方向、動態向量及參考圖片索引加以組合，來導出combined合併候補。合併候補導出部每次進行combined合併候補的導出處理時，在步驟S601中，將合併候補索引idx1、idx2之值依序更新。另外，合併索引idx1、idx2的更新步驟，並無特別限定的必要。只要是可在combined合併候補之導出處理前，使用已導出之合併候補的所有組合來進行combined合併候補之導出處理的步驟，任何步驟皆可。

在步驟S602中，合併候補導出部判定：是否(1)合併候補索引idx1、idx2之值不相同、並且(2)合併候補〔idx1〕不為combined合併候補、並且(3)合併候補〔idx2〕不為combined合併候補。

若步驟S602之判定結果為真(S142之是)，則在步驟S603中，合併候補導出部判定：是否(1)合併候補〔idx1〕及合併候補〔idx2〕之預測方向不同、或(2)合併候補〔idx1〕與合併候補〔idx2〕皆為2方向預測。在此，若步驟S603之判定結果為真(S603之是)，則在步驟S604中， 合併候補導出部判定：是否(1)合併候補〔idx1〕為預測方向0、或2方向預測、並且(2)合併候補〔idx2〕為預測方向1、或2方向預測。也就是說，合併候補導出部判定：合併候補〔idx1〕是否至少具有預測方向0之動態向量、並且合併候補〔idx2〕是否至少具有預測方向1之動態向量。

在此，若步驟S604之判定結果為真(S604之是)，則在步驟S605中，合併候補導出部將合併候補〔idx1〕之預測方向0之動態向量及參考圖片索引分配至combined合併候補之預測方向0。此外，更在步驟S606中，合併候補導出部將合併候補〔idx2〕之預測方向1之動態向量及參考圖片索引分配至combined合併候補之預測方向1。藉此，合併候補導出部導出用於2方向預測之combined合併候補。

另一方面，若步驟S604之判定結果為偽(S604之否)，則在步驟S607中，合併候補導出部將合併候補〔idx2〕之預測方向0之動態向量及參考圖片索引分配至combined合併候補之預測方向0。此外，更在步驟S608中，合併候補導出部將合併候補〔idx1〕之預測方向1之動態向量及參考圖片索引分配至combined合併候補之預測方向1。藉此，合併候補導出部導出用於2方向預測之combined合併候補。

在步驟S609中，合併候補導出部判定與所導出之combined合併候補具有同一預測方向、動態向量、及參考圖片索引的合併候補，是否已存在於合併候補列表內。 也就是說，合併候補導出部判定所導出之combined合併候補是否為重複候補。

在此，若步驟S609之判定結果為偽(S609之否)，則在步驟S610中，合併候補導出部將所導出之combined合併候補登錄於合併候補列表。

另一方面，若步驟S602或步驟S603之判定結果為偽(S602或S603之否)、或者是步驟S609之判定結果為真(S609之是)，則合併候補導出部不將所導出之combined合併候補登錄於合併候補列表。

如以上，合併候補導出部將combined合併候補導出，登錄於合併候補列表。

另外，在本實施形態中，合併候補導出部係在步驟S609中判定combined合併候補是否為重複候補，但並不一定限定於此。例如，合併候補導出部亦可省略步驟S609的判定。藉此，合併候補導出部可削減合併候補導出處理量。

如以上，根據本實施形態，合併候補導出部可將已導出之複數的合併候補組合，而導出用於2方向預測之合併候補。因此，即使是在已導出之複數的合併候補中不含有用於2方向預測之合併候補時，合併候補導出部也可新導出用於2方向預測之合併候補。結果，合併候補導出部可增加可選擇的合併候補之種類，而可提升編碼效率。

(實施形態7)

在實施形態7中，使用圖式詳細說明scaling合併候補之導出處理，作為第1導出處理或第2導出處理之一例。

圖22係顯示實施形態7之scaling合併候補之導出處理的流程圖。具體而言，圖22顯示實施形態1~4之合併候補導出部110、210、314或411之處理動作的一部份。也就是說，圖22顯示第1導出部或第2導出部的處理動作。

在步驟S701中，合併候補導出部將預測方向索引X更新。並且，在步驟S702中，合併候補導出部將合併候補索引idx更新。預測方向索引X及合併候補索引idx係用來決定用於scaling導出合併候補之預測方向及合併候補的索引。

例如，合併候補導出部將預測方向索引X更新為「0」，將合併候補索引idx更新為「0」。此時，合併候補導出部藉由進行以下步驟S702~步驟S711之處理，使用分配有合併候補列表中值0之合併索引的合併候補〔0〕的預測方向0之動態向量及參考圖片索引，來導出scaling合併候補。合併候補導出部每次進行scaling合併候補之導出處理，即在步驟S701及步驟S702中，依序更新預測方向X及合併候補索引idx之值。

在步驟S703中，合併候補導出部判定：合併候補〔idx〕是否非scaling合併候補、並且合併候補〔idx〕是否具有預測方向X之動態向量。在此，若步驟S703之判定結果為真(S703之是)，則在步驟S704中，合併候補導出部使用合併候補〔idx〕之預測方向X之動態向量mvLX及參考 圖片索引refIdxLX，算出預測方向(1-X)之動態向量mvL(1-X)及參考圖片索引refIdxL(1-X)。例如，合併候補導出部使用以下之式2及式3，算出mvL(1-X)及refIdxL(1-X)。

(式3)refIdxL(1-X)=refIdxLX

(式4)mvL(1-X)=mvLX×(POC(refIdxL(1-X))-curPOC)/(POC(refIdxLX)-curPOC)

在此，POC(refIdxLX)表示參考圖片索引refIdxLX所示之參考圖片之顯示順序。又，POC(refIdxL(1-X))表示參考圖片索引refIdxL(1-X)所示之參考圖片之顯示順序。又，curPOC表示編碼對象圖片之顯示順序。

圖23顯示在實施形態7中算出之動態向量及參考圖片索引之一例。如圖23所示，合併候補導出部使用合併候補所含之1個預測方向(預測方向X)之動態向量mvLX及參考圖片索引refIdxLX來進行換算處理，藉此，算出其他的預測方向(預測方向(1-X))之動態向量mvL(1-X)及參考圖片索引refIdxL(1-X)。

在步驟S705中，合併候補導出部判定預測方向X之值是否為「0」。在此，若步驟S705之判定結果為真(S705之是)，則在步驟S706中，合併候補導出部將合併候補〔idx〕之預測方向X之動態向量及參考圖片索引分配於scaling合併候補之預測方向0。此外，更在步驟S707中， 合併候補導出部將所算出之預測方向(1-X)之動態向量mvL(1-X)及參考圖片索引refIdxL(1-X)分配於scaling合併候補之預測方向1。藉此，合併候補導出部導出用於2方向預測之scaling合併候補。

另一方面，若步驟S705之判定結果為偽(也就是若預測方向X之值為「1」)(S705之否)，則在步驟S708中，合併候補導出部將所算出之預測方向(1-X)之動態向量mvL(1-X)及參考圖片索引refIdxL(1-X)分配於scaling合併候補之預測方向0。此外，更在步驟S709中，合併候補導出部將合併候補〔idx〕之預測方向X之動態向量及參考圖片索引分配於scaling合併候補之預測方向1。藉此，合併候補導出部導出用於2方向預測之scaling合併候補。

在步驟S710中，合併候補導出部判定與所導出之scaling合併候補具有同一預測方向、動態向量、及參考圖片索引的合併候補，是否已存在於合併候補列表內。也就是，合併候補導出部判定所導出之scaling合併候補是否為重複候補。

在此，若步驟S710之判定結果為偽(S710之否)，則在步驟S711中，合併候補導出部將所導出之scaling合併候補登錄於合併候補列表。

另一方面，若步驟S703之判定結果為偽(S703之否)、或步驟S710之判定結果為真(S710之是)，則不將scaling合併候補登錄於合併候補列表。

如以上，合併候補導出部將scaling合併候補導 出，登錄於合併候補列表。

另外，當POC(refIdxLX)與POC(refIdxL(1-X))相同時(即，refIdxLX與refIdxL(1-X)顯示同一圖片時)，由於mvL(1-X)與mvLX為相同值，故合併候補導出部亦可不將所導出之scaling合併候補追加於合併候補列表。又，當所算出之refIdxL(1-X)之值不包含於參考圖片列表L(1-X)時，合併候補導出部亦可不將scaling合併候補登錄於合併候補列表。

又，僅在POC(refIdxLX)與POC(refIdxL(1-X))為不同值、並且(POC(refIdxL(1-X))-curPOC)之絕對值與(POC(refIdxLX)-curPOC)之絕對值為相同時，合併候補導出部亦可藉由將-mvLX直接代入mvL(1-X)，而來算出mvL(1-X)。此係顯示：當以refIdxLX與refIdxL(1-X)進行參考的圖片不同，並且從編碼對象圖片至refIdxLX所示之圖片為止之顯示順序的距離、從編碼對象圖片至refIdx(1-X)所示之圖片為止之顯示順序的距離相等時，mvL(1-X)為mvLX之逆向量。藉此，合併候補導出部可省略式4所示之換算處理，而導出scaling合併候補，因此可抑制處理量的增加，並且提升編碼效率。

又，在本實施形態中，合併候補導出部係在步驟S710中判定scaling合併候補是否為重複候補，但並不一定限定於此。例如，合併候補導出部亦可省略步驟S710之判定。藉此，合併候補導出部可削減合併候補導出處理量。

以上，係基於實施形態說明了1個或複數之態樣的圖像編碼裝置及圖像解碼裝置，但本發明並非限定於該等實施形態者。只要不脫離本發明之旨趣，將熟悉此技藝者所能想到的各種變形施於本實施形態者、或組合不同實施形態之構成要素而構築的形態，也包含於1個或複數之態樣的範圍內。

另外，在上述各實施形態中，各構成要素可由專用的硬體構成，也可藉由執行適合各構成要素之軟體程式來實現。各構成要素亦可藉由CPU或處理器等程式執行部將紀錄於硬碟或半導體記憶體等記錄媒體的軟體程式讀出執行而來實現。在此，實現上述各實施形態之圖像編碼裝置或圖像解碼裝置等的軟體，係如下之程式。

亦即，該程式係使電腦執行如下之圖像編碼方法：將圖像依每一區塊進行編碼，而藉此來生成位元流的圖像編碼方法，該圖像編碼方法包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補係使用於編碼對象區塊之編碼的預測方向、動態向量及參考圖片索引之組(set)的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；選擇步驟，係從前述第1合併候補及前述第2合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補者；及附加步驟，係將用以將經選擇之前述合併候補特定的索引附加於前述位元流者，又，在前述第1導出步驟 中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補之總數小於事先定好之合併候補之最大數時，進行前述第2導出處理。

或者，該程式係使電腦執行如下之圖像解碼方法：將包含於位元流之編碼圖像依每一區塊進行解碼的圖像解碼方法，該圖像解碼方法包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補係使用於解碼對象區塊之解碼的預測方向、動態向量及參考圖片索引之組的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；取得步驟，係從前述位元流取得索引者；及選擇步驟，係使用所取得之前述索引，從前述第1合併候補及前述第2合併候補之中，選擇使用於前述解碼對象區塊之解碼的合併候補者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補之總數小於事先定好之合併候補之最大數時，進行前述第2導出處理。

(實施形態8)

藉由將用以實現為執行在上述各實施形態所示之動畫圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式記錄在記憶媒體，可在將上述各實 施形態所示之處理獨立存在之電腦系統中簡單地實施。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程式者即可。

進而，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該例之系統。該系統係以具有由使用了圖像編碼方法之圖像編碼裝置、及使用了圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置為特徵。針對系統中之其他構成，可因應情況而適當地變更。

圖24係顯示實現內容傳送服務之內容供給系統ex100之整體構成之圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內分別設置作為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，經由網際網路服務提供者ex102、電話線路網ex104及基地台ex106至ex110，而連接電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話ex114、遊戲機ex115等各機器。

但是，內容供給系統ex100不限於如圖24之構成，亦可組合任何要素而連接。又，亦可不經由作為固定無線台之基地台ex106至ex110，將各機器直接連接於電話線路網ex104。又，各機器亦可經由近距離無線等而直接相互連接。

相機ex113係數位攝影機(digital video camera)等 之可進行動態圖像攝影之機器，相機ex116係數位相機等之可進行靜態圖像攝影、動態圖像攝影之機器。又，行動A(Code Division Multiple Access)方式、W-CDMA(Wideband-Cod電話ex114係指GSM(登錄商標)(Global System for Mobile Communications)方式、CDMe Division Multiple Access)方式、或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管是哪一種皆可。

在內容供給系統ex100，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，就可做即時傳送者。在即時傳送上，對於用戶使用相機ex113攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態之說明，進行編碼處理(即，作為本發明之一態樣之圖像編碼裝置而展現功能)，傳送至串流伺服器ex103。另另一方面面，串流伺服器ex103係對於有請求之客戶，串流傳送所傳送之內容資料。客戶係指可將業經上述編碼處理之資料解碼的電腦ex111、PDAex112、相機ex113、行動電話ex114、遊戲機ex115等。在接收了所傳送之資料之各機器上，將所接收之資料進行解碼處理而再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。

此外，所攝影之資料之編碼處理亦可以相機ex113進行，亦可以進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，所傳送之資料之 解碼處理亦可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於相機ex113，亦可經由電腦ex111而將以相機ex116所攝影之靜態圖像及/或動態圖像資料傳送至串流伺服器ex103。此時之編碼處理亦可由相機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可相互分擔進行。

又，其等編碼處理及解碼處理一般是在電腦ex111或具有各機器之LSIex500予以處理。LSIex500可為單一晶片，亦可為由複數晶片構成之構成者。此外，動態圖像編碼、解碼用之軟體亦可內建於電腦ex111等可讀取之任一種記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體來進行編碼、解碼處理。進而，在行動電話ex114為附有相機時，亦可傳送以該相機所取得之動畫資料。此時之動態圖像資料為藉行動電話ex114所具有之LSIex500所編碼處理之資料。

又，串流伺服器ex103係複數之伺服器或複數之電腦，亦可為將資料分散處理或記錄而傳送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人廣播。

又，不限於內容供給系統ex100之例，如圖25所示，在數位式廣播用系統ex200中亦可組裝上述各實施形 態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201中，可透過電波而將在圖像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該圖像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明之一態樣之圖像編碼裝置編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明之一態樣之圖像解碼裝置而展現功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於電纜線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置，而非機上盒。

圖26係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收 機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸出圖像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變；及多工/解多工部ex303，係將具有已解調之多工資料解多工成圖像資料與聲音資料，或將以訊號處理部ex306所編碼之圖像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、圖像資料解碼或將各自的資訊編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之圖像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/解多工部ex303將調變/解調部ex302所解調之多工資料解多工。進而，電視機ex300係於聲音訊號處理部ex304將所解多工之聲音資料解碼，且將所解多工之圖像資料在影像訊號處理部ex305使用在上述各實施形態所說明解碼方法予以解碼。已解碼之聲音訊號、圖像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與圖像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或圖像訊號編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法進行編碼。業經編碼之聲音訊號、圖像訊號係於多工/解多工部ex303多工，而輸出至外部。在多工之時，為了使聲音訊號與圖像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有複數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如 調變/解調部ex302或多工/解多工部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow)之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、圖像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不能進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例而言，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖27。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀入資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將內建在光學磁頭ex401之光學探測器電檢測 來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的生成及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

圖28係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄 媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在資料記錄區ex233內周或外周之內周區ex232及外周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車輛導航系統ex211等之顯示裝置將動畫再生。此外，車輛導航系統ex211之構成可考慮如圖26所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話ex114等實現。

圖29A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114之圖。行動電話ex114包含有用以於基地台ex110之間接送電波之天線ex350、可攝影圖像、靜態圖像之相機部ex365、及顯示使以相機部ex365所攝影之圖像、天線ex350所接收之圖像解碼之資料之液晶顯示器等之顯示部ex358。行動電話 ex114更包含有具有操作鍵部ex366之本體部、諸如用以輸出聲音之麥克風等之聲音輸入部ex356、及保存所攝影之影像、靜態圖像、所錄音之聲音或所接收之影像、靜態圖像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話ex114之構成例，使用圖29B予以說明。行動電話ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話ex114起動為可作動之狀態。

行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話 ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜逆擴散處理，以聲音訊號處理部ex354轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態圖像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明之一態樣之圖像編碼裝置發揮功能)，將業經編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態圖像等攝影之中將聲音輸入部ex356所收音之聲音訊號編碼，將業已編碼之聲音資料送出至多工/解多工部ex353。

多工/解多工部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊 號處理部ex354所供給且業已編碼之聲音資料多工，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

為了在資料通訊模式時、在接收連到網頁等之動態圖像檔案之資料時、或在接收附有影像或聲音之電子郵件時，將經由天線ex350而所接收之多工資料解碼，多工/解多工部ex353將多工資料解多工，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將圖像訊號解碼(即，作為本發明之一態樣之圖像解碼裝置發揮)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網路之動態圖像檔案所含之影像、靜態圖像。又，聲音訊號處理部ex354係將聲音訊號解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，只有編碼器之傳送終端機、只有解碼器之接收終端機等三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料 等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態9)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與以MPEG-2、MPEG4-AVC、VC-1等相異之規格為準之動態圖像編碼方法或裝置，生成影像資料者。

在此，在生成有以各為不同之規格為準之複數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是已哪一規格為準，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是以哪一規格為準者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

圖30係顯示多工資料之構成圖。如圖30所示， 多工資料係將視訊流、聲訊流、演示圖形流(PG)、交互圖形流之中將一個以上多工而所得到者。視訊流表示電影之主圖像及副圖像、聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，演示圖形流表示電影之字幕。在此，主圖像係指顯示在畫面之通常圖像，副圖像係指以小畫面顯示在主圖像中之圖像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、以習知之MPEG-2、MPEG4-AVC、VC-1等規格為準之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之圖像所利用之視訊流劃分有0×1011，音訊流劃分有0×1100至0×111F，演示圖形流劃分有0×1200至0×121F，交互圖形流劃分有0×1400至0×141F，在於電影之副圖像所利用之視訊流劃分有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之音訊流劃分有0×1A00至0×1A1F。

圖31係模式地顯示多工資料是如何被多工之圖。首先，將由複數視訊框所構成之視訊流ex235、由複數聲訊流所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將演示圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進行變換成TS封包ex243及ex246。多工資料ex247 係將其等TS封包多工成一條串流來構成者。

圖32係進一步詳細顯示在PES封包列中如何儲存視訊流。圖32中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖32之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之複數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每一圖片分割，且儲存在PES封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

圖33係顯示最終寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等之資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP_Extra_ Header，構成192位元組之原始封包，寫入至多工資料。TP_Extra_Header記載有ATS(Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送記錄器之PID濾波器之轉送開始時間。多工資料中，如圖33下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了圖像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS．DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至記錄器之ATS對應之STC時間之資訊。

圖34係詳細說明PMT之資料構造之圖。PMT之前頭配置有記著該PMT所含之資料的長度等之PMT標頭。在其之後面配置有複數與多工資料有關之描述符。上述複製控制資訊等係記載為描述符。描述符之後配置有複數與多工資料所含之各串流有關之串流資訊。串流資訊係為於識別串流之壓縮編解碼器等，而由記載有串流形式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符之數有存在於多工資料之串流數這麼多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如圖35所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如圖35所示，由系統速率、再 生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於在多工資料之末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如圖36所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、演示圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之圖像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數為何、是對應何種語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之記錄器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流形式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中，設置設定固有資訊之步驟或手法，固有資訊係相對於PMT所含之串流形式或視訊流屬性資訊，顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方 法或裝置所生成之影像資料與以其他規格為準之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖37。在步驟exS100中，由多工資料取得PMT所含之串流形式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流形式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。接著，在串流形式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流形式或視訊流屬性資訊被判斷為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格者之時，在步驟exS103中，藉以習知之規格為準之動態圖像解碼方法進行解碼。

如此，藉於串流形式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有以不同的規格為準之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態10)

上述各實施形態所示之動態圖像編碼方法及裝置、動 態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，在圖38顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據包含有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/O ex509，由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號暫時先儲存在SDRAM等外部之記憶體ex511。根據控制部ex501之控制，所儲存之資料係按處理量或處理速度，例如適當地分成數次等，而送至訊號處理部ex507，在訊號處理部ex507中，進行聲音訊號之編碼及/或圖像訊號之編碼。在此圖像訊號之編碼處理是上述各實施形態所說明之編碼處理。在訊號處理部ex507中，依情況進而進行業已編碼之聲音資料及業已編碼之影像資料多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入至記錄媒體ex215。此外，在多工處理時，為了同步，只要先將資料暫時儲存在緩衝器ex508即可。

此外，在上述說明中，說明了記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構 成。緩衝器ex508亦可不限於一個，亦可為具有複數緩衝器者。又，LSIex500可為單一晶片，亦可複數晶片化。

又，在上述說明中，控制部ex501係構成為具有CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等者，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為更具有CPU之構成。在訊號處理部ex507之內部亦設置CPU，就可更加提昇處理速度。又，以另一例而言，CPUex502亦可為具有訊號處理部ex507或具有訊號處理部ex507之一部例如聲音處理部之構成。在如此形態下，控制部ex501成為具有訊號處理部ex507或具有該一部分之CPUex502之構成。

此外，在此是構成為LSI，但依積體度的不同，亦可被稱為IC、系統LSI、SUPER LSI、ULTRA LSI。

又，實現積體電路之手法不限於LSI，但亦可以專用電路或萬用處理器實現。在LSI製造之後，亦可利用可程式化之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。

進而，在藉半導體技術之進步或衍生之其他技術來讓替換成LSI之積體電路化之技術上場時，當然亦可使用該技術來進行功能區塊之積體化。生技的運用等亦存在著可能性。

(實施形態11)

在與對藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料進行解碼時，與對以習知之 MPEG-2、MPEG4-AVC、VC-1等之規格為準之圖像資料的時候相比，考慮將處理量增加者。為此，在LSIex500，必須設定在比將以習知規格為準之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，會產生一提高驅動頻率就使耗電高之課題。

為解決該課題，採用電視機ex300、LSIex500等之動態圖像解碼裝置係識別影像資料是以哪一規格為準者，因應規格而切換驅動頻率之構成。圖39係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成時，將驅動頻率提高設定。接著，對於執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801發出指示，來對影像資料解碼者。另另一方面面，在影像資料為以習知規格為準之圖像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之時候相比，將驅動頻率降低設定。接著對於以習知規格為準之解碼處理部ex802發出指示，來將影像資料解碼者。

更具體地說，驅動頻率切換部ex803係由圖38之CPUex502與驅動頻率控制部ex512所構成者。又，執行上述各實施形態中所示之動態圖像解碼方法之解碼處理部ex801及以習知規格為準之解碼處理部ex802係相當於圖38之訊號處理部ex507。CPUex502係識別影像資料是以哪一規格為準者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502 之訊號，訊號處理部ex507係進行影像資料之解碼。在此，影像資料之識別上，例如可考慮利用實施形態9所記述之識別資訊。有關於識別資訊，不限於實施形態9所記載者，只要是可識別影像資料是以哪一規格為準之資訊即可。例如，根據識別影像資料是利用在電視者或者是利用在光碟者之外部訊號，在可識別出影像資料是以哪一規格為準者的時候，亦可根據如此之外部訊號進行識別。又，CPUex502中之驅動頻率選擇，可考慮根據具有圖41所示之影像資料的規格及驅動頻率之對應關係之查找表進行者。先將查找表儲存在緩衝器ex508或LSI之內部記憶體，CPUex502係參考該查找表，就可選擇驅動頻率。

圖40係顯示實施本實施形態之方法之步驟。首先，在步驟exS200中，於訊號處理部ex507上由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502上，根據識別資訊，識別影像資料是否為藉由上述各實施形態所示之編碼方法或裝置所生成者。在影像資料為藉由上述各實施形態所示之編碼方法或裝置所生成之時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定高驅動頻率。另另一方面面，在顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512上，和影像資料經由上述各實施形態所示之編 碼方法或裝置所生成之時候相比，設定較低的驅動頻率。

進而，與驅動頻率之切換連動而變更提供給含有LSIex500或LSIex500之裝置之電壓，就更能提高省電效果。例如，將驅動頻率降低設定時，隨此，與將驅動頻率提高設定的時候相比，可考慮將提供至含有LSIex500或LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法係於欲解碼時之處理量很大時，只要將驅動頻率提高設定，而於欲解碼時之處理量很小時，則將驅動頻率降低設定，即可採用，不限於上述之設定方法。例如，將以MPEG4-AVC規格為準之影像資料解碼之處理量比經由上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼之處理量大時，可考慮與上述時候相反地執行驅動頻率之設定者。

進而，驅動頻率的設定方法不限於將驅動頻率降低之構成。例如在識別資訊係顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮提高設定供應至含有LSIex500或LSIex500之裝置之電壓，在顯示為以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，可考慮降低設定提供至含有LSIex500或LSIex500之裝置之電壓。又，以另一例來說，識別資訊係於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，亦可考慮不使CPUex502之驅動停止，在顯示以習知MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料時，因為處 理能充裕進行，因此可考慮暫時將CPUex502之驅動停止。即使在識別資訊於顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，只要處理能充裕進行時，亦可考慮暫時停止CPUex502之驅動。此時，與顯示為以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之影像資料的時候相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格來切換驅動頻率，可謀求省電。又，在使用電池以驅動含有LSIex500或LSIex500之裝置時，隨著省電，可延長電池的壽命。

(實施形態12)

在電視機或行動電話等上述之機器及系統有以不同規格為準之複數影像資料輸入之狀況。像這樣為了做到能在輸入有以不同規格為準之複數影像資料時也能解碼者，LSIex500之訊號處理部ex507必須能對應於複數規格。惟，如果分別使用對應於各規格之訊號處理部ex507時，將使LSIex500之電路規模變得龐大，又會衍生有增加成本之課題。

為解決該課題，採用將用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部及以習知之MPEG-2、MPEG4-AVC、VC-1等之規格為準之解碼處理部局部共有之構成。將該構成例顯示於圖42A之ex900。例如，以上述各實施形態所示之動態圖像解碼方法與以MPEG4-AVC規格為準之動畫解碼方法係於熵編碼、逆量 化、解塊(deblocking)濾波器、動態補償等之處理上有處理內容部分共通者。可考慮採用一種針對共通之處理內容，共有對應於MPEG4-AVC規格之解碼處理部ex902，而針對不對應於MPEG4-AVC規格之本發明之一態樣特有之其他處理內容，則可考慮使用專用的解碼處理部ex901之構成。特別是，本發明之一態樣由於在動態補償上具有特徵，故例如關於動態補償，使用專用的解碼處理部ex901，關於其外之熵解碼、解塊濾波器、逆量化等任一者、或全部的處理，可共用解碼處理部。有關於解碼處理部之共有化，是針對共通的處理內容共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，對於MPEG4-AVC規格所特有之處理內容，亦可為使用專用的解碼處理部之構成。

又，將使部分處理共有之另一例顯示在圖42B之ex1000。在該例中，係構成為對應於本發明之一態樣特有之處理內容之專用的解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用的解碼處理部ex1002、對應於本發明之一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法所共通之處理內容之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為本發明之一態樣、或其他特殊規格所特有之處理內容特殊化者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，本發明之一態樣之動態圖像解碼方法與 習知規格之動態圖像解碼方法共通之處理內容係共有解碼處理部，因此可將LSI的電路規模縮小，且可降低成本。

【產業上利用之可能性】

本發明之一態樣之圖像編碼方法及圖像解碼方法係有利於利用在動態圖像之編碼方法及解碼方法。

S211~216‧‧‧步驟

Claims (11)

1. 一種圖像編碼方法，係將圖像依每一區塊進行編碼，而藉此來生成位元流的圖像編碼方法，包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補為用於編碼對象區塊之編碼的預測方向、動態向量及參考圖片索引之組(set)的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；第3導出步驟，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者；選擇步驟，係從前述第1合併候補、前述第2合併候補及前述第3合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補者；及附加步驟，係將用來特定出經選擇之前述合併候補的索引附加於前述位元流者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中，當前述第1合併候補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2 導出處理，並將下述處理作為前述第2導出處理來進行，該處理為將具有零向量來作為動態向量的合併候補導出為前述第2合併候補之處理，直到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。
2. 如申請專利範圍第1項之圖像編碼方法，其中在前述第3導出步驟中，藉由前述第3導出處理導出複數個第3合併候補，在前述第1導出步驟中，將下述處理作為前述第1導出處理來進行，該處理係將分別包含於前述複數個第3合併候補的複數個預測方向、動態向量及參考圖片索引之組進行組合，並將用於2方向預測之合併候補作為前述第1合併候補而導出者。
3. 如申請專利範圍第1項之圖像編碼方法，其中在前述第3導出步驟中，將下述處理作為前述第3導出處理來進行，該處理係使用如下之預測方向、動態向量及參考圖片索引之組，來將前述第3合併候補導出者，其中該預測方向、動態向量及參考圖片索引之組係使用於與前述編碼對象區塊在空間上或時間上鄰接之區塊之編碼。
4. 如申請專利範圍第1~3項中任1項之圖像編碼方法，其中前述預定數相依於藉由前述第1導出處理可導出之第1合併候補的總數。
5. 一種圖像編碼裝置，係將圖像依每一區塊進行編碼，而藉此來生成位元流的圖像編碼裝置，包含有：第1導出部，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補為用於編碼對象區塊之編碼的預測方向、動態向量及參考圖片索引之組的候補；第2導出部，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；第3導出部，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者；預測控制部，係從前述第1合併候補、前述第2合併候補及前述第3合併候補之中，選擇使用於前述編碼對象區塊之編碼的合併候補者；及編碼部，係將用來特定出經選擇之前述合併候補的索引附加於前述位元流者，又，前述第1導出部係使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，其中前述第2導出部當前述第1合併候補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2導出處理，並將下述處理作為前述第2導出處理來進行，該處理為將具有零向量來作為動態向量的合併候補導出為 前述第2合併候補之處理，直到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。
6. 一種圖像解碼方法，係將包含於位元流之編碼圖像依每一區塊進行解碼的圖像解碼方法，包含有以下步驟：第1導出步驟，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補為用於解碼對象區塊之解碼的預測方向、動態向量及參考圖片索引之組的候補；第2導出步驟，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；取得步驟，係從前述位元流取得索引者；及第3導出步驟，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者；取得步驟，係從前述位元流取得索引；選擇步驟，係使用所取得之前述索引，從前述第1合併候補、前述第2合併候補及前述第3合併候補之中，選擇使用於前述解碼對象區塊之解碼的合併候補者，又，在前述第1導出步驟中，使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，在前述第2導出步驟中， 當前述第1合併候補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2導出處理，並將下述處理作為前述第2導出處理來進行，該處理為將具有零向量來作為動態向量的合併候補導出為前述第2合併候補之處理，直到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。
7. 如申請專利範圍第6項之圖像解碼方法，其中在前述第3導出步驟中，藉由前述第3導出處理導出複數個第3合併候補，在前述第1導出步驟中，將分別包含於前述複數個第3合併候補的複數個預測方向、動態向量及參考圖片索引之組進行組合，並將用於2方向預測之合併候補作為前述第1合併候補而導出。
8. 如申請專利範圍第6項之圖像解碼方法，其中在前述第3導出步驟中，將下述處理作為前述第3導出處理來進行，該處理係使用如下之預測方向、動態向量及參考圖片索引之組，來將前述第3合併候補導出者，其中該預測方向、動態向量及參考圖片索引之組係使用於與前述解碼對象區塊在空間上或時間上鄰接之區塊之解碼。
9. 如申請專利範圍第6~8項中任1項之圖像解碼方法，其中前述預定數相依於藉由前述第1導出處理可導出之第 1合併候補的總數。
10. 一種圖像解碼裝置，係將包含於位元流之編碼圖像依每一區塊進行解碼的圖像解碼裝置，包含有：第1導出部，係進行將如下述之合併候補作為第1合併候補而導出的第1導出處理者，該合併候補為用於解碼對象區塊之解碼的預測方向、動態向量及參考圖片索引之組的候補；第2導出部，係進行藉由與前述第1導出處理不同的方法來將合併候補作為第2合併候補而導出的第2導出處理者；第3導出部，係進行藉由與前述第1導出處理及前述第2導出處理不同的方法來將合併候補作為第3合併候補而導出的第3導出處理者；解碼部，係從前述位元流取得索引者；及預測控制部，係使用所取得之前述索引，從前述第1合併候補、前述第2合併候補及前述第3合併後補之中，選擇使用於前述解碼對象區塊之解碼的合併候補者，又，前述第1導出部係使前述第1合併候補之總數不超過預定數地來進行前述第1導出處理，前述第2導出部當前述第1合併候補及前述第3合併候補之總數小於前述事先定好之合併候補之最大數時，進行前述第2導出處理，並將下述處理作為前述第2導出處理來進行，該處 理為將具有零向量來作為動態向量的合併候補導出為前述第2合併候補之處理，直到前述第1合併候補、前述第2合併候補及前述第3合併候補之總數與前述事先定好之合併候補之最大數一致為止，重複前述第2導出處理。
11. 一種圖像編碼解碼裝置，具備有如申請專利範圍第5項之圖像編碼裝置、及如申請專利範圍第10項之圖像解碼裝置。