TW201322775A - 圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置 - Google Patents

Abstract

本發明之圖像編碼方法包含有以下步驟：將編碼對象區塊分割成多數子塊；依每子塊取得合併候選，該合併候選為預測方向、移動向量及參考圖片索引之組合之候選；選擇合併候選；及將用以界定所選擇之合併候選之索引附加在位元流；且，在取得合併候選之步驟中，執行：第一判斷處理，係依每個鄰接於子塊之鄰接區塊，分別判斷是否包含在編碼對象區塊，且決定未包含在編碼對象區塊之鄰接區塊，作為合併對象區塊者；及第一導出處理，係使用已用於產生合併對象區塊之預測圖像時之前述組合，導出第一候選，作為前述合併候選之一部分者。

Description

圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置、及圖像編碼解碼裝置 發明領域

本發明係有關於圖像編碼方法及圖像解碼方法。

發明背景

在動態圖像編碼處理中，一般是利用動態圖像具有之空間方向及時間方向之冗長性而進行資訊量之壓縮。在此一般以利用空間方向之冗長性之方法而言，是利用變成頻率區域之變換。又，以利用時間方向之冗長性之方法而言，則是採用圖片間預測(以下稱為「間預測」)編碼處理。在間預測編碼處理中，當將某圖片進行編碼時，使用對編碼對象圖片於顯示時間順序上位於前方或後方之已編碼完畢之圖片，作為參考圖片。接著，藉相對於其參考圖片之編碼對象圖片之移動檢測，而導出移動向量。接著，藉取得根據所導出之移動向量而進行動量補償所得到之預測圖像資料、與編碼對象圖片之圖像資料之差值，而移除時間方向之冗長性(例如參考非專利文獻1)。在此，在移動檢測中，算出編碼圖片內之編碼對象區塊與參考圖片內之區塊之差值，決定差值最小之參考圖片內之區塊，作為參考區塊。

接著，使用編碼對象區塊與參考區塊而檢測移動向量。

先行技術文獻 [非專利文獻]

[非專利文獻1] ITU-T Recommendation H.264「Advanced video coding for generic audiovisual services」、2010年3月

[非專利文獻2] JCT-VC,“WD3:Working Draft 3 of High-Efficiency Video Coding”,JCTVC-E603,March 2011.

發明概要

惟，在上述習知技術中，希望能提昇使用有間預測之圖像編碼(encoding)及解碼(decoding)之編碼效率。

在此，本發明之目的係於提供可提昇使用有間預測之圖像編碼及解碼之編碼效率之圖像編碼方法及圖像解碼方法。

本發明一態樣之圖像編碼方法係將圖像依每區塊進行編碼，以產生位元流者，包含有以下步驟：將編碼對象區塊分成多數子塊；依每子塊取得合併候選，該合併候選為在前述編碼對象區塊之編碼中參考之預測方向、移動向量及參考圖片索引之組合之候選；由在前述取得合併候選之步驟所取得之前述合併候選，選擇在前述編碼對象區塊之編碼使用之合併候選；及將用以界定經前述選擇合併候選之步驟所選擇之前述合併候選之索引附加在前述位 元流；且，在前述取得合併候選之步驟中，執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區塊，分別判斷該鄰接區塊是否包含在前述編碼對象區塊，且將不包含在前述編碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，當已決定有1個以上之合併對象區塊時，依每個前述1個以上之合併對象區塊，分別使用已用於產生該合併對象區塊之預測圖像時之預測方向、移動向量及該圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。

依本發明之一態樣，就能提昇在使用有間預測之圖像編碼及解碼之編碼效率者。

100,1000‧‧‧圖像編碼裝置

101,1001‧‧‧減法部

102,1002‧‧‧正交變換部

103,1003‧‧‧量化部

104,302,1004,2002‧‧‧反量化部

105,303,1005,2003‧‧‧反正交變換部

106,304,1006,2004‧‧‧加法部

107,305,1007,2005‧‧‧區塊記憶體

108,306,1008,2006‧‧‧框記憶體

109,307,1009,2007‧‧‧內預測部

110,308,1010,2008‧‧‧間預測部

111,309,1011,2009‧‧‧間預測控制部

112,1012‧‧‧圖片型式決定部

113,310,1013,2010‧‧‧開關

114,311,1014,2011‧‧‧預測區塊候選候選算出部

115,312,1015,2012‧‧‧colPic記憶體

116,1016‧‧‧可變長度編碼部

300,2000‧‧‧圖像解碼裝置

301,2001‧‧‧可變長度解碼部

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex104‧‧‧電話線路網

ex106~ex110‧‧‧基地台

ex107‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧相機

ex114‧‧‧行動電話機

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex201‧‧‧廣播台

ex202‧‧‧衛星

ex203‧‧‧電纜線

ex204‧‧‧天線

ex210‧‧‧車

ex211‧‧‧車用導航系統

ex215、ex216‧‧‧記錄媒體

ex217‧‧‧機上盒(STB)

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遙控器

ex230‧‧‧資訊軌道

ex231‧‧‧記錄區塊

ex232‧‧‧內周區

ex233‧‧‧資料記錄區

ex234‧‧‧外周區

ex235‧‧‧視訊流

ex238‧‧‧聲訊流

ex236,ex239,ex242,ex245‧‧‧PES封包列

ex237,ex240,ex243,ex246‧‧‧TS封包

ex241‧‧‧表達圖形流

ex244‧‧‧交互圖形流

ex247‧‧‧多工資料

ex300‧‧‧電視機

ex301‧‧‧調諧器

ex302‧‧‧調變/解調部

ex303‧‧‧多工/分離部

ex304‧‧‧聲音訊號處理部

ex305‧‧‧影像訊號處理部

ex306‧‧‧訊號處理部

ex307‧‧‧揚聲器

ex308‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314‧‧‧插槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318、ex319‧‧‧緩衝器

ex350‧‧‧天線

ex351‧‧‧傳送/接收部

ex352‧‧‧調變/解調部

ex353‧‧‧多工/分離部

ex354‧‧‧聲音訊號處理部

ex355‧‧‧影像訊號處理部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex358‧‧‧顯示部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧相機I/F部

ex364‧‧‧插槽部

ex365‧‧‧相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex404‧‧‧緩衝器

ex405‧‧‧光碟馬達

ex406‧‧‧伺服器控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex505‧‧‧電源電路部

ex506‧‧‧串流I/O

ex507‧‧‧訊號處理部

ex508‧‧‧緩衝器

ex509‧‧‧AVI/O

ex510‧‧‧匯流排

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex801,ex802‧‧‧解碼處理部

ex803‧‧‧驅動頻率切換部

ex900,ex1000‧‧‧構成

ex901,ex902,ex1001~ex1003‧‧‧解碼處理部

圖1A係用以說明B圖片中之參考圖片列表一例之圖。

圖1B係顯示B圖片中之預測方向0之參考圖片列表一例之圖。

圖1C係顯示B圖片中之預測方向1之參考圖片列表一例之圖。

圖2係用以說明時間預測移動向量模式中之移動向量之圖。

圖3係顯示合併模式中所使用之鄰接區塊之移動向量一例之圖。

圖4係用以說明合併區塊候選列表一例之圖。

圖5係顯示合併區塊候選尺寸與分配至合併區塊索引之位元列之關係圖。

圖6係顯示在使用合併模式時之編碼處理一例之流程圖。

圖7係顯示使用合併模式而將圖像進行編碼之圖像編碼裝置之一構成例之圖。

圖8係顯示在使用合併模式時之解碼處理一例之流程圖。

圖9係顯示將使用合併模式而編碼之圖像進行解碼之圖像解碼裝置之一構成例之圖。

圖10表示將合併區塊索引附加在位元流時之語法之圖。

圖11(a)~(i)係顯示編碼區塊單位與預測區塊單位(分區)之關係圖。

圖12係顯示實施形態1之圖像編碼裝置之構成方塊圖。

圖13係顯示實施形態1之圖像編碼裝置之處理動作之流程圖。

圖14A(a)、(b)係顯示實施形態1中之合併區塊候選列表一例之圖。

圖14B係顯示實施形態1中之合併區塊候選列表一例之圖。

圖14C係顯示實施形態1中之合併區塊候選列表一例之圖。

圖14D係顯示實施形態1中之合併區塊候選列表一例之 圖。

圖15係顯示實施形態1中之合併區塊候選及合併區塊候選列表尺寸之算出處理之流程圖。

圖16係顯示實施形態1中之可合併候選數之算出動作之流程。

圖17係顯示實施形態1中之合併對象之外之區塊之判斷動作之流程圖。

圖18(a)~(f)係顯示實施形態1中之編碼區塊單位與預測區塊單位之關係圖。

圖19係顯示實施形態1中之新候選之追加處理之流程圖。

圖20係顯示有關於實施形態1中之合併區塊候選之選擇之流程。

圖21係顯示實施形態2之圖像解碼裝置之構成方塊圖。

圖22係顯示實施形態2之圖像解碼裝置之處理動作之流程圖。

圖23係顯示實施形態2中之合併區塊候選列表尺寸之設定處理之流程圖。

圖24係顯示實施形態2中之合併區塊候選之算出處理之流程圖。

圖25係顯示將合併區塊索引附加於位元流時之語法一例之圖。

圖26係顯示將合併區塊候選列表尺寸固定於合併區塊候選數之最大值時之語法一例之圖。

圖27係實現內容發送服務之內容供給系統之整體構成圖。

圖28係數位播放用系統之整體構成圖。

圖29係顯示電視機之構成例之方塊圖。

圖30係顯示在光碟之記錄媒體進行資訊讀寫之資訊再生/記錄部之構成例之方塊圖。

圖31係顯示光碟之記錄媒體之構成例之圖。

圖32A係顯示行動電話機一例之圖。

圖32B係顯示行動電話機之構成例之方塊圖。

圖33係顯示多工資料之構成圖。

圖34係模式地顯示各串流在多工資料中如何進行多工處理之圖。

圖35係更進一步詳細顯示在PES封包列如何儲存視訊流之圖。

圖36係顯示多工資料中之TS封包及原始封包之構造圖。

圖37係顯示PMT之資料構成圖。

圖38係顯示多工資料資訊之內部構成圖。

圖39係顯示串流屬性資訊之內部構成圖。

圖40係顯示識別影像資料之步驟圖。

圖41係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之構成例之方塊圖。

圖42係顯示將驅動頻率進行切換之構成圖。

圖43係顯示識別影像資料且切換驅動頻率之步驟圖。

圖44係顯示將影像資料之規格與驅動頻率對應之查找表一例之圖。

圖45A係顯示共有訊號處理部之模組一構成例之圖。

圖45B係顯示共有訊號處理部之模組之另一構成例之圖。

用以實施發明之形態 (成為本發明之基礎之知見)

在業已標準化且被稱為H.264之動態圖像編碼方式中，為了進行資訊量之壓縮，而使用有稱為I圖片、P圖片、B圖片之三種圖片型式。

I圖片係不以間預測編碼處理進行編碼。即，I圖片係以圖片內預測(以下稱為「內預測」)編碼處理進行編碼者。P圖片係參考於顯示時間順序上位於編碼對象圖片之前方或後方之已經編碼完畢之一個圖片而進行間預測編碼者。B圖片係參考於顯示時間順序上位於編碼對象圖片前方或後方之已經編碼完畢之2個圖片而進行間預測編碼者。

在間預測編碼中，產生用以界定參考圖片之參考圖片列表。參考圖片列表係指對以間預測參考之已編碼完畢之參考圖片分配有參考圖片索引之列表。例如，在B圖片中，因為能參考2個圖片而進行編碼，因此產生2個參考圖片列表(L0、L1)。

圖1A係用以說明B圖片中之參考圖片列表一例之圖。圖1B係顯示雙向預測中之預測方向0之參考圖片列表 0(L0)一例。在此，在參考圖片列表0中，參考圖片索引0之值0係分配於顯示順序2之參考圖片0。又，參考圖片索引0之值1係分配於顯示順序1之參考圖片1。又，參考圖片索引0之值2係分配於顯示順序0之參考圖片2。即，相對於編碼對象圖片，愈是在顯示順序上時間上接近之參考圖片，分配有值愈小之參考圖片索引。

另一方面，圖1C係顯示雙向預測中之預測方向1之參考圖片列表1(L1)一例。在此，在參考圖片列表1中，參考圖片索引1之值0分配於顯示順序1之參考圖片1。又，參考圖片索引1之值1分配於顯示順序2之參考圖片0。又，參考圖片索引2之值2分配於顯示順序0之參考圖片2。

如此，就可以對各參考圖片分配依每預測方向而異之參考圖片索引之值(圖1A所示之參考圖片0、1)、或相同參考圖片索引之值者(圖1A所示之參考圖片2)。

又，在被稱為H.264之動態圖像編碼方式(非專利文獻1)中，以B圖片中之各編碼對象區塊之間預測之編碼模式而言使用有移動向量檢測模式。在移動向量檢測模式，是將預測圖像資料與編碼對象區塊之圖像資料之差值及已用於預測圖像資料之產生之移動向量予以編碼者。又，在移動向量檢測模式，對於預測方向能選擇雙向預測及單向預測。在雙向預測中，參考位於編碼對象圖片前方或後方之已經編碼完畢之2個圖片，而產生預測圖像。在單向預測中，參考位於前方或後方之已經編碼完畢之一個圖片，而產生預測圖像。

又，在被稱為H.264之動態圖像編碼方式中，在B圖片之編碼中，當要導出移動向量時，可選擇被稱為時間預測移動向量模式之編碼模式。使用圖2說明時間預測移動向量模式中之間預測編碼方法。

圖2係用以說明時間預測移動向量模式中之移動向量之圖。具體而言，圖2係顯示以時間預測移動向量模式而將圖片B2之區塊a進行編碼之形態。

在此，利用在位於圖片B2後方之參考圖片之圖片P3內且位於與圖片a相同之位置之區塊b(以下稱為「共置(co-located)區塊」)之編碼所使用之移動向量vb。移動向量vb係於區塊b參考圖片P1而進行編碼時所使用之移動向量。

使用與移動向量vb平行之移動向量，而由成為前方參考圖片之圖片P1與成為後方參考圖片之圖片P3取得區塊a用之2個參考區塊。接著，根據所取得之2個參考區塊進行2方向預測，使區塊a予以編碼。即，在將區塊a進行編碼時所使用之移動向量係相對於圖片P1，是指移動向量va1，相對於圖片P3，是指移動向量va2。

又，對於B圖片或P圖片中之各編碼對象區塊之間預測模式乃檢討著合併模式(非專利文獻2)。在合併模式中，複製已用於編碼對象區塊之鄰接區塊之編碼之預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼。此時，將已在複製使用之鄰接區塊之索引等附加在位元流。藉此，構成為可在解碼側時選擇已在編碼使用過之移動方向、移動向量及參考圖片索引者。參考圖3，說明一具 體例。

圖3係顯示在合併模式中所使用之鄰接區塊之移動向量一例之圖。在圖3中，鄰接區塊A係指鄰接於編碼對象區塊之左邊之編碼完畢區塊，鄰接區塊A之下端與預測對象區塊之下端位於同一直線上。鄰接區塊B為鄰接於編碼對象區塊之上邊之編碼完畢區塊，鄰接區塊B之右端與預測對象區塊之右端位於同一直線上。鄰接區塊C為鄰接於編碼對象區塊之右上邊之編碼完畢區塊。鄰接區塊D為鄰接於編碼對象區塊之左下邊之編碼完畢區塊。鄰接區塊E為鄰接於預測對象區塊之左上邊之編碼完畢區塊。

在此，針對複製已用於鄰接區塊A~D及共置區塊中之其中一區塊之編碼之預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼之形態進行說明。

又，鄰接區塊A為已藉預測方向0之單向預測進行編碼之區塊。鄰接區塊A係具有預測方向0之移動向量MvL0_A，作為相對於預測方向0之參考圖片索引RefL0_A所示之參考圖片之移動向量。在此，MvL0表示參考藉參考圖片列表0(L0)所界定之參考圖片之移動向量。又，MvL1表示參考藉參考圖片列表1(L1)所界定之參考圖片之移動向量。

又，鄰接區塊B為已藉預測方向1之單向預測所編碼之區塊。鄰接區塊B係具有預測方向1之移動向量MvL1_B，作為相對於預測方向1之參考圖片索引RefL1_B所示之參考圖片之移動向量。

又，鄰接區塊C為已藉內預測進行編碼之區塊。

又，鄰接區塊D係已藉預測方向0之單向預測進行編碼之區塊。鄰接區塊D係具有預測方向0之移動向量MvL0_D，作為相對於預測方向o之參考圖片索引RefL0_D所示之參考圖片之移動向量。

在如此情況下，亦能由例如使用鄰接區塊A~D之預測方向、移動向量及參考圖片索引、與使用共置區塊所求得之時間預測移動向量模式所得到之預測方向、移動向量及參考圖片索引之中，選出編碼效率最佳者，作為編碼對象區塊之預測方向、移動向量及參考圖片索引。接著，將表示所選擇之預測方向、移動向量及參考圖片索引之區塊之合併區塊索引附加在位元流。

例如，在選擇了鄰接區塊A時，編碼對象區塊係使用預測方向0之移動向量MvL0_A及參考圖片索引RefL0_A進行編碼。接著，只將表示使用有如圖4所示之鄰接區塊A之情況之合併區塊索引之值0附加在位元流。藉此，可減少預測方向、移動向量及參考圖片索引之資訊量。

又，如圖4所示，在合併模式中，不能被使用在編碼處理之候選(以下稱為「不可合併候選」)，或預測方向、移動向量及參考圖片索引之組合相互一致之候選(以下稱為「重複候選」)係由合併區塊候選刪除。

如此，藉刪減合併區塊候選數，可刪減分配至合併區塊索引之編碼量。在此，不能合併之情況係指：合併區塊候選表示：(1)業經內預測編碼之區塊；(2)位於含有編 碼對象區塊之切片或圖片邊界之外之區塊；或(3)尚未進行編碼之區塊等。

在圖4之例中，鄰接區塊C係業經內預測編碼者。為此，合併區塊索引3之合併區塊候選為不可合併候選，而由合併區塊候選列表刪除者。又，鄰接區塊D係與鄰接區塊A之預測方向、移動向量、及參考圖片索引一致。為此，合併區塊索引4之合併區塊候選係由合併區塊候選列表刪除者。結果最後，合併區塊候選數成為3，合併區塊候選列表之列表尺寸係設定為3。

合併區塊索引係因應合併區塊候選列表尺寸之大小，如圖5所示，分配有位元列，進行可變長度編碼者。如此，在合併模式中，藉使分配至合併模式索引之位元列依照合併區塊候選列表尺寸之大小變化，來刪減編碼量。

圖6係顯示使用合併模式時之編碼處理一例之流程圖。在步驟S1001中，由鄰接區塊及共置區塊取得合併區塊候選之移動向量、參考圖片索引及預測方向。在步驟S1002中，由合併區塊候選刪除重複候選及不可合併候選。在步驟S1003中，業經刪除處理後之合併區塊候選數係設定成合併區塊候選列表尺寸。在步驟S1004中，決定在編碼對象區塊之編碼使用之合併區塊索引。在步驟S1005中，所決定之合併區塊索引係使用藉合併區塊候選列表尺寸所決定之位元列，進行可變長度編碼。

圖7係顯示使用合併模式而將圖像進行編碼之圖像編碼裝置1000之一構成例。圖像編碼裝置1000包含有減 法部1001、正交變換部1002、量化部1003、反量化部1004、反正交變換部1005、加法部1006、區塊記憶體1007、框記憶體1008、內預測部1009、間預測部1010、間預測控制部1011、圖片型式決定部1012、開關1013、合併區塊候選算出部1014、colPic記憶體1015、及可變長度編碼部1016。

在圖7中，合併區塊候選算出部1014係算出合併區塊候選。接著，合併區塊候選算出部1014係將所算出之合併區塊候選數發送至可變長度編碼部1016。可變長度編碼部1016係將合併區塊候選數設定為當做編碼參數之合併區塊候選列表尺寸。其次，可變長度編碼部1016係對於編碼所使用之合併區塊索引分配對應於合併區塊候選列表尺寸之位元列，且對所分配之位元列進行可變長度編碼。

圖8係顯示使用合併模式時之解碼處理一例之流程圖。在步驟S2001中，由鄰接區塊及共置區塊取得合併區塊候選之移動向量、參考圖片索引及預測方向。在步驟S2002中，由合併區塊候選刪除重複候選及不可合併候選。在步驟S2003中，將經過刪除處理之合併區塊候選數設定為合併區塊候選列表尺寸。在步驟S2004中，由位元流，使用合併區塊候選列表尺寸，而將在解碼對象區塊之解碼使用之合併區塊索引進行解碼。在步驟S2005中，使用經解碼之合併區塊索引所示之合併區塊候選，產生預測圖像，進行解碼處理。

圖9係顯示將使用合併模式而編碼之圖像予以解碼之圖像解碼裝置2000之一構成例。圖像解碼裝置2000包 含有：可變長度解碼部2001、反量化部2002、反正交變換部2003、加法部2004、區塊記憶體2005、框記憶體2006、內預測部2007、間預測部2008、間預測控制部2009、開關2010、合併區塊候選算出部2011、及colPic記憶體2012。

在圖9中，合併區塊候選算出部2011係算出合併區塊候選。接著，合併區塊候選算出部2011係將所算出之合併區塊候選之數目(合併區塊候選數)發送至可變長度解碼部2001。可變長度解碼部2001係將合併區塊候選數設定為當做解碼參數之合併區塊候選列表尺寸。接著，可變長度解碼部2001係使用合併區塊候選列表尺寸，而將位元流所含之合併區塊索引進行解碼。

圖10係顯示將合併區塊索引附加於位元流時之語法。在圖10中，merge_idx表示合併區塊索引。merge_flag表示合併旗標。NumMergeCand表示合併區塊候選列表尺寸。在該NumMergeCand設定有從合併區塊候選刪除不可合併候選及重複候選後之合併區塊候選數。

如上，使用合併模式而將圖像進行編碼或解碼。

此外，在於上述之非專利文獻2所檢討之動態圖像編碼方式中，乃以編碼區塊單位(以下為CU(Coding Unit))進行預測圖像之產生者，即，以編碼區塊單位CU與進行預測圖像產生之預測區塊單位PU為相同尺寸者為前提所在。

惟，預測圖像以進而將編碼區塊CU分割之預測區塊單位PU產生，亦無妨。如果以預測區塊單位PU產生預測圖像時，能產生更精細之預測圖像。

圖11係顯示將2N×2N尺寸(N為整数)之編碼區塊單位CU分割成多數預測區塊單位PU時之例。

具體來說，圖11之(a)~(c)係顯示著將編碼區塊單位CU分成上下2個之形態，將位於上側之預測區塊單位PU0當做分區0，且將位於下側之預測區塊單位PU1當做為分區1。圖11(a)係顯示預測區塊單位PU為2N×N之形態。圖11之(b)係顯示預測區塊單位PU為2N×nU之形態。圖11之(c)係顯示預測區塊單位PU為2N×nD之形態。

圖11之(d)~(f)係顯示將編碼區塊單位CU分成左右2塊之形態，將位於左側之預測區塊單位PU0作為分區(partition)0，且將位於右側之預測區塊單位PU1作為分區1。圖11之(d)係顯示預測區塊單位PU為N×2N之形態。圖11之(e)係顯示預測區塊單位PU為nL×2N之形態。圖11之(f)係顯示預測區塊單位PU為nR×2N之形態。

圖11之(g)係顯示預測區塊單位PU為N×N之形態，即，將編碼區塊單位CU分成4塊(分成上下2塊、左右2塊)之形態。在圖11之(g)中，將位於左上側之預測區塊單位PU0作為分區0，位於右上側之預測區塊單位PU1作為分區1，位於左下側之預測區塊單位PU2作為分區2，位於右下側之預測區塊單位PU3作為分區3。

圖11之(h)係顯示預測區塊單位PU為2N×2N之形態，即，編碼區塊單位CU與預測區塊單位PU相同之形態。在圖11之(h)中，將預測區塊單位PU0作為分區0。

在於如此將編碼區塊單位CU區分之預測區塊單 位PU之編碼中，宜將在產生預測圖像時所使用之預測方向、移動向量及參考圖片索引設定成不要在所分隔之分區全部都相同者。這是因為在於全部的分區使用了相同的預測方向、移動向量及參考圖片索引時，則實質上成為與以編碼區塊單位CU進行預測圖像之產生者都相同之結果，會降低將編碼區塊單位CU分成預測區塊單位PU之優點。在於預測區塊單位PU之編碼中，產生移動向量等，算出預測圖像，得到預測餘值時，由圖11(a)~(h)所示之多數預測區塊單位，選擇性地使用用於預測圖像之產生之移動向量等，能以很好的效率將具有複雜的形狀之動態圖像編碼者。

惟，習知之合併模式係於將編碼區塊單位CU分成多數分區而進行預測圖像之產生時，即使為位於同一編碼區塊單位CU內之鄰接區塊，亦算出合併區塊候選。如上述，在同一編碼區塊單位CU內之預測區塊單位PU不宜適用相同的移動向量等。為此，由位於同一編碼區塊單位CU內之鄰接區塊之移動向量等所求得之合併區塊候選成為冗長的合併區塊候選。如此，習知之合併模式有如下之問題，即，即使是位於同一編碼區塊單位CU內之鄰接區塊，亦要求出合併區塊候選，因此在多餘的合併區塊候選亦分配合併區塊索引，而使位元量增加者。

在此，本發明一態樣之圖像編碼方法係將圖像依每區塊進行編碼，藉此產生位元流者，包含有下列步驟：將編碼對象區塊分成多數子塊；依每子塊，取得合併候選，該合併候選為在前述編碼對象區塊之編碼中參考之預測方 向、移動向量及參考圖片索引之組合之候選；由在前述取得合併候選之步驟中所取得之前述合併候選，選擇使用在前述編碼對象區塊之編碼之合併候選；及將用以界定在前述選擇合併候選之步驟中所選擇之前述合併候選之索引附加在前述位元流；且，在前述取得合併候選之步驟中，執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區塊，分別判斷該鄰接區塊是否包含在前述編碼對象區塊，且將不包含在前述編碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，係於決定有1個以上之合併對象區塊時，依前述1個以上之合併對象區塊每個，分別使用已用於該合併對象區塊之預測圖像之產生之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。

依上述構成之圖像編碼方法，在將編碼區塊單位分成多數分區(預測區塊單位PU)而進行預測圖像之產生時，判斷成為合併區塊候選之算出對象之鄰接區塊是否位於同一編碼區塊單位內，且於已判斷位於同一編碼區塊單位內時，由合併區塊候選之算出對象排除之。藉如此構成，在上述構成之圖像編碼方法中，就不會將多餘的合併區塊候選追加至合併區塊候選列表，能提昇編碼效率。

又，例如在前述第一判斷處理中，進而亦可判斷前述鄰接區塊是否為經以內預測編碼之區塊、位於含有前述編碼對象區塊之切片或圖片之邊界之外之區塊、及尚未編碼之區塊，且將(1)被判斷為未包含在前述編碼對象區 塊，且(2)被判斷為不是已藉內預測編碼之區塊，且(3)被判斷為不是位於含有前述編碼對象區塊之切片或圖片邊界之外之區塊，且(4)被判斷為不是尚未編碼之區塊之前述鄰接區塊決定為前述合併對象區塊。

又，例如亦可更具有決定可取得之合併候選之最大數之步驟，前述取得合併候選之步驟更執行：第二判斷處理，係判斷前述第一候選之數是否小於前述最大數者；及第二導出處理，係於前述第一候選之數被判斷為小於前述最大數時，導出具有在前述對象子塊之編碼中相對於可參考之圖片之圖片索引之新候選者。

又，例如，進而亦可含有：使用在前述選擇合併候選之步驟中所選擇之前述合併候選，進行前述對象子塊之預測圖像之產生之步驟。

本發明一態樣之圖像解碼方法係依每區塊將編碼位元流所含之圖像資料進行解碼者，包含有以下步驟，即：將解碼對象區塊分割成多數子塊；依每子塊取得合併候選，前述合併候選為在前述解碼對象區塊之解碼中參考之預測方向、移動向量及參考圖片索引之組合之候選；由前述編碼位元流取得索引，前述索引係用以界定在前述解碼對象區塊之解碼中參考之合併候選者；及使用所取得之前述索引，界定前述合併候選，且使用所界定之前述合併候選，將前述解碼對象區塊進行解碼；且，在前述取得合併候選之步驟中，執行：第一判斷處理，係依每個與前述子塊鄰接之鄰接區塊，分別判斷該鄰接區塊是否包含在前 述解碼對象區塊，且將不包含在前述解碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，當已決定1個以上之合併對象區塊時，依前述1個以上之合併對象區塊每個，使用已用於該合併對象區塊之預測圖像之產生之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。

又，例如在前述第一判斷處理中，進而亦可判斷前述鄰接區塊是否為已藉內預測編碼之區塊、是否為位於含有前述編碼對象區塊之切片或圖片邊界之外之區塊、及是否為尚未進行編碼之區塊，將(1)被判斷為未包含在前述編碼對象區塊、(2)被判斷為不是藉內預測編碼之區塊、(3)被判斷為不是位於含有前述編碼對象區塊之切片或圖片邊界之外之區塊、及(4)被判斷為不是尚未進行編碼之區塊之前述鄰接區塊，決定為前述合併對象區塊。

又，例如亦可含有決定可取得之合併候選之最大數之步驟，其係進而進行：第二判斷處理，係判斷前述第一候選之數是否小於前述最大數者；及第二導出處理，係於已判斷前述第一候選之數小於前述最大數時，導出相對於具有在前述對象子塊之解碼中相對於可參考之圖片之圖片索引之新候選者。

又，例如進而亦可含有：使用在選擇前述合併候選之步驟所選擇之前述合併候選，進行前述對象子塊之預測圖像之產生之步驟。

本發明一態樣之圖像編碼裝置係將圖像依每區 塊進行編碼而產生位元流者，包含有：第一分割部，係將編碼對象區塊分割成多數子塊者；第一取得部，係依前述多數子塊每個，取得合併候選，該合併候選係於前述編碼對象區塊之編碼中參考之預測方向、移動向量及參考圖片索引之組合之候選者；第一選擇部，係由經取得前述合併候選之步驟所取得之前述合併候選，選擇在前述編碼對象區塊之編碼使用之合併候選者；及編碼部，係將用以界定經前述第一選擇部所選擇之前述合併候選之索引附加在前述編碼位元流者；前述第一取得部係執行：第一判斷處理，係依每個與前述子塊鄰接之鄰接區塊，分別判斷該鄰接區塊是否包含在前述編碼對象區塊，且將未包含在前述編碼對象區塊之前述鄰接區塊，決定為合併對象區塊者；及第一導出處理，係於決定有1個以上之合併對象區塊時，依前述1個以上之合併對象區塊每個，分別使用已用於產生該合併對象區塊之預測圖像時之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分。

本發明一態樣之圖像解碼裝置係將編碼位元流所含之圖像資料依每區塊進行解碼者，包含有：第二分割部，係將解碼對象分割成多數子塊者；第二取得部，係依前述多數子塊之每個子塊，分別取得在前述解碼對象區塊之解碼中參考之預測方向、移動向量及參考圖片索引之組合之候選之合併候選者；索引取得部，係由前述編碼位元流，取得用以界定在前述解碼對象區塊之解碼中參考之合 併候選之索引者；及解碼部，係使用所取得之前述索引，界定前述合併候選，且使用所界定之前述合併候選，將前述解碼對象區塊進行解碼者；前述第二取得部係執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區塊，分別判斷該鄰接區塊是否包含在前述解碼對象區塊，且將未包含在前述解碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，係於決定有合併對象區塊時，依前述1個以上之合併對象區塊每個，使用已用於產生該合併對象區塊之預測圖像時之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。

本發明一態樣之圖像編碼解碼裝置包含有上述圖像編碼裝置及上述圖像解碼裝置。

此外，其等一般或具體的態樣可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體予以實現，亦可藉系統、方法、積體電路、電腦程式或記錄媒體之任意組合予以實現。

以下，針對本發明一態樣之動態圖像編碼裝置及動態圖像解碼裝置，一邊參考附圖一邊具體說明之。

此外，在以下說明之實施形態任一者都是顯示本發明一具體例者。以下的實施形態所示之數值、形狀、材料、構成要素、構成要素之配置位置及連接形態、步驟、步驟的順序等只是一例，並不是限制本發明之旨趣所在。又，針對以下的實施形態中之構成要素中，對於未載於顯 示最上位概念之獨立請求項之構成要素，作為任意的構成要素予以說明。

(實施形態1)

根據圖12~20，說明使用本實施形態之圖像編碼方法之圖像編碼裝置。在實施形態中，針對以分成編碼區塊單位CU(編碼對象區塊)之預測區塊單位PU(預測對象區塊)，導出合併區塊候選，產生預測圖像之形態予以說明。

[1-1.圖像編碼裝置之構成]

首先根據圖12，說明圖像編碼裝置之構成。

圖12係顯示實施形態1之圖像編碼裝置100之構成方塊圖。圖像編碼裝置100係將圖像依每區塊進行編碼而產生位元流。

圖像編碼裝置100，如圖12所示，包含有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部105、加法部106、區塊記憶體107、框記憶體108、內預測部109、間預測部110、間預測控制部111、圖片型式決定部112、開關113、合併區塊候選算出部114、colPic記憶體115、及可變長度編碼部116。

減法部101係依每區塊(預測區塊單位PU)，由輸入圖像列所含之輸入圖像資料減去預測圖像資料，藉此產生預測誤差資料。

正交變換部102係對所產生之預測誤差資料，進行由圖像區域成為頻率區域之變換。

量化部103係對已變換至頻率區域之預測誤差資 料進行量化處理。

反量化部104係對已藉量化部103進行量化處理之預測誤差資料，進行反量化處理。

反正交變換部105係對業經反量化處理之預測誤差資料，進行由頻率區域成為圖像區域之變換。

加法部106係依每區塊(預測區塊單位PU)，將預測圖像資料及已藉反正交變換部105進行反量化處理之預測誤差資料相加，而產生再構成圖像資料。

在區塊記憶體107將再構成圖像資料以區塊單位予以保存。

在框記憶體108將再構成圖像資料以框單位予以保存。

圖片型式決定部112係決定要以I圖片、B圖片及P圖片中哪一種圖片型式將輸入圖像資料進行編碼。接著，圖片型式決定部112產生顯示所決定之圖片型式之圖片型式資訊。

內預測部109係使用區塊記憶體107所儲存之區塊單位之再構成圖像資料，進行內預測，藉此產生編碼對象區塊之內預測圖像資料。

間預測部110係使用框記憶體108所儲存之框單位之再構成圖像資料、及藉移動檢測等所導出之移動向量，進行間預測，藉此產生編碼對象區塊之間預測圖像資料。

開關113係於對編碼對象區塊進行內預測編碼 時，將藉內預測部109所產生之內預測圖像資料作為編碼對象區塊之預測圖像資料，而輸出至減法部101及加法部106。另一方面，開關113係於對編碼對象區塊進行間預測編碼時，將藉間預測部110所產生之間預測圖像資料作為編碼對象區塊之預測圖像資料，而輸出至減法部101及加法部106。

合併區塊候選算出部114，在本實施形態中，以圖11之(a)~(f)所示之預測區塊單位PU，導出合併區塊候選。此外，在本實施形態中，為便於說明，是以圖11之(g)~(h)所示之預測區塊單位PU不能予以選擇之形態為例予以說明。合併區塊候選算出部114係使用預測對象區塊之鄰接區塊之移動向量等、及colPic記憶體115所儲存之共置區塊之移動向量等(colPic資訊)，導出合併模式之合併區塊候選。接著，合併區塊候選算出部114係以後述之方法算出可合併候選數。

又，合併區塊候選算出部114係對所導出之合併區塊候選，分配合併區塊索引之值。接著，合併區塊候選算出部114係將合併區塊候選及合併區塊索引傳送至間預測控制部111。又，合併區塊候選算出部114係將所算出之可預測候選數發送至可變長度編碼部116。

間預測控制部111係於使用藉移動檢測導出之移動向量之預測模式(移動檢測模式)、與使用由合併區塊候選所導出之移動向量之預測模式(合併模式)中，選擇可得到最小之預測誤差之預測模式。又，間預測控制部111係將表示 預測模式是否為合併模式之合併旗標發送至可變長度編碼部116。又，間預測控制部111係於選擇合併模式作為預測模式時，將與所決定之合併區塊候選對應之合併區塊索引發送至可變長度編碼部116。進而，間預測控制部111係將含有編碼對象區塊之移動向量等之colPic資訊轉送至colPic記憶體115。

可變長度編碼部116係對業經量化處理之預測誤差資料、合併旗標及圖片型式資訊進行可變長度編碼處理，產生位元流。又，可變長度編碼部116係將可合併候選數設定為預測區塊候選列表尺寸。接著，可變長度編碼部116係將於編碼使用之合併區塊索引分配與合併區塊候選列表尺寸對應之位元列，對所分配之位元列進行可變長度編碼。

[1-2.依圖像編碼裝置所進行之圖像編碼方法之執行]

其次，根據圖13~20說明圖像編碼裝置100之處理動作(圖像編碼方法之執行)。

圖13係顯示本實施形態之圖像編碼裝置100之處理動作之流程圖。

在此，圖像編碼裝置100首先將編碼對象區塊分成多數子塊，且將多數子塊內之1者決定為預測對象區塊。

在步驟S101中，合併區塊候選算出部114係取得合併候選，該合併候選為預測對象區塊之預測中予以參考之預測方向、移動向量及參考圖片索引之組合的候選。具體來說，合併區塊候選算出部114，例如由預測對象區塊之 鄰接區塊及共置區塊導出合併區塊候選。又，在本實施形態中，合併區塊候選算出部114係以後述之方法，算出合併區塊候選列表尺寸。

在合併區塊候選之算出中，合併區塊候選算出部114首先以後述之方法，而由預測對象區塊之鄰接區塊A~D及共置區塊，產生合併區塊候選。進而，合併區塊候選算出部114，如圖14A之(a)所示，對各合併區塊候選分配合併區塊索引。

合併區塊索引係於值愈小則分配愈短之編碼。即，在合併區塊索引之值小時，對合併區塊索引所需之資訊量變得更小。

另一方面，合併區塊索引之值愈大，對合併區塊索引所需之資訊量變得愈大。因此對於具有精度更高之移動向量及參考圖片索引之可能性高之合併區塊候選，分配值小之合併區塊索引，編碼效率就會提高。

在此，合併區塊候選算出部114，例如亦可對每合併區塊候選計算選作為合併區塊之次數，對其次數多之區塊，分配值小之合併區塊索引。具體來說，可想到在鄰接區塊先界定好已選擇之合併區塊，在對象區塊之編碼時，將對於所界定之合併區塊之合併區塊索引之值變小。

接著，合併區塊候選算出部114係以後述之方法，進行不可合併候選及重複候選之刪除。此時，合併區塊候選算出部114進行新候選之追加，亦無妨。新候選之追加也未必有實施之必要。

在本實施形態中，將不能利用在預測圖像之產生之合併區塊候選稱為不可合併候選。又，將對應於不可合併候選之區塊稱為合併對象以外之區塊。在合併對象以外之區塊包括包含在同一編碼對象區塊之鄰接區塊。在本實施形態中，進而，對合併對象以外之區塊來說，包括(1)不具移動向量等之資訊之區塊(業經內預測編碼之區塊)、(2)位於含有編碼對象區塊之切片或圖片邊界之外之區塊、(3)尚未進行編碼之區塊。

又，將可利用在預測圖像之合併區塊候選稱為可合併候選。進而，將對應於可合併候選之區塊稱為合併對象區塊。

又，在多數合併區塊候選中，將移動向量、參考圖片索引及預測方向所有與其他任一個合併區塊候選一致之候選稱為重複候選。

又，在圖14A之(a)之形態中，鄰接區塊C為經過內預測編碼之區塊，因此當作為不可合併候選。又，鄰接區塊D之移動向量、參考圖片索引及預測方向所有與鄰接區塊A一致，所以當作為重複候選。

在此，在圖14A之(b)係顯示在沒有包含在相同的編碼對象區塊之鄰接區塊(合併對象以外之區塊)時所算出之合併區塊候選列表之例之圖。又，圖14B係顯示鄰接區塊A為包含在相同編碼對象區塊之合併對象以外之區塊時所算出之合併區塊候選列表之圖。圖14C係顯示鄰接區塊B為包含在相同編碼對象區塊之合併對象以外之區塊時所算出 之合併區塊候選列表之圖。圖14D係顯示鄰接區塊A及鄰接區塊B為包含在相同編碼對象區塊之合併對象以外之區塊時所算出之合併區塊候選列表之圖。針對合併對象以外之區塊的判斷容後說明。

在步驟S102中，間預測控制部111係以後述之方法，比較使用藉移動檢測所導出之移動向量而產生之預測圖像之預測誤差、與使用由合併區塊候選所得到之移動向量而產生之預測圖像之預測誤差，選擇預測模式(選擇編碼對象區塊之編碼使用之合併候選)。在此，如果所選擇之預測模式為合併模式時，間預測控制部111係將合併旗標設定為1，如果不是時，則將合併旗標設定為0。

可變長度編碼部116係執行步驟S103~步驟S105，藉此將用以界定所選擇之合併候選之索引附加在位元流。

具體來說，在步驟S103中，判斷合併旗標是否為1(即，預測模式是否為合併模式)。

在此，如果步驟S103之判斷結果為真時(S103之是)，在步驟S104中，可變長度編碼部116係將合併旗標附加在位元流。進而，在步驟S105中，可變長度編碼部116係對於編碼使用之合併區塊候選之合併區塊索引分配與如圖5所示之合併區塊候選列表尺寸對應之位元列。接著可變長度編碼部116係對所分配之位元列進行可變長度編碼。

另一方面，如果步驟S103之判斷結果是偽時(S103之否)，在步驟S106中，可變長度編碼部116係將合併 旗標及移動檢測向量模式之資訊附加在位元流。

在本實施形態中，如圖14A之(a)所示，對於與鄰接區塊A對應之合併區塊索引之值是分配「0」。又，對於與鄰接區塊B對應之合併區塊索引之值是分配「1」。又，對於與共置合併區塊對應之合併區塊索引之值是分配「2」。又，對於與鄰接區塊C對應之合併區塊索引之值是分配「3」。又，對於與鄰接區塊D對應之合併區塊索引之值是分配「4」。

此外，合併區塊索引之分配方式未必要限於此例。例如，可變長度編碼部116係對共置合併區塊分配比鄰接區塊更大之合併區塊索引者，亦無妨。又，例如，可變長度編碼部116亦可在使用後述之方法而追加有新候選等時候，對原來的合併區塊候選分配小的值，對新候選分配大的值。即，可變長度編碼部116優先對原來的合併區塊候選分配值小之合併區塊索引，亦無妨。

又，用以求取合併區塊候選之鄰接區塊未必要限定在鄰接區塊A~D及共置區塊。例如由圖3之鄰接區塊E等求取合併區塊候選，亦無妨。又，未必要使用鄰接區塊A~D及共置區塊全部的鄰接區塊，亦可只有鄰接區塊A及鄰接區塊B作為合併區塊候選使用。

又，在本實施形態中，在圖13之步驟S105中，可變長度編碼部116係將合併區塊索引附加於位元流，但未必要將合併區塊索引附加在位元流。例如，可變長度編碼部116係於合併區塊候選列表尺寸為「1」時，亦可不將合併 區塊索引附加在位元流。藉此，可減少合併區塊索引之資訊量。

圖15係顯示圖13之步驟S101之詳細處理之流程圖。具體來說，圖15係表示算出合併區塊候選及合併區塊候選列表尺寸之方法。以下針對圖15予以說明。

在步驟S111中，合併區塊候選算出部114係以後述之方法判斷合併區塊候選[N]是否為可合併候選(第一導出處理之一部分)。接著，合併區塊候選算出部114按照判斷結果，將可合併候選數更新。

在此，N為用以表示各合併區塊候選之索引值。在本實施形態中，N取0至4之數值。具體來說，合併區塊候選[0]係分配圖3之鄰接區塊A。又，合併區塊候選[1]係分配圖3之鄰接區塊B。又，合併區塊候選[2]係分配共置合併區塊。又，合併區塊候選[3]係分配圖3之鄰接區塊C。又，合併區塊候選[4]係分配圖3之鄰接區塊D。

在步驟S112中，合併區塊候選算出部114係取得合併區塊候選[N]之移動向量、參考圖片索引及預測方向，追加至合併區塊候選列表(第一導出處理之一部分)。

在步驟S113中，合併區塊候選算出部114，如圖14A~圖14C所示，從合併區塊候選列表搜尋不可合併候選及重複候選，且予以刪除(第一導出處理之一部分)。

在步驟S114中，合併區塊候選算出部114係以後述之方法，將新候選追加至合併區塊候選列表。在此，在追加新候選時，合併區塊候選算出部114亦可進行合併區塊 索引之值之再分配，讓原有之合併區塊候選優先分配值小之合併區塊索引者。即，合併區塊候選算出部114亦可進行合併區塊索引之值之再分配，而將值大之合併區塊索引分配於新候選者。藉此，可減少合併區塊索引之編碼量。

在步驟S115中，合併區塊候選算出部114係將步驟S111所算出之可合併候選數設定為合併區塊候選列表尺寸。例如，在圖14A中，藉後述之方法，可合併候選數被算出是「4」，在合併區塊候選列表尺寸設定「4」。

此外，在步驟S114中之新候選係指以後述之方法，且當合併區塊候選數未達可合併候選數時，新追加至合併區塊候選之候選者。例如，新候選亦可為圖3中之左上邊鄰接區塊E等。又，新候選亦可為例如與共置區塊之鄰接區塊A~D對應之區塊。又，新候選亦可為例如參考圖片之畫面整體或一定區域中具有移動向量、參考圖片索引及預測方向之統計值等之區塊。如此，在合併區塊候選數未達可合併候選數時，合併區塊候選算出部114追加具有新的移動向量、參考圖片索引及預測方向之新候選，藉此可提昇編碼效率。

圖16係顯示圖15之步驟S111之詳細處理之流程圖。具體來說，圖16係表示判斷合併區塊候選[N]是否為可合併候選，將可合併候選數更新之方法。以下針對圖16進行說明。

在步驟S121中，合併區塊候選算出部114係判斷合併區塊候選[N]是否為(1)業經內預測編碼之區塊、或(2) 位於含有編碼對象區塊之切片或圖片邊界之外之區塊、或(3)尚未進行編碼之區塊。

若步驟S121之判斷結果為真時(步驟S121的是)，合併區塊候選算出部114係將與合併區塊候選[N]對應之區塊決定為合併對象以外之區塊。進而，在步驟S123中，將合併區塊候選[N]設定為不可合併候選。

另一方面，若步驟S121之判斷結果為偽時(步驟S121之否)，在步驟S122中，以後述之方法判斷合併區塊候選[N]是否為合併對象以外之區塊(第一判斷處理)。

若步驟S122之判斷結果為真時(步驟S122之是)，在步驟S123中，合併區塊候選算出部114係將合併區塊候選[N]決定為不可合併候選。

另一方面，若步驟S122之判斷結果為偽時(步驟S122之否)，在步驟S124中，合併區塊候選算出部114係將合併區塊候選[N]決定為可合併候選。

在步驟S125中，合併區塊候選算出部114係判斷合併區塊候選[N]是否為可合併候選或共置合併區塊候選。

若步驟S125之判斷結果為真時(步驟S125之是)，在步驟S126中，合併區塊候選算出部114係於合併區塊候選數加1，將合併區塊候選數更新。另一方面，若步驟S125之判斷結果為偽時(步驟S125之否)，不將可合併候選數更新。

如此，當合併區塊候選為共置合併區塊時，合併區塊候選算出部114不管共置區塊是可合併候選或者是不 可合併候選，都在可合併候選數加1。藉此，即使在因封包漏失等緣故遺失共置合併區塊之資訊時，亦不會在圖像編碼裝置與圖像解碼裝置上於可合併候選數發生有不一致的情況。

該可合併候選數係於圖15之步驟S115中，設定為合併區塊候選列表尺寸。進而，在圖13之步驟S105中，合併區塊候選列表尺寸係使用在合併區塊索引之可變長度編碼。藉此，即使漏失含有共置區塊等之參考圖片資訊時，圖像編碼裝置100亦可產生可將合併區塊索引正常解碼之位元流。

此外，在本實施形態中，在圖16中顯示了依照步驟S121、步驟S122之順序判斷之例，但未必要限於此者。例如，構成為按步驟S122、步驟S121之順序判斷，亦無妨。又，例如構成為將步驟S121與步驟S122以一個步驟執行者，亦無妨。進而，步驟S121未必要執行。

此外，本實施形態中之主要構成為步驟S122。

圖17係顯示圖16之步驟S122之詳細處理之流程圖。具體來說，圖17係顯示判斷與合併區塊候選[N]對應之區塊是否為合併對象以外之區塊之方法。以下針對圖17予以說明。

此外，在步驟S122中，在判斷對象之區塊為包含在預測對象區塊所屬之編碼對象區塊之區塊時，決定為合併對象之外之區塊。

在步驟S151中，合併區塊候選算出部114係判斷 預測對象區塊之預測區塊單位PU是否符合2N×N、2N×nU、2N×nD、N×2N、nL×2N、或nR×2N中之任一者，且，是否在算出預測區塊單位PU1之分區1之合併區塊候選時，且，對應於合併區塊候選[N]之預測對象區塊是否位於相同的編碼區塊單位CU內。

若步驟S151之判斷結果為真時(在步驟S151中，是)，合併區塊候選算出部114係將對應於合併區塊候選[N]之預測對象區塊決定為合併對象之外之區塊。

如此，在對應於合併區塊候選[N]之預測對象區塊為合併對象之外之區塊時，合併區塊候選[N]成為不可合併候選，由合併區塊候選列表刪除之。

此外，在本實施形態中，合併區塊候選算出部114係於若步驟S151之判斷結果為真時(在步驟S151中，是)，將對應於合併區塊候選[N]之預測對象區塊判斷為合併對象之外之區塊，但不限於此。合併區塊候選算出部114係於步驟S151之判斷結果為偽時(在步驟S151中，否)，亦可將對應於合併區塊候選[N]之預測對象區塊決定為合併對象區塊。此外，在步驟S151之判斷結果為偽時，即使在已將對應於合併區塊候選[N]之預測對象區塊決定為合併對應區塊時，在步驟S151之判斷結果為真時，亦能得到與在將對應於合併區塊候選[N]之預測對象區塊決定為合併對象之外之區塊時相同之結果。

在此時，合併區塊候選算出部114係於圖16之步驟S122中，判斷合併區塊候選[N]是否為合併對象區塊。合 併區塊候選算出部114係於步驟S122之判斷結果為合併對象區塊時，則移到步驟S124進行。又，合併區塊候選算出部114係於步驟S122之判斷結果不是合併對象區塊時，則移動步驟S123進行。

圖18係顯示針對與圖11之(a)~(f)對應之各預測區塊單位成為合併對象之外之區塊之區塊之方塊圖。此外，在圖18中，以粗線顯示合併對象區塊(分區1)與對應於該預測對象區塊之合併對象之外之區塊。換言之，鄰接區塊之內，以不是粗線而是普通的線條所記載之鄰接區塊為合併對象區塊。

又，區塊L係對應於圖3之鄰接區塊A。區塊T係對應於圖3之鄰接區塊B。區塊TR係對應於圖3之鄰接區塊C。區塊BL係對應於圖3之鄰接區塊D。區塊TL係對應於圖3之鄰接區塊E。

如圖18之(a)~(c)所示，在預測區塊單位為2N×N、或2N×nU、或2N×nD時，算出分區1之合併區塊候選列表時，鄰接於預測區塊單位PU之上側之區塊T包含在同一編碼區塊單位CU。為此，區塊T成為合併對象之外之區塊。因此，此時從區塊T(鄰接區塊B)成為合併對象之外之區塊之事，在導出合併區塊候選中，如圖14C所示，使鄰接區塊B由合併候選刪除者。

又，如圖18之(d)~(f)所示，在預測區塊單位為N×2N、或nL×2N、或nR×2N時，在算出分區1之合併區塊候選列表時，鄰接於預測區塊單位PU之左側之區塊L包含在 同一編碼區塊單位。為此，區塊L成為合併對象之外之區塊。因此，此時，由區塊L(鄰接區塊A)成為合併對象之外之區塊之事，在導出合併區塊候選中，如圖14B所示，使鄰接區塊A由合併候選刪除者。

此外，分區0與分區1具有相同的預測方向、相同的移動向量及相同的參考圖片索引時所產生之預測圖像成為和不具編碼區塊單位CU之分割之2N×2N之預測區塊單位(圖11之(h))所產生之預測圖像相同。為此，在分區1之合併區塊候選列表追加由分區0所含之區塊所得到之合併區塊候選之事成為在冗長的合併區塊候選分配合併區塊索引者。為此，如本實施形態，在以將編碼區塊單位分割成分區之預測區塊單位進行預測圖像之產生時，判斷算出合併區塊候選之鄰接區塊是否位於同一編碼區塊單位內，且若判斷結果為真時，將由該鄰接區塊所得到之合併區塊候選不追加至合併區塊候選列表。藉此，無須在冗長之合併區塊候選分配合併區塊索引，可提昇編碼效率。又，由合併區塊候選列表刪除冗長之合併區塊候選，藉此可能追加以後述之方法算出且為提昇編碼效率用之候選之新候選。藉將冗長的合併區塊候選而追加新候選，就能提昇編碼效率者。

此外，在本實施形態中，顯示著先將不可合併候選暫時追加至合併區塊候選列表之後再將之刪除般之例，但未必限於此，例如，構成為從一開始不將不能合併候選追加至合併區塊候選列表者，亦無妨。

圖19係顯示圖15之步驟S114之詳細處理之流程圖。具體來說，圖19係表示追加新候選之方法。以下針對圖19予以說明。

在步驟S131中，合併區塊候選算出部114係判斷合併區塊候選數是否小於可合併候選數。即，合併區塊候選算出部114判斷合併區塊候選數是否未達可合併候選數。

在此，當步驟S131之判斷結果為真時(S131之是)，在步驟S132中，合併區塊候選算出部114係判斷是否有作為合併區塊候選且可追加至合併區塊候選列表之新候選存在。在此，當步驟S132之判斷結果為真時(S132之是)，在步驟S133中，合併區塊候選算出部114係於新候選分配合併區塊索引之值，在合併區塊候選列表追加新候選。進而，在步驟S134中，合併區塊候選算出部114在合併區塊候選數加1。

另一方面，當步驟S131或步驟S132之判斷結果為偽時(S131或S132之否)，結束新候選追加處理。即，當合併區塊候選數已達可合併候選數時，或沒有新候選存在時，就結束新候選追加處理。

圖20係顯示圖13之步驟S102之詳細處理之流程圖。具體來說，圖20係顯示與合併區塊候選之選擇有關之處理。以下針對圖20予以說明。

在步驟S141中，間預測控制部111係於合併區塊候選索引設定0，在最小預測誤差設定移動向量檢測模式之預測誤差(成本)，在合併旗標設定0。在此，對於成本，例 如以R-D最佳模型之下列的式子算出者。

(式1)

錯誤！物件無法用編輯功能變數代碼來建立。

在式1中，D表示編碼變形。例如採用利用以某移動向量所產生之預測圖像而將編碼對象區塊進行編碼及解碼而所得到之像素值與編碼對象區塊之原像素值間之差值絕對值和值等等，當作為D。又，R表示發生編碼量。使用將在產生預測圖像上所採用之移動向量進行編碼時所需要之編碼量等，當作為R。又，λ表示拉格朗(Lagrange)之未定乘數。

在步驟S142中，間預測控制部111係判斷合併區塊候選索引之值是否小於預測對象區塊之合併區塊候選數。即，間預測控制部111係判斷是否有尚未進行以下步驟S143~步驟S145之處理之合併區塊候選存在者。

在此，若步驟S142之判斷結果為真時(S142之是)，在步驟S143中，間預測控制部111係算出已分配有合併區塊候選索引之合併區塊候選之成本。接著，在步驟S144中，間預測控制部111係判斷所算出之合併區塊候選之成本是否小於最小預測誤差。

在此，若步驟S144之判斷結果為真時(S144之是)，在步驟S145中，間預測控制部111係更新最小預測誤差、合併區塊索引及合併旗標之值。另一方面，若步驟S144之判斷結果為偽時(S144之否)，間預測控制部111不將最小預測誤差、合併區塊索引及合併旗標之值更新。

在步驟S146中，間預測控制部111係於合併區塊候選索引之值加1，重複進行步驟S142至步驟S146。另一方面，若步驟S142之判斷結果為偽時(S142之否)，即，變成沒有未處理之合併區塊候選時，在步驟S147中，間預測控制部111係確定最後設定之合併旗標及合併區塊索引之值。

[1-3效果、變形例等]

如此，本實施形態之圖像編碼裝置100係於將編碼區塊單位CU分割成預測區塊單位PU(分區)而進行預測圖像之產生時，在鄰接區塊位於同一編碼區塊單位CU內時，由其鄰接區塊所得到之合併區塊候選不追加至合併區塊候選列表。藉此，本實施形態之圖像編碼裝置100沒必要在冗長的合併區塊候選分配合併區塊索引，可提昇編碼效率。又，藉由合併區塊候選列表將冗長的合併區塊候選排除在外，就能追加更多的新候選，可提昇編碼效率。

此外，在本實施形態中，對於將解碼區塊單位CU分割成預測區塊單位PU(分區)之例，是針對分成2N×N、2N×nU、2N×nD、N×2N、nL×2N、及nR×2N之形態說明，但未必要限於此者。例如，針對圖11(g)所示之預測區塊單位N×N之形態予以適用，亦無妨。此時，圖像編碼裝置100，如果鄰接區塊位於相同的編碼區塊單位內時，亦將該鄰接區塊不追加至合併區塊候選列表，藉此便無須在冗長之合併區塊候選分配合併區塊索引，且能提昇編碼效率。

又，依本實施形態之圖像編碼裝置100，可以不 依賴含有共置區塊等之參考圖片資訊之方法，算出在將合併區塊索引編碼或解碼時使用之合併區塊候選列表尺寸。藉此，圖像編碼裝置100能提昇抗錯性。

更具體來說，本實施形態之圖像編碼裝置100，不管共置合併區塊是不是可合併候選，只要合併區塊候選是共置合併區塊時，始終在可合併候選數加1。接著，圖像編碼裝置100使用按此算出之可合併候選數，決定分配於合併區塊索引之位元列。藉此，圖像編碼裝置100即使在漏失了含有共置區塊之參考圖片資訊時，亦能產生將合併區塊索引正常地解碼之位元流。

又，本實施形態之圖像編碼裝置100係於合併區塊候選數未到達可合併候選數時，追加具有新的移動向量、參考圖片索引及預測方向之新候選，作為合併區塊候選，藉此可提昇編碼效率者。

此外，在本實施形態中，如圖16之步驟S125所示，只針對共置合併區塊，不管可合併候選或是不可合併候選，在合併區塊候選數始終加1來算出者，但不限於此。針對其他的區塊，不管是可合併候選或是不可合併候選，亦可在合併區塊候選數始終加1者。此時，圖像編碼裝置100，例如始終將可合併候選數固定於合併區塊候選數之最大值Max，亦無妨。即，將全部的鄰接區塊之合併區塊候選視為可合併候選，將合併區塊候選列表尺寸固定成合併區塊候選數之最大值Max，將合併區塊索引編碼，亦無妨。例如，在本實施形態中，由於合併區塊候選數之最大值Max 為5(鄰接區塊A、鄰接區塊B、共置合併區塊、鄰接區塊C、鄰接區塊D)，始終在合併區塊候選列表尺寸設定「5」，將合併區塊索引編碼，亦無妨。

又，例如在本實施形態中，在像不參考共置合併區塊般之圖片(參考I圖片之B圖片或P圖片)時，將合併區塊候選數之最大值Max設定為4(鄰接區塊A、鄰接區塊B、鄰接區塊C、鄰接區塊D)，始終在合併區塊候選列表尺寸設定「4」，將合併區塊索引編碼，亦無妨。

如此，因應合併區塊候選數之最大值Max，決定合併區塊候選列表尺寸，亦無妨。此時，圖像編碼裝置100係於圖13之步驟S105中，使用最大值Max，進行可變長度編碼。

藉此，能產生使圖像解碼裝置之可變長度解碼部能不參考鄰接區塊或共置區塊之資訊而將位元流中之合併區塊索引解碼之位元流，可減輕可變長度解碼部之處理量。又，對於合併區塊候選數之最大值Max，填入SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、或切片標頭等，亦無妨。藉此，因應解碼對象圖片，可切換合併區塊候選數之最大值Max，可謀求減輕處理量及提昇編碼效率者。

此外，在本實施形態中，顯示在合併模式中始終將合併旗標附加在位元流之例，但不限於此。例如，亦可因應編碼對象區塊之間預測使用之區塊形狀等，強制選擇合併模式者。此時，亦可不將合併旗標附加在位元流者， 藉此減少資訊量者。

此外，在本實施形態中，顯示了使用合併模式之例，即，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但並不限於此。例如亦可使用跳越合併模式。在跳越合併模式中，使用如圖14A之(b)所示之所作成之合併區塊候選列表，與合併模式同樣，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者。結果，倘若編碼對象區塊的所有預測誤差資料為0時，將跳越旗標設定為1，且將跳越旗標及合併區塊索引附加在位元流者。又，如果預測誤差資料不是0時，將跳越旗標設定為0，並將跳越旗標、合併旗標、合併區塊索引及預測誤差資料附加在位元流。

此外，在本實施形態中，顯示了使用合併模式之例，即，由編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考圖片索引，進行編碼對象區塊之編碼者，但並不限於此。例如亦可不妨使用如圖14A之(b)所示之所作成之合併區塊候選列表，將移動向量檢測模式之移動向量進行編碼者。即，亦可不妨由移動向量檢測模式之移動向量減去以合併區塊索引所指定之合併區塊候選之移動向量，藉此求出差值。接著，將所求到之差值及合併區塊索引附加在位元流者。

又，亦可使用移動檢測模式之參考圖片索引RefIdx_ME及合併區塊候選之參考圖片索引RefIdx_ Merge，將合併區塊候選之移動向量MV_Merge定標，由移動檢測模式之移動向量減去在定標後之合併區塊候選之移動向量scaledMV_Merge，藉此求出差值。接著，將所求得之差值及合併區塊索引附加在位元流，亦無妨。定標之式子的例子顯示如下。

(式2)scaledMV_Merge=MV_Merge×(POC(RefIdx_ME)-curPOC)/(POC(RefIdx_Merge)-curPOC)

在此，POC(RefIdx_ME)表示參考圖片索引RefIdx_ME所示之參考圖片之顯示順序。POC(RefIdx_Merge)表示參考圖片索引RefIdx_Merge所示之參考圖片之顯示順序。curPOC表示編碼對象圖片之顯示順序。

(實施形態2)

根據圖21~圖24，說明執行本實施形態之圖像解碼方法之圖像解碼裝置。在本實施形態中，針對以已分割解碼區塊單位CU(解碼對象區塊)之預測區塊單位PU(預測對象區塊)，導出合併區塊候選，產生預測圖像之形態予以說明。

[2-1圖像解碼裝置之構成]

圖21係顯示實施形態2之圖像解碼裝置之構成方塊圖。該圖像解碼裝置300係對應於實施形態1之圖像編碼裝置100之裝置。圖像解碼裝置300，例如將在藉實施形態1之圖像編碼裝置100所產生之位元流所含之編碼圖像依每 區塊解碼。

圖像解碼裝置300，係圖21所示者，包含有可變長度解碼部301、反量化部302、反正交變換部303、加法部304、區塊記憶體305、框記憶體306、內預測部307、間預測部308、間預測控制部309、開關310、合併區塊候選算出部311、及colPic記憶體312。

可變長度解碼部301係對所輸入之位元流進行可變長度解碼處理，產生圖片型式資訊、合併旗標、及量化係數。又，可變長度解碼部301係使用後述之可合併候選數，進行合併區塊索引之可變長度解碼處理。

反量化部302係對藉可變長度解碼處理所得到之量化係數，進行反量化處理。

反正交變換部303係藉將藉反量化處理所得到之正交變換係數由頻率區域變換至圖像區域，產生預測誤差資料。

區塊記憶體305係以區塊單位儲存將預測誤差資料與預測圖像資料相加而產生之解碼圖像資料。

框記憶體306係以框單位儲存解碼圖像資料。

內預測部307係使用區塊記憶體305所儲存之區塊單位之解碼圖像資料，進行內預測，而產生解碼對象區塊之預測圖像資料。

間預測部308係使用框記憶體306所儲存之框單位之解碼圖像資料，進行間預測，而產生解碼對象區塊之預測圖像資料。

開關310係於解碼對象區塊進行內預測解碼時，將藉內預測部307所產生之內預測圖像資料作為解碼對象區塊之預測圖像資料，而輸出至加法部304。此外，開關310係於解碼對象區塊進行間預測解碼時，將藉間預測部308所產生之間預測圖像資料作為解碼對象區塊之預測圖像資料，而輸出至加法部304。

合併區塊候選算出部311係於本實施形態中，以圖11之(a)~(f)所示之預測區塊單位PU，導出合併區塊候選。此外，在本實施形態中，是對應於實施形態1之圖像編碼裝置100之裝置，此圖11之(g)及(h)所示之預測區塊單位PU係以不被選擇之形態為例說明。合併區塊候選算出部311係使用預測對象區塊之鄰接區塊之移動向量等及colPic記憶體312所儲存之共置區塊之移動向量等(colPic資訊)，以後述之方法，導出合併模式之合併區塊候選。又，合併區塊候選算出部311係對已導出之各合併區塊候選，分配合併區塊索引之值。接著，合併區塊候選算出部311係將合併區塊候選與合併區塊索引發送至間預測控制部309。

間預測控制部309，若所解碼之合併旗標為「0」時，使用移動向量檢測模式之資訊，在間預測部308產生間預測圖像。另一方面，若合併旗標為「1」時，間預測控制部309係由多數合併區塊候選，根據已解碼之合併區塊索引，決定間預測使用之移動向量、參考圖片索引及預測方向。接著，間預測控制部309係使用已決定之移動向量、參考圖片索引及預測方向，在間預測部308產生間預測圖像。 又，間預測控制部309係將含有解碼對象區塊之移動向量等之colPic資訊轉送至colPic記憶體312。

最後，加法部304係將預測圖像資料與預測誤差資料相加，而產生解碼圖像資料。

[2-2依圖像解碼裝置之圖像解碼方法的執行]

其次，根據圖22~圖24，說明圖像解碼裝置300之處理動作(圖像解碼方法之執行)。

圖22係顯示本實施形態之圖像解碼裝置300之處理動作之流程圖。

在此，圖像解碼裝置300，首先將解碼對象區塊分成多數子塊，且將多數子塊內之1個決定為預測對象區塊。

在步驟S301中，可變長度解碼部301係將合併旗標解碼。

在步驟S302中，若合併旗標為「1」時(步驟S302之是)，在步驟S303中，合併區塊候選算出部311係以後述之方法算出可合併候選數。然後，合併區塊候選算出部311係將所算出之可合併候選數設定成合併區塊候選列表尺寸。

在步驟S304中，可變長度解碼部301係使用合併區塊候選列表尺寸，將位元流中之合併區塊索引進行可變長度解碼。

在步驟S305中，合併區塊候選算出部311係以後述之方法，由預測對象區塊之鄰接區塊及共置區塊產生合 併區塊候選。

在步驟S306中，間預測控制部309係使用業經解碼之合併區塊索引所示之合併區塊候選之移動向量、參考圖片索引及預測方向，在間預測部308產生間預測圖像308。

在步驟S302中，若合併旗標為「0」時(步驟S302之否)，在步驟S307中，間預測部308係使用藉可變長度解碼部301所解碼之移動向量檢測模式之資訊，產生間預測圖像。

此外，在於步驟S303所算出之合併區塊候選列表尺寸為「1」時，合併區塊索引就不被解碼而推定為「0」，亦無妨。

圖23係顯示圖22之步驟S303之詳細處理之流程圖。具體來說，圖23係顯示判斷合併區塊候選[N]是否可合併，算出可合併候選數之方法。以下，針對圖23予以說明。

在步驟S311中，合併區塊候選算出部311係判斷合併區塊候選[N]是否為(1)業經內預測解碼之區塊、或是(2)位於含有解碼對象區塊之切片或圖片邊界之外之區塊、或是(3)尚未解碼之區塊。

若步驟S311之判斷結果為真時(步驟S311之是)，合併區塊候選算出部311係將與合併區塊候選[N]對應之區塊決定為合併對象之外之區塊。進而在步驟S313中，合併區塊候選算出部311係將合併區塊候選[N]設定為不可合併候選。

另一方面，若步驟S311之判斷結果為偽時(步驟 S311之否)，在步驟S312中，合併區塊候選算出部311係使用與圖17之流程所示之方法同樣之方法，判斷與合併區塊候選[N]對應之區塊是否為合併對象之外之區塊(第一判斷處理)。

若步驟S312之判斷結果為真時(步驟S312之是)，在步驟S313中，合併區塊候選算出部311係將合併區塊候選[N]決定為不可合併候選。

如此，在將解碼區塊單位分成分區而解碼時，若鄰接區塊位於同一解碼區塊單位內時，藉將該鄰接區塊不追加至合併區塊候選列表，就能將在圖像編碼裝置100所產生之位元流正常地解碼者。

另一方面，若步驟S312之判斷結果為偽時(步驟S312之否)，在步驟S314中，合併區塊候選算出部311係將合併區塊候選[N]決定為可合併候選。

在步驟S315中，合併區塊候選算出部311係判斷合併區塊候選[N]為可合併候選、或是共置合併區塊候選。

若步驟S315之判斷結果為真時(步驟S315之是)，在步驟S316中，合併區塊候選算出部311係於合併區塊候選數加1，更新其值。

另一方面，若步驟S315之判斷結果為偽時(步驟S315之否)，不將可合併候選數更新。

按此，在合併區塊候選為共置合併區塊時，合併區塊候選算出部311不管共置區塊不可合併候選或是不可合併候選，都在可合併候選數加1。藉此，即使在因為封包 漏失等而遺失了共置合併區塊之資訊時，亦不會在圖像編碼裝置與圖像解碼裝置發生可合併候選數不一致者。

該可合併候選數，在圖22之步驟S303中，設定為合併區塊候選列表尺寸。進而，在圖22之步驟S304中，合併區塊候選列表尺寸可用在合併區塊索引之可變長度解碼。藉此，即使在漏失了含有共置區塊等之參考圖片資訊時，圖像解碼裝置300亦能將合併區塊索引正常地解碼者。

此外，在本實施形態中，在圖23中顯示了依照步驟S311、步驟S312之順序判斷之例，但未必要限於此者。例如，構成為按步驟S312、步驟S311之順序判斷，亦無妨。又，例如構成為將步驟S311與步驟S312以一個步驟執行者，亦無妨。進而，步驟S311未必要執行。

又，在本實施形態中，合併區塊候選算出部311係於步驟S312中，在合併區塊候選[N]包含在解碼對象區塊時，將其決定為合併對象之外之區塊，但並不限於此。亦可構成為在合併區塊候選[N]不包括在解碼對象區塊時，將之決定為合併對象區塊。此時，合併區塊候選算出部311係於圖23之步驟S312之判斷結果為合併對象區塊時，則移到步驟S314進行。又，合併區塊候選算出部311係於步驟S312之判斷結果不是合併對象區塊時，移到步驟S313進行。

此外，本實施形態中之主要構成為步驟S312。

圖24係顯示圖22之步驟S305之詳細處理之流程圖。具體來說，圖24係顯示算出合併區塊候選之方法。以下針對圖24予以說明。

在步驟S321中，合併區塊候選算出部311係取得合併區塊候選[N]之移動向量、參考圖片索引及預測方向，且追加至合併區塊候選列表(第一導出處理之一部分)。

在步驟S322中，合併區塊候選算出部311，如圖14A~14D所示，由合併區塊候選列表搜尋不可合併候選及重複候選，且將其等刪除(第一導出處理之一部分)。

在步驟S323中，合併區塊候選算出部311係以與圖19同樣的方法，在合併區塊候選列表追加新候選。

圖25係顯示將合併區塊索引附加在位元流時之語法一例。在圖25中，merge_idx表示合併區塊索引、merge_flag表示合併旗標。NumMergeCand表示合併區塊候選列表尺寸，在本實施形態中，設定有以圖23之處理順序所算出之可合併候選數。

[2-3效果、變形例等]

如此，依本實施形態之圖像解碼裝置300，在將解碼區塊單位分成分區而解碼時，針對位於同一解碼區塊單位內之鄰接區塊，使其作為合併區塊候選而不追加，藉此便不會在冗長的合併區塊候選分配合併區塊索引。這是因為，假設在全部的分區使用了相同的預測方向、移動向量及參考圖片索引時，實質上成為與以解碼區塊單位進行預測圖像之產生相同之結果，反而減少了以解碼區塊單位分成預測區塊單位PU之優點者。藉此，圖像解碼裝置300可將已提昇編碼效率之位元流適當地解碼者。又，藉將冗長的合併區塊候選由合併區塊候選列表刪除更多，就能追 加更多的新候選。藉此，圖像解碼裝置300可將已提昇編碼效率之位元流適當地解碼者。

又，依本實施形態之圖像解碼裝置300，可以不依賴含有共置區塊等之參考圖片資訊之方法，算出在將合併區塊索引編碼或解碼時使用之合併區塊候選列表尺寸。藉此，圖像解碼裝置300係將已提昇抗錯性之位元流適當地解碼。

更具體來說，本實施形態之圖像解碼裝置300，不管共置合併區塊是不是可合併候選，只要合併區塊候選是共置合併區塊時，始終在可合併候選數加1。接著，圖像解碼裝置300使用按此算出之可合併候選數，決定分配於合併區塊索引之位元列。藉此，圖像解碼裝置300即使在漏失了含有共置區塊之參考圖片資訊時，亦能將合併區塊索引正常地解碼。

又，本實施形態之圖像解碼裝置300係於合併區塊候選數未到達可合併候選數時，追加具有新的移動向量、參考圖片索引及預測方向之新候選，作為合併區塊候選，藉此可將已提昇編碼效率之位元流適當地解碼者。

此外，在本實施形態中，對於將解碼區塊單位CU分割成預測區塊單位PU(分區)之例，是針對分成2N×N、2N×nU、2N×nD、N×2N、nL×2N、及nR×2N之形態說明，但未必要限於此者。例如，針對圖11(g)所示之預測區塊單位N×N之形態予以適用，亦無妨。此時，圖像解碼裝置300，如果鄰接區塊位於相同的解碼區塊單位內時，亦將該鄰接 區塊不追加至合併區塊候選列表，藉此便無須在冗長之合併區塊候選分配合併區塊索引，且能將已提昇編碼效率之位元流適當地解碼。

此外，在本實施形態中，如圖23之步驟S315所示，只針對共置合併區塊，不管可合併候選或是不可合併候選，在合併區塊候選數始終加1來算出者，但不限於此。針對其他的區塊，不管是可合併候選或是不可合併候選，亦可在合併區塊候選數始終加1者。此時，圖像解碼裝置300，例如始終將可合併候選數固定於合併區塊候選數之最大值Max，亦無妨。即，圖像解碼裝置300係將全部的合併區塊候選視為可合併候選，將合併區塊候選列表尺寸固定成合併區塊候選數之最大值N，將合併區塊索引解碼，亦無妨。

例如，在本實施形態中，由於合併區塊候選數之最大值Max為5(鄰接區塊A、鄰接區塊B、共置合併區塊、鄰接區塊C、鄰接區塊D)，圖像解碼裝置始終在合併區塊候選列表尺寸設定5，將合併區塊索引解碼，亦無妨。又，在像不參考共置區塊般之圖片(參考I圖片之B圖片或P圖片)時，將合併區塊候選數之最大值Max設定為4(鄰接區塊A、鄰接區塊B、鄰接區塊C、鄰接區塊D)，亦無妨。藉此，圖像解碼裝置之可變長度解碼部能不參考鄰接區塊或共置區塊之資訊而將位元流中之合併區塊索引。結果，例如能將圖23之步驟S314及步驟S315之處理等予以省略，且可減少可變長度解碼部之處理量。

圖26係顯示在將合併區塊候選列表尺寸固定於合併區塊候選數之最大值時之語法一例。如圖26所示，在將合併區塊候選列表尺寸固定於合併區塊候選數之最大值時，可由語法刪除NumMergeCand。

又，對於合併區塊候選數之最大值Max，使用已填入SPS、PPS、或切片標頭等之值，亦無妨。藉此，因應解碼對象圖片，可切換合併區塊候選數之最大值Max，可正確地將已刪減處理量且已提昇編碼效率之位元流解碼者。

(實施形態1及實施形態2之變形例)

在上述實施形態1及實施形態2中，依照圖15至圖24之處理，而由與對象區塊(編碼對象區塊或解碼對象區塊)空間性地鄰接之區塊(例如鄰接區塊A~E等)及時間性地鄰接之區塊(例如共置區塊等)，產生合併區塊候選，產生圖14A~圖14D所示之合併區塊候選之形態予以說明。

在此，在上述之實施形態1及實施形態2中，在將合併區塊候選列表尺寸作為固定值時，在合併區塊候選列表有空處時，為提昇抗錯性，亦可在合併區塊候選列表之空部分填入預定之抗錯性提昇用之合併區塊候選(第二候選)者。

具體來說，例如只要對象圖片(編碼對象圖片或解碼對象圖片)為B圖片時，以雙向預測，分配預測方向0之參考圖片索引為0且移動向量為(0,0)之合併區塊候選、及預測方向1之參考圖片索引為0且移動向量為(0,0)之合併區塊 候選，亦無妨。又，例如，只要對象圖片為P圖片時，以單向預測，分配預測方向0之參考圖片索引為0且移動向量為(0,0)之合併區塊候選，亦無妨。第二候選由於是用以提昇抗錯性之候選，因此在追加多數第二候選時，亦可對全部設定同值者。此外，針對新候選，由於為用以提昇編碼效率之候選，因此在追加多數新候選時，追加不同的候選。惟，新候選係於第一候選及第二候選之間，以結果來說亦可存在有相同候選者。

例如，在圖14A(a)之例中，合併區塊候選數之最大值為5。又，如圖14A(b)所示，合併區塊候選數(第一候選之數)為4。為此，在圖14A所示之例中，成為對合併區塊索引4未分配合併區塊候選之狀態。在該合併區塊索引4分配第二候選，例如以雙向預測，分配預測方向0之參考圖片索引為0且移動向量為(0,0)，以及預測方向1之參考圖片索引為0且移動向量為(0,0)之合併區塊候選，亦無妨。

藉此，例如，在圖像解碼裝置300中，在刪除合併區塊候選之重複候選上發生了錯誤時等時候，亦能迴避所謂在已解碼之合併區塊索引未分配合併區塊候選之狀況。

此外，在本變形例中，乃以在未分配有合併區塊候選之合併區塊索引分配參考圖片為0且移動向量為(0,0)之合併區塊候選之形態為例予以說明，但未必限制於此。以第二候選而言，例如可構成為複製已分配於其他合併區塊索引之合併區塊候選者，亦無妨。又，可構成為取得已 分配於其他合併區塊索引之合併區塊候選之平均值等之由已分配於其他合併區塊索引之合併區塊候選產生者，亦無妨。

又，可構成為，在圖22之步驟S306中，判斷在已解碼之合併區塊索引是否分配有合併區塊候選，且於未分配有合併區塊候選時，使用第二候選者，亦無妨。

又，可構成為，在圖22之步驟S306中，判斷經解碼之合併區塊索引之值是否為已在步驟S305所求得之合併區塊候選數以上，且於合併區塊索引之值為合併區塊候選數以上時，使用第二候選者，亦無妨。

又，可構成為，在圖22之步驟S306中，判斷經解碼之合併區塊索引之值是否為在步驟S305所求得之合併區塊候選數以上者，且於經解碼之合併區塊索引之值為合併區塊候選數以上時，以合併區塊候選數之值將合併區塊索引之值進行截割處理，俾使合併區塊索引之值成為小於合併區塊候選數之值者，亦無妨。藉如此之處理，例如在合併區塊候選之重複候選刪除上發生了錯誤時，亦能迴避對已解碼之合併區塊索引未分配合併區塊候選之狀況。

(實施形態3)

藉將用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成之程式記錄在記憶媒體，就可在獨立的電腦系統上簡單實施上述各實施形態所示之處理。記憶媒體只要是磁碟、光碟、光學磁碟、IC卡、半導體記憶體等可記錄程 式者即可。

進而在此，說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用該應用例之系統。該系統係以具有使用圖像編碼方法之圖像編碼裝置、及使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置者為特徵所在。針對系統中之其他構成，能因應情況而做適當的變更。

圖27係顯示實現內容發送服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小，在各胞元內各設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

該內容供給系統ex100係於網際網路ex101，由網際網路服務提供者ex102及電話線路網ex104、及經由基地台ex106至ex110，而連接有電腦ex111、PDA(Personal Digital Assistant)ex112、相機ex113、行動電話機ex114、遊戲機ex115等各種機器。

惟，內容供給系統ex100不限定於如圖27之構成，亦可連接組合任一種要素構成者。又，亦可使各機器直接連接於電話線路網ex104，而不經過固定無線台之基地台ex106至ex110連接者。又，各機器亦可經由近距離無線等而直接相連接者。

相機ex113係數位錄放影機等可進行動畫攝影之機器，相機ex116係數位相機等可進行靜態圖像攝影、動畫攝影之機器。又，行動電話機ex114諸如為GSM(註冊商標) (Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者是LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機、或PHS(Personal Handyphone System)等，不管那一個都無妨。

在內容供給系統ex100中，相機ex113等透過基地台ex109、電話線路網ex104而連接於串流伺服器ex103，即可實現即時發送等。在即時發送上，對於用戶利用相機ex113所攝影之內容(例如音樂演唱會之影像等)，如上述各實施形態中所說明的，進行編碼處理(即，作為本發明一態樣之圖像編碼裝置而發揮功能)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係將對有要求之客戶而將所傳送之內容資料進行串流發送。對於客戶，有諸如可將業經上述編碼處理之資料進行解碼之電腦ex111、PDAex112、相機ex113、行動電話機ex114、遊戲機ex115等。在接收有所發送之資料之各機器中，將所接收之資料解碼處理後予以再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能者)。

此外，所攝影之資料之編碼處理可以相機ex113進行，亦可在進行資料之傳送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣，對於所發送之資料之解碼處理可在客戶端進行，亦可在串流伺服器ex103進行，亦可相互分擔進行。又，不限於要使用相機ex113，亦可將以相 機ex116所攝影之靜態圖像及/或動態圖像資料經由電腦ex111而傳送至串流伺服器ex103。此時之編碼處理可在相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。

又，其等編碼解碼處理一般是在電腦ex111或各機器所具有之LSIex500中進行處理。LSIex500可為單一晶片，亦可為由多數晶片所構成之構造。此外，亦可將動態圖像編碼解碼用之軟體內建於電腦ex111等可讀取之任一記錄媒體(CD-ROM、可撓性磁片、硬碟等)，且使用該軟體進行編碼解碼處理。進而，在行動電話機ex114為附有相機時，亦可將以該相機所取得之動畫資料傳送者。此時之動畫資料係以行動電話機ex114所具有之LSIex500進行編碼處理之資料。

又，串流伺服器ex103亦可為多數伺服器或多數電腦，且為將資料分散處理、記錄、發送者。

按如上執行，在內容供給系統ex100中，可讓客戶接收業已編碼之資料後進行再生者。如此，在內容供給系統ex100中，客戶可實時接收用戶所傳送之資訊再予以解碼並再生，就算沒有特別的權利或設備之用戶，亦可實現個人播放。

又，不限於內容供給系統ex100之例，如圖28所示，在數位式廣播用系統ex200中亦可組裝上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一者。具體來說，在廣播台ex201 中，可透過電波而將在影像資料多工有音樂資料等之多工資料進行通訊或傳送至衛星ex202。該影像資料係指藉上述各實施形態所說明之動態圖像編碼方法所編碼之資料(即，藉本發明一態樣之圖像編碼裝置進行編碼之資料)。接收該資料之廣播衛星ex202係傳送廣播用之電波，讓可進行衛星廣播接收之家庭之天線ex204接收該電波。電視機(接收機)ex300或機上盒(STB)ex217等之裝置將所接收之多工資料解碼後再生(即，作為本發明一態樣之圖像解碼裝置而發揮功能)。

又，讀取暨解碼記錄在DVD、BD等之記錄媒體ex215之多工資料、或將影像訊號編碼至記錄媒體ex215，進而依情況而多工有音樂訊號而寫入之讀取器(reader)/記錄器(recorder)ex218，亦可安裝上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，所再生之影像訊號顯示在監視器ex219，藉記錄有多工資料之記錄媒體ex215可在其他裝置或系統將影像訊號再生。又，在連接於有線電視機用之電纜線ex203或衛星/地上波廣播之天線ex204之機上盒ex217內亦可安裝動態圖像解碼裝置，將此在電視機之監視器ex219顯示者。此時，亦可在電視機內安裝動態圖像解碼裝置而不是在機上盒安裝者。

圖29係顯示使用有上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視機(接收機)ex300之圖。電視機ex300包含有：調諧器ex301，係經由接收上述廣播之天線ex204或電纜線ex203等，而取得或輸 出影像資料上多工有聲音資料之多工資料者；調變/解調部ex302，係將所接收之多工資料解調或將傳送至外部之多工資料調變者；及多工/分離部ex303，係將具有已解調之多工資料分離成影像資料與聲音資料，或將以訊號處理部ex306所編碼之影像資料、聲音資料多工者。

又，電視機ex300包含有：具有各將聲音資料、影像資料進行解碼或將各自的資訊進行編碼之聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明一態樣之圖像編碼裝置或圖像解碼裝置發揮功能)之訊號處理部ex306、及具有將業經解碼之聲音訊號輸出之揚聲器ex307、顯示所解碼之影像訊號之顯示器等之顯示部ex308之輸出部ex309。進而，電視機ex300具有介面部ex317，該介面部ex317具有受理用戶操作之操作輸入部ex312等。進而，電視機ex300包含有統籌地控制各部之控制部ex310、供電至各部之電源電路部ex311。介面部ex317，除了操作輸入部ex312外，還有與讀取器/記錄器ex218等之外部機器連接之橋接器ex313、可裝設SD卡等之記錄媒體ex216用之插槽部ex314、與硬碟等之外部記錄媒體連接用之驅動器ex315、及與電話線路網連接之數據機ex316等。此外，記錄媒體ex216是可藉所儲存之非依電性(non-volatile)/依電性之半導體記憶體元件進行電性資訊記錄者。電視機ex300之各部係經由同步匯流排而相互連接。

首先，針對電視機ex300將藉天線ex204等而由外部取得之多工資料解碼並再生之構成予以說明。電視機 ex300係接受來自遙控器ex220等之用戶操作，根據具有CPU等之控制部ex310之控制，在多工/分離部ex303將調變/解調部ex302所解調之多工資料分離。進而，電視機ex300係於聲音訊號處理部ex304將所分離之聲音資料解碼，且將所分離之影像資料在影像訊號處理部ex305使用在上述各實施形態所說明之解碼方法予以解碼。已解碼之聲音訊號、影像訊號各由輸出部ex309而向外部輸出。又在輸出之時，為了使聲音訊號與影像訊號同步再生，只要先暫時將其等訊號儲存在緩衝器ex318、ex319等即可。又，電視機ex300，亦可不由廣播等，亦可由磁碟/光碟、SD卡等之記錄媒體ex215、ex216將多工資料讀出。其次，針對電視機ex300將聲音訊號或影像訊號進行編碼後傳送至外部或寫入至記錄媒體等之構成予以說明。電視機ex300係接受來自遙控器ex220等之用戶操作，根據控制部ex310之控制，在聲音訊號處理部ex304將聲音訊號進行編碼，在影像訊號處理部ex305，使用在上述各實施形態所說明之編碼方法而將影像訊號進行編碼。業經編碼之聲音訊號、影像訊號係於多工/分離部ex303進行多工處理，並輸出至外部。在多工之時，為了使聲音訊號與影像訊號同步，只要先暫時將其等訊號儲存在緩衝器ex320、ex321等即可。此外，緩衝器ex318、ex319、ex320、ex321係如圖所示，可具有多數，亦可為共有一個以上之緩衝器之構成。進而，除圖示之外，例如調變/解調部ex302或多工/分離部ex303之間等亦可先將資料儲存在避免系統的溢位(overflow)、下溢(underflow) 之緩衝件之緩衝器。

又，電視機ex300除了由廣播等或記錄媒體等取得聲音資料、影像資料外，亦可具有受理麥克風或相機之AV輸入之構成，對於由其等取得之資料進行編碼處理。此外，在此電視機ex300係以可進行上述之編碼處理、多工處理及外部輸出之構成進行說明，但不限於進行其等處理，但亦可為只做上述接收、解碼處理、外部輸出之構成。

又，在讀取器/記錄器ex218由記錄媒體讀出多工資料或將多工資料寫入記錄媒體時，上述解碼處理或編碼處理亦可由電視機ex300、讀取器/記錄器ex218之任一者進行，亦可使電視機ex300與讀取器/記錄器ex218相互分擔進行。

以一例來說，將由光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之構成顯示在圖30。資訊再生/記錄部ex400包含有以下所說明之要素ex401、ex402、ex403、ex404、ex405、ex406、及ex407。光學磁頭ex401係於作為光碟之記錄媒體ex215之記錄面照射雷射光點寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光來讀取資訊。調變記錄部ex402係電驅動內建在光學磁頭ex401之半導體雷射，因應記錄資料進行雷射光之調變。再生解調部ex403係將藉內建在光學磁頭ex401之光學探測器電檢測來自記錄面之反射光之再生訊號放大，將記錄媒體ex215所記錄之訊號成分分離且解調，將所需的資訊再生。緩衝器ex404係將由用以記錄在記錄媒體ex215之資訊及記錄媒體ex215再生 之資訊暫時固持。光碟馬達ex405係將記錄媒體ex215旋轉。伺服器控制部ex406係控制光碟馬達ex405之旋轉驅動，且將光學磁頭ex401移動在預定之資訊軌道，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400整體之控制。上述之讀出或寫入之處理係使系統控制部ex407利用緩衝器ex404所固持之各種資訊，又因應必要進行新的資訊的產生及追加，並一邊使調變記錄部ex402、再生解調部ex403、伺服器控制部ex406協調作動，一邊透過光學磁頭ex401，進行資訊之記錄再生而予以實現。系統控制部ex407係以例如微處理部構成，執行讀出寫入之程式，而執行其等之處理。

在以上的說明中，光學磁頭ex401係照射雷射光點來進行說明，亦可為利用接近場光而進行更高密度之記錄之構成。

圖31係顯示成為光碟之記錄媒體ex215之模式圖。記錄媒體ex215之記錄面形成螺旋狀的導槽(溝槽groove)，在資訊軌道ex230上事先記錄有溝槽的形狀變化而顯示光碟上的絕對位置之地點資訊。該地點資訊含有用以界定記錄區塊ex231之位置之資訊，該記錄區塊ex231係記錄資料之單位，在進行記錄或再生之裝置中將資訊軌道ex230再生，讀取地點資訊，以界定記錄區塊。又，記錄媒體ex215係含有資料記錄區ex233、內周區ex232、及外周區ex234。為記錄用戶資料所用之區域為資料記錄區ex233，配置在較資料記錄區ex233內周或外周之內周區ex232及外 周區ex234係用於用戶資料之記錄以外之特定用途。資訊再生/記錄部ex400係對於如此記錄媒體ex215之資料記錄區ex233，進行將業已編碼之聲音資料、影像資料或其等資料多工之多工資料之讀寫。

在以上說明中，是以一層的DVD、BD等之光碟為例進行說明，但不限於其等，亦可為多層構造且在表面以外亦可記錄之光碟。又，亦可為在光碟之相同地方利用各種不同波長之顏色之光記錄資訊，或由各種角度記錄不同資訊之層等進行多次元之記錄/再生之構造之光碟。

又，亦可在數位廣播用系統ex200中，在具有天線ex205之車輛ex210由衛星ex202等接收資料，在車輛ex210所具有之車用導航系統ex211等之顯示裝置將動畫再生。此外，車用導航系統ex211之構成可考慮如圖29所示之構成中加上GPS接收部之構成，同樣的事情亦可考慮在電腦ex111或行動電話機ex114等實現。

圖32A係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話機ex114之圖。行動電話機ex114包含有用以於與基地台ex110之間接送電波之天線ex350、可攝影影像、靜態影像之相機部ex365、及顯示以相機部ex365所攝影之影像、將天線ex350所接收之影像解碼之資料之液晶顯示器等之顯示部ex358。行動電話機ex114更包含有：具有操作鍵部ex366之本體部、諸如用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克風等之聲音輸入部ex356、及 保存所攝影之影像、靜態影像、所錄音之聲音或所接收之影像、靜態影像、郵件等之業已編碼之資料或者是業已解碼之資料之記憶體部ex367、或同樣，在與作為保存資料之記錄媒體之間之介面部之插槽(slot)部ex364。

進而，針對行動電話機ex114之構成例，使用圖32B予以說明。行動電話機ex114係相對於統籌地控制具有顯示部ex358及操作鍵部ex366之本體部之各部之主控制部ex360，經由匯流排ex370而使電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、相機介面部ex363、液晶顯示器(LCD,Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367相互連接。

電源電路部ex361係一藉用戶之操作而將結束對話及電源鍵呈開啟狀態時，由電池組對著各部供電，將行動電話機ex114起動為可作動之狀態。

行動電話機ex114係根據具有CPU、ROM、RAM等之主控制部ex360之控制，在聲音通話模式時，以聲音訊號處理部ex354而將以聲音輸入部ex356收音之聲音訊號轉換成數位聲音訊號，以調變/解調部ex352對此進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送。又，行動電話機ex114係於聲音通話模式時，將經由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位轉換處理，以調變/解調部ex352進行頻譜反擴散處理，以聲音訊號處理部ex354 轉換成類比聲音訊號之後，且由聲音輸出部ex357予以輸出。

進而，在於資料通訊模式時傳送電子郵件時，藉本體部之操作鍵部ex366等之操作所輸入之電子郵件之正文資料係經由操作輸入控制部ex362而送出至主控制部ex360。主控制部ex360係以調變/解調部ex352而將正文資料進行頻譜擴散處理，以傳送/接收部ex351施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送至基地台ex110。在接收電子郵件時，對於所接收之資料進行與前述處理幾乎相反之處理，輸出至顯示部ex358。

在於資料通訊模式時傳送影像、靜態影像或影像與聲音時，影像訊號處理部ex355係將由相機部ex365所供給之影像訊號，藉以上述各實施形態所示之動態圖像編碼方法進行壓縮編碼(即，當作本發明一態樣之圖像編碼裝置發揮功能)，而將業經編碼之影像資料送出至多工/分離部ex353。又，聲音訊號處理部ex354係在以相機部ex365將影像、靜態影像等攝影之中將聲音輸入部ex356所收音之聲音訊號進行編碼，將業已編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353係以預定方式將由影像訊號處理部ex355所供給且業已編碼之影像資料及由聲音訊號處理部ex354所供給且業已編碼之聲音資料進行多工處理，將其結果所得到之多工資料在調變/解調部(調變/解調電路部)ex352進行頻譜擴散處理，在於傳送/接收部ex351 施行數位類比轉換處理及頻率變換處理之後，經由天線ex350而傳送者。

在資料通訊模式時，接收連到網頁等之動態圖像檔案之資料時，或在接收附有影像或聲音之電子郵件時，為了將經由天線ex350而接收之多工資料進行解碼，多工/分離部ex353將多工資料分離，分成影像資料之位元流與聲音資料之位元流，經由同步匯流排ex370而將業已編碼之影像資料供給至影像訊號處理部ex355，並將業已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係藉由與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法解碼，將影像訊號進行解碼(即，作為本發明一態樣之圖像解碼裝置發揮功能)，經由LCD控制部ex359，由顯示部ex358顯示例如連到網頁之動態圖像檔案所含之影像、靜態影像。又，聲音訊號處理部ex354係將聲音訊號進行解碼，且由聲音輸出部ex357輸出聲音。

又，上述行動電話機ex114等之終端機係與電視機ex300同樣，可考慮到除了具有編碼器及解碼器兩者之收發型終端機之外，還有只具編碼器之傳送終端機、只有解碼器之接收終端機等共三種安裝方式。進而，在數位廣播用系統ex200中，是說明接收、傳送在影像資料多工有音樂資料等之多工資料，但除了聲音資料外，亦可為有與影像有關連之文字資料等多工之資料，亦可為影像資料本身而非多工資料。

如此，可將上述各實施形態所示之動態圖像編碼 方法或動態圖像解碼方法運用在上述之任一種機器或系統，藉此，可得到在上述各實施形態所說明之效果。

又，本發明不限於上述實施形態者，可在不脫離本發明範圍下可做各種變形或修正。

(實施形態4)

亦可因應情況適當地切換上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置，產生影像資料者。

在此，在產生有依據各自不同規格之多數影像資料時，在解碼時，必須選擇與各規格對應之解碼方法。惟，由於不能識別欲解碼之影像資料是依據哪一規格，因此衍生有不能選擇適當的解碼方法之課題。

為了解決該課題，將聲音資料等多工至影像資料之多工資料係構建為含有顯示影像資料是依據哪一規格者之識別資訊之構成。如下說明含有藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料之具體構成。多工資料為MPEG-2傳輸流形式之數位流。

圖33係顯示多工資料之構成圖。如圖33所示，多工資料係將視訊流、聲訊流、表達圖形流(PG)、交互圖形流之中將一個以上多工而得到者。視訊流表示電影之主影像及副影像，聲訊流(IG)表示電影之主聲音部分及與該主聲音混合之副聲音部分，表達圖形流表示電影之字幕。在此，主影像係指顯示在畫面之通常影像，副影像係指以小畫面 顯示在主影像中之影像者。又，交互圖形流係指於畫面上配置GUI零件所作成之對話畫面。視訊流係指藉以上述各實施形態所示之動態圖像編碼方法或裝置、依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置所編碼者。聲訊流係以杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或、線性PCM等方式所編碼者。

多工資料所含之各串流係藉PID所識別。例如在於電影之影像所利用之視訊流分配有0×1011，聲訊流分配有0×1100至0×111F，表達圖形流分配有0×1200至0×121F，交互圖形流分配有0×1400至0×141F，在於電影之副影像所利用之視訊流分配有0×1B00至0×1B1F，與主聲音混合之副聲音所利用之聲訊流分配有0×1A00至0×1A1F。

圖34係模式地顯示多工資料是如何被多工之圖。首先，將由多數視訊框所構成之視訊流ex235、由多數聲訊框所構成之聲訊流ex238各變換成PES封包列ex236及ex239、TS封包ex237及ex240。同樣將表達圖形流ex241及交互圖形流ex244之資料各變換成PES封包列ex242及ex245，進而變換成TS封包ex243及ex246。多工資料ex247係將其等TS封包多工成一條串流來構成者。

圖35係進一步詳細顯示在PES封包列中如何儲存視訊流。圖35中之第1段係顯示視訊流之視訊框列。第2段係顯示PES封包列。如圖35之箭頭符號yy1、yy2、yy3、yy4所示，視訊流中之多數視訊表達單元(Video Presentation Unit)之I圖片、B圖片、P圖片係按每圖片分割，且儲存在PES 封包之酬載。各PES封包係具有PES標頭，PES標頭儲存有成為圖片之顯示時刻之表達時間戳記(PTS,Presentation Time-Stamp)或圖片之解碼時刻之解碼時間戳記(DTS,Decoding Time-Stamp)。

圖36係顯示最後寫入於多工資料之TS封包之形式。TS封包係188位元組(Byte)固定長度之封包，由具有識別串流之PID等資訊之4位元組之TS標頭及儲存資料之184位元組之TS酬載所構成，上述PES封包被分割而儲存在TS酬載。在BD-ROM時，TS封包被附與有4位元組之TP額外標頭(TP_Extra_Header)，構成192位元組之原始封包，寫入至多工資料。TP額外標頭(TP_Extra_Header)記載有ATS(到達時間戳記，Arrival_Time_Stamp)等之資訊。ATS係顯示該TS封包轉送至解碼器之PID濾波器之轉送開始時間。多工資料中，如圖36下段所示，構成有原始封包排列者，由多工資料之前頭開始增加之號碼被稱為原始封包號碼(SPN；source packet number)。

又，多工資料所含之TS封包，除了影像、聲音、字幕等之各串流外，更有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示多工資料中所利用之PMT之PID為何者，PAT本身之PID係登錄為0。PMT係具有多工資料中所含之影像‧聲音‧字幕等之各串流之PID及與各PID對應之串流之屬性資訊，又具有與多工資料有關之各種描述符。描述符具有指示允許及不允許多工資料之複製之複製控制資訊 等。PCR係為了取得作為ATS之時軸之到達時間時鐘(ATC,Arrival Time Clock)與成為PTS.DTS之時軸之系統時間時鐘(STC,System Time Clock)之同步，而具有與該PCR封包轉送至解碼器之ATS對應之STC時間之資訊。

圖37詳細說明PMT之資料構造之圖。PMT之前頭係配置有記有該PMT所含之資料之長度等之PMT標頭。在其後方配置有多數與多工資料有關之描述符。上述複製控制資訊等記載為描述符。描述符之後配置有多數與多工資料所含之各串流有關之串流資訊。串流資訊係為識別串流之壓縮編碼解碼器等，而由記載有串流型式、串流之PID、串流之屬性資訊(框速率、長寬比等)之串流描述符所構成。串流描述符有於多工資料所存在之串流數這樣多。

在記錄在記錄媒體等的時候，上述多工資料係與多工資料資訊檔案一起記錄。

多工資料資訊檔案，如圖38所示，為多工資料之管理資訊，與多工資料呈一對一之對應關係，由多工資料資訊、串流屬性資訊及登錄圖(entry map)所構成者。

多工資料資訊，如圖38所示，由系統速率、再生開始時刻、再生結束時刻所構成者。系統速率表示多工資料轉送至後述的系統指標解碼器之PID濾波器之最大轉送速率。多工資料中所含之ATS之間隔係設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框之PTS，再生結束時刻係於多工資料末端之視訊框之PTS加上一框量之再生間隔者。

串流屬性資訊，如圖39所示，針對多工資料所含之各串流之屬性資訊係登錄於每PID。屬性資訊具有視訊流、聲訊流、表達圖形流、交互圖形流各為不同之資訊。視訊流屬性資訊具有該視訊流是以何種壓縮編碼解碼器所壓縮、構成視訊流之每個圖片資料之影像解析度有多少、長寬比有多少、框速率有多少等之資訊。聲訊流屬性資訊具有該聲訊流是以哪種壓縮編碼解碼器所壓縮、該聲訊流所含之頻道數是什麼、是對應哪一語言、抽樣頻率有多少等之資訊。其等資訊是利用在於播放器再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流型式。又，記錄媒體記錄有多工資料時，利用包含在多工資料資訊之視訊流屬性資訊。具體來說，在於上述各實施形態所示之動態圖像編碼方法或裝置中設置相對於PMT所含之串流型式或視訊流屬性資訊，設定固有資訊之步驟或手法，固有資訊係顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉該構成，可識別藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與依據其他規格之影像資料。

又，將本實施形態中之動態圖像解碼方法之步驟顯示在圖40。在步驟exS100中，由多工資料取得PMT所含之串流型式或多工資料資訊所含之視訊流屬性資訊。其次，在步驟exS101中，判斷串流型式或視訊流屬性資訊是否顯示為藉以上述各實施形態所示之動態圖像編碼方法或 裝置所產生之多工資料。接著，在串流型式或視訊流屬性資料被判斷為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者之時，在步驟exS102中，藉上述各實施形態所示之動態圖像解碼方法進行解碼。又，在串流型式或視訊流屬性資訊被判斷為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格者之時，在步驟exS103中，藉依據習知規格之動態圖像解碼方法進行解碼。

如此，藉於串流型式或視訊流屬性資訊設定新的固有值，在解碼時，能判斷是否可以上述各實施形態所示之動態圖像解碼方法或裝置解碼者。因此，即使在輸入有依據不同規格之多工資料時，亦可選擇適當的解碼方法或裝置，因此可在不產生錯誤之狀態下進行解碼。又，亦可將本實施形態所示之動態圖像編碼方法或裝置、或者是動態圖像解碼方法或裝置運用在上述任一機器及系統。

(實施形態5)

上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上可以積體電路之LSI實現。以一例來說，圖41顯示構成為單一晶片之LSIex500之構成。LSIex500包含有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素係經由匯流排ex510而連接者。電源電路部ex505係於電源為開啟狀態時，對於各部供電，而在可作動之狀態下起動。

例如在進行編碼處理時，LSIex500係根據具有 CPU ex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，藉AV I/Oex509而由麥克風ex117或相機ex113等輸入AV訊號。所輸入之AV訊號係暫時儲存在SDRAM等之外部記憶體ex511。根據控制部ex501之控制，所儲存之資料因應處理量或處理速度而適當地分成多次等，傳送至訊號處理部ex507，且在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此，影像訊號之編碼處理係於上述各實施形態所說明之編碼處理。在訊號處理部ex507中，更依情況之不同對所編碼之聲音資料及所編碼之影像資料進行多工等之處理，由串流I/Oex506輸出至外部。該所輸出之多工資料係朝基地台ex107傳送，或寫入記錄媒體ex215。在進行多工之時，為了要同步，可將資料暫時儲存在緩衝器ex508即可。

此外，在上述中說明記憶體ex511為LSIex500之外部構成，亦可為包含在LSIex500之內部之構成。緩衝器ex508亦不限於一個，亦可具備多數緩衝器。又，LSIex500亦可單一晶片構成，亦可多晶片構成。

又，在上述中，控制部ex501係具有CPUex502、記憶體控制器ex503、串流控制部ex504、驅動頻率控制部ex512等，但控制部ex501之構成不限於該構成。例如，訊號處理部ex507亦可為具有CPU之構成。在訊號處理部ex507之內部亦設有CPU，可將處理速度進一步提昇。又，對於另一例，CPUex502亦可為具有訊號處理部ex507或訊號處理部ex507之局部例如聲音訊號處理部之構成。在如此 情況下，控制部ex501係具備訊號處理部ex507或具有該一部分之CPUex502之構成者。

另外，在此，是以LSI予以表現，但依積體度的不同，也有被稱為IC(積體電路：Integrated Circuit)、系統LSI、超級(Super)LSI、超(Ultra)LSI。

又，積體電路化的手法不僅限於LSI者，亦可以專用電路或萬用處理器予以實現。又，亦可利用能在製造LSI後再程式化之現場可程式化邏輯閘陣列(FPGA：Field Programmable Gate Array)、能將LSI內部之電路胞元(cell)之連接或設定再構成之重組態處理器(ReConfigurable Processor)。

進而，透過半導體技術的進步或衍生之其他技術，如有可替補LSI之積體電路技術問世時，當然亦可使用該技術將功能方塊積體化。對於可能性而言生物科學技術亦有可能適用等。

(實施形態6)

在將藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼時能考慮到的是，與將依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼之情況相比，處理量更為增加者。為此，在LSIex500中，有必要設定在比將依據習知規格之影像資料解碼時之CPUex502之驅動頻率更高之驅動頻率。惟，一提高驅動頻率時，則衍生有消費電力變高之課題。

為解決該課題，電視機ex300、LSIex500等之動 態圖像解碼裝置係識別影像資料是依據哪一規格者，因應規格來切換驅動頻率之構成。圖42係顯示本實施形態中之構成ex800。驅動頻率切換部ex803係於影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率提高設定。接著，對執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801，指示要將影像資料解碼者。另一方面，在影像資料為依據習知規格之影像資料時，與影像資料為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生者時相比，要將驅動頻率降低設定。接著，對依據習知規格之解碼處理部ex802，指示要將影像資料解碼者。

更具體來說，驅動頻率切換部ex803係由圖41之CPUex502與驅動頻率控制部ex512所構成者。又，執行以上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802係相當於圖41之訊號處理部ex507。CPUex502係識別影像資料依據哪一規格者。接著，根據來自CPUex502之訊號，驅動頻率控制部ex512係設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507係進行影像資料之解碼。在此，在影像資料之識別上，考慮到例如利用實施形態4所記載之識別資訊者。有關於識別資訊，不限於實施形態4所記載者，只要能識別影像資料是依據哪一規格之資訊即可。例如，在根據識別影像資料是被利用在電視機者、或被利用在磁碟者等之外部訊號，能識別影像資料是依據哪一規格時，亦可根 據如此之外部訊號予以識別。又，在CPUex502中之驅動頻率之選擇，考慮到利用例如根據如圖44所示之影像資料之規格與驅動頻率對應之查找表進行者。將查找表先儲放在緩衝器ex508或LSI之內部記憶體，CPUex502參考該查找表，即可選擇驅動頻率者。

圖43係顯示實施本實施形態之方法之步驟。首先在步驟exS200中，於訊號處理部ex507中由多工資料取得識別資訊。其次，在步驟exS201中，於CPUex502中，根據識別資訊，識別影像資料是否為藉以上述各實施形態所示之編碼方法或裝置所產生者。在影像資料為藉以上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202中，CPUex502係將驅動頻率提高設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，設定在高驅動頻率。另一方面，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203中，CPUex502係將驅動頻率降低設定之訊號送至驅動頻率控制部ex512。接著，在驅動頻率控制部ex512中，與影像資料是藉以上述各實施形態所示之編碼方法或裝置所產生之形態相比，設定在低驅動頻率。

進而，連動於驅動頻率之切換，變更供給至LSIex500或含有LSIex500之裝置之電壓，就能更提高省電效果。例如在將驅動頻率降低設定時，隨此，與將驅動頻率提高設定之情況相比，可考慮將供應至LSIex500或含有LSIex500之裝置之電壓降低設定者。

又，驅動頻率之設定方法只要在解碼時之處理量大時，將驅動頻率提高設定，而在解碼時之處理量小時，將驅動頻率降低設定即可，不限於上述之設定方法。例如將依據MPEG4-AVC規格之影像資料解碼之處理量係於大於以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料解碼之處理量時，可考慮將驅動頻率之設定作成與上述情況相反者。

進而，驅動頻率之設定方法不限於降低驅動頻率之構成。例如，在識別資訊顯示藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資訊時，將供給至LSIex500或含有LSIex500之裝置之電壓提高設定，在顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，亦可降低設定提供至LSIex500或含有LSIex500之裝置之電壓。又，以另一例而言，在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，無須將CPUex502之驅動停止，在顯示為依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於在處理上有餘裕，因此亦可考慮將CPUex502之驅動暫時停止者。在識別資訊顯示為藉以上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，如果處理上有餘裕時，亦可考慮將CPUex502之驅動暫時停止者。該情況係與顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料之情況相比，可考慮將停止時間縮短設定者。

如此，因應影像資料所依據之規格而切換驅動頻率，就可謀求省電之實現。又，在使用電池而將LSIex500或含有LSIex500之裝置驅動時，就能隨著省電而延長電池的壽命。

(實施形態7)

在電視機或行動電話機等上述機器暨系統上輸入有依據不同規格之多數影像資料之情況。如此，為於有依據不同規格之多數影像資料輸入之情況下亦能解碼，有必要使LSIex500之訊號處理部ex507對應於多數規格。惟，一個別使用與各規格對應之訊號處理部ex507，就有造成LSIex500之電路規模變大，又，成本增加之課題衍生。

為解決該課題，構建成將用以執行以上述各實施形態所示之動態圖像解碼方法用之解碼處理部、與依據習知之MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部局部共有之構成。將該構成例顯示在圖45A之ex900。例如在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係於熵編碼、反量化、解塊濾波器、動量補償等之處理中，處理內容有局部共通者。考慮一種構成，其針對共通之處理內容係共有與MPEG4-AVC規格對應之解碼處理部ex902，針對不對應MPEG4-AVC規格之本發明一態樣所特有之其他處理內容則使用專用之解碼處理部ex901之構成。有關於解碼處理部之共有，亦可針對共通之處理內容，共有用以執行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而對於 MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部之構成。

又，將處理局部共有之另一例顯示在圖45B之ex1000。在該例中，使用與本發明一態樣所特有之處理內容對應之專用之解碼處理部ex1001、與另一習知規格特有之處理內容對應之專用的解碼處理部ex1002、與本發明一態樣之動態圖像解碼方法與另一習知規格之動態圖像解碼方法共通之處理內容對應之共用的解碼處理部ex1003之構成。在此，專用的解碼處理部ex1001、ex1002未必為針對本發明一態樣或其他習知規格特有之處理內容特殊設計者，亦可為可執行其他萬用處理者。又，本實施形態之構成亦可以LSIex500安裝者。

如此，針對本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法上共通之處理內容共有解碼處理部，藉此便能將LSI之電路規模縮小，且降低成本者。

產業之可利用性

本發明一態樣之圖像編碼方法及圖像解碼方法能有利地運用在動態圖像之編碼方法及解碼方法。

S122、S151、S152‧‧‧步驟

Claims (11)

1. 一種圖像編碼方法，係將圖像依每區塊進行編碼，以產生位元流者，包含有以下步驟：將編碼對象區塊分割成多數子塊；依每子塊取得合併候選，該合併候選為在前述編碼對象區塊之編碼中參考之預測方向、移動向量及參考圖片索引之組合之候選；由在前述取得合併候選之步驟所取得之前述合併候選，選擇在前述編碼對象區塊之編碼使用之合併候選；及將用以界定在前述選擇合併候選之步驟所選擇之前述合併候選之索引附加在前述位元流；且，在前述取得合併候選之步驟中，執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區塊，分別判斷該鄰接區塊是否包含在前述編碼對象區塊，且將不包含在前述編碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，當已決定有1個以上之合併對象區塊時，依每個前述1個以上之合併對象區塊，分別使用已用於該合併對象區塊之預測圖像之產生的預測方向、移動向量及該圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。
2. 如申請專利範圍第1項之圖像編碼方法，其係於前述第 一判斷處理中，進而，判斷前述鄰接區塊是否為已藉內預測編碼之區塊、是否為位於含有前述編碼對象區塊之切片或圖片邊界之外之區塊、及是否為尚未進行編碼之區塊，且將(1)被判斷為未包含在前述編碼對象區塊、(2)被判斷為不是藉內預測編碼之區塊、(3)被判斷為不是位於含有前述編碼對象區塊之切片或圖片邊界之外之區塊、及(4)被判斷為不是尚未進行編碼之區塊之前述鄰接區塊，決定為前述合併對象區塊。
3. 如申請專利範圍第1項之圖像編碼方法，更具有決定可取得之合併候選之最大數之步驟，其係進一步執行：第二判斷處理，係判斷前述第一候選之數是否小於前述最大數者；及第二導出處理，係於判斷前述第一候選之數小於前述最大數時，導出具有相對於在前述對象子塊之編碼中可參考之圖片之圖片索引之新候選者。
4. 如申請專利範圍第1至3項中任一項之圖像編碼方法，更具有以下步驟：使用經前述選擇合併候選之步驟中所選擇之前述合併候選，進行前述對象子塊之預測圖像之產生者。
5. 一種圖像解碼方法，係將編碼位元流所含之圖像資料依每區塊進行解碼者，包含有以下步驟：將解碼對象區塊分割成多數子塊；依每子塊取得合併候選，前述合併候選為在前述解碼對象區塊之解碼中參考之預測方向、移動向量及參考 圖片索引之組合之候選；由前述編碼位元流取得索引，前述索引係用以界定在前述解碼對象區塊之解碼中參考之合併候選者；及使用所取得之前述索引，界定前述合併候選，且使用所界定之前述合併候選，將前述解碼對象區塊進行解碼；在前述取得合併候選之步驟中，執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區塊，分別判斷該鄰接區塊是否包含在前述解碼對象區塊，將不包含在前述解碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，當已決定1個以上之合併對象區塊時，依每個前述1個以上之合併對象區塊，分別使用經該合併對象區塊之預測圖像之產生所使用之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。
6. 如申請專利範圍第5項之圖像解碼方法，其係於前述第一判斷處理中，進而，判斷前述鄰接區塊是否為已藉內預測編碼之區塊、是否為位於含有前述解碼對象區塊之切片或圖片邊界之外之區塊、及是否為尚未進行解碼之區塊，且將(1)被判斷為未包含在前述編碼對象區塊、(2)被判斷為不是已藉內預測編碼之區塊、(3)被判斷為不是位於含有前述解碼對象區塊之切片或圖片邊界之外之區塊、及(4)被判斷為不是尚未進行編碼之區塊之前述鄰 接區塊，決定為前述合併對象區塊。
7. 如申請專利範圍第5項之圖像解碼方法，更含有決定可取得之合併候選之最大數之步驟，其係進一步執行：第二判斷處理，係判斷前述第一候選之數是否小於前述最大數者；及第二導出處理，係於已判斷前述第一候選之數小於前述最大數時，導出具有相對於在前述對象子塊之解碼中可參考之圖片之圖片索引之新候選者。
8. 如申請專利範圍第5至7項中任一項之圖像解碼方法，更含有以下步驟：使用以選擇前述合併候選之步驟所選擇之前述合併候選，進行前述對象子塊之預測圖像之產生者。
9. 一種圖像編碼裝置，係將圖像依每區塊進行編碼而產生位元流者，包含有：第一分割部，係將編碼對象區塊分割成多數子塊者；第一取得部，係依前述多數子塊每個，分別取得合併候選，該合併候選係於前述編碼對象區塊之編碼中參考之預測方向、移動向量及參考圖片索引之組合之候選者；第一選擇部，係由在取得前述合併候選之步驟中所取得之前述合併候選，選擇在前述編碼對象區塊之編碼使用之合併候選者；及編碼部，係將用以界定經前述第一選擇部所選擇之前述合併候選之索引附加在前述編碼位元流者； 前述第一取得部係執行：第一判斷處理，係依每個與前述子塊鄰接之鄰接區塊，分別判斷該鄰接區塊是否包含在前述編碼對象區塊，且將未包含在前述編碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，係於決定有1個以上之合併對象區塊時，依每個前述1個以上之合併對象區塊，分別使用已在產生該合併對象區塊之預測圖像所使用之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分。
10. 一種圖像解碼裝置，係依每區塊將編碼位元流所含之圖像資料進行解碼者，包含有：第二分割部，係將解碼對象分割成多數子塊者；第二取得部，係依前述多數子塊每個，取得合併候選，該合併候選為在前述解碼對象區塊之解碼中參考之預測方向、移動向量及參考圖片索引之組合之候選；索引取得部，係由前述編碼位元流，取得用以界定在前述解碼對象區塊之解碼中參考之合併候選之索引者；及解碼部，係使用所取得之前述索引，界定前述合併候選，且使用所界定之前述合併候選，而將前述解碼對象區塊進行解碼者；前述第二取得部係執行：第一判斷處理，係依每個鄰接於前述子塊之鄰接區 塊，判斷該鄰接區塊是否包含在前述解碼對象區塊，且將未包含在前述解碼對象區塊之前述鄰接區塊決定為合併對象區塊者；及第一導出處理，係於決定有1個以上之合併對象區塊時，依每個前述1個以上之合併對象區塊，分別使用已在產生該合併對象區塊之預測圖像所使用之預測方向、移動向量及參考圖片索引之組合，導出第一候選，作為前述合併候選之一部分者。
11. 一種圖像編碼解碼裝置，包含有：如申請專利範圍第9項之圖像編碼裝置；及如申請專利範圍第10項之圖像解碼裝置。