TW201415898A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW201415898A
TW201415898A TW102131553A TW102131553A TW201415898A TW 201415898 A TW201415898 A TW 201415898A TW 102131553 A TW102131553 A TW 102131553A TW 102131553 A TW102131553 A TW 102131553A TW 201415898 A TW201415898 A TW 201415898A
Authority
TW
Taiwan
Prior art keywords
image
unit
reference image
list
video
Prior art date
Application number
TW102131553A
Other languages
English (en)
Inventor
Yoshitomo Takahashi
Ohji Nakagami
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201415898A publication Critical patent/TW201415898A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露係有關於，可削減處理量的影像處理裝置及方法。選擇部，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是在目前圖像內被共通使用之事實，而從參照清單中所含之參照圖像特定資訊所表示的參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像。預測影像生成部，係基於與目前圖像不同時刻的同位圖像的運動向量、和已被選擇部所選擇之複數參照圖像當中的與同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成目前圖像的預測影像。本揭露係可適用於影像處理裝置。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，尤其是有關於可削減處理量的影像處理裝置及方法。
近年來，將影像資訊以數位方式而操作，此時，為了高效率地傳送、積存資訊，利用影像資訊特有的冗長性，藉由離散餘弦轉換等之正交轉換和動態補償進行壓縮的MPEG(Moving Picture Experts Group)等方式，依據其之裝置，是已經在電視台等的資訊遞送，以及一般家庭的資訊接收雙方面上普及。
尤其是，MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)13818-2)，係被定義來作為通用影像編碼方式，係為網羅了跳躍掃描影像及依序掃描影像之雙方、以及標準解析度影像及高精細影像的標準，目前已經被廣為運用在專業用途及消費市場用途的廣泛之應用程式中。藉由使用MPEG2壓縮方式，例如，若為具有720×480像素的標準解析度之跳躍掃描影像，則指派了4~8Mbps、若為具有1920×1088像 素的高解析度之跳躍掃描影像，則指派了18~22Mbps的編碼量(位元速率)，藉此而可實現高壓縮率和良好畫質。
雖然MPEG2係主要是以適合播送用之高畫質編碼為對象，但並不支援比MPEG1還低之編碼量(位元速率)、亦即高壓縮率的編碼方式。隨著攜帶型終端的普及，今後此類編碼方式的需求會逐漸增加，對應於此而進行了MPEG4編碼方式的標準化。關於影像編碼方式，在1998年12月成為ISO/IEC 14496-2而其規格已被承認為國際標準。
再者，近年來，當初作為電視會議用的影像編碼為目的，而有所謂的H.26L(ITU-T(International Telecommunication Union Telecommunication Standardization Sector)Q6/16 VCEG(Video Coding Expert Group))標準，正朝規格化邁進。H.26L係相較於MPEG2或MPEG4這些先前的編碼方式，其編碼、解碼上要求較多的演算量，但可實現更高的編碼效率，係為人所知。又，作為MPEG4的活動之一環，以此H.26L為基礎，還加進了H.26L中未支援的機能，以實現更高編碼效率的標準化，係以Joint Model of Enhanced-Compression Video Coding的名義而被進行。
作為標準化的時程，在2003年3月係有H.264及MPEG-4 Part10(Advanced Video Coding，以下記作AVC)的名下，成為國際標準。
然而，將巨集區塊尺寸設成16像素×16像素，這對次世代編碼方式為對象的像是UHD(Ultra High Definition；4000像素×2000像素)這類大畫面而言，恐怕並非最佳。
於是，為了比AVC更加提升編碼效率，由ITU-T、和ISO/IEC之共同標準化團體亦即JCTVC(Joint Collaboration Team-Video Coding)，正在進行一種稱作HEVC(High Efficiency Video Coding)的編碼方式的標準化(例如參照非專利文獻1)。
在此HEVC編碼方式中，作為與AVC之巨集區塊等同之處理單位，而定義有編碼單元(CU(Coding Unit))。該CU係不像AVC的巨集區塊那樣尺寸是被固定成16×16像素，而是在各個序列中，在影像壓縮資訊中被指定。
順便一提，為了改善AVC中所定義之使用了中間值預測的運動向量之編碼，而考慮了不只有”Spatial Predictor”，就連”Temporal Predictor”及”Spatio-Temporal Predictor”也可當成預測運動向量之候補的方法。
又，作為運動資訊的編碼方式之1而被提出有一種會傳輸Merge_Flag與Merge_Left_Flag，稱作Motion Partition Merging的手法。
然而，其僅揭示了在同一視點內的處理，在多視點編碼的情況下，無法進行跨視點間的向量之預測，有可能導致編碼效率降低。
於是，針對多視點編碼時的合併之TMVP(Temporal motion vector prediction)，而有各種提案 (例如參照非專利文獻2)。
在非專利文獻2的發明中，目前區塊的參照索引0所指示的參照圖像(參照影像)的參照圖像類型係為Short-term，同位區塊的參照圖像類型係為Long-term時，會從參照影像的清單之中，選擇出指示了參照圖像類型為Long-term之參照圖像的0以外之參照索引。
又，目前區塊的參照索引0所指示的參照圖像的參照圖像類型係為Long-term，同位區塊的參照圖像類型係為Short-term時，會從參照影像的清單之中，選擇出指示了參照圖像類型為Short-term之參照圖像的0以外之參照索引。
因此，在CU(Coding Unit)層級的編碼之前，與參照索引0之圖像類型具有不同圖像類型的參照索引，必須要先找到1個。
[先前技術文獻]
[非專利文獻]
[非專利文獻1]Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand," High efficiency video coding (HEVC) text specification draft 8 ", JCTVC-J1003_d7, 2012. 7. 28
[非專利文獻2]Ying Chen, Li Zhang, Vadim Seregin, Marta Karczewicz, "Temporal modion vector prediction hook for MV-HEVC", JCTVC-K0239, 2012. 10. 10-19
然而，由於參照索引之探索的處理量很大，因此要求處理量的削減。
本揭露係有鑑於此種狀況而研發，目的在於削減處理量。
本揭露之第1側面的影像處理裝置，係為一種影像處理裝置，其係具備：選擇部，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
本揭露之第1側面的影像處理方法，係對應於本揭露之第1側面的影像處理裝置。
於本揭露之第1側面中，基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，會選擇出參照圖像類型係為不同的複數參照圖像；基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
本揭露之第2側面的影像處理裝置，係為一種影像處理裝置，其係具備：選擇部，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
本揭露之第2側面的影像處理方法，係對應於本揭露之第2側面的影像處理裝置。
於本揭露之第2側面中，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參 照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
若依據本揭露，則可處理影像。尤其是，可削減處理量。
1000‧‧‧影像編碼裝置
1001‧‧‧編碼部
1002‧‧‧設定部
1003‧‧‧傳輸部
1011‧‧‧A/D轉換部
1012‧‧‧畫面排序緩衝區
1013‧‧‧演算部
1014‧‧‧正交轉換部
1015‧‧‧量化部
1016‧‧‧可逆編碼部
1017‧‧‧積存緩衝區
1018‧‧‧逆量化部
1019‧‧‧逆正交轉換部
1020‧‧‧演算部
1021‧‧‧迴圈濾波器
1022‧‧‧解碼圖像緩衝區
1023‧‧‧選擇部
1024‧‧‧畫面內預測部
1025‧‧‧運動視差預測．補償部
1026‧‧‧預測影像選擇部
1027‧‧‧多視點解碼圖像緩衝區
1030‧‧‧合併畫面間預測部
1031‧‧‧參照清單生成部
1032‧‧‧選擇部
1033‧‧‧合併候補清單生成部
1034‧‧‧預測影像生成部
1035‧‧‧算出部
1036‧‧‧最佳模式決定部
1100‧‧‧影像解碼裝置
1101‧‧‧收取部
1102‧‧‧抽出部
1103‧‧‧解碼部
1121‧‧‧積存緩衝區
1122‧‧‧可逆解碼部
1123‧‧‧逆量化部
1124‧‧‧逆正交轉換部
1125‧‧‧演算部
1126‧‧‧迴圈濾波器
1127‧‧‧畫面排序緩衝區
1128‧‧‧D/A轉換部
1129‧‧‧解碼圖像緩衝區
1130‧‧‧選擇部
1131‧‧‧畫面內預測部
1132‧‧‧運動視差補償部
1133‧‧‧選擇部
1134‧‧‧多視點解碼圖像緩衝區
1150‧‧‧合併畫面間預測部
10151‧‧‧參照清單生成部
1152‧‧‧選擇部
1153‧‧‧合併候補清單生成部
1154‧‧‧預測影像生成部
1300‧‧‧影像編碼裝置
1301‧‧‧編碼部
1302‧‧‧設定部
1303‧‧‧傳輸部
1320‧‧‧合併畫面間預測部
1321‧‧‧參照清單生成部
1322‧‧‧選擇部
1323‧‧‧合併候補清單生成部
1400‧‧‧影像解碼裝置
1401‧‧‧收取部
1402‧‧‧抽出部
1403‧‧‧解碼部
1420‧‧‧合併畫面間預測部
1421‧‧‧參照清單生成部
1422‧‧‧選擇部
1423‧‧‧合併候補清單生成部
1700‧‧‧個人電腦
1701‧‧‧CPU
1702‧‧‧ROM
1703‧‧‧RAM
1704‧‧‧匯流排
1710‧‧‧輸出入介面
1711‧‧‧輸入部
1712‧‧‧輸出部
1713‧‧‧記憶部
1714‧‧‧通訊部
1715‧‧‧驅動機
1721‧‧‧可移除式媒體
1900‧‧‧電視裝置
1901‧‧‧天線
1902‧‧‧選台器
1903‧‧‧解多工器
1904‧‧‧解碼器
1905‧‧‧映像訊號處理部
1906‧‧‧顯示部
1907‧‧‧聲音訊號處理部
1908‧‧‧揚聲器
1909‧‧‧外部介面
1910‧‧‧控制部
1911‧‧‧使用者介面
1912‧‧‧匯流排
1920‧‧‧行動電話機
1921‧‧‧天線
1922‧‧‧通訊部
1923‧‧‧聲音編解碼器
1924‧‧‧揚聲器
1925‧‧‧麥克風
1926‧‧‧攝影機部
1927‧‧‧影像處理部
1928‧‧‧多工分離部
1929‧‧‧記錄再生部
1930‧‧‧顯示部
1931‧‧‧控制部
1932‧‧‧操作部
1933‧‧‧匯流排
1940‧‧‧記錄再生裝置
1941‧‧‧選台器
1942‧‧‧外部介面
1943‧‧‧編碼器
1944‧‧‧HDD(Hard Disk Drive)
1945‧‧‧碟片驅動機
1946‧‧‧選擇器
1947‧‧‧解碼器
1948‧‧‧OSD(On-Screen Display)
1949‧‧‧控制部
1950‧‧‧使用者介面
1960‧‧‧攝像裝置
1961‧‧‧光學區塊
1962‧‧‧攝像部
1963‧‧‧訊號處理部
1964‧‧‧影像處理部
1965‧‧‧顯示部
1966‧‧‧外部介面
1967‧‧‧記憶體
1968‧‧‧媒體驅動機
1969‧‧‧OSD
1970‧‧‧控制部
1971‧‧‧使用者介面
1972‧‧‧匯流排
[圖1]適用了本揭露之影像編碼裝置的第1實施形態之構成例的區塊圖。
[圖2]圖1的編碼部之構成例的區塊圖。
[圖3]圖2的運動視差預測．補償部的合併畫面間預測部之構成例的區塊圖。
[圖4]圖1的影像編碼裝置的串流生成處理的說明用流程圖。
[圖5]圖4的編碼處理之細節的說明用流程圖。
[圖6]圖5的畫面間預測處理當中的合併畫面間預測處理的說明用流程圖。
[圖7]適用了本揭露之影像解碼裝置的第1實施形態之構成例的區塊圖。
[圖8]圖7的解碼部之構成例的區塊圖。
[圖9]圖8的運動視差補償部的合併畫面間預測部之構成例的區塊圖。
[圖10]圖7的影像解碼裝置的影像生成處理的說明用流程圖。
[圖11]圖10的解碼處理之細節的說明用流程圖。
[圖12]圖11的預測處理當中的合併畫面間預測處理的說明用流程圖。
[圖13]適用了本揭露之影像編碼裝置的第2實施形態之構成例的區塊圖。
[圖14]圖13的編碼部的合併畫面間預測部之構成的區塊圖。
[圖15]圖13的影像編碼裝置的串流生成處理的說明用流程圖。
[圖16]圖13的編碼裝置的合併畫面間預測處理的說明用流程圖。
[圖17]圖16的參照索引特定處理之細節的說明用流程圖。
[圖18]參照索引的說明圖。
[圖19]適用了本揭露之影像解碼裝置的第2實施形態之構成例的區塊圖。
[圖20]圖19的解碼部的合併畫面間預測部之構成的 區塊圖。
[圖21]圖19的影像解碼裝置的影像生成處理的說明用流程圖。
[圖22]圖20的合併畫面間預測部所執行的合併畫面間預測處理的說明用流程圖。
[圖23]個人電腦之構成例的區塊圖。
[圖24]電視裝置之概略構成之一例的區塊圖。
[圖25]行動電話機之概略構成之一例的區塊圖。
[圖26]記錄再生裝置之概略構成之一例的區塊圖。
[圖27]攝像裝置之概略構成之一例的區塊圖。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。
1.第1實施形態(影像編碼裝置．影像解碼裝置)
2.第2實施形態(影像編碼裝置．影像解碼裝置)
3.第3實施形態(電腦)
4.第4實施形態(應用例)
<1.第1實施形態>
(影像編碼裝置的構成例)
圖1係適用了本揭露之作為影像處理裝置的影像編碼裝置的第1實施形態之構成例的區塊圖。
圖1的影像編碼裝置1000，係由編碼部1001 、設定部1002、及傳輸部1003所構成。影像編碼裝置1000，係對於由複數視點(view)之影像所成之多視點影像，進行運動預測或視差預測所致之畫面間編碼。
具體而言，影像編碼裝置1000的編碼部1001，係對從外部輸入的多視點影像，進行畫面內編碼，或者，運動預測或視差預測所致之畫面間編碼。畫面間編碼時，編碼部1001係會參照從設定部1002所供給的限制識別資訊(restricted_ref_pic_lists_flag)。
所謂限制識別資訊，係為用來識別，圖像內的所有切片的、將參照影像予以特定之參照影像特定資訊的清單亦即參照清單，是被限制成同一參照清單這件事情的資訊。亦即，限制識別資訊，係為用來識別，參照清單是在圖像內被共通使用這件事情的資訊。限制識別資訊，係在表示圖像內的所有切片的參照清單都被限制成同一參照清單時為1，表示沒有限制時則為0。
編碼部1001，係若限制識別資訊為1，在合併模式時，是以非專利文獻2所記載之方法來進行合併的TMVP。編碼部1001係將多視點影像的編碼資料，供給至設定部1002。
設定部1002，係基於使用者輸入等來設定限制識別資訊，供給編碼部1001。設定部1002，係將含有限制識別資訊的SPS,PPS(Picture Parameter Set)等之參數集，加以設定。設定部1002，係對從編碼部1001所供給之編碼資料，附加上參數集而生成編碼串流，供給至傳輸 部1003。
傳輸部1003，係將從設定部1002所供給之編碼串流，傳輸至後述的解碼裝置。
(編碼部的構成例)
圖2係圖1的編碼部1001之構成例的區塊圖。
圖2的編碼部1001，係例如AVC或HEVC等之編碼方式，使用預測處理，將多視點影像按照每一視點而進行編碼。
圖2的編碼部1001係具有：A/D轉換部1011、畫面排序緩衝區1012、演算部1013、正交轉換部1014、量化部1015、可逆編碼部1016、及積存緩衝區1017。又，編碼部1001係具有：逆量化部1018、逆正交轉換部1019、演算部1020、迴圈濾波器1021、解碼圖像緩衝區1022、選擇部1023、畫面內預測部1024、運動視差預測．補償部1025、預測影像選擇部1026、及多視點解碼圖像緩衝區1027。
A/D轉換部1011，係將所被輸入之1視點的影像進行A/D轉換，輸出至畫面排序緩衝區1012而記憶之。畫面排序緩衝區1012，係將已記憶之顯示順序的畫格單位之影像，隨應於GOP(Group Of Picture)構造，排序成編碼所需的順序。畫面排序緩衝區1012，係將畫格順序排序過的影像，連同該影像的視點ID及POC(Picture Order Count)，一起供給至演算部1013、畫面內預測部 1024、及運動視差預測．補償部1025。此外，視點ID係為用來識別視點的資訊，POC係為用來識別時刻的資訊。
演算部1013，係將從畫面排序緩衝區1012所讀出之影像，減去透過預測影像選擇部1026而從畫面內預測部1024或運動視差預測．補償部1025所供給之預測影像，將其差分資訊，輸出至正交轉換部1014。
正交轉換部1014，係對從演算部1013所供給之差分資訊，實施離散餘弦轉換或卡忽南-拉維轉換等之正交轉換。此外，此正交轉換之方法係為任意。正交轉換部1014，係將該正交轉換係數，供給至量化部1015。
量化部1015，係將從正交轉換部1014所供給之正交轉換係數，進行量化。量化部1015，係基於編碼量的目標值之相關資訊，來設定量化參數，進行其量化。此外，此量化之方法係為任意。量化部1015係將已被量化之正交轉換係數，供給至可逆編碼部1016。
可逆編碼部1016，係於量化部1015中將已被量化之正交轉換係數，以任意之編碼方式進行可逆編碼，生成編碼影像。又，可逆編碼部1016，係將含有表示最佳畫面內預測模式之資訊等的畫面內預測資訊，從畫面內預測部1024加以取得。可逆編碼部1016係將含有表示最佳畫面間預測模式之資訊、表示運動向量或視差向量之運動視差向量資訊等的畫面間預測資訊，從運動視差預測．補償部1025加以取得。然後，可逆編碼部1016係取得迴圈濾波器1021中所使用的濾波器係數等。
可逆編碼部1016，係將這些各種資訊以任意之編碼方式進行編碼，成為編碼方式的標頭資訊的一部分。可逆編碼部1016，係將編碼所得到之由編碼影像與標頭資訊所成之編碼資料，供給至積存緩衝區1017而積存之。
作為可逆編碼部1016的編碼方式，可舉例如可變長度編碼或算術編碼等。作為可變長度編碼，係可舉出例如H.264/AVC方式所制定的CAVLC(Context-Adaptive Variable Length Coding)等。作為算術編碼，係可舉出例如CABAC(Context-Adaptive Binary Arithmetic Coding)等。
積存緩衝區1017，係將從可逆編碼部1016所供給之編碼資料，予以暫時保持。積存緩衝區1017，係在所定之時序上，將所保持的編碼資料，供給至圖1的設定部1002。
又，於量化部1015中被被量化過的正交轉換係數，係也被供給至逆量化部1018。逆量化部1018係將該已被量化之正交轉換係數，以對應於量化部1015所做之量化的方法，進行逆量化。該逆量化之方法，係只要是對應於量化部1015所做之量化的方法，則可為任意之方法。逆量化部1018，係將所得到之正交轉換係數，供給至逆正交轉換部1019。
逆正交轉換部1019，係將從逆量化部1018所供給之正交轉換係數，以正交轉換部1014所做之正交轉 換所對應的方法，進行逆正交轉換，獲得被局部復原之差分資訊。該逆正交轉換之方法，係只要是對應於正交轉換部1014所做之正交轉換的方法，則可為任意。差分資訊係被供給至演算部1020。
演算部1020係對從逆正交轉換部1019所供給之被局部復原之差分資訊，加算上透過預測影像選擇部1026而從畫面內預測部1024或運動視差預測．補償部1025所供給過來的預測影像。藉此，被局部重建(解碼)之影像(以下稱作重建影像)就被生成。該重建影像，係被供給至迴圈濾波器1021或解碼圖像緩衝區1022。
迴圈濾波器1021，係包含去區塊濾波器、適應偏置濾波器(SAO(Sample adaptive offset))、適應迴圈濾波器(ALF(Adaptive Loop Filter))等，對從演算部1020所供給之重建影像，進行適宜的濾波處理。
例如，迴圈濾波器1021，係藉由對重建影像進行去區塊濾波處理，以去除重建影像的區塊失真。又，例如，迴圈濾波器1021係對該去區塊濾波處理結果，使用維納濾波器(Wiener Filter)來進行適應迴圈濾波處理，以進行畫質改善。
此外，迴圈濾波器1021係亦可對重建影像進行任意的濾波處理。又，迴圈濾波器1021係將濾波處理中所使用的濾波係數等，供給至可逆編碼部1016。
迴圈濾波器1021，係將濾波處理結果(以下稱作解碼影像)，供給至解碼圖像緩衝區1022。
解碼圖像緩衝區1022，係將從演算部1020所供給之重建影像、和從迴圈濾波器1021所供給之解碼影像，分別予以記憶。又，解碼圖像緩衝區1022係將該影像的視點ID及POC，予以記憶。
解碼圖像緩衝區1022，係於所定之時序上，或是基於來自畫面內預測部1024等外部的要求，而將所記憶之重建影像以及該影像的視點ID及POC，透過選擇部1023而供給至畫面內預測部1024。又，解碼圖像緩衝區1022，係於所定之時序上，或是基於來自運動視差預測．補償部1025等外部的要求，而將所記憶之解碼影像以及該影像的視點ID及POC，透過選擇部1023而供給至運動視差預測．補償部1025。
選擇部1023係指示，從解碼圖像緩衝區1022所輸出的影像的供給目標。例如，若為畫面內預測，則選擇部1023係從解碼圖像緩衝區1022中讀出尚未被濾波處理的重建影像，當作位於預測處理對象領域周邊的周邊領域之影像亦即周邊影像，供給至畫面內預測部1024。
又，例如，畫面間預測的情況下，選擇部1023係從解碼圖像緩衝區1022中讀出已被濾波處理的解碼影像，當作參照影像而將其供給至運動視差預測．補償部1025。
畫面內預測部1024係一旦從解碼圖像緩衝區1022取得周邊影像，則使用該周邊影像的像素值，來進行基本而言以預測單元(PU)為處理單位來生成預測影像的 畫面內預測。畫面內預測部1024，係以事前準備的複數畫面內預測模式，來進行該畫面內預測。
畫面內預測部1024係使用各畫面內預測模式之預測影像、和從畫面排序緩衝區1012所供給之影像，來評估各預測影像的成本函數值，選擇最佳的畫面內預測模式。畫面內預測部1024，係一旦選擇了最佳的畫面內預測模式，就將該最佳畫面內預測模式下所生成之預測影像和成本函數值，供給至預測影像選擇部1026。
又，畫面內預測部1024係被預測影像選擇部1026選擇了畫面內預測部1024所生成之預測影像的情況下，將關於最佳畫面內預測的畫面內預測資訊，供給至可逆編碼部1016。
運動視差預測．補償部1025，係使用來自畫面排序緩衝區1012的影像、和來自解碼圖像緩衝區1022的參照影像，基本而言是以PU為處理單位，來進行運動預測或視差預測(畫面間預測)。
具體而言，運動視差預測．補償部1025，係若非合併模式的情況下，則使用來自畫面排序緩衝區1012的影像與參照影像，偵測出運動向量或視差向量。此外，以下當中，若沒有特別需要區別運動向量和視差向量，則將其總稱為運動視差向量。運動視差預測．補償部1025，係基於所被偵測出來的運動視差向量而對參照影像實施補償處理，生成預測影像。
若為合併模式，則運動視差預測．補償部 1025係基於從圖1之設定部1002所供給的限制識別資訊，進行合併之TMVP，生成預測影像。運動視差預測．補償部1025，係以事前準備的複數畫面間預測模式，來進行此種畫面間預測。
運動視差預測．補償部1025，係使用各畫面間預測模式之預測影像、和從畫面排序緩衝區1012所供給之影像，來評估各預測影像的成本函數值，選擇最佳的畫面間預測模式。運動視差預測．補償部1025，係一旦選擇了最佳的畫面間預測模式，就將該最佳之畫面間預測模式下所生成之預測影像與成本函數值，供給至預測影像選擇部1026。
又，運動視差預測．補償部1025，係被預測影像選擇部1026選擇了運動視差預測．補償部1025所生成之預測影像的情況下，將關於最佳之畫面間預測的畫面間預測資訊，供給至可逆編碼部1016。
預測影像選擇部1026係基於從畫面內預測部1024和運動視差預測．補償部1025所供給之成本函數值，來選擇向演算部1013或演算部1020進行供給之預測影像的供給來源。
例如，若來自畫面內預測部1024的成本函數值，是小於來自運動視差預測．補償部1025的成本函數值，則預測影像選擇部1026係選擇畫面內預測部1024來作為預測影像的供給來源。然後，預測影像選擇部1026係將從畫面內預測部1024所供給之預測影像，供給至演 算部1013或演算部1020。
又，例如，若來自運動視差預測．補償部1025的成本函數值，是小於來自畫面內預測部1024的成本函數值，則預測影像選擇部1026係選擇運動視差預測．補償部1025來作為預測影像的供給來源。然後，預測影像選擇部1026係將從運動視差預測．補償部1025所供給之預測影像，供給至演算部1013或演算部1020。
雖然解碼圖像緩衝區1022係僅將處理對象之視點的影像、以及該影像的視點ID及POC，加以記憶，但多視點解碼圖像緩衝區1027係亦可記憶各視點之影像、以及該影像的視點ID及POC。亦即，多視點解碼圖像緩衝區1027係亦可將已被供給至解碼圖像緩衝區1022的解碼影像、以及該解碼影像的視點ID及POC，加以取得，一併記憶在解碼圖像緩衝區1022中。
解碼圖像緩衝區1022，係一旦處理對象之視點改變，則將之前的處理對象之視點的解碼影像予以消去，但多視點解碼圖像緩衝區1027係亦可繼續保持之。然後，依照解碼圖像緩衝區1022等之要求，將所記憶之解碼影像以及該影像的視點ID及POC，當成「非處理對象之視點的解碼影像、以及該解碼影像之視點ID及POC」，供給至解碼圖像緩衝區1022。解碼圖像緩衝區1022，係將從多視點解碼圖像緩衝區1027所讀出的「非處理對象之視點的解碼影像、以及該解碼影像之視點ID及POC」，透過選擇部1023而供給至運動視差預測．補償部 1025。
(合併畫面間預測部的構成例)
圖3係圖2的運動視差預測．補償部1025當中，以合併模式進行畫面間預測的合併畫面間預測部1030之構成例的區塊圖。
圖3的合併畫面間預測部1030係由：參照清單生成部1031、選擇部1032、合併候補清單生成部1033、預測影像生成部1034、算出部1035、及最佳模式決定部1036所構成。
合併畫面間預測部1030的參照清單生成部1031，係基於從圖1之設定部1002所供給之限制識別資訊，來生成參照清單。
具體而言，參照清單生成部1031係在使用顯示順序比編碼對象影像前面或後面的影像來進行畫面間預測時，亦即進行單向預測時，則生成登錄有將該影像、及與編碼對象影像同一時刻而視點不同之影像特定成為參照影像之參照影像特定資訊的參照清單L0。
另一方面，在使用顯示順序比編碼對象影像前面及後面的影像來進行畫面間預測時，亦即進行雙向預測時，則參照清單生成部1031係生成登錄有將顯示順序比編碼對象影像前面之影像特定成為參照影像之參照影像特定資訊的參照清單L0。又，此情況下，參照清單生成部1031係還會生成登錄有將顯示順序比編碼對象影像後 面之影像特定成為參照影像之參照影像特定資訊的參照清單L1。此外，此參照清單L0與參照清單L1中係還會登錄有，將與編碼對象影像同一時刻而視點不同之影像特定成為參照影像之參照影像特定資訊。
此種參照清單，係若參照影像特定資訊為1則是以圖像單位而被生成，若參照影像特定資訊為0則是以切片單位而被生成。
參照清單的各條目係被賦予有參照索引，來作為識別該條目的資訊。參照索引「0」之條目中係含有，與編碼對象影像的現在處理對象之預測區塊亦即目前區塊的參照圖像類型相同參照圖像類型之參照影像的參照影像特定資訊。
參照影像特定資訊係例如，若參照影像是與編碼對象影像同一視點而不同時間之影像，則為表示參照影像之POC的資訊；若參照影像是與編碼對象影像同一時間而不同視點之影像，則為參照影像之視點ID。
又，參照圖像類型中，係有Short-term(短時間參照圖像)與Long-term(長時間參照圖像)這2種類型。Short-term係為，與編碼對象影像在時間上較近的同一視點之參照影像的類型。另一方面，Long-term係為，與編碼對象影像在時間上較遠的同一視點之參照影像、或是與編碼對象影像視點不同的同一時刻之參照影像的類型。
參照清單係被保持在參照清單生成部1031中。用來生成參照清單所需的資訊，例如，是被圖2的可逆 編碼部1016所編碼，成為標頭資訊的一部分而含在編碼資料中。
選擇部1032係基於來自設定部1002的限制識別資訊，而從參照清單生成部1031所保持的參照清單中，選擇出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。亦即，選擇部1032係選擇，參照清單中所登錄的、含有與目前區塊之參照圖像類型不同參照圖像類型之參照影像之參照影像特定資訊的條目所被賦予的參照索引。選擇部1032係將已被選擇之參照索引的參照影像特定資訊和參照索引「0」的參照影像特定資訊，供給至預測影像生成部1034。
合併候補清單生成部1033，係基於來自設定部1002的限制識別資訊，來生成合併候補清單。在合併候補清單中，係有同位區塊(細節將於後述)之參照圖像類型會被登錄成條目，並且該同位區塊之運動視差向量係被當成預測向量之候補而被登錄成條目。但是，若參照圖像類型是Short-term，則運動視差向量係基於參照影像與編碼對象影像的時間上之距離或視點間距離而被比例縮放處理，當作預測向量之候補。
所謂同位區塊，係為與目前區塊同一位置的不同時間或視點的預測區塊。又，為了說明的簡便，此處，僅將同位區塊的運動視差向量當作是預測向量之候補，但實際上，目前區塊的周邊之預測區塊的運動視差向量也會被當作是預測向量之候補。
合併候補清單的各條目被賦予有，用來識別該條目的向量索引。合併候補清單生成部1033，係將已被生成之合併候補清單，加以保持。
預測影像生成部1034，係從合併候補清單生成部1033中，讀出合併候補清單。預測影像生成部1034係針對合併候補清單的每一條目，基於同位圖像的運動視差向量、和從選擇部1032所供給之、被與該同位圖像同一參照圖像類型之參照影像特定資訊所特定的參照影像，來生成預測影像。
具體而言，預測影像生成部1034係若條目中所含之參照圖像類型是與目前區塊之參照圖像類型相同，則將與目前區塊同一參照圖像類型之參照影像特定資訊、亦即參照索引「0」的參照影像特定資訊，從選擇部1032加以取得之。
另一方面，若條目中所含之參照圖像類型是與目前區塊之參照圖像類型不同，則預測影像生成部1034係將與目前區塊不同參照圖像類型之參照影像特定資訊，亦即參照索引「0」以外之參照索引的參照影像特定資訊，從選擇部1032加以取得之。
預測影像生成部1034，係將被已取得之參照影像特定資訊所特定的參照影像，透過選擇部1023而從解碼圖像緩衝區1022加以取得。然後，預測影像生成部1034係基於條目中所含之運動視差向量，對所讀出之參照影像實施補償處理，生成預測影像。
如以上，生成預測影像的處理，係以事前準備的所有畫面間預測模式，而被進行。亦即，會生成尺寸不同的目前區塊之預測影像。預測影像生成部1034，係將已被生成之預測影像，連同對應之畫面間預測模式及向量索引，一起供給至算出部1035。
算出部1035係基於從預測影像生成部1034所供給之預測影像、畫面間預測模式、及向量索引、以及從畫面排序緩衝區1012所供給之影像，而對每一預測影像，算出成本函數值。算出部1035係將預測影像、對應之成本函數值、畫面間預測模式、及向量索引，供給至最佳模式決定部1036。
最佳模式決定部1036，係將從算出部1035所供給之成本函數值為最小的預測影像的畫面間預測模式，決定成最佳的畫面間預測模式。最佳模式決定部1036，係將最佳的畫面間預測模式的預測影像與成本函數值，供給至預測影像選擇部1026。
又，最佳模式決定部1036係若被預測影像選擇部1026選擇了合併畫面間預測部1030所生成之預測影像的情況下，則將表示最佳畫面間預測模式之資訊、和作為運動視差向量資訊的含有向量索引之畫面間預測資訊，供給至可逆編碼部1016。
(影像編碼裝置之處理的說明)
圖4係圖1的影像編碼裝置1000的串流生成處理的 說明用流程圖。此串流生成處理，係在多視點影像被輸入時，會被開始。
於步驟S11中，影像編碼裝置1000的編碼部1001係基於從設定部1002所供給之基於使用者輸入等而被設定的限制識別資訊，而進行將各視點之影像予以編碼的編碼處理。此編碼處理的細節，將參照後述的圖5來說明。
於步驟S12中，設定部1002係將含有限制識別資訊的SPS,PPS等之參數集，予以設定。於步驟S13中，設定部1002係對從編碼部1001所供給之編碼資料，附加上參數集而生成編碼串流，供給至傳輸部1003。
於步驟S14中，傳輸部1003係將從設定部1002所供給之編碼串流，傳輸至後述的解碼裝置。
圖5係圖4的步驟S11的編碼處理之細節的說明用流程圖。此編碼處理，係對多視點影像的每一視點進行。
於步驟S101中，A/D轉換部1011係將所輸入之影像進行A/D轉換。於步驟S102中，畫面排序緩衝區1012係將已被A/D轉換之影像加以記憶，進行從各圖像之顯示順序往編碼之順序的排序。
於步驟S103中，畫面內預測部1024係進行事前準備之複數畫面內預測模式的畫面內預測處理，生成預測影像。又，畫面內預測部1024係針對每一畫面內預測模式，基於預測影像和從畫面排序緩衝區1012所供給 之影像，算出成本函數值。然後，畫面內預測部1024係將成本函數值最小的畫面內預測模式，選擇成為最佳之畫面內預測模式。畫面內預測部1024，係將以該最佳之畫面內預測模式所生成之預測影像和成本函數值，供給至預測影像選擇部1026。
於步驟S104中，運動視差預測．補償部1025，係基於從設定部1002所供給之限制識別資訊，而進行事前準備之複數畫面間預測模式的畫面間預測處理，生成預測影像。又，運動視差預測．補償部1025係針對每一畫面間預測模式，基於預測影像和從畫面排序緩衝區1012所供給之影像，算出成本函數值。然後，運動視差預測．補償部1025係將成本函數值最小之畫面間預測模式，選擇成為最佳之畫面間預測模式。運動視差預測．補償部1025，係將以該最佳之畫面間預測模式所生成之預測影像和成本函數值，供給至預測影像選擇部1026。
於步驟S105中，預測影像選擇部1026係在從畫面內預測部1024所供給之預測影像、和從運動視差預測．補償部1025所供給之預測影像當中，選擇成本函數值較小者。從畫面內預測部1024所供給之預測影像被選擇時，畫面內預測部1024係將畫面內預測資訊供給至可逆編碼部1016。另一方面，若從運動視差預測．補償部1025所供給之預測影像被選擇，則運動視差預測．補償部1025，係將畫面間預測資訊供給至可逆編碼部1016。
於步驟S106中，演算部1013係演算被步驟 S102之處理所排序過的影像、與被步驟S105之處理所選擇之預測影像的差分。已被生成之差分資訊，係相較於原始的影像資料，資料量是較為減少。因此，相較於把影像直接進行編碼的情形，可壓縮資料量。
於步驟S107中，正交轉換部1014係將步驟S106之處理所生成的差分資訊，進行正交轉換。具體而言，會進行離散餘弦轉換、卡忽南-拉維轉換等之正交轉換，而輸出正交轉換係數。於步驟S108中，量化部1015係將藉由步驟S107之處理所得到的正交轉換係數，予以量化。
被步驟S108之處理所量化之差分資訊，係如以下所述般地被局部性解碼。亦即，於步驟S109中，逆量化部1018係將步驟S108之處理所生成的已被量化之正交轉換係數，以量化部1015之特性所對應的特性，進行逆量化。於步驟S110中，逆正交轉換部1019係將步驟S109之處理所得到之正交轉換係數，以正交轉換部1014之特性所對應之特性，進行逆正交轉換。藉此，差分資訊就被復原。
於步驟S111中，演算部1020係將步驟S105中所選擇的預測影像，加算至步驟S110中所生成之差分資訊，生成重建影像。
於步驟S112中，迴圈濾波器1021係對步驟S111之處理所得到的重建影像，適宜進行包含去區塊濾波處理或適應迴圈濾波處理等的濾波處理，生成解碼影像 。迴圈濾波器1021，係將濾波處理中所使用的濾波係數等，供給至可逆編碼部1016。
於步驟S113中，解碼圖像緩衝區1022，係將步驟S112之處理所生成之解碼影像等、及步驟S111之處理所生成之重建影像等，加以記憶。多視點解碼圖像緩衝區1027，係將步驟S112之處理所生成之解碼影像等，加以記憶。
於步驟S114中，可逆編碼部1016係將藉由步驟S108之處理而被量化之正交轉換係數，進行可逆編碼，生成編碼處理。又，可逆編碼部1016係將畫面內預測資訊或畫面間預測資訊、濾波係數等予以編碼，生成標頭資訊。然後，可逆編碼部1016係從編碼影像和標頭資訊，生成編碼資料。
於步驟S115中，積存緩衝區1017係將步驟S114之處理所得到的編碼資料，加以積存。積存緩衝區1017所積存之編碼資料，係被適宜讀出，供給至圖1的設定部1002。
於步驟S116中，量化部1015係基於被步驟S115之處理而積存在積存緩衝區1017中的編碼資料的編碼量(發生編碼量)，控制量化動作之速率，使其不會發生溢位或下溢。
一旦步驟S116的處理結束，則處理就回到圖4的步驟S11，進行步驟S12的處理。
圖6係圖5的步驟S104的畫面間預測處理當 中的合併模式之畫面間預測處理亦即合併畫面間預測處理的說明用流程圖。此合併畫面間預測處理，係在合併模式下將多視點影像進行編碼時，以圖像單位而被進行。
於步驟S1201中，合併畫面間預測部1030的參照清單生成部1031(圖3)，係判定從設定部1002所供給之限制識別資訊(restricted_ref_pic_lists_flag)是否為1。若步驟S1201中被判定為限制識別資訊是1，則處理係前進至步驟S1202。
於步驟S1202中，參照清單生成部1031係生成圖像單位的參照清單並保持之。用來生成此參照清單所需的資訊，例如，是被圖2的可逆編碼部1016所編碼，成為標頭資訊的一部分而含在編碼資料中。
於步驟S1203中，選擇部1032係在參照清單生成部1031所生成的參照清單L0之中，探索出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。
具體而言，選擇部1032係對參照清單L0，由小而大之順序探索1以上之參照索引，一直探索直到找到與參照索引「0」之參照圖像類型不同之參照圖像類型之參照影像的參照影像特定資訊。
例如，參照索引「0」的參照圖像類型是Short-term時，選擇部1032係由小而大之順序持續探索1以上之參照索引，直到找到將參照圖像類型為Long-term之參照影像的參照影像特定資訊含在條目中的參照索引。
另一方面，若參照索引「0」所對應之參照圖像類型是Long-term時，則選擇部1032係由小而大之順序持續探索1以上之參照索引，直到找到將參照圖像類型為Short-term之參照影像的參照影像特定資訊含在條目中的參照索引。選擇部1032係將探索到的參照索引的條目中所含之參照影像特定資訊，供給至預測影像生成部1034。
於步驟S1204中，選擇部1032係在藉由參照清單生成部1031而生成了之參照清單L1的情況下，係和參照清單L0的情況同樣地，在參照清單L1之中，探索出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。選擇部1032係將探索到的參照索引的條目中所含之參照影像特定資訊，供給至預測影像生成部1034。又，選擇部1032係將參照索引「0」的條目中所含之參照影像特定資訊，供給至預測影像生成部1034。
以後的步驟S1205、S1206、及S1209至S1212之處理，係對各畫面間預測模式的每一預測區塊進行之。
於步驟S1205中，合併候補清單生成部1033係生成，把所有的同位區塊的參照圖像類型、連同對應之運動視差向量當作預測向量之候補而登錄成條目的合併候補清單，並保持之。
於步驟S1206中，預測影像生成部1034係針對合併候補清單的每一條目，判定目前區塊的參照圖像類 型、和該條目中所含之同位區塊的參照圖像類型，是否一致。然後，預測影像生成部1034係若參照圖像類型為不同，則將從選擇部1032所供給之參照影像特定資訊當中的0以外之參照索引的參照影像特定資訊，選擇成為目前區塊的參照影像特定資訊。
另一方面，若參照圖像類型為相同，則預測影像生成部1034係將從選擇部1032所供給之參照影像特定資訊當中的參照索引「0」的參照影像特定資訊，選擇成為目前區塊的參照影像特定資訊。然後，處理係前進至步驟S1210。
另一方面，在步驟S1201中，若判定限制識別資訊並非1，亦即，限制識別資訊是0的情況下，則於步驟S1207中，參照清單生成部1031係生成切片單位之參照清單，並保持之。用來生成此參照清單所需的資訊，例如，是被可逆編碼部1016所編碼，成為標頭資訊的一部分而含在編碼資料中。
於步驟S1208中，選擇部1032係將所生成之參照清單的參照索引「0」的參照影像特定資訊，供給至預測影像生成部1034。預測影像生成部1034，係將該參照影像特定資訊，當作目前區塊的參照影像特定資訊。
於步驟S1209中，合併候補清單生成部1033係目前區塊的參照圖像類型與各同位區塊的參照圖像類型，是否一致。然後，合併候補清單生成部1033係當同位區塊的參照圖像類型是與目前區塊的參照圖像類型不同時 ，則將該同位區塊的運動視差向量，從預測向量之候補中排除，生成合併候補清單，並保持之。然後，處理係前進至步驟S1210。
於步驟S1210中，預測影像生成部1034係基於被目前區塊的參照影像特定資訊所特定的參照影像、和合併候補清單的各條目中所含之預測向量，來生成預測影像。預測影像生成部1034，係將已被生成之預測影像，連同對應之畫面間預測模式及向量索引，一起供給至算出部1035。
於步驟S1211中，算出部1035係基於從預測影像生成部1034而來的預測影像、畫面間預測模式、及向量索引、以及從畫面排序緩衝區1012所供給之影像，而對每一預測影像，算出成本函數值。算出部1035係將預測影像、對應之成本函數值、畫面間預測模式、及向量索引，供給至最佳模式決定部1036。
於步驟S1212中，最佳模式決定部1036，係將從算出部1035所供給之成本函數值為最小的預測影像的畫面間預測模式，選擇成為最佳的畫面間預測模式。最佳模式決定部1036，係將最佳的畫面間預測模式的預測影像與成本函數值，供給至預測影像選擇部1026。然後，處理係結束。
(影像解碼裝置的構成例)
圖7係將從圖1的影像編碼裝置1000所傳輸過來的 編碼串流予以解碼，作為適用了本揭露之影像處理裝置的影像解碼裝置的第1實施形態之構成例的區塊圖。
圖7的影像解碼裝置1100，係由收取部1101、抽出部1102、及解碼部1103所構成。
影像解碼裝置1100的收取部1101，係收取從影像編碼裝置1000所傳輸過來的編碼串流，供給至抽出部1102。
抽出部1102，係從收取部1101所供給之編碼串流中，抽出含有限制識別資訊的SPS,PPS等之參數集和多視點影像的編碼資料，供給至解碼部1103。
解碼部1103係對於從抽出部1102所供給之編碼資料，以對應於影像編碼裝置1000的方式，進行畫面內解碼，或者，運動預測或視差預測所致之畫面間解碼。具體而言，解碼部1103係在從抽出部1102所供給之SPS中所含之限制識別資訊是1的情況下，在合併模式時，是以非專利文獻2所記載之方法來進行合併的TMVP。解碼部1103係將解碼結果所得之多視點影像，予以輸出。
(解碼部的構成例)
圖8係圖7的解碼部1103之構成例的區塊圖。
圖8的解碼部1103係以對應於圖2之編碼部1001的方式，將多視點影像針對每一視點進行解碼。
解碼部1103係具有：積存緩衝區1121、可逆解碼部1122、逆量化部1123、逆正交轉換部1124、演算 部1125、迴圈濾波器1126、畫面排序緩衝區1127、及D/A轉換部1128。又，解碼部1103係具有：解碼圖像緩衝區1129、選擇部1130、畫面內預測部1131、運動視差補償部1132、選擇部1133、及多視點解碼圖像緩衝區1134。
積存緩衝區1121，係將從圖7之抽出部1102所供給之編碼資料予以積存，在所定之時序上將該編碼資料供給至可逆解碼部1122。可逆解碼部1122，係將從積存緩衝區1121所供給的編碼資料，以對應於可逆編碼部1016之編碼方式的方式，進行解碼。可逆解碼部1122，係將解碼所得之已被量化的正交轉換係數，供給至逆量化部1123。
又，可逆解碼部1122係將編碼資料解碼所得之畫面內預測資訊，供給至畫面內預測部1131，將畫面間預測資訊等，供給至運動視差補償部1132。可逆解碼部1122，係將編碼資料解碼所得之濾波係數等，供給至迴圈濾波器1126。
逆量化部1123，係將從可逆解碼部1122所供給之已被量化之正交轉換係數，以圖2之量化部1015之量化方式所對應之方式，進行逆量化，將所得到之正交轉換係數，供給至逆正交轉換部1124。逆正交轉換部1124係以對應於圖2之正交轉換部1014之正交轉換方式的方式，將從逆量化部1123所供給之正交轉換係數，進行逆正交轉換。
逆正交轉換所得到的差分資訊，係被供給至演算部1125。又，對演算部1125，係透過選擇部1133，而從畫面內預測部1131或運動視差補償部1132，供給著預測影像。
演算部1125，係將差分資訊與預測影像進行加算，獲得重建影像。演算部1125，係將該重建影像，供給至迴圈濾波器1126和解碼圖像緩衝區1129。
迴圈濾波器1126，係使用從可逆解碼部1122所供給之濾波係數等，對來自演算部1125的重建影像，實施和圖2之迴圈濾波器1021相同的濾波處理，生成解碼影像。
迴圈濾波器1126，係將解碼影像供給至畫面排序緩衝區1127及解碼圖像緩衝區1129。
畫面排序緩衝區1127，係所被供給之解碼影像的排序。亦即，藉由圖2的畫面排序緩衝區1012而被排序成編碼之順序的畫格之順序，係被排序成原本的顯示順序。D/A轉換部1128，係將從畫面排序緩衝區1127所供給之解碼影像進行D/A轉換，輸出至未圖示之顯示器而顯示之。
解碼圖像緩衝區1129，係將所被供給之重建影像以及該影像的視點ID及POC、和解碼影像以及該影像的視點ID及POC，加以記憶。又，解碼圖像緩衝區1129，係於所定之時序上，或是基於畫面內預測部1131等的外部要求，而將所記憶之重建影像以及該影像的視點 ID及POC，透過選擇部1130而供給至畫面內預測部1131。
又，解碼圖像緩衝區1129，係於所定之時序上，或是基於運動視差補償部1132等的外部要求，而將所記憶之解碼影像以及該影像的視點ID及POC，透過選擇部1130而供給至運動視差補償部1132。
畫面內預測部1131係基於從可逆解碼部1122所供給之畫面內預測模式資訊所示的畫面內預測資訊，而從解碼圖像緩衝區1129透過選擇部1130將重建影像當作周邊影像而加以取得，當作預測影像。畫面內預測部1131係將預測影像，透過選擇部1133而供給至演算部1125。
運動視差補償部1132，係基於從可逆解碼部1122所供給之畫面間預測資訊和從抽出部1102所供給之限制識別資訊，而將解碼影像當作參照影像而予以讀出，實施補償處理。運動視差補償部1132，係將其結果所生成之預測影像，透過選擇部1133而供給至演算部1125。
選擇部1133係將從畫面內預測部1131所供給之預測影像、或從運動視差補償部1132所供給之預測影像，供給至演算部1125。
雖然解碼圖像緩衝區1129係僅將處理對象之視點的影像、以及該影像的視點ID及POC，加以記憶，但多視點解碼圖像緩衝區1134係亦可記憶各視點之影像、以及該影像的視點ID及POC。亦即，多視點解碼圖像緩衝區1134係亦可將已被供給至解碼圖像緩衝區1129的 解碼影像、以及該解碼影像的視點ID及POC，加以取得，一併記憶在解碼圖像緩衝區1129中。
解碼圖像緩衝區1129，係一旦處理對象之視點改變，則將該解碼影像予以消去，但多視點解碼圖像緩衝區1134係亦可繼續保持之。然後，依照解碼圖像緩衝區1129等之要求，將所記憶之解碼影像以及該解碼影像的視點ID及POC，當作「非處理對象之視點的解碼影像」，供給至解碼圖像緩衝區1129。解碼圖像緩衝區1129，係將從多視點解碼圖像緩衝區1134所讀出的「非處理對象之視點的解碼影像、以及該解碼影像之視點ID及POC」，透過選擇部1130而供給至運動視差補償部1132。
(合併畫面間預測部的構成例)
圖9係圖8的運動視差補償部1132當中，以合併模式進行畫面間預測的合併畫面間預測部1150之構成例的區塊圖。
圖9的合併畫面間預測部1150係由參照清單生成部1151、選擇部1152、合併候補清單生成部1153、及預測影像生成部1154所構成。
合併畫面間預測部1150的參照清單生成部1151，係基於從可逆解碼部1122所供給之生成參照清單所需的資訊和限制識別資訊，而生成和圖3之參照清單生成部1031所生成之參照清單相同的參照清單。參照清單係被保持在參照清單生成部1151中。
選擇部1152係基於來自抽出部1102的限制識別資訊，而和圖3的選擇部1032同樣地，從參照清單中選擇出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。選擇部1152係將已被選擇之參照索引的參照影像特定資訊和參照索引「0」的參照影像特定資訊，供給至預測影像生成部1154。
合併候補清單生成部1153係針對來自圖8之可逆解碼部1122的畫面間預測資訊所示的畫面間預測模式的預測區塊，和圖3之合併候補清單生成部1033同樣地，基於限制識別資訊而生成合併候補清單。合併候補清單生成部1153，係將已被生成之合併候補清單，加以保持。
預測影像生成部1154，係將畫面間預測資訊中所含之向量索引的條目，從合併候補清單中讀出。預測影像生成部1154係若所被讀出之條目中所含之參照圖像類型是與目前區塊之參照圖像類型相同，則從選擇部1152取得參照索引「0」的參照影像特定資訊。
另一方面，若條目中所含之參照圖像類型是與目前區塊之參照圖像類型不同，則預測影像生成部1154係從選擇部1152取得參照索引「0」以外之參照索引的參照影像特定資訊。預測影像生成部1154，係將被已取得之參照影像特定資訊所特定的參照影像，透過選擇部1130而從解碼圖像緩衝區1022加以取得。
預測影像生成部1154係基於條目中所含之運 動視差向量，對所讀出之參照影像實施補償處理，生成預測影像。預測影像生成部1154，係將已被生成之預測影像，供給至選擇部1133。
(影像解碼裝置之處理的說明)
圖10係圖7的影像解碼裝置1100的影像生成處理的說明用流程圖。此影像生成處理，係例如，從影像編碼裝置1000發送了編碼串流過來時，就會開始。
於步驟S1221中，影像解碼裝置1100的收取部1101，係收取從影像編碼裝置1000所傳輸過來的編碼串流，供給至抽出部1102。
於步驟S1222中，抽出部1102，係從收取部1101所供給之編碼串流中，抽出含有限制識別資訊的SPS,PPS等之參數集和編碼資料，供給至解碼部1103。
於步驟S1223中，解碼部1103係對於從抽出部1102所供給之編碼資料，針對每一視點以對應於影像編碼裝置1000的方式進行解碼處理。此解碼處理的細節，將參照後述的圖11來說明。步驟S1223的處理後，處理便結束。
圖11係圖10的步驟S1223的解碼處理之細節的說明用流程圖。此解碼處理，係對多視點影像之編碼資料，每一視點地進行。
於步驟S1241中，積存緩衝區1121係將從抽出部1102所供給之編碼資料，加以積存。於步驟S1242 中，可逆解碼部1122係將從積存緩衝區1121所供給之編碼資料，進行可逆解碼。可逆解碼部1122，係將解碼所得之已被量化的正交轉換係數，供給至逆量化部1123。
又，可逆解碼部1122係將編碼資料解碼所得之畫面內預測資訊，供給至畫面內預測部1131，將畫面間預測資訊等，供給至運動視差補償部1132。可逆解碼部1122，係將編碼資料解碼所得之濾波係數等，供給至迴圈濾波器1126。
於步驟S1243中，逆量化部1123，係將從可逆解碼部1122所供給之已被量化之正交轉換係數，以圖2之量化部1015之量化方式所對應之方式，進行逆量化，將所得到之正交轉換係數，供給至逆正交轉換部1124。
於步驟S1244中，逆正交轉換部1124係以對應於圖2之正交轉換部1014之正交轉換方式的方式，將從逆量化部1123所供給之正交轉換係數，進行逆正交轉換。逆正交轉換部1124，係藉由此逆正交轉換而獲得差分資訊，供給至演算部1125。
於步驟S1245中，畫面內預測部1131係當從可逆解碼部1122供給了畫面內預測資訊時，基於畫面內預測資訊而進行畫面內預測處理。又，運動視差補償部1132，係當從可逆解碼部1122供給了畫面間預測資訊時，基於畫面間預測資訊和來自抽出部1102的限制識別資訊，而進行畫面間預測處理。畫面內預測處理或畫面間預測處理之結果所得的預測影像，係透過選擇部1133而被 供給至演算部1125。
於步驟S1246中，演算部1125係將差分資訊與預測影像進行加算，生成重建影像。
於步驟S1247中，迴圈濾波器1126係使用從可逆解碼部1122所供給之濾波係數等，而對演算部1125所生成之重建影像，進行濾波處理。藉此，就會生成解碼影像。
於步驟S1248中，畫面排序緩衝區1127係進行迴圈濾波器1126所生成之解碼影像的排序。亦即，已被編碼部1001的畫面排序緩衝區1012為了進行編碼而排序過的畫格之順序，會被排序成原本的顯示順序。
於步驟S1249中，D/A轉換部1128係將已被畫面排序緩衝區1127所排序的解碼影像，進行D/A轉換。此解碼影像係被輸出至未圖示的顯示器而顯示之。
於步驟S1250中，解碼圖像緩衝區1129和多視點解碼圖像緩衝區1134，係將迴圈濾波器1126所生成之解碼影像等，加以記憶。此解碼影像，係於畫面間預測處理中，被當作參照影像而利用。又，解碼圖像緩衝區1129係將演算部1125所生成之重建影像等，予以記憶。此重建影像，係於畫面內預測處理中，被當作周邊影像而利用。
一旦步驟S1250的處理結束，則處理就回到圖10的步驟S1223，結束處理。
圖12係圖11的步驟S1245的預測處理當中 的合併模式之畫面間預測處理亦即合併畫面間預測處理的說明用流程圖。此合併畫面間預測處理，係在合併模式下將多視點影像進行解碼時，以圖像單位而被進行。
於圖12的步驟S1301中，合併畫面間預測部1150的參照清單生成部1151(圖9)，係判定從抽出部1102所供給之限制識別資訊(restricted_ref_pic_lists_flag)是否為1。若步驟S1301中被判定為限制識別資訊是1，則處理係前進至步驟S1302。
於步驟S1302中，參照清單生成部1151係基於從可逆解碼部1122所供給之生成參照清單所需的資訊，而生成圖像單位之參照清單，並保持之。
於步驟S1303中，選擇部1152係在參照清單生成部1151所生成的參照清單L0之中，探索出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。
於步驟S1304中，選擇部1152係在藉由參照清單生成部1031而生成了之參照清單L1的情況下，係和參照清單L0的情況同樣地，在參照清單L1之中，探索出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。
以後的步驟S1305、S1306、S1309、及S1310之處理，係以畫面間預測資訊所示之最佳畫面間預測模式的預測區塊單位而被進行。
於步驟S1305中，合併候補清單生成部1153 係生成，把所有的同位區塊的參照圖像類型、連同對應之運動視差向量當作預測向量之候補而登錄成條目的合併候補清單，並保持之。
於步驟S1306中，預測影像生成部1154係判定，目前區塊的參照圖像類型、和畫面間預測資訊中所含之向量索引的合併候補清單的條目中所含之同位區塊的參照圖像類型，是否一致。然後，預測影像生成部1034係若參照圖像類型為不同，則將從選擇部1152所供給之參照影像特定資訊當中的0以外之參照索引的參照影像特定資訊，選擇成為目前區塊的參照影像特定資訊。
另一方面，若參照圖像類型為相同，則預測影像生成部1154係將從選擇部1152所供給之參照影像特定資訊當中的參照索引「0」的參照影像特定資訊，選擇成為目前區塊的參照影像特定資訊。
然後，處理係前進至步驟S1310。
另一方面，在步驟S1301中，若判定限制識別資訊並非1，亦即，限制識別資訊是0的情況下，則於步驟S1307中，參照清單生成部1151係基於從可逆解碼部1122所供給之用來生成參照清單所需之資訊，而生成切片單位的參照清單，並保持之。
於步驟S1308中，選擇部1152係將所生成之參照清單的參照索引「0」的參照影像特定資訊，供給至預測影像生成部1154。預測影像生成部1154，係將該參照影像特定資訊，當作目前區塊的參照影像特定資訊。
於步驟S1309中，合併候補清單生成部1153係目前區塊的參照圖像類型與各同位區塊的參照圖像類型，是否一致。然後，合併候補清單生成部1153係當同位區塊的參照圖像類型是與目前區塊的參照圖像類型不同時，則將該同位區塊的運動視差向量，從預測向量之候補中排除，生成合併候補清單，並保持之。然後，處理係前進至步驟S1310。
於步驟S1310中，預測影像生成部1154係基於被目前區塊的參照影像特定資訊所特定的參照影像、和畫面間預測資訊中所含之向量索引的合併候補清單的條目中所含之預測向量，來生成預測影像。然後，結束處理。
在非專利文獻2的發明中，是以切片單位，進行與參照索引「0」之參照圖像類型不同之參照圖像類型的最小之參照索引的探索。在HEVC規格中，切片最大可分割至600切片為止。又，參照索引的數目，在各清單中最多可指定16張。因此，非專利文獻2的探索處理中的探索次數，係在Worst case下，係為600(切片張數)×[15(L0之參照索引16張-1(為了從索引1中進行探索))+15((L1之參照索引16枚-1(為了從索引1中進行探索)))]=18,000次。
相對於此，在第1實施形態中，係只有當限制識別資訊是1的情況下，是以圖像單位，進行與參照索引「0」之參照圖像類型不同之參照圖像類型的最小之參照索引的探索。藉此，最糟情況的探索次數，可削減成 1/600倍之30次。
<2.第2實施形態>
(影像編碼裝置的構成例)
圖13係適用了本揭露之作為影像處理裝置的影像編碼裝置的第2實施形態之構成例的區塊圖。
圖13的影像編碼裝置1300，係由編碼部1301、設定部1302、及傳輸部1303所構成。影像編碼裝置1300係基於用來識別參照清單有被變更之事實的變更識別資訊(lists_modification_present_flag)，而進行與參照索引「0」之參照圖像類型不同之參照圖像類型的最小之參照索引的探索。
具體而言，影像編碼裝置1300的編碼部1301，係對從外部輸入的多視點影像，進行畫面內編碼，或者，運動預測或視差預測所致之畫面間編碼。畫面間編碼時，編碼部1301係會參照從設定部1302所供給的變更識別資訊。
更詳言之，若變更識別資訊是表示參照清單被變更的1，則編碼部1301係在合併模式時，以非專利文獻2所記載之方法進行合併之TMVP。亦即，編碼部1301係進行與參照索引「0」之參照圖像類型不同之參照圖像類型的最小值之參照索引的探索。
另一方面，若變更識別資訊是表示參照清單未被變更的0，則編碼部1301係在合併模式時，不進行 參照索引的最小值之探索，將所定之參照索引，視為與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引。編碼部1301係將編碼結果所得的編碼資料，供給至設定部1302。
設定部1302係基於使用者輸入等，設定變更識別資訊、含有Short-term圖像之數目的RPS(Reference Picture Set)、Long-term圖像之數目、參照影像之數目等，供給至編碼部1301。所謂Short-term圖像係為，參照圖像類型是Short-term的參照影像；所謂Long-term圖像係為，參照圖像類型是Long-term的參照影像。
設定部1302，係設定含有Long-term圖像之數目、參照影像之數目等的SPS、含有變更識別資訊的PPS等。設定部1302，係對從編碼部1301所供給之編碼資料，附加上SPS,PPS,RPS等之參數集而生成編碼串流，供給至傳輸部1303。
傳輸部1303，係將從設定部1302所供給之編碼串流，傳輸至後述的解碼裝置。
(編碼部的構成例)
圖13的編碼部1301的構成，係除了運動視差預測．補償部1025的合併畫面間預測部外，其餘是與圖2的編碼部1001之構成相同。因此，此處僅說明編碼部1301的合併畫面間預測部之構成。
(合併畫面間預測部的構成例)
圖14係圖13之編碼部1301的合併畫面間預測部1320之構成的區塊圖。
在圖14所示的構成當中，和圖3之構成相同的構成係標示相同符號。至於重複的說明則會適宜省略。
圖14的合併畫面間預測部1320之構成，係取代了參照清單生成部1031、選擇部1032、合併候補清單生成部1033，改為設置、參照清單生成部1321、選擇部1322、合併候補清單生成部1323這點，是與圖3的合併畫面間預測部1030之構成不同。
合併畫面間預測部1320的參照清單生成部1321，係以切片單位生成參照清單並保持之。作為參照清單的生成方法，係可使用和參照清單生成部1031同樣的方法。
選擇部1322從參照清單生成部1321中所保持的參照清單，偵測出參照索引「0」的參照影像特定資訊，供給至預測影像生成部1034。又，選擇部1322係若來自設定部1302的變更識別資訊是1，則從參照清單，選擇出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。選擇部1032，係將該參照索引的參照影像特定資訊，供給至預測影像生成部1034。
另一方面，若變更識別資訊是0，則選擇部1322係基於來自設定部1302的RPS、Long-term圖像之數目、參照影像之數目等，來決定與參照索引「0」不同 之參照圖像類型所對應之參照索引的最小值。選擇部1032，係將該參照索引的參照影像特定資訊從參照清單中偵測出來，供給至預測影像生成部1034。
合併候補清單生成部1323係生成，把所有的同位區塊的參照圖像類型、連同對應之運動視差向量當作預測向量之候補而登錄成條目的合併候補清單。合併候補清單生成部1033，係將已被生成之合併候補清單，加以保持。
(影像編碼裝置之處理的說明)
圖15係圖13的影像編碼裝置1300的串流生成處理的說明用流程圖。此串流生成處理，係在多視點影像被輸入時，會被開始。
於步驟S1321中，影像編碼裝置1300的編碼部1301係基於從設定部1302所供給之變更識別資訊，而進行將各視點之影像予以編碼的編碼處理。此編碼處理的細節將於後述。
於步驟S1322中，設定部1302係基於使用者輸入等，設定變更識別資訊而供給至編碼部1301，並且設定含有變更識別資訊的PPS。又，設定部1302係設定Long-term圖像之數目、參照影像之數目而供給至編碼部1301，並且設定含有Long-term圖像之數目、參照影像之數目等的SPS。然後，設定部1302係設定含有Short-term圖像之數目的RPS，供給至編碼部1301。
於步驟S1323中，設定部1302係對從編碼部1301所供給之編碼資料，附加上SPS,PPS,RPS等參數集而生成編碼串流，供給至傳輸部1303。
於步驟S1324中，傳輸部1303係將從設定部1302所供給之編碼串流，傳輸至後述的解碼裝置，結束處理。
圖15的步驟S1321的編碼處理，係除了合併畫面間預測處理以外，其餘和圖5的編碼處理相同。因此，以下係僅針對合併畫面間預測處理加以說明。
圖16係影像編碼裝置1300的合併畫面間預測部1320(圖14)所執行的合併畫面間預測處理的說明用流程圖。此合併畫面間預測處理，係在合併模式下將多視點影像進行編碼時，以切片單位而被進行。
於圖16的步驟S1400中，合併畫面間預測部1320的參照清單生成部1321，係生成參照清單，並保持之。用來生成此參照清單所需的資訊，例如，被編碼成為標頭資訊的一部分而含在編碼資料中。
於步驟S1401中，選擇部1322係判定從設定部1302所供給之變更識別資訊(lists_modification_present_flag)，是否為表示參照清單未被變更的0。
當步驟S1401中被判定為變更識別資訊是0時，則處理係前進至步驟S1402。於步驟S1402中，選擇部1322係進行參照索引特定處理，特定出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小 值。此參照索引特定處理的細節，將參照圖17而後述。步驟S1402之處理後，處理係前進至步驟S1405。
另一方面，當步驟S1401中判定變更識別資訊不是0時，亦即變更識別資訊是1，則處理係前進至步驟S1403。步驟S1403乃至S1409之處理，係和圖6的步驟S1203乃至S1206及S1210至S1212之處理相同，因此省略說明。步驟S1409的處理後，處理便結束。
圖17係圖16的步驟S1402的參照索引特定處理之細節的說明用流程圖。
於圖17的步驟S1451中，選擇部1322係取得從設定部1302所供給之RPS中所含之Short-term圖像之數目。於步驟S1452中，選擇部1322係取得從設定部1302所供給之SPS中所含之Long-term圖像之數目。此外，Long-term圖像之數目，係亦可被含在切片標頭中。
於步驟S1453中，選擇部1322係取得從設定部1302所供給之PPS中所含之參照影像之數目。此外，參照影像之數目，係亦可被含在切片標頭中。又，以後的步驟S1454至S1457之處理，係針對參照清單L0與參照清單L1分別進行。
於步驟S1454中，選擇部1322係判定參照影像之張數是否為2張以上。若步驟S1454中判定為參照影像之張數是2張以上，則於步驟S1455中，選擇部1322係判定Long-term圖像的張數是否為1張以上。
若步驟S1455中判定為Long-term圖像的張 數是1張以上，則於步驟S1456中，選擇部1322係判定Short-term圖像的數目是否為1張以上。
若步驟S1456中判定為Short-term圖像之數目是1張以上，則於步驟S1457中，選擇部1322係判定Short-term圖像的總數，是否小於參照影像的張數。
若步驟S1457中判定Short-term圖像的總數是小於參照影像的張數，亦即，參照清單中被登錄有Short-term圖像與Long-term圖像雙方之參照影像特定資訊的情況下，則處理係前進至步驟S1458。於步驟S1458中，選擇部1322係取得最初的Long-term圖像的參照索引。
此處，若變更識別資訊是0，則如圖18所示，以Short-term、Long-term之順序，分配較小的參照索引。因此，參照索引0一定是Short-term，所以選擇部1322係只要檢索最初的Long-term圖像的參照索引即可。由於從RPS可以獲知參照清單內的Short-term圖像之數目，因此選擇部1322係將其數目，當作具有最小參照索引之最初的Long-term圖像的參照索引，而加以取得。選擇部1322，係將該參照索引與參照索引「0」的參照影像特定資訊，供給至預測影像生成部1034。然後，處理係返回至圖16的步驟S1402，前進至步驟S1405。
另一方面，若步驟S1454至S1457之處理中判定為否，則處理係前進至步驟S1459。
於步驟S1459中，選擇部1322係將所生成之 參照清單的參照索引「0」的參照影像特定資訊，供給至預測影像生成部1034。預測影像生成部1034，係將該參照影像特定資訊，當作目前區塊的參照影像特定資訊。
於步驟S1460中，合併候補清單生成部1323係參照索引「0」的參照圖像類型與各同位區塊的參照圖像類型，是否一致。然後，合併候補清單生成部1323係當同位區塊的參照圖像類型是與參照索引「0」的參照圖像類型不同時，則將該同位區塊的運動視差向量，從預測向量之候補中排除，生成合併候補清單。然後，處理係進入圖16的步驟S1407，進行以後的處理。
(解碼裝置的構成例)
圖19係將從圖13的影像編碼裝置1300所傳輸過來的編碼串流予以解碼，作為適用了本揭露之影像處理裝置的影像解碼裝置的第2實施形態之構成例的區塊圖。
圖19的影像解碼裝置1400，係由收取部1401、抽出部1402、及解碼部1403所構成。
影像解碼裝置1400的收取部1401，係收取從影像編碼裝置1300所傳輸過來的編碼串流，供給至抽出部1402。
抽出部1402，係從收取部1401所供給之編碼串流中，抽出SPS、含有變更識別資訊的PPS、RPS等之參數集和編碼資料，供給至解碼部1403。
解碼部1403係對於從抽出部1402所供給之 編碼資料，以對應於影像編碼裝置1300的方式，進行畫面內解碼，或者，運動預測或視差預測所致之畫面間解碼。具體而言，解碼部1103係若從抽出部1102所供給之PPS中所含之變更識別資訊為1，在合併模式時，進行與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引的探索。
另一方面，若變更識別資訊是0，則編碼部1301係在合併模式時，不進行參照索引之探索，將所定之參照索引，視為與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引。解碼部1403係將解碼結果所得之多視點影像，予以輸出。
(解碼部的構成例)
圖19的解碼部1403之構成，係除了運動視差補償部1132的合併畫面間預測部外，其餘是與圖8的解碼部1103之構成相同。因此，此處僅說明解碼部1403的合併畫面間預測部之構成。
(合併畫面間預測部的構成例)
圖20係圖19之解碼部1403的合併畫面間預測部1420之構成的區塊圖。
在圖20所示的構成當中，和圖9之構成相同的構成係標示相同符號。至於重複的說明則會適宜省略。
圖20的合併畫面間預測部1420之構成，係 取代了參照清單生成部1151、選擇部1152、合併候補清單生成部1153，改為設置、參照清單生成部1421、選擇部1422、合併候補清單生成部1423這點，是與圖9的合併畫面間預測部1150之構成不同。
合併畫面間預測部1420的參照清單生成部1421，係基於從可逆解碼部1122所供給之生成參照清單所需的資訊，而以切片單位來生成和圖14之參照清單生成部1321所生成之參照清單相同的參照清單。參照清單係被保持在參照清單生成部1421中。
選擇部1422係基於來自抽出部1102的變更識別資訊，而和圖14的選擇部1322同樣地，從參照清單中選擇出與參照索引「0」之參照圖像類型不同之參照圖像類型的參照索引之最小值。選擇部1422係將已被選擇之參照索引的參照影像特定資訊和參照索引「0」的參照影像特定資訊，供給至預測影像生成部1154。
合併候補清單生成部1423係針對來自可逆解碼部1122的畫面間預測資訊所示的畫面間預測模式的預測區塊，和圖14之合併候補清單生成部1323同樣地，生成合併候補清單。合併候補清單生成部1423，係將已被生成之合併候補清單，加以保持。
(影像解碼裝置之處理的說明)
圖21係圖19的影像解碼裝置1400的影像生成處理的說明用流程圖。此影像生成處理，係例如，從影像編碼 裝置1300發送了編碼串流過來時，就會開始。
於步驟S1471中，影像解碼裝置1400的收取部1401，係收取從影像編碼裝置1300所傳輸過來的編碼串流，供給至抽出部1402。
於步驟S1472中，抽出部1402係從收取部1401所供給之編碼串流中，抽出SPS、含有變更識別資訊的PPS、RPS等之參數集和編碼資料，供給至解碼部1403。
於步驟S1473中，解碼部1403係對於從抽出部1402所供給之編碼資料，針對每一視點以對應於影像編碼裝置1300的方式進行解碼處理。此解碼處理的細節將於後述。步驟S1473的處理後，處理便結束。
圖21的步驟S1473的解碼處理，係除了合併畫面間預測處理以外，其餘和圖11的解碼處理相同。因此，以下係僅針對合併畫面間預測處理加以說明。
圖22係圖20的合併畫面間預測部1420所執行的合併畫面間預測處理的說明用流程圖。此合併畫面間預測處理，係在合併模式下將多視點影像進行解碼時，以切片單位而被進行。
於圖22的步驟S1500中，合併畫面間預測部1420的參照清單生成部1421，係基於從可逆解碼部1122所供給之生成參照清單所需的資訊而生成參照清單，並保持之。
於步驟S1401中，選擇部1422係判定從抽出部 1402所供給之變更識別資訊(lists_modification_present_flag)是否為0。當步驟S1501中被判定為變更識別資訊是0時，則處理係前進至步驟S1502。
於步驟S1502中，選擇部1422係進行圖17的參照索引特定處理。但是，步驟S1460之處理，係以畫面間預測資訊所示之最佳畫面間預測模式的預測區塊單位而被進行。步驟S1502之處理後，處理係前進至步驟S1505。
當步驟S1501中被判定為變更識別資訊是1時，則處理係前進至步驟S1503。步驟S1503乃至S1507之處理，係和圖12的步驟S1303至S1306及S1310之處理相同，因此省略說明。步驟S1507的處理後，處理便結束。
如以上，在第2實施形態中，若變更識別資訊是0，則不探索參照索引，藉由參照索引特定處理來特定出參照索引，因此可削減處理量。
此外，亦可將第1實施形態與第2實施形態加以組合。此時，基於限制識別資訊和變更識別資訊，來進行合併畫面間預測處理。又，於第2實施形態中，參照清單係亦可以圖像單位而被生成。
又，上述一連串處理，係亦可適用於階層影像編碼(空間可調性)、階層影像解碼(多重圖層的編碼器、解碼器)。亦即，即使進行階層影像編碼、階層影像解碼時，也可削減處理量。
又，本技術係可適用於，例如，將像是MPEG、H.26x等這類藉由離散餘弦轉換等之正交轉換與運動補償所壓縮而成的影像資訊(位元串流)，透過衛星播送、有線電視、網際網路、或行動電話機等之網路媒介而收訊時所使用的影像編碼裝置及影像解碼裝置。又，本技術係可適用於，在光、磁碟、及快閃記憶體這類記憶媒體上進行處理之際所使用的影像編碼裝置及影像解碼裝置。再者，本技術係亦可適用於，這些影像編碼裝置及影像解碼裝置等中所含有的運動預測補償裝置。
<3.第3實施形態>
(電腦的構成例)
上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的通用之個人電腦等。
於圖23中，個人電腦1700的CPU(Central Processing Unit)1701，係依照ROM(Read Only Memory)1702中所記憶之程式，或從記憶部1713載入至RAM(Random Access Memory)1703中的程式，來執行各種處理。RAM1703中，還適宜地記憶著CPU1701在執行各種處理時所必需的資料等。
CPU1701、ROM1702、及RAM1703，係透過 匯流排1704而彼此連接。該匯流排1704，係還連接著輸出入介面1710。
輸出入介面1710上，係連接著由鍵盤、滑鼠等所成之輸入部1711、由CRT(Cathode Ray Tube)或LCD(Liquid Crystal Display)等所成之顯示器、以及油揚聲器等所成之輸出部1712、由硬碟等所構成之記憶部1713、由數據機等所構成之通訊部1714。通訊部1714，係透過包含網際網路的網路而進行通訊處理。
輸出入介面1710上係還因應需要而連接驅動機1715；可適宜裝著磁碟、光碟、光磁碟、或者半導體記憶體等之可移除式媒體1721，從其中所讀出之電腦程式，是可依照需要而被安裝至記憶部1713中。
在以軟體來執行上述一連串之處理時，構成該軟體的程式，係可從網路或記錄媒體來安裝。
該記錄媒體，係如圖23所示，係不僅限於和裝置本體分開之用來配送程式給使用者而發佈的記錄有程式之磁碟(包含軟碟)、光碟(包含CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc))、光磁碟(包含MD(Mini-Disc))，或甚至是半導體記憶體等所成之可移除式媒體1721而構成者，尚還包括已經預先組裝在裝置本體內之狀態而配送給使用者的、記錄有程式之ROM1702、或記憶部1713中所包含之硬碟等來構成。
此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可 平行地、或呼叫進行時等必要之時序上進行處理的程式。
此外，在本說明書中，雖然記述記錄媒體中所記錄之程式的步驟，是按照記載的順序而在時間序列上順序進行之處理，但當然並不一定要是時間序列上的處理，亦包含平行或個別執行之處理。
又，於本說明書中，所謂的系統，係指由複數設備(裝置)所構成之裝置全體。
又，於以上說明中，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質上相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。亦即，本技術係不限定於上述的實施形態，在不脫離本技術主旨的範圍內可做各種變更。
<4.第4實施形態>
上述實施形態所述之影像編碼裝置及影像解碼裝置，係可應用於衛星播送、有線TV等之有線播送、網際網路上的配送、及藉由蜂巢基地台通訊而對終端之配送等的送訊機或是收訊機，在光碟、磁碟及快閃記憶體等之媒體中記錄影像的記錄裝置、或從這些記憶媒體中再生出影像的 再生裝置等各式各樣的電子機器。以下說明4個應用例。
(第1應用例：電視受像機)
圖24係圖示了適用上述實施形態的電視裝置的概略構成之一例。電視裝置1900係具備：天線1901、選台器1902、解多工器1903、解碼器1904、映像訊號處理部1905、顯示部1906、聲音訊號處理部1907、揚聲器1908、外部介面部1909、控制部1910、使用者介面1911、及匯流排1912。
選台器1902，係從透過天線1901所接收之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器1902係將解調所得到之編碼位元串流，輸出至解多工器1903。亦即，選台器1902係將影像所被編碼而成的編碼串流予以接收，具有電視裝置1900中的傳輸部之功能。
解多工器1903係從編碼位元串流中分離出視聽對象之節目的映像串流及聲音串流，將所分離之各串流，輸出至解碼器1904。又，解多工器1903，係從編碼位元串流中抽出EPG(Electronic Program Guide)等輔助性資料，將所抽出的資料，供給至控制部1910。此外，解多工器1903係當編碼位元串流是有被擾頻時，則亦可進行去擾頻。
解碼器1904，係將從解多工器1903所輸入的映像串流及聲音串流，予以解碼。然後，解碼器1904係 將解碼處理所生成之映像資料，輸出至映像訊號處理部1905。又，解碼器1904係將解碼處理所生成之聲音資料，輸出至聲音訊號處理部1907。
映像訊號處理部1905，係將從解碼器1904所輸入之映像資料予以再生，在顯示部1906上顯示出映像。又，映像訊號處理部1905，係亦可將透過網路而供給之應用程式畫面，顯示在顯示部1906。又，映像訊號處理部1905，係亦可針對映像資料，隨應於設定，而進行例如雜訊去除等之追加的處理。甚至，映像訊號處理部1905係亦可生成例如選單、按鈕或游標等之GUI(Graphical User Interface)的影像，將所生成之影像重疊至輸出影像。
顯示部1906，係受從映像訊號處理部1905所供給之驅動訊號所驅動，在顯示裝置(例如液晶顯示器、電漿顯示器或OELD(Organic ElectroLuminescence Display)(有機EL顯示器)等)之映像面上，顯示出映像或影像。
聲音訊號處理部1907，係針對從解碼器1904所輸入的聲音資料，進行D/A轉換及增幅等之再生處理，使聲音從揚聲器1908輸出。又，聲音訊號處理部1907，係亦可針對聲音資料，進行雜訊去除等之追加的處理。
外部介面1909，係為用來連接電視裝置1900與外部機器或網路所需的介面。例如，透過外部介面1909所接收之映像串流或聲音串流，係亦可被解碼器 1904所解碼。亦即，外部介面1909係亦為將影像所被編碼而成的編碼串流予以接收，具有電視裝置1900中的傳輸部之功能。
控制部1910係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著，被CPU所執行之程式、程式資料、EPG資料、及透過網路所取得之資料等。被記憶體所記憶的程式，係例如在電視裝置1900啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面1911所輸入的操作訊號，來控制電視裝置1900的動作。
使用者介面1911，係和控制部1910連接。使用者介面1911係具有例如，用來讓使用者操作電視裝置1900所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面1911，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部1910。
匯流排1912，係將選台器1902、解多工器1903、解碼器1904、映像訊號處理部1905、聲音訊號處理部1907、外部介面1909及控制部1910，彼此連接。
在如此構成的電視裝置1900中，解碼器1904係具有上述實施形態所述之影像解碼裝置的機能。藉此，在電視裝置1900的影像之解碼之際，可削減處理量。
(第2應用例：行動電話機)
圖25係圖示了適用上述實施形態的行動電話機的概略構成之一例。行動電話機1920係具備：天線1921、通訊部1922、聲音編解碼器1923、揚聲器1924、麥克風1925、攝影機部1926、影像處理部1927、多工分離部1928、記錄再生部1929、顯示部1930、控制部1931、操作部1932、及匯流排1933。
天線1921係被連接至通訊部1922。揚聲器1924及麥克風1925係被連接至聲音編解碼器1923。操作部1932，係被連接至控制部1931。匯流排1933係將通訊部1922、聲音編解碼器1923、攝影機部1926、影像處理部1927、多工分離部1928、記錄再生部1929、顯示部1930、及控制部1931，彼此連接。
行動電話機1920，係在包含語音通話模式、資料通訊模式、攝影模式及電視電話模式的各種動作模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像之攝影、及資料之記錄等動作。
於語音通話模式中，由麥克風1925所生成的類比聲音訊號，係被供給至聲音編解碼器1923。聲音編解碼器1923，係將類比聲音訊號轉換成聲音資料，將已被轉換之聲音資料，進行A/D轉換並壓縮。然後，聲音編解碼器1923係將壓縮後的聲音資料，輸出至通訊部1922。通訊部1922，係將聲音資料進行編碼及調變，生成送訊訊號。然後，通訊部1922係將已生成之送訊訊號，透過天線1921而發送至基地台(未圖示)。又，通訊部1922 係將透過天線1921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部1922，係將收訊訊號進行解調及解碼而生成聲音資料，將已生成之聲音資料，輸出至聲音編解碼器1923。聲音編解碼器1923，係將聲音資料進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器1923係將已生成之聲音訊號，供給至揚聲器1924而輸出聲音。
又，在資料通訊模式下，例如，控制部1931係隨應於使用者透過操作部1932所做的操作，來生成構成電子郵件的文字資料。又，控制部1931係將文字顯示在顯示部1930。又，控制部1931，係隨應於透過操作部1932而從使用者下達的送訊指示而生成電子郵件資料，將已生成之電子郵件資料，輸出至通訊部1922。通訊部1922，係將電子郵件資料進行編碼及調變，生成送訊訊號。然後，通訊部1922係將已生成之送訊訊號，透過天線1921而發送至基地台(未圖示)。又，通訊部1922係將透過天線1921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。然後，通訊部1922係將收訊訊號進行解調及解碼以復原出電子郵件資料，將已復原之電子郵件資料，輸出至控制部1931。控制部1931，係令顯示部1930顯示出電子郵件的內容，同時，令電子郵件資料被記憶至記錄再生部1929的記憶媒體。
記錄再生部1929，係具有可任意讀寫的記憶媒體。例如，記憶媒體係可為RAM或快閃記憶體等之內 建型的記憶媒體，亦可為硬碟、磁碟、光磁碟、光碟、USB(Unallocated Space Bitmap)記憶體、或記憶卡等之外部裝著型的記憶媒體。
又，於攝影模式中，例如，攝影機部1926係拍攝被攝體而生成影像資料，將已生成之影像資料，輸出至影像處理部1927。影像處理部1927，係將從攝影機部1926所輸入之影像資料予以編碼，使編碼串流被記憶至記錄再生部1929的記憶媒體中。
又，於電視電話模式中，例如，多工分離部1928係將已被影像處理部1927所編碼之映像串流、和從聲音編解碼器1923所輸入之聲音串流，進行多工化，將已多工化之串流，輸出至通訊部1922。通訊部1922，係將串流進行編碼及調變，生成送訊訊號。然後，通訊部1922係將已生成之送訊訊號，透過天線1921而發送至基地台(未圖示)。又，通訊部1922係將透過天線1921所接收之無線訊號進行增幅及頻率轉換，取得收訊訊號。這些送訊訊號及收訊訊號中係可含有編碼位元串流。然後，通訊部1922係將收訊訊號進行解調及解碼以復原出串流，將已復原之串流，輸出至多工分離部1928。多工分離部1928係從所被輸入之串流中，分離出映像串流及聲音串流，將映像串流輸出至影像處理部1927、將聲音串流輸出至聲音編解碼器1923。影像處理部1927，係將映像串流予以解碼，生成映像資料。映像資料係被供給至顯示部1930，藉由顯示部1930而顯示出一連串之影像。聲音編 解碼器1923，係將聲音串流進行解壓縮及D/A轉換，生成類比聲音訊號。然後，聲音編解碼器1923係將已生成之聲音訊號，供給至揚聲器1924而輸出聲音。
在如此構成的行動電話機1920中，影像處理部1927係具有上述實施形態所述之影像編碼裝置及影像解碼裝置的機能。藉此，在行動電話機1920的影像之解碼之際，可削減處理量。
(第3應用例：記錄再生裝置)
圖26係圖示了適用上述實施形態的記錄再生裝置的概略構成之一例。記錄再生裝置1940係例如，將所接收之播送節目的聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置1940係亦可，例如，將從其他裝置所取得之聲音資料及映像資料進行編碼，而記錄至記錄媒體。又，記錄再生裝置1940係例如，隨應於使用者之指示，將記錄媒體中所記錄之資料，在監視器及揚聲器上進行再生。此時，記錄再生裝置1940，係將聲音資料及映像資料予以解碼。
記錄再生裝置1940係具備：選台器1941、外部介面部1942、編碼器1943、HDD(Hard Disk Drive)1944、碟片驅動機1945、選擇器1946、解碼器1947、OSD(On-Screen Display)部1948、控制部1949、及使用者介面部1950。
選台器1941，係從透過天線(未圖示)所接收 之播送訊號中，抽出所望頻道之訊號，並將所抽出之訊號予以解調。然後，選台器1941係將解調所得到之編碼位元串流，輸出至選擇器1946。亦即，選台器1941係具有記錄再生裝置1940中的傳輸部之功能。
外部介面部1942，係為用來連接記錄再生裝置1940與外部機器或網路所需的介面。外部介面部1942係可為例如IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，透過外部介面部1942所接收之映像資料及聲音資料，係被輸入至編碼器1943。亦即，外部介面部1942係具有記錄再生裝置1940中的傳輸部之功能。
編碼器1943，係當從外部介面部1942所輸入之映像資料及聲音資料是未被編碼的情況下，則將映像資料及聲音資料予以編碼。然後，編碼器1943係將編碼位元串流，輸出至選擇器1946。
HDD1944，係將映像及聲音等之內容資料所被壓縮而成的編碼位元串流、各種程式及其他資料，記錄在內部的硬碟裡。又，HDD1944係在映像及聲音之再生時，將這些資料從硬碟中讀出。
碟片驅動機1945，係對所裝著之記錄媒體，進行資料記錄及讀出。被裝著在碟片驅動機1945的記錄媒體，係可為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。
選擇器1946，係在映像及聲音之記錄時，係選擇從選台器1941或編碼器1943所輸入的編碼位元串流，將已選擇之編碼位元串流，輸出至HDD1944或碟片驅動機1945。又，選擇器1946，係在映像及聲音之再生時，將從HDD1944或碟片驅動機1945所輸入之編碼位元串流，輸出至解碼器1947。
解碼器1947，係將編碼位元串流予以解碼，生成映像資料及聲音資料。然後，解碼器1947係將已生成之映像資料，輸出至OSD部1948。又，解碼器1904係將已生成之聲音資料，輸出至外部的揚聲器。
OSD部1948，係將從解碼器1947所輸入之映像資料予以再生，顯示出映像。又，OSD部1948係亦可對所顯示之映像，重疊上例如選單、按鈕或游標等之GUI的影像。
控制部1949係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在記錄再生裝置1940啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面部1950所輸入的操作訊號，來控制記錄再生裝置1940的動作。
使用者介面部1950，係和控制部1949連接。使用者介面部1950係具有例如，用來讓使用者操作記錄再生裝置1940所需的按鈕及開關、以及遙控訊號的收訊部等。使用者介面部1950，係偵測透過這些構成要素而 由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部1949。
在如此構成的記錄再生裝置1940中，編碼器1943係具有上述實施形態所述之影像編碼裝置的機能。 又，解碼器1947係具有上述實施形態所述之影像解碼裝置的機能。藉此，在記錄再生裝置1940的影像之解碼之際，可削減處理量。
(第4應用例：攝像裝置)
圖27係圖示了適用上述實施形態的攝像裝置的概略構成之一例。攝像裝置1960係拍攝被攝體而生成影像，將影像資料進行編碼，而記錄至記錄媒體。
攝像裝置1960係具備：光學區塊1961、攝像部1962、訊號處理部1963、影像處理部1964、顯示部1965、外部介面1966、記憶體1967、媒體驅動機1968、OSD1969、控制部1970、使用者介面1971、及匯流排1972。
光學區塊1961係被連接至攝像部1962。攝像部1962係被連接至訊號處理部1963。顯示部1965係被連接至影像處理部1964。使用者介面1971係被連接至控制部1970。匯流排1972係將影像處理部1964、外部介面1966、記憶體1967、媒體驅動機1968、OSD1969、及控制部1970，彼此連接。
光學區塊1961，係具有對焦透鏡及光圈機構 等。光學區塊1961，係使被攝體的光學像，成像在攝像部1962的攝像面。攝像部1962，係具有CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等之影像感測器，將成像在攝像面的光學像，藉由光電轉換而轉換成電氣訊號的影像訊號。然後，攝像部1962係將影像訊號，輸出至訊號處理部1963。
訊號處理部1963，係對從攝像部1962所輸入的影像訊號進行KNEE補正、γ補正、色彩補正等各種相機訊號處理。訊號處理部1963，係將攝影機訊號處理後的影像資料，輸出至影像處理部1964。
影像處理部1964，係將從訊號處理部1963所輸入的影像資料予以編碼，生成編碼資料。然後，影像處理部1964，係將已生成之編碼資料，輸出至外部介面1966或媒體驅動機1968。又，影像處理部1964，係將從外部介面1966或媒體驅動機1968所輸入之編碼資料予以解碼，生成影像資料。然後，影像處理部1964係將已生成之影像資料，輸出至顯示部1965。又，影像處理部1964，係亦可將從訊號處理部1963所輸入的影像資料，輸出至顯示部1965而顯示出影像。又，影像處理部1964，係亦可將從OSD1969所取得之顯示用資料，重疊至對顯示部1965輸出的影像上。
OSD1969係生成例如選單、按鈕或游標等之GUI的影像，將所生成之影像，輸出至影像處理部1964。
外部介面1966，係被構成為例如USB輸出入 端子。外部介面1966，係例如在影像的列印時，將攝像裝置1960與印表機做連接。又，外部介面1966上係因應需要而連接有驅動機。驅動機上係裝著有例如磁碟或光碟等之可移除式媒體，從可移除式媒體所讀出的程式，係可被安裝至攝像裝置1960。甚至，外部介面1966係還可被構成為連接LAN或網際網路等之網路的網路介面。亦即，外部介面1966係具有攝像裝置1960中的傳輸部之功能。
被裝著至媒體驅動機1968的記錄媒體，係可為例如磁碟、光磁碟、光碟、或半導體記憶體等之可任意讀寫之可移除式媒體。又，亦可被構成為，記錄媒體是對媒體驅動機1968固定裝著，例如，內建型硬碟機或SSD(Solid State Drive)這類非可移除式的記憶部。
控制部1970係具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體係記憶著CPU所執行的程式、及程式資料等。被記憶體所記憶的程式，係例如在攝像裝置1960啟動時被CPU讀取、執行。CPU係藉由執行程式，而隨應於從例如使用者介面1971所輸入的操作訊號，來控制攝像裝置1960的動作。
使用者介面1971，係和控制部1970連接。使用者介面1971係具有例如，用來讓使用者操作攝像裝置1960所需的按鈕及開關等。使用者介面1971，係偵測透過這些構成要素而由使用者所做之操作，生成操作訊號，將所生成之操作訊號，輸出至控制部1970。
在如此構成的攝像裝置1960中，影像處理部 1964係具有上述實施形態所述之影像編碼裝置及影像解碼裝置的機能。藉此，在攝像裝置1960的影像之編碼及解碼之際，可削減處理量。
此外，在本說明書中係說明了，限制識別資訊或變更識別資訊等各種資訊，係被多工化至編碼串流的標頭中，然後從編碼列被傳輸至解碼側的例子。然而，這些資訊的傳輸手法係不限定於所述例子。例如，這些資訊係亦可不被多工化至編碼位元串流，而是以與編碼位元串流建立關連之個別資料的方式而被傳輸或記錄。此處，「建立關連」之用語係意味著，位元串流中所含之影像(切片或區塊等，亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即，資訊係可有別於影像(或位元串流)而在另外的傳輸路上進行傳輸。又，資訊係亦可有別於影像(或位元串流)而被記錄在另外的記錄媒體(或是同一記錄媒體的其他記錄區域)。甚至，資訊和影像(或位元串流)，係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位，而彼此關連。
以上雖然一面參照添附圖面一面詳細說明了本揭露的理想實施形態，但本揭露並非限定於所述例子。只要是本揭露所屬技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本揭露的技術範圍。
此外，本揭露係亦可視為如下之構成。
(1)一種影像處理裝置，其係具備： 選擇部，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
(2)如前記(1)所記載之影像處理裝置，其中，前記選擇部，係若前記限制識別資訊是表示前記參照清單是在前記目前圖像內被共通使用的情況下，則選擇出與前記目前圖像之參照圖像類型同一參照圖像類型的參照圖像、和與前記目前圖像之參照圖像類型不同參照圖像類型的參照圖像。
(3)如前記(2)所記載之影像處理裝置，其中，前記選擇部係選擇出，前記參照清單的索引為0之參照圖像特定資訊所表示的與前記目前圖像之參照圖像類型同一參照圖像類型的參照圖像、和前記參照清單的索引為0以外之參照圖像特定資訊所表示的與前記目前圖像之參照圖像類型不同參照圖像類型的參照圖像。
(4)如前記(3)所記載之影像處理裝置，其中， 前記選擇部係選擇，前記參照清單的索引為0以外之參照圖像特定資訊所表示的、與前記目前圖像之參照圖像類型不同參照圖像類型的參照圖像當中的、前記索引為最小的參照圖像。
(5)如前記(4)所記載之影像處理裝置，其中，前記選擇部，係基於用來識別前記參照清單有被變更之事實的變更識別資訊，而選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
(6)如前記(5)所記載之影像處理裝置，其中，前記變更識別資訊係為lists_modification_present_flag。
(7)如前記(1)乃至(6)之任一項所記載之影像處理裝置，其中，前記參照圖像類型係為Long-term或Short-term。
(8)如前記(1)乃至(7)之任一項所記載之影像處理裝置，其中，前記限制識別資訊係為restricted_ref_pic_lists_flag。
(9)一種影像處理方法，係由影像處理裝置，進行：選擇步驟，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單 亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成步驟，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇步驟之處理所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
(10)一種影像處理裝置，其係具備：選擇部，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
(11)如前記(10)所記載之影像處理裝置，其中，前記選擇部，係在前記變更識別資訊是表示前記參照清單未被變更的情況下，選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term 的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
(12)如前記(11)所記載之影像處理裝置，其中，前記選擇部，係在前記參照清單中被登錄有參照圖像類型為Long-term的參照圖像的參照圖像特定資訊之情況下，則選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
(13)一種影像處理方法，係由影像處理裝置，進行：選擇步驟，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成步驟，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇步驟之處理所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
1320‧‧‧合併畫面間預測部
1321‧‧‧參照清單生成部
1322‧‧‧選擇部
1323‧‧‧合併候補清單生成部
1034‧‧‧預測影像生成部
1035‧‧‧算出部
1036‧‧‧最佳模式決定部

Claims (13)

  1. 一種影像處理裝置，其係具備：選擇部，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
  2. 如請求項1所記載之影像處理裝置，其中，前記選擇部，係若前記限制識別資訊是表示前記參照清單是在前記目前圖像內被共通使用的情況下，則選擇出與前記目前圖像之參照圖像類型同一參照圖像類型的參照圖像、和與前記目前圖像之參照圖像類型不同參照圖像類型的參照圖像。
  3. 如請求項2所記載之影像處理裝置，其中，前記選擇部係選擇出，前記參照清單的索引為0之參照圖像特定資訊所表示的與前記目前圖像之參照圖像類型同一參照圖像類型的參照圖像、和前記參照清單的索引為0以外之參照圖像特定資訊所表示的與前記目前圖像之參 照圖像類型不同參照圖像類型的參照圖像。
  4. 如請求項3所記載之影像處理裝置，其中，前記選擇部係選擇，前記參照清單的索引為0以外之參照圖像特定資訊所表示的、與前記目前圖像之參照圖像類型不同參照圖像類型的參照圖像當中的、前記索引為最小的參照圖像。
  5. 如請求項4所記載之影像處理裝置，其中，前記選擇部，係基於用來識別前記參照清單有被變更之事實的變更識別資訊，而選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
  6. 如請求項5所記載之影像處理裝置，其中，前記變更識別資訊係為lists_modification_present_flag。
  7. 如請求項1所記載之影像處理裝置，其中，前記參照圖像類型係為Long-term或Short-term。
  8. 如請求項1所記載之影像處理裝置，其中，前記限制識別資訊係為restricted_ref_pic_lists_flag。
  9. 一種影像處理方法，係由影像處理裝置，進行：選擇步驟，係基於限制識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單 亦即參照清單是在前記目前圖像內被共通使用之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成步驟，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇步驟之處理所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
  10. 一種影像處理裝置，其係具備：選擇部，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成部，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇部所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖像的預測影像。
  11. 如請求項10所記載之影像處理裝置，其中，前記選擇部，係在前記變更識別資訊是表示前記參照清單未被變更的情況下，選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term 的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
  12. 如請求項11所記載之影像處理裝置，其中，前記選擇部，係在前記參照清單中有被登錄了參照圖像類型為Short-term的參照圖像和Long-term的參照圖像的參照圖像特定資訊的情況下，則選擇出前記參照清單的索引為0之參照圖像特定資訊所表示的參照圖像類型為Short-term的參照圖像、和把前記參照清單中所被登錄之參照圖像類型為Short-term的參照圖像的參照圖像特定資訊之數目當作索引的參照圖像特定資訊所表示的參照圖像類型為Long-term的參照圖像。
  13. 一種影像處理方法，係由影像處理裝置，進行：選擇步驟，係基於變更識別資訊，其係用來識別，將目前圖像之參照圖像予以特定的參照圖像特定資訊之清單亦即參照清單是被變更之事實，而從前記參照清單中所含之前記參照圖像特定資訊所表示的前記參照圖像中，選擇出參照圖像類型係為不同的複數參照圖像；和預測影像生成步驟，係基於與前記目前圖像不同時刻的同位圖像的運動向量、和已被前記選擇步驟之處理所選擇之前記複數參照圖像當中的與前記同位圖像之參照圖像類型相同之參照圖像類型的參照圖像，而生成前記目前圖 像的預測影像。
TW102131553A 2012-10-09 2013-09-02 影像處理裝置及方法 TW201415898A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012224625 2012-10-09

Publications (1)

Publication Number Publication Date
TW201415898A true TW201415898A (zh) 2014-04-16

Family

ID=50477299

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102131553A TW201415898A (zh) 2012-10-09 2013-09-02 影像處理裝置及方法

Country Status (6)

Country Link
US (2) US10291929B2 (zh)
EP (1) EP2908528A4 (zh)
JP (1) JP6274527B2 (zh)
CN (1) CN104704834B (zh)
TW (1) TW201415898A (zh)
WO (1) WO2014057831A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201415898A (zh) 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
CN104618715B (zh) * 2014-07-22 2018-10-30 腾讯科技（北京）有限公司 一种获取最小率失真代价的方法及装置
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
US10726631B1 (en) * 2019-08-03 2020-07-28 VIRNECT inc. Augmented reality system and method with frame region recording and reproduction technology based on object tracking

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817865B2 (en) * 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
EP2174506A1 (en) * 2007-08-06 2010-04-14 Thomson Licensing Methods and apparatus for motion skip mode with multiple inter-view reference pictures
US20120106634A1 (en) 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
EP2424240A4 (en) * 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
JP2012023651A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JP2012169763A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
TW201415898A (zh) 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法

Also Published As

Publication number Publication date
WO2014057831A1 (ja) 2014-04-17
JPWO2014057831A1 (ja) 2016-09-05
US20150264389A1 (en) 2015-09-17
CN104704834B (zh) 2019-04-02
EP2908528A4 (en) 2016-04-13
JP6274527B2 (ja) 2018-02-07
EP2908528A1 (en) 2015-08-19
US10873758B2 (en) 2020-12-22
CN104704834A (zh) 2015-06-10
US20190200034A1 (en) 2019-06-27
US10291929B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
US10623761B2 (en) Image processing apparatus and image processing method
JP5954587B2 (ja) 画像処理装置および方法
TWI627857B (zh) Image processing device and method
JP5950169B2 (ja) 復号装置および復号方法
JP6274103B2 (ja) 画像処理装置および方法
US20230247217A1 (en) Image processing apparatus and method
US9961366B2 (en) Image processing apparatus and method that prohibits bi-prediction based on block size
EP2806636A1 (en) Image processing device and method
US10873758B2 (en) Image processing device and method
US20140126641A1 (en) Image processing device and method
WO2012176684A1 (ja) 画像処理装置および方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014097937A1 (ja) 画像処理装置および画像処理方法