TWI586150B - 影像處理裝置及非暫態電腦可讀儲存媒體 - Google Patents

影像處理裝置及非暫態電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI586150B
TWI586150B TW102121737A TW102121737A TWI586150B TW I586150 B TWI586150 B TW I586150B TW 102121737 A TW102121737 A TW 102121737A TW 102121737 A TW102121737 A TW 102121737A TW I586150 B TWI586150 B TW I586150B
Authority
TW
Taiwan
Prior art keywords
image
unit
dynamic range
information
feature information
Prior art date
Application number
TW102121737A
Other languages
English (en)
Other versions
TW201414312A (zh
Inventor
服部忍
浜田俊也
Original Assignee
新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力股份有限公司 filed Critical 新力股份有限公司
Publication of TW201414312A publication Critical patent/TW201414312A/zh
Application granted granted Critical
Publication of TWI586150B publication Critical patent/TWI586150B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Description

影像處理裝置及非暫態電腦可讀儲存媒體
本揭示係關於影像處理裝置及方法,特別地,關於準確地再生影像的動態範圍之影像處理裝置及方法。
近年來,將影像資訊作為數位資訊處理的裝置一直擴展,在此情形中,利用影像資訊獨特的冗餘之編碼技術、以及以例如離散餘弦轉換等正交轉換或動作補償來執行壓縮以發送及累積高效率資訊,而將影像壓縮及編碼。此編碼技術是例如MPEG(動畫專家組)、H.264或MPEG-4章節10(先進視頻碼化,於下稱為「AVC」)。
目前,為了取得比H.264/AVC更高的編碼效率,JCTVC(聯合運作團隊一視頻碼化)正發展稱為HEVC(高效率視頻碼化)的編碼技術作為標準,JCTVC是ITU-T及ISO/IEC的聯合標準化組織(請參見專利文獻1)。
在目前時間點之HEVC的設計中,音調映射資訊以圖1中所示之SEI發送(補充強化資訊)。
本音調映射資訊的內容與圖2中所的以AVC標準化的內容相同(請參見非專利文獻2)。
[引用文獻清單]
[NPL 1]
Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, “High efficiency video coding(HEVC) text specification draft 7”,JCTVC-11003 ver5, 2012.6.12
[NPL 2]
D.1.24 of Rec. ITU-T H.264 | ISO/IEC 14496-10
近來,相機及顯示器能捕捉或顯示高動態範圍的影像。
在此情形中,雖然要求加寬被解碼的影像之動態範圍以顯示不同的動態範圍之影像,但是,在非專利文獻l中未定義解碼影像的動態範圍。
慮及此情形,本文獻準確地再生影像的動態範圍。
根據本揭示的第一態樣之影像處理裝置具有:編碼單元,對影像執行編碼操作以及產生位元串;設定單元,設 定動態範圍特徵資訊給捕捉的影像,動態範圍特徵資訊是表示要被指派給顯影的影像的動態範圍之特徵;以及,發送單元,發送由編碼單元產生的位元串及由設定單元設定的動態範圍特徵資訊。
設定單元將碼資訊設定給捕捉的影像作為動態範圍特徵資訊,碼資訊係表示要指派給顯影的影像之動態範圍的碼。
設定單元將碼資訊設定給捕捉的影像的白位準而作為動態範圍特徵資訊,碼資訊係表示要指派給顯影的影像的碼。
設定單元將白位準碼資訊設定給捕捉的影像的白位準而作為動態範圍特徵資訊,白位準碼資訊表示要指派給顯影的影像之碼。
設定單元將最大白位準碼資訊設定給顯影的影像的白位準而作為動態範圍特徵資訊,最大白位準碼資訊係表示要指派給顯影的影像之白位準的碼的最大值。
設定單元設定黑位準碼資訊作為動態範圍特徵資訊,黑位準碼資訊係表示顯影的影像之黑位準的碼。
設定單元設定灰位準碼資訊作為動態範圍特徵資訊,灰位準碼資訊係表示顯影的影像之灰位準的碼。
設定單元設定最大白位準資訊作為動態範圍特徵資訊,最大位準資訊係表示捕捉的影像之白位準的最大值。
設定單元將資訊設定作為動態範圍特徵資訊,所述資訊是表示藉由對位元串執行解碼操作而取得之影像的有用 區域的亮度範圍。
設定單元將資訊設定作為動態範圍特徵資訊,所述資訊是表示藉由對位元串執行解碼操作而取得之影像的有用區域的位置及偏移。
發送單元發送動態範圍特徵資訊作為用以顯示藉由對位元串執行解碼操作而取得的影像之輔助資訊。
發送單元發送動態範圍特徵資訊作為延伸的輔助資訊,延伸的輔助資訊是藉由延伸現有的輔助資訊而取得的。
發送單元發送動態範圍特徵資訊作為tone_mapping_information SEI(補充強化資訊)。
發送單元延伸model_id,model_id用以藉由以tone_mapping_information SEI為目標而發送動態範圍特徵資訊,以及,發送單元發送動態範圍特徵資訊作為SEI。
發送單元發送動態範圍特徵資訊作為VUI(視頻可用性資訊),VUI順序地表示影像的可用性。
根據符合AVC/H.264.之編碼技術,編碼單元對影像執行編碼操作。
根據本揭示的第一態樣之影像處理方法,包含:對影像執行編碼操作,以及產生位元串;設定動態範圍特徵資訊給捕捉的影像,動態範圍特徵資訊是表示要被指派給顯影的影像的動態範圍之特徵;以及,發送產生的位元串及設定的動態範圍特徵資訊。
根據本揭示的第二態樣之影像處理裝置,具有:解碼單元,對位元串執行解碼操作以及產生影像;以及,影像調整單元,對捕捉的影像使用動態範圍特徵資訊,以及,調整解碼單元產生的影像的動態範圍,動態範圍特徵資訊是表示要被指派給顯影的影像的動態範圍之特徵。
影像處理裝置又具有接收位元串及特徵資訊的接收單元,以及,解碼單元對接收單元收到的位元串執行解碼操作,以及,影像調整單元使用接收單元接收的動態範圍特徵資訊,以及調整解碼單元產生的影像的動態範圍。
根據本揭示的第二態樣之影像處理方法包含:對位元串執行解碼操作,以及產生影像;以及對捕捉的影像使用表示要指派給顯影的影像的動態範圍的特徵之動態範圍特徵資訊,以及,調整產生的影像的動態範圍。
在本揭示的第一態樣中,對影像執行編碼操作,以及,產生位元串,以及,表示要指派給顯影的影像的動態範圍的特徵之動態範圍特徵資訊設定給捕捉的影像。此外,產生的位元串及設定的動態範圍特徵資訊被發送。
在本揭示的第二態樣中,執行對位元串的解碼操作,以及,產生影像。此外,對捕捉的影像使用表示要指派給顯影的影像的動態範圍的特徵之動態範圍特徵資訊,以及,調整產生的影像的動態範圍。
此外,上述影像處理裝置可為獨立的裝置或是形成一影像編碼裝置或影像解碼裝置之內部區。
根據本揭示的第一態樣,能夠將影像編碼。特別地,能夠準確地再生影像的動態範圍。
根據本揭示的第二態樣,能夠將影像解碼。特別地,能夠準確地再生影像的動態範圍。
1‧‧‧編碼裝置
2‧‧‧編碼單元
3‧‧‧設定單元
4‧‧‧發送單元
50‧‧‧解碼裝置
51‧‧‧接收單元
52‧‧‧解多工單元
53‧‧‧解碼單元
54‧‧‧影像調整單元
55‧‧‧顯示控制單元
56‧‧‧顯示單元
201‧‧‧編碼裝置
211‧‧‧編碼單元
251‧‧‧解碼裝置
261‧‧‧解碼單元
[圖1]圖1是視圖,顯示SEI語法的實例。
[圖2]圖2是視圖,顯示音調映射SEI語法的實例;[圖3]圖3是方塊圖,顯示應用本技術的編碼裝置之第一實施例的舉例說明的結構。
[圖4]圖4是方塊圖,顯示圖1中舉例說明的編碼單元的結構。
[圖5]圖5是視圖,用於說明動態範圍特徵資訊。
[圖6]圖6是視圖,用於說明動態範圍特徵資訊。
[圖7]圖7是視圖,用於說明動態範圍特徵資訊。
[圖8]圖8是視圖,顯示音調映射SEI語法的實例。
[圖9]圖9是視圖,顯示音調映射SEI語法的另一實例。
[圖10]圖10是視圖,顯示以相機靈敏度及曝光指數表示的標示器的意義表。
[圖11]圖11是視圖,顯示亮度動態範圍SEI語法的實例。
[圖12]圖12是視圖,顯示VUI語法的實例。
[圖13]圖13是視圖,顯示VUI語法的另一實例。
[圖14]圖14是視圖,顯示VUI語法的另一實例。
[圖15]圖15是視圖,用於說明動態範圍特徵資訊的實例。
[圖16]圖16是流程圖,用於說明圖3中的編碼裝置的產生操作。
[圖17]圖17是流程圖,用於說明圖16中的編碼操作的細節。
[圖18]圖18是流程圖,用於說明圖16中的編碼操作的細節。
[圖19]圖19是方塊圖,顯示應用本技術的解碼裝置之第一實施例的舉例說明的結構。
[圖20]圖20是方塊圖,顯示舉例說明之圖19中的編碼單元的結構。
[圖21]圖21是流程圖,用於說明圖19中的解碼裝置的顯示操作。
[圖22]圖22是流程圖,用於說明圖21中的解碼操作的細節。
[圖23]圖23是方塊圖,顯示應用本技術的編碼裝置之第二實施例的舉例說明的結構。
[圖24]圖24是方塊圖,顯示圖23中舉例說明的編碼單元的結構。
[圖25]圖25是方塊圖,顯示應用本技術的解碼裝置之第二實施例的舉例說明的結構。
[圖26]圖26是方塊圖,顯示圖25中舉例說明的解碼單元的結構。
[圖27]圖27是視圖,顯示多畫面影像編碼技術的實例。
[圖28]圖28是視圖,顯示應用本揭示的多畫面影像編碼裝置之主舉例說明的結構。
[圖29]圖29是視圖,顯示應用本揭示的多畫面影像編碼裝置之主舉例說明的結構。
[圖30]圖30是視圖,顯示階層影像編碼技術的實例。
[圖31]圖31是視圖,顯示應用本揭示的階層影像編碼裝置之主舉例說明的結構。
[圖32]圖32是視圖,顯示應用本揭示的階層影像解碼裝置之主舉例說明的結構。
[圖33]圖33是方塊圖,顯示電腦的主舉例說明的結構。
[圖34]圖34是方塊圖,顯示電視裝置的結構之實例。
[圖35]圖35是方塊圖,顯示可攜式電話裝置的結構之實例。
[圖36]圖36是方塊圖,顯示記錄/再生裝置的結構之實例。
[圖37]圖37是方塊圖,顯示成像裝置的結構之實例。
下述是執行本技術的模式(於下稱為實施例)之說明。將依下述次序作說明。
1.第一實施例(根據HEVC技術的編碼/解碼裝置)
2.第二實施例(根據AVC技術的編碼/解碼裝置)
3.第三實施例(多畫面影像編碼/多畫面影像解碼裝置)
4.第四實施例(階層影像編碼/階層影像解碼裝置)
5.第五實施例(電腦)
6.應用實例
<第一實施例> [舉例說明的編碼裝置的第一實施例的結構]
圖3是方塊圖,顯示應用本技術的根據作為影像處理裝置之編碼裝置的第一實施例的舉例說明的結構。
圖3中的編碼裝置1具有編碼單元2、設定單元3及發送單元4,以及,根據HEVC技術,將例如捕捉的影像等影像編碼。
更具體而言,編碼裝置1的編碼單元2接收例如格為基礎的捕捉影像等影像的輸入作為輸入訊號。編碼單元2根據HEVC技術而將輸入訊號編碼,以及,將結果的編碼資料供應給設定單元3。
設定單元3設定SPS(序列參數集)、PPC(圖像參 數集)、表示對應於每一序列的編碼資料之影像的特徵(可用性)之VUI(視頻可用性資訊)以及SEI(補充強化資訊)。設定單元3從編碼單元2供應的編碼資料、設定的SPS、PPS、VUI及SEI產生編碼串。設定單元3供應編碼串給發送單元4。
發送單元4發送設定單元3供應的編碼串給下述解碼裝置。
[舉例說明之編碼單元的結構]
圖4是方塊圖,顯示圖3中的編碼單元2的舉例說明的結構。
圖4中的編碼單元2包含A/D轉換器11、螢幕再配置緩衝器12、算術運算單元13、正交轉換單元14、量化單元15、無損失編碼單元16、累積緩衝器17、反量化單元18、反正交轉換單元19、加法單元20、解塊濾波器21、格記憶體22、開關23、內部預測單元24、動作預測/補償單元25、預測影像選取單元26、及速率控制單元27。
此外,在解塊濾波器21與格記憶體22之間,設置適應偏移濾波器41及適應迴路濾波器42。
具體而言,編碼單元2的A/D轉換器11對作為輸入訊號之格為基礎的影像輸入執行A/D轉換,以及輸出和儲存影像至螢幕再配置緩衝器12。螢幕再配置緩衝器12再配置依顯示次序儲存的影像格,以致於影像格根據GOP (圖像組)結構的編碼次序配置,以及將再配置格為基礎的影像輸出至算術運算單元13,內部預測單元24、及動作預測/補償單元25。
算術運算單元13計算從預測影像選取單元26供應的預測影像與螢幕再配置緩衝器12輸出的編碼標的影像之間的差異,以執行編碼。具體而言,算術運算單元13藉由將螢幕再配置緩衝器12輸出的編碼標的影像減掉預測影像選取單元26供應的預測影像而執行編碼。算術運算單元13將結果影像作為剩餘誤差資訊輸出給正交轉換單元14。當沒有任何預測影像從預測影像選取單元26供應時,算術運算單元13將讀自螢幕再配置緩衝器12的影像作為剩餘誤差資訊輸出至正交轉換單元14。
正交轉換單元14對算術運算單元13供應的剩餘誤差資訊執行正交轉換,以及,將正交轉換的結果而取得的係數供應至量化單元15。
量化單元15將正交轉換單元14供應的係數量化。量化係數輸入至無損失編碼單元16。
無損失編碼單元16從內部預測單元24取得表示最佳內部預測模式(於下,稱為「內部預測模式資訊」)的資訊。此外,無損失編碼單元16從動作預測/補償單元25取得表示最佳預測間模式(於下,稱為「預測間模式資訊」)的資訊、動作向量、以及指明參考影像的資訊。此外,無損失編碼單元16從適應偏移濾波器41取得儲存旗標、索引或偏移、及型式資訊作為偏移濾波器資訊,以及 從適應迴路濾波器42取得濾波器係數。
無損失編碼單元16對量化單元15供應的量化係數執行無損失編碼,例如可變長度編碼(舉例而言,CAVLC(內容適應可變長度碼化))或算術編碼(舉例而言,CABAC(內容適應二進位算術碼化))。
此外,無損失編碼單元16對作為編碼相關的編碼資訊之內部預測模式資訊或預測間模式資訊、動作向量、指定參考影像的資訊、偏移濾波器資訊及濾波器係數執行無損失編碼。無損失編碼單元16將接受無損失編碼的編碼資訊及係數作為編碼資料供應及儲存至累積緩衝器17中。此外,接受無損失編碼的編碼資訊可為接受無損失編碼的係數的標頭資訊。
累積緩衝器17暫時地儲存從無損失編碼單元16供應的編碼資料。此外,累積緩衝器17供應儲存的編碼資料至圖3中的設定單元3。
此外,從量化單元15輸出的量化係數也輸入至反量化單元18,以及,在反量化之後,供應至反正交轉換單元19。
反正交轉換單元19對反量化單元18供應的係數執行反正交轉換,以及,供應結果的剩餘誤差資訊給加法單元20。
加法單元20將從反正交轉換單元19供應之作為解碼標的影像的剩餘誤差資訊及從預測影像選取單元26供應的預測影像相加,以及,取得本地解碼影像。此外,假使 沒有預測影像選取單元26供應的預測影像,則加法單元20將反正交轉換單元19供應的剩餘誤差資訊設定為本地解碼影像。加法單元20將本地解碼影像供應至解塊濾波器21及供應本地解碼影像給格記憶體22。
解塊濾波器21對加法單元20供應的本地解碼影像執行濾波,以移除區塊失真。解塊濾波器21供應結果影像給適應偏移濾波器41。
在由解塊濾波器21執行適應解塊濾波操作之後,適應偏移濾波器41執行主要從影像移除振影的適應偏移濾波(SAO:取樣適應偏移)操作。
更具體而言,適應偏移濾波器41根據LCU(最大碼化單位)單位而決定適應偏移濾波操作的型式,以及計算用於此適應偏移濾波操作的偏移,LCU是最大的碼化單位。適應偏移濾波器41使用計算的偏移,以及,對來自接受適應解塊濾波操作的影像之決定的型式,執行適應偏移濾波操作。此外,適應偏移濾波器41供應接受適應解塊濾波操作的影像給適應迴路濾波器42。
此外,適應偏移濾波器41具有儲存偏移的緩衝器。適應偏移濾波器41根據LCU而決定用於適應解塊濾波操作的偏移是否已儲存於緩衝器中。
當判定用於適應解塊濾波操作的偏移已儲存在緩衝器中時,適應偏移濾波器41將表示偏移是否儲存在緩衝器中的儲存旗標設定於代表偏移被儲存於緩衝器中的值(在此情形中為1)。
此外,適應偏移濾波器41根據LCU而將被設定於1的儲存旗標、表示緩衝器中的偏移的儲存位置之索引、及表示已執行的適應偏移濾波操作的型式之型式資訊供應給無損失編碼單元16。
同時,當用於適應解塊濾波操作的偏移未儲存在緩衝器中時,適應偏移濾波器41將此偏移順序地儲存在緩衝器中。此外,適應偏移濾波器41將儲存旗標設定在表示偏移未儲存在緩衝器中的值(在本情形中為0)。此外,適應偏移濾波器41將設定於0的儲存旗標、偏移及型式資訊依據LCU供應給無損失編碼單元16。
適應迴路濾波器42對根據例如LCU而從適應偏移濾波器41供應的接受過適應偏移濾波操作的影像執行適應迴路濾波(ALF:適應迴路濾波)操作。對於適應迴路濾波操作,舉例而言,使用利用例如二維文納(Wiener)濾波器之操作。無需多言,也可使用文納濾波器以外的濾波器。
更具體而言,適應迴路濾波器42根據LCU而計算用於適應迴路濾波操作的濾波器係數,以致於在作為從螢幕再配置緩衝器12輸出的影像之原始影像與適應迴路濾波操作之後的影像之間的剩餘誤差最小。此外,適應迴路濾波器42根據LCU而對接受過使用計算的濾波器係數的適應偏移濾波操作之影像執行適應迴路濾波操作。
適應迴路濾波器42供應接受過適應迴路濾波操作的影像給格記憶體22。此外,適應迴路濾波器42供應濾波 器係數給無損失編碼單元16。
此外,雖然依據LCU執行適應迴路濾波操作,但是,適應迴路濾波操作的處理單位不限於LCU。同時,藉由整合適應偏移濾波器41及適應迴路濾波器42的處理單位,能夠有效率地執行操作。
然後,儲存在格記憶體22中的影像作為參考影像,經由開關23輸出至內部預測單元24或是動作預測/補償單元25。
使用經由開關23而從格記憶體22讀出且未由解塊濾波器21濾波的參考影像,內部預測單元24執行標題及片斷單元中所有候選內部預測模式的內部預測操作。
此外,根據讀自螢幕再配置緩衝器12的影像及因內部預測操作的結果而產生的預測影像,內部預測單元24計算所有候選內部預測模式的成本函數值(於下將說明其細節)。此外,內部預測單元24接著將具有最小成本函數值的內部預測模式判定為最佳內部預測模式。
內部預測單元24供應最佳的內部預測模式中產生的預測影像及對應的成本函數值給預測影像選取單元26。當由預測影像選取單元26告知最佳內部預測模式中產生的預測影像的選取時,內部預測單元24供應內部預測模式資訊給無損失編碼單元16。
應注意,成本函數值也稱為RD(速率失真)成本,以及,由例如H.264/AVC中的參考軟體之JM(聯合模型)所指明般,以高複雜度模式或低複雜度模式的技術, 計算成本函數值。
具體而言,在使用高複雜度模式作為計算成本函數值的方法之情形中,對所有候選的預測模式有條件地執行結束於無損失編碼之操作,以及,對各預測模式計算下述等式(1)表示的成本函數值。
Cost(Mode)=D+λ.R...(1)D代表原始影像與解碼影像之間的差異(失真),R代表包含正交轉換係數的位元產生速率,以及,λ代表作為量化參數QP的函數之拉格朗日(Lagrange)乘數。
另一方面,在使用低複雜度模式作為計算成本函數值的方法之情形中,產生解碼的影像,在所有候選預測模式中,計算例如表示預測模式的資訊等標頭位元。然後,對各預測模式,計算下述等式(2)表示的成本函數值。
Cost(Mode)=D+QPtoQuant(QP).Header_Bit...(2)D代表原始影像與解碼影像之間的差異(失真),Header_Bit代表對應於預測模式的標頭位元,以及,QPtoQuant是作為量化參數QP的函數。
在低複雜度模式中,在所有預測模式中,簡單地產生解碼影像,以及,無需執行無損失編碼。因此,計算量小。
動作預測/補償單元25執行標題及片斷單元中所有候選的預測間模式中的動作預測/補償操作。更具體而言,根據螢幕再配置緩衝器12供應的影像及經由開關23而自格記憶體22讀出的經過濾波的參考影像,動作預測/補償 單元25偵測標題及片斷單元中所有候選預測間模式的動作向量。此外,動作預測/補償單元25根據標題及片斷單元中的此動作向量而對參考影像執行補償操作,以及,產生預測影像。
在此情形中,根據螢幕再配置緩衝器12供應的影像及預測影像,動作預測/補償單元25對所有候選的預測間模式,計算成本函數值,以及,動作預測/補償單元25將最小的成本函數值的預測間模式判定為最佳的預測間模式。此外,動作預測/補償單元25將最佳預測間模式的成本函數值及對應的預測影像供應給預測影像選取單元26。當由預測影像選取單元26通知最佳預測間模式中產生的預測影像的選取時,動作預測/補償單元25將預測間模式資訊、對應的動作向量、及指明參考影像的資訊輸出至無損失編碼單元16。
根據內部預測單元24及動作預測/補償單元25供應的成本函數值,預測影像選取單元26將最佳內部預測模式及最佳預測間模式的較小成本函數值的預測模式判定為最佳預測模式。此外,預測影像選取單元26接著將最佳預測模式中的預測影像供應給算術運算單元13及加法單元20。預測影像選取單元26也將最佳預測模式中的預測影像的選取,通知內部預測單元24或是動作預測/補償單元25。
根據儲存在累積緩衝器17中的編碼資料,速率控制單元27控制量化單元15的量化操作速率,以致不會造成 溢出或下溢。
[動態範圍特徵資訊的實例]
接著,將參考圖5,說明圖3中由設定單元3設定的動態範圍特徵資訊。此外,在圖5中的垂直軸及水平軸上的值是舉例說明的,並不侷限於這些值。
在圖5中的實例中,水平軸代表捕捉的影像之白位準。垂直軸代表指派給顯影的影像之數位碼。顯影的影像是灰階以位元數表示的影像。
水平軸上的800%是相機靈敏度及最佳曝光(在影像捕捉時及在顯影時)、及影像捕捉時的最大亮度之值。將此值設定及發送為camera_iso_sensitivity及max_image_white_level,它們是動態範圍特徵資訊中的某些動態範圍特徵資訊。
此外,雖然在影像捕捉時的最大亮度以及相機靈敏度及最佳曝光在本實例中是相同的值,這些值在某些情形中是不同的。
對應於此最大白位準之垂直軸上的值(940)是指派給顯影的影像之最大白位準的數位值,且將此值當作max_white_level_code_value設定及發送給解碼側,max_white_level_code_value是動態範圍特徵資訊之一。
水平軸上的100%是顯示的參考值(白位準)。對應於此白位準的垂直軸上的值是指派給顯影的影像之白位準(白色100%)的數位值,以及,將此值當作 white_level_code_value設定及發送給解碼側,white_level_code_value是動態範圍特徵資訊之一。
在水平軸上的20%是一般作為代表Gray(灰色)的參考曝光位準(灰階),且在很多情形中設定至相機側。對應於此灰階的垂直軸上的值是指派給顯影的影像之灰階(白色20%)的數位值,且將此值當作gray_level_code_value設定及發送至解碼側,gray_level_code_value是動態範圍特徵資訊之一。
水平軸上的0%是黑位準。對應於此黑位準的垂直軸上的值(64)是指派給顯影的影像之黑位準(白色0%)的數位值,以及,將此值當作black_level_code_value設定及發送至解碼側,black_level_code_value是動態範圍特徵資訊之一。
如上所述,表示要指派給顯影的影像之動態範圍的碼之碼資訊設定給捕捉的影像,作為動態範圍特徵資訊,以及發送給解碼側。亦即,表示要指派給顯影的影像之動態範圍特徵資訊之動態範圍特徵資訊設定給捕捉的影像、以及發送給解碼側。
動態範圍特徵資訊由內容產生側標示以及發送給顯示側(解碼側)作為表示內容品質的資訊(表示與白位準相關的影像資訊的高品質之資訊、以及表示內容的高潛在性之資訊,舉例而言,所述影像資訊的高品質係表示動態範圍比現有內容的動態範圍還寬)。
內容產生側具有動機以提供產生器所要的影像(的狀 態)。顯示側根據此資訊而執行加寬(增加)或窄化(降低)動態範圍的操作。此外,藉由參考此資訊,顯示側準確地執行下述操作。
舉例而言,當接收比顯示側的顯示能力還高的動態範圍之影像輸入時,根據顯示側的顯示能力,使用例如音調映射,顯示側執行降低範圍的操作。
相反地,當接收比顯示側的顯示能力還低的動態範圍之影像輸入時,根據顯示側的顯示能力,使用例如音調映射,顯示側執行增加範圍的操作。
雖然,當未提供此資訊時,顯示側需要分析解碼影像及執行音調映射,但是,藉由發送動態範圍特徵資訊,則無需分析解碼影像及準確地調整動態範圍。
此外,如圖6中所示,除了white_level_code_value之外,還能夠設定及發送在black_level_code_value與max_white_level_code_value之間的眾多white_level_code_value。
圖6顯示的實例是white_level_code_value_0至white_level_code_value_4被設定於0%與800%之間作為捕捉影像的白位準且被發送。
此外,雖然上述說明中已說明max_white_level_code_value、white_level_code_value及black_level_code_value被設定為值的實例,但是,max_white_level_code_value、white_level_code_value及black_level_code_value可以被設定及發送成範圍。
圖7是視圖,顯示動態範圍特徵資訊的實例。動態範圍特徵資訊包含camera_iso_sensitivity、output_exposure_index、screen_lw、black_level_code_value、gray_level_code_value、white_level_code_value及max_white_level_code_value。
如同參考圖5之上述所述般,camera_iso_sensitivity是表示捕捉影像時的相機靈敏度。output_exposure_index表示設定成影像顯影處理時要使用的曝光指數(亦即,顯影時的曝光指數)。Ref__screen_lw表示設定成影像顯影處理時要使用的白位準的參考顯示亮度。
如同參考圖5所述般,black_level_code_value、gray_level_code_value、white_level_code_value及max_white_level_code_value表示被指派黑位準、白位準、灰位準、及最大白位準之亮度的碼資料。
亦即,動態範圍特徵資訊較佳地包含影像捕捉時的(捕捉的影像的)最大亮度、影像捕捉時的最佳曝光值、顯影時的(顯影的影像的)最佳曝光值、被指派顯影後最大白位準的數位值、被指派顯影後白位準(白色100%)的數位值、被指派顯影後灰階的數位值、被指派顯影後黑位準的數位值、以及顯影後白色100%與最大白色0%之間的數位值。
這些動態範圍特徵資訊件根據下述的發送方法1至4中之一,發送給解碼側。
首先,將參考圖8,說明發送方法1之藉由延伸現有 的SEI(補充強化資訊)以發送動態範圍特徵資訊之實例。圖8是視圖,顯示音調映射SEI(tone_mapping_information SEI)的實例。SEI是用以顯示藉由對經過編碼的串執行解碼操作而取得的影像之輔助資訊。
如圖8中的格所標示般,藉由延伸音調映射SEI中的模型ID(model_id)=4,上述動態範圍特徵資訊設定於音調映射SEI以及被發送。
此外,在格中,未加影線的camera_iso_sensitivity及output_exposure_index是作為相機的設定參數之現存資訊(先前技術)。同時,在編碼位元串中包含這些資訊件以及發送經過編碼的位元串、或是使用這些資訊件及調整動態範圍是與先前技術不同。
另一方面,在格中,加上影線的ref_screen_lw、max_image_white_level、black_level_code_value、white_level_code_value及max_white_level_code_value新近地由參數設定,且不同於先前技術。
同時,雖然在以往的音調映射SEI中每一RGB使用不同的成分,但是,動態範圍特徵資訊將解碼影像的亮度成分設定為應用標的。
此外,TBD是要決定的值,以及代表預先設定的值或是當內容被產生時設定的參數。
圖9是視圖,顯示音調映射SEI的另一實施例。
也在圖9中的實例中,如格中所示般,藉由在音調映 射SEI中延伸模型ID(model_id)=4,上述動態範圍特徵資訊被設定至音調映射SEI以及被發送。
camera_iso_sensitivity_idc表示代表相機取得的靈敏度之碼。此碼的意義被標示在下述圖10中的表格中。當camera_iso_sensitivity_idc意指Extended_ISO時,在下一列中的camera_iso_sensitivity代表ISO_number。亦即,藉由將camera_iso_sensitivity_idc設定為Extended_ISO,能夠將camera_iso_sensitivity_idc設定於所需值。
exposure_index_idc表示代表影像捕捉時的曝光指數之碼。此碼的意義標示於下述的圖10中的表格中。當exposure_index_idc意指Extended_ISO時,在下一列中的exposure_index_rating代表ISO_number。亦即,藉由將exposure_index_idc設定為Extended_ISO,能夠將exposure_index_idc設定於所需值。
sign_image_exposure_value表示與影像捕捉時的曝光值相對之顯影時相對的曝光碼。image_exposure_value0表示與影像捕捉時的曝光值相對之顯影時相對的曝光值的分子值。image_exposure_value1表示與影像捕捉時的曝光值相對之顯影時相對的曝光值的分母值。
亦即,使用與影像捕捉時相較之顯影時的sign_image_exposure_value、image_exposure_value0及image_exposure_value1以表示曝光值下降多少,能夠推導出顯影時的曝光值(圖8中的output_exposure_index)。藉由此方式,顯影時的曝光值表示成十進位數。
ref_screen_lw是表示假定在什麼cd/m2(燭光)下內容以白色顯示時產生的內容,以及表示內容需要由此白色顯示。
max_image_white_level表示影像的亮度動態範圍,此動態範圍係以相對於白色參考位準之整數百分比顯示。
類似於圖8中的實例,black_level_code_value、white_level_code_value及max_white_level_code_value表示被指派黑位準、白位準及最大白位準之亮度的碼資料。
此外,類似於圖8中的實例,也在圖9中的實例中,在格中,未被加上影線之camera_iso_sensitivity、exposure_index_idc、sign_image_exposure、image_exposure_value0及image_exposure_value1是關於相機設定參數的現存資訊(先前技術)。在經過編碼的位元串中包含這些資訊件以及發送經過編碼的位元串、或是使用這些資訊件及調整動態範圍是不同於先前技術。
另一方面,在格中,被加上影線的ref_screen_lw、max_image_white_level、black_level_code_value、white_level_code_value及max_white_level_code_value是由參數新近地設定,以及不同於先前技術。
圖10是視圖,顯示由相機靈敏度標示的指示符以及由曝光指數標示的指示符的意義之表格。
舉例而言,當指示符是0時,ISO數目未被特別表示。當指示符是1時,10被標示為ISO數目。當指示符是2至30時,標示但未顯示ISO數目。
當指示符是31至254時,ISO數目被保留。當指示符是255時,Extended_ISO標示為ISO數目。當ISO數目是Extended_ISO時,camera_iso_sensitivity_idc及exposure_index_idc都標示如上述參考圖9所述的所需值。
接著,將參考圖11,說明作為發送方法2之設定新的(專用的)SEI及發送動態範圍特徵資訊之方法。圖11是視圖,顯示亮度動態範圍SEI的實例(luminance_dynamic_range_information SEI)。
亦即,亮度動態範圍SEI(luminance_dynamic_range_info)新近設定成如圖11中所示。此外,如圖11中的格中所示般,上述動態範圍特徵資訊設定於此亮度動態範圍SEI及被發送。此外,在圖11中的格中之動態範圍特徵資訊基本上與參考圖8之上述所述的動態範圍特徵資訊相同,將不重複說明。
此外,發送方法3是藉由使上述發送方法1和2與VUI(視頻可用性資訊)參數相關連以發送動態範圍特徵資訊之方法。VUI是以序列單位標示影像的可用性之資訊。
圖12是視圖,顯示在與發送方法1相關連時VUI語法的實例。在圖12中的實例中,tone_mapping_flag(音調映射旗標)是標示存在/不存在資訊的旗標,存在/不存在資訊標示是否有音調映射SEI。1表示音調映射旗標代表有音調映射SEI,0表示没有音調映射SEI。
圖13是視圖,顯示在與發送方法2相關連時VUI語法的實例。在圖13中的實例中,luminance_dynamic_range_flag(亮度動態範圍旗標)是標示存在/不存在資訊的旗標,存在/不存在資訊標示是否有亮度動態範圍SEI。1表示亮度動態範圍旗標代表有亮度動態範圍SEI,0表示没有亮度動態範圍SEI。
最後,發送方法4發送動態範圍特徵資訊作為上述VUI參數。亦即,在此情形中,取代圖12或13中所示的旗標(或是,旗標之外),動態範圍特徵資訊本身被發送作為VUI參數。
同時,當動態範圍特徵資訊包含在SEI中時,動態範圍特徵資訊不僅可應用至HEVC技術,也可應用至AVC技術。同時,VUI包含顯示側上使用的大量值,以致於當動態範圍特徵資訊包含在VUI中時能夠結合資訊。
圖14是視圖,顯示發送方法4的情形中VUI語法的實例。
在圖14中的VUI語法中,在格的頂部,說明圖12中的tone_mapping_flag(音調映射旗標),以及,當即刻說明動態範圍特徵資訊時音調映射旗標是1(只要動態範圍特徵資訊包含在VUI中,則不即刻說明動態範圍特徵資訊),以及,當未說明的動態範圍特徵資訊時為0。
因此,當音調映射旗標是1時,解碼側參考圖14中的格中所的動態範圍特徵資訊。
此外,圖14中所示的動態範圍特徵資訊與參考圖9 之上述所述的動態範圍特徵資訊相同,且將不重複說明。
圖15是視圖,顯示動態範圍特徵資訊的實例。此外,動態範圍特徵資訊是在如上所述的音調映射SEI、亮度動態範圍SEI或VUI中說明的資訊,以及,在圖15中的實例中,在語法的開頭說明「xxxxx( )」,以致於未指明說明位置。
代表有用區域的亮度範圍及/或有用區域的位置和偏移加至圖15中的動態範圍特徵資訊中的max_white_level_code_value之下的該資訊與圖9中的動態範圍特徵資訊不同。
亦即,roi_luminance_range_flag是旗標,表示是否說明代表有用區域的亮度範圍及/或有用區域的位置和偏移之資訊。
當roi_luminance_range_flag的值是1時,min_roi_luminance_range、max_roi_luminance_range、roi_region_x、roi_region_y、roi_region_x_offset及roi_region_y_offset標示於黑色填充部份中。
min_roi_luminance_range表示有用區域的亮度範圍的最小值。max_roi_luminance_range表示有用區域的亮度範圍的最大值。roi_region_x及roi_region_y分別標示有用區域中的左上方的x座標及y座標。
roi_region_x_offset及roi_region_y_offset代表與左上方的roi_region_x及roi_region_y偏移的值。藉由此方式,能夠從roi_region_x及roi_region_y標示有用的區 域。
如上所述般,有用區域的亮度範圍及(或)有用區域的位置和偏移包含在動態範圍特徵資訊中,以致於能夠通知解碼側需要執行符合有用區域的音調映射。
此外,取代有用區域的亮度範圍,增加黑色強調旗標或是或是白色強調旗標,黑色強調旗標是將強調加於例如電影內容中的低亮度範圍上,白色強調旗標是將強調加於例如電視內容中的高亮度範圍上。
雖然由顯示表示的解析度在過去是低的,以及,內容產生器因而不需要包含等於或大於100%的白色,但是,能再生更高解析度的顯示近來正在出現。
因此,如上所述,等於或大於100%的白色提供給僅具有100%白色的視頻影像,以及,顯示能力會變化且在此顯示器中提供轉換視頻影像成為符合顯示器的視頻影像之資訊。
依此方式,顯示側準確地再生動態範圍。
[編碼裝置的操作說明]
圖16是流程圖,用於說明產生圖3中的編碼裝置1的操作。此外,在圖16中的實例中,將說明上述發送方法3的實例。
在圖16的步驟S1中,編碼裝置1的編碼單元2執行編碼操作,根據HEVC技術,將從外側作為輸入訊號輸入的例如格為基礎的捕捉影像編碼。稍後將參考圖17和 18,詳述此編碼操作。
在步驟S2中,設定單元3設定SPS。在步驟S3中,設定單元3設定PPS。在步驟S4中,舉例而言,根據未顯示之輸入單元的使用者操作,設定單元3決定編碼的標的影像是否為HDR(高動態範圍)影像。此外,包含上述動態範圍特徵資訊的影像於下將稱為「HDR影像」。
當在步驟S4中判定編碼標的影像是HDR影像時,在步驟S5中,設定單元3將包含1的VUI設定為HDR影像旗標。在步驟S6中,設定單元3設定例如HDR影像SEI等SEI,以及,將操作進行至步驟S8。
同時,HDR影像旗標是參考圖12之上述tone_mapping_flag或是參考圖13之上述luminance_dynamic_range_flag。此外,HDR影像SEI是參考圖8的上述音調映射SEI或是參考圖11的上述亮度動態範圍SEI。
同時,當在步驟S4中判定編碼的標的影像不是HDR影像時,在步驟S7中,設定單元3將包含0的VUI設定為HDR旗標。此外,假使需要時,設定單元3設定HDR影像SEI以外的SEI,以及,將操作進行至步驟S8。
在步驟S8中,設定單元3從設定的SPS、PPS、VUI及SEI及編碼單元2供應的編碼資料,產生編碼串。設定單元3供應編碼串給發送單元4。
在步驟S9中,發送單元4發送設定單元3供應的編碼串給下述解碼裝置,以及,完成操作。
圖17及18是流程圖,用於說明圖16中的步驟S1中的編碼操作的細節。
在圖17的步驟S11中,編碼單元2的A/D轉換器11對作為輸入訊號的格為基礎的影像輸入執行A/D轉換,以及,將影像輸出及儲存至螢幕再配置緩衝器12中。
在步驟S12中,螢幕再配置緩衝器12再安排依顯示次序儲存的影像的格,以致於影像的格根據GOP(圖像組)結構而依編碼次序配置。螢幕再配置緩衝器12將再配置的格為基礎的影像供應給算術運算單元13、內部預測單元24、及動作預測/補償單元25。應注意,舉例而言,下述步驟S13至S31的操作以CU(碼化單位)單位執行。
在步驟S13中,內部預測單元24在所有候選內部預測模式中執行內部預測操作。此外,根據讀自螢幕再配置緩衝器12的影像及因內部預測操作的結果而產生的預測影像,內部預測單元24計算所有候選的內部預測模式的成本函數值。此外,內部預測單元24接著將具有最小成本函數值的內部預測模式判定為最佳內部預測模式。內部預測單元24將最佳內部預測模式中產生的預測影像以及對應的成本函數值供應給預測影像選取單元26。
此外,動作預測/補償單元25在所有候選的預測間模式中執行動作預測/補償操作。此外,根據從螢幕再配置緩衝器12供應的影像及預測影像,動作預測/補償單元25對所有候選的預測間模式計算成本函數值,以及,動作預 測/補償單元25將具有最小的成本函數值的預測間模式判定為最佳預測間模式。又此外,動作預測/補償單元25將最佳預測間模式的成本函數值及對應的預測影像供應給預測影像選取單元26。
在步驟S14中,根據內部預測單元24及動作預測/補償單元25根據步驟13中的操作而供應的成本函數值,預測影像選取單元26將具有最佳預測間模式及最佳內部預測模式的較小成本函數之預測模式判定為最佳預測模式。此外,預測影像選取單元26接著在最佳預測模式中供應預測影像給算術運算單元13及加法單元20。
在步驟S15中,預測影像選取單元26判斷最佳預測模式是否為最佳預測間模式。當在步驟15中判定最佳預測模式是最佳預測間模式時,預測影像選取單元26將最佳預測間模式中產生的預測影像的選取通知動作預測/補償單元25。
此外,在步驟S16中,動作預測/補償單元25將預測間模式資訊、對應的動作向量及指明參考影像的資訊供應給無損失編碼單元16。此外,操作接著進行至步驟S18。
同時,當在步驟S15中判定最佳預測模式不是最佳預測間模式時,亦即,當最佳預測模式是最佳內部預測模式時,預測影像選取單元26將最佳內部預測模式中產生的預測影像的選取通知內部預測單元24。
此外,在步驟S17中,內部預測單元24供應內部預測模式資訊給無損失編碼單元16。此外,操作接著進行 至步驟S18。
在步驟S18中,藉由將螢幕再配置緩衝器12供應的影像減掉預測影像選取單元26供應的預測影像,算術運算單元13執行編碼。算術運算單元13將結果影像作為剩餘誤差資訊輸出給正交轉換單元14。
在步驟S19中,正交轉換單元14對算術運算單元13供應的剩餘誤差資訊執行正交轉換,以及,將結果的係數供應給量化單元15。
在步驟S20中,量化單元15量化從正交轉換單元14供應的係數。量化係數輸入至無損失編碼單元16及反量化單元18。
在步驟S21中,反量化單元18將量化單元15供應的量化係數反量化。
在步驟S22中,反正交轉換單元19對反量化單元18供應的係數執行反正交轉換,以及,將結果的剩餘誤差資訊供應給加法單元20。
在步驟S23中,加法單元20將反正交轉換單元19供應的剩餘誤差資訊加至預測影像選取單元26供應的預測影像,以及,取得本地解碼影像。加法單元20將結果影像供應給解塊濾波器21,以及供應給格記憶體22。
在步驟S24中,解塊濾波器21對加法單元20供應的本地解碼影像執行解塊濾波操作。解塊濾波器21將結果影像供應給適應偏移濾波器41。
在步驟S25中,適應偏移濾波器41根據LCU而對自 解塊濾波器21供應的影像執行適應偏移濾波操作。適應偏移濾波器41將結果影像供應給適應迴路濾波器42。此外,適應偏移濾波器41根據LCU而將儲存旗標、索引或偏移及型式資訊供應給無損失編碼單元16。
在步驟S26中,適應迴路濾波器42對根據LCU而從適應偏移濾波器41供應的影像執行適應迴路過濾操作。適應迴路濾波器42將結果影像供應至格記憶體22。此外,適應迴路濾波器42將適應迴路濾波操作中使用的濾波器係數供應至無損失編碼單元16。
在步驟S27中,格記憶體22儲存濾波之前及之後的影像。更具體而言,格記憶體22儲存加法單元20供應的影像以及適應迴路濾波器42供應的影像。儲存在格記憶體22中的影像接著作為參考影像經由開關23而輸出至內部預測單元24或是動作預測/補償單元25。
在步驟S28中,無損失編碼單元16對作為編碼資訊的內部預測模式資訊或是預測間模式資訊、動作向量、指明參考影像的資訊、偏移濾波資訊及濾波器係數執行無損失編碼。
在步驟S29中,無損失編碼單元16對量化單元15供應的量化係數執行無損失編碼。此外,無損失編碼單元16從在步驟S28中的操作中接受無損失編碼的編碼資訊及接受無損失編碼的係數產生編碼資料。
在步驟S30中,無損失編碼單元16將編碼資料供應及儲存至累積緩衝器17中。
在步驟S31中,累積緩衝器17將儲存的編碼資料輸出至圖3中的設定單元3。此外,操作返回至圖16中的步驟S1,然後進行至步驟S2。
此外,雖然為了易於說明而在圖17及18中的編碼操作中一直執行內部預測操作及動作預測/補償操作,但是,可以視例如圖像型式而真正地僅執行內部預測操作及動作預測/補償操作中之一。
如上所述,編碼裝置1設定HDR影像SEI(音調映射SEI或亮度動態範圍SEI)及HDR影像旗標(tone_mapping_flag或luminance_dynamic_range_flag),以及將HDR影像與編碼資料一起發送。
結果,當HDR影像旗標是1時,較佳地使用HDR影像SEI,將HDR影像的編碼串解碼及顯示的解碼裝置可靠地再生及顯示HDR影像的動態範圍。結果,當解碼及顯示HDR影像的編碼串時,編碼裝置1產生HDR影像的編碼串,以致於HDR影像的動態範圍被可靠地再生及顯示。
[舉例說明的解碼裝置的第一實施例的結構]
圖19是方塊圖,顯示應用本技術以及將從圖3中的編碼裝置1發送的編碼串解碼的作為影像處理裝置之解碼裝置的第一實施例的舉例說明的結構。
圖19中的解碼裝置50具有接收單元51、解多工單元52、解碼單元53、影像調整單元54、顯示控制單元55 及顯示單元56。
解碼裝置50的接收單元51接收從圖3中的編碼裝置1發送的編碼串,以及,將編碼串供應至解多工單元52。解多工單元52將來自接收單元51供應的編碼串之例如SPS、PPS、VUI、SEI及編碼資料解多工。解多工單元52供應編碼資料給解碼單元53。此外,假使需要時,解多工單元52也將SPS、PPS、VUI、及SEI供應至解碼單元53及影像調整單元54。
假使需要時,解碼單元53參考例如解多工單元52供應的SPS、PPS、VUI及SEI,以及,根據HEVC技術,將解多工單元52供應的編碼資料解碼。解碼單元53將例如因為解碼結果而取得的HDR影像等影像作為輸出訊號供應給影像調整單元54。
假使需要時,根據例如從解多工單元52供應之SPS、PPS、VUI及SEI,影像調整單元54調整從解碼單元53供應作為輸出訊號的HDR影像之動態範圍。舉例而言,影像調整單元54根據顯示動態範圍而調整影像的動態範圍。此外,影像調整單元54將HDR影像作為輸出訊號供應至顯示控制單元55。
顯示控制單元55根據從影像調整單元54供應的HDR影像而產生顯示影像(假使需要時從顯示單元56通知顯示方法)。顯示控制單元55藉由供應顯示影像至顯示單元56以顯示產生的顯示影像。
顯示單元56顯示從顯示控制單元55供應的顯示影 像。此外,顯示單元56將預先設定的顯示方法或是由使用者預先設定及指定的顯示方法通知顯示控制單元55。
[舉例說明的解碼單元結構]
圖20是方塊圖,顯示圖19中的舉例說明的解碼單元53的結構。
圖20中的解碼單元53包含累積緩衝器101、無損失解碼單元102、反量化單元103、反正交轉換單元104、加法單元105、解塊濾波器106、螢幕再配置緩衝器107、D/A轉換器108、格記憶體109、開關110、內部預測單元111、動作補償單元112、及開關113。
此外,在解塊濾波器106、螢幕再配置緩衝器107、及格記憶體109之間,設有適應偏移濾波器141及適應迴路濾波器142。
解碼單元53的累積緩衝器101接收及儲存來自圖19中的解多工單元52。累積緩衝器101將儲存的編碼資料供應給無損失解碼單元102。
藉由對來自累積緩衝器101的編碼資料執行例如可變長度解碼或是算術解碼等無損失解碼,無損失解碼單元102取得量化係數及編碼資訊。無損失解碼單元102供應量化係數給反量化單元103。此外,無損失解碼單元102將內部預測模式資訊作為編碼資訊供應給內部預測單元111,以及供應動作向量、指明參考影像的資訊及預測間模式資訊給無動作補償單元112。此外,無損失解碼單元 102將內部預測模式資訊或預測間模式資訊作為編碼資訊供應給開關113。
無損失解碼單元102將偏移濾波器資訊作為編碼資訊供應給適應偏移濾波器141,以及,將濾波器係數供應給適應迴路濾波器142。
反量化單元103、反正交轉換單元104、加法單元105、解塊濾波器106、格記憶體109、開關110、內部預測單元111、及動作補償單元112執行與圖4中的反量化單元18、反正交轉換單元19、加法單元20、解塊濾波器21、格記憶體22、開關23、內部預測單元24、及動作預測/補償單元25相同的操作,以將影像解碼。
具體而言,反量化單元103將來自無損失解碼單元102的量化係數反量化,以及,將結果的係數供應至反正交轉換單元104。
反正交轉換單元104對來自反量化單元103的係數執行反正交轉換,以及,將結果的剩餘誤差資訊供應給加法單元105。
加法單元105將反正交轉換單元104供應的作為解碼的標的影像之剩餘誤差資訊加至開關113供應的預測影像以解碼。加法單元105將因解碼結果而取得的影像供應給解塊濾波器106,以及,也供應影像給格記憶體109。此外,在沒有從開關113供應的預測影像之情形中,加法單元105將反正交轉換單元104供應的剩餘誤差資訊之影像作為解碼結果取得的影像供應給解塊濾波器106,以及, 也供應及儲存影像至格記憶體109中。
解塊濾波器106對加法單元105供應的影像執行解塊濾波,以移除區塊失真。解塊濾波器106將結果影像供應給適應偏移濾波器141。
適應偏移濾波器141具有順序地儲存無損失解碼單元102供應的偏移。此外,根據無損失解碼單元102供應的偏移濾波器資訊,適應偏移濾波器141依據LCU而對接受解塊濾波器106執行的適應解塊濾波操作之影像執行適應偏移濾波操作。
更具體而言,假使包含在偏移濾波器資訊中的儲存旗標是0時,則藉由使用包含在此偏移濾波器資訊中的偏移,對依LCU單位接受解塊濾波操作的影像,適應偏移濾波器141執行型式資訊標示的型式之適應偏移濾波操作。
同時,假使包含在偏移濾波器資訊中的儲存旗標是1時,適應偏移濾波器141從依LCU單位接受解塊濾波操作的影像中,讀取儲存在包含在此偏移濾波器資訊中的索引所標示的位置之偏移。此外,使用讀取偏移,適應偏移濾波器141執行型式資訊標示的型式之適應偏移濾波操作。適應偏移濾波器141將接受適應偏移濾波操作的影像供應給適應迴路濾波器142。
使用無損失解碼單元102供應的濾波器係數,適應迴路濾波器142對根據LCU而從適應偏移濾波器141供應的影像執行適應迴路過濾操作。適應迴路濾波器142將結 果影像供應至格記憶體109及螢幕再配置緩衝器107。
儲存在格記憶體109中的影像經由開關110而被讀取作為參考影像,以及,供應至動作補償單元112或是內部預測單元111。
螢幕再配置緩衝器107儲存從解塊濾波器106以格供應的影像。螢幕再配置緩衝器107依原始的顯示次序取代編碼次序,再配置儲存的影像之格,以及,將重配置的影像供應給D/A轉換器108。
D/A轉換器108對從螢幕再配置緩衝器107供應的格為基礎的影像執行D/A轉換,以及,將影像作為輸出訊號輸出至圖19中的影像調整單元54。
使用經由開關110而自格記憶體109讀取且未由解塊濾波器106過濾之參考影像,內部預測單元111在標題及片斷單元中執行無損失解碼單元102供應的內部預測模式資訊標示的內部預測模式中的內部預測操作。內部預測單元111供應結果的預測影像給開關113。
根據指明從無損失解碼單元102供應的參考影像之資訊,動作補償單元112在標題及片斷單元中經由開關110而從格記憶體109讀取由解塊濾波器106濾波的參考影像。使用動作向量及參考影像,動作補償單元112執行預測間模式資訊標示的最佳預測間模式中的動作補償操作。動作補償單元112將結果的預測影像供應給開關113。
當內部預測模式資訊從無損失解碼單元102供應時,開關113將內部預測單元111供應的預測影像供應至加法 單元105。同時,當預測間模式資訊從無損失解碼單元102供應時,開關113將動作補償單元112供應的預測影像供應給加法單元105。
[解碼裝置的操作說明]
圖21是流程圖,用於說明圖19中的解碼裝置50的顯示操作。
在圖21中的步驟S50中,解碼裝置50的接收單元51接收從圖3中的編碼裝置1發送的編碼串,以及,供應編碼串給解多工單元52。
在步驟S51中,解多工單元52將來自接收單元51供應的編碼串之例如SPS、PPS、VUI、SEI及編碼資料解多工。解多工單元52供應編碼資料給解碼單元53。此外,假使需要時,解多工單元52也將SPS、PPS、VUI、及SEI供應至解碼單元53及影像調整單元54。
在步驟S52中,假使需要時,解碼單元53執行參考例如解多工單元52供應的SPS、PPS、VUI及SEI的解碼操作,以及,根據HEVC技術,將解多工單元52供應的編碼資料解碼。將參考圖22,稍後詳述解碼操作。
在步驟S53中,影像調整單元54判斷包含在解多工單元52供應的VUI中的HDR影像旗標是否為1。如同參考圖16之上述所述般,HDR影像旗標是圖12中所示的tone_mapping_flag或是圖13中所示的luminance_dynamic_range_flag。當在步驟S31中判定 HDR旗標是1時,影像調整單元54判定解碼單元53供應的輸出訊號是HDR影像。
此外,在步驟S54中,影像調整單元54取得包含在解多工單元52供應的HDR影像SEI中的動態範圍特徵資訊。更具體而言,如同參考圖16之上述所述般,從圖8中所示的音調映射SEI取得動態範圍特徵資訊或是圖11中所示的亮度動態範圍SEI。
在步驟S55中,根據步驟S54中取得的動態範圍特徵資訊,影像調整單元54將影像的動態範圍調整至顯示動態範圍。此動態範圍的調整操作包含例如音調映射操作。影像調整單元54將經過調整的影像供應給顯示控制單元55。
此外,雖然在步驟S55中有大約二種調整影像的方法,但是,二操作都是將影像調整至方法的顯示能力之操作。
根據第一方法,當比方法的顯示能力更高的動態範圍之影像輸入時,執行根據方法的顯示能力之影像動態範圍的降低操作。
根據第二方法,當比方法的顯示能力更低的動態範圍之影像輸入時,執行根據方法的顯示能力之影像動態範圍的增加操作。
同時,當在步驟S53中判定HDR影像旗標不是1時,跳過步驟S54和S55,以及,操作進行至步驟S56。亦即,在此情形中,影像調整單元54將來自解碼單元53 的影像原狀地供應至顯示控制單元55。
在步驟S56中,顯示控制單元55根據影像調整單元54供應的HDR影像而產生顯示影像以及將產生的顯示影像供應至顯示單元56以將影像顯示在顯示單元56上,以及完成操作。
圖22是流程圖,用於說明圖21中的步驟S52中的解碼操作的細節。
在圖22中的步驟S111中,解碼單元53的累積緩衝器101從圖19中的解多工單元52接收及儲存格為基礎的編碼資料。累積緩衝器101將儲存的編碼資料供應至無損失解碼單元102。應注意,下述步驟S112至S124的操作是以例如CU單位執行。
在步驟S112中,藉由對來自累積緩衝器101的編碼資料執行無損失解碼,無損失解碼單元102量化係數及編碼資訊。無損失解碼單元102供應量化係數給反量化單元103。此外,無損失解碼單元102將內部預測模式資訊作為編碼資訊供應給內部預測單元111,以及,將動作向量、預測間模式資訊及指明參考影像的資訊供應給動作補償單元112。此外,無損失解碼單元102將內部預測模式資訊或是預測間模式資訊作為編碼資訊供應給開關113。
又此外,無損失解碼單元102將偏移濾波器資訊作為編碼資訊供應給適應偏移濾波器141,以及,將濾波器係數供應給適應迴路濾波器142。
在步驟S113中,反量化單元103將來自無損失解碼 單元102的量化係數反量化,以及,將結果的係數供應給反正交轉換單元104。
在步驟S114中,動作補償單元112判斷預測間模式資訊是否從無損失解碼單元102供應。當在步驟S114中判定預測間模式資訊被供應時,操作進行至步驟S115。
在步驟S115中,動作補償單元112讀取由解塊濾波器106濾波的參考影像,以及,根據無損失解碼單元102供應的動作向量、預測間模式資訊及指定參考影像的資訊,執行動作補償操作。動作補償單元112經由開關113而供應結果的預測影像給加法單元105,以及,將操作進行至步驟S117。
同時,當在步驟S114中判定預測間模式未被供應時,當內部預測模式資訊供應至內部預測單元111時,操作進行至步驟S116。
在步驟S116中,使用經由開關110而從格記憶體109讀取且未被解塊濾波器106濾波的參考影像,內部預測單元111執行由內部預測模式資訊標示的內部預測模式中的內部預測操作。內部預測單元111將內部預測操作的結果產生的預測影像經由開關113而供應至加法單元105,以及,將操作進行至步驟S117。
在步驟S117中,反正交轉換單元104對來自反量化單元103的係數執行反正交轉換,以及,將結果的剩餘誤差資訊供應給加法單元105。
在步驟S118中,加法單元105將反正交轉換單元 104供應的剩餘誤差資訊加至開關113供應的預測影像。加法單元105將結果影像供應至解塊濾波器106,也將影像供應至格記憶體109。
在步驟S119中,解塊濾波器106對加法單元105供應的影像執行濾波,以移除區塊失真。解塊濾波器106供應結果的影像給適應偏移濾波器141。
在步驟S120中,根據無損失解碼單元102供應的偏移濾波器資訊,適應偏移濾波器141根據LCU而對接受過解塊濾波器106執行的解塊濾波操作的影像執行適應偏移濾波操作。適應偏移濾波器141將接受適應偏移濾波操作的影像供應給適應迴路濾波器142。
在步驟S121中,使用無損失解碼單元102供應的濾波器係數,適應迴路濾波器142對根據LCU而從適應偏移濾波器141供應的影像執行適應迴路過濾操作。適應迴路濾波器142將結果影像供應至格記憶體109及螢幕再配置緩衝器107。
在步驟S122中,格記憶體109儲存尚未被濾波且從加法單元105供應的影像、以及從解塊濾波器106供應的經過濾波的影像。儲存在格記憶體109中的影像經由開關110而被作為參考影像供應至動作補償單元112或內部預測單元111。
在步驟S123中,螢幕再配置緩衝器107儲存從解塊濾波器106以格供應的影像,依原始的顯示次序取代編碼次序,再配置儲存的影像之格,以及,將重配置的影像供 應給D/A轉換器108。
在步驟S124中,D/A轉換器108對從螢幕再配置緩衝器107供應的格為基礎的影像執行D/A轉換,以及,將影像作為輸出訊號輸出至圖19中的影像調整單元54。此外,操作返回至圖21中的步驟S52,然後進行至步驟S53。
如上所述,解碼裝置50將編碼資料解碼及產生影像,以及,當HDR影像旗標是1時,較佳地使用HDR影像SEI,可靠地再生和顯示HDR影像的動態範圍。
此外,HDR影像旗標可以包含在例如SPS等另一NAL單元中以取代VUI。
雖然上述中HEVC技術基本上用於編碼技術,但是,本技術是用於顯示影像的技術且不侷限於編碼技術。結果,此技術不限於HEVC技術,以及可以採用其它編碼技術/解碼技術。舉例而言,下述AVC技術也可應用至執行編碼/解碼操作的裝置。
<第二實施例> [舉例說明的編碼裝置的第二實施例的結構]
圖23是方塊圖,顯示應用本技術的根據作為影像處理裝置之編碼裝置的第二實施例的舉例說明的結構。
在圖23中所示的結構中,與圖3中的組件相同的組件以與圖3中的代號相同的代號表示。將不重複已作過的說明。
圖23中的編碼裝置201的結構與圖3中的結構不同之處在於包含編碼單元21以取代編碼單元2。編碼裝置201的結構與圖3中的結構共同之處在於包含設定單元3及發送單元4。
編碼裝置201的編碼單元211接收例如格為基礎的捕捉影像等影像的輸入作為輸入訊號。編碼單元211根據AVD技術而將輸入訊號編碼,以及,將結果的編碼資料供應給設定單元3。
設定單元3以符合AVC技術的標準之格式設定影像的動態範圍的特徵資訊。設定單元3從設定的特徵資訊及從編碼單元211供應的編碼資料產生編碼串。設定單元3將編碼串供應至發送單元4。
亦即,編碼裝置201與圖3中的編碼裝置1不同之處在於根據AVC技術執行編碼操作。
[舉例說明之編碼單元的結構]
圖24是方塊圖,顯示圖23中的編碼單元21的舉例說明的結構。
在圖24中所示的結構中,與圖4中相同的組件以同於圖4的代號表示。已作過的說明將不重複。
圖24中的編碼單元211包含A/D轉換器11、螢幕再管理緩衝器12、算術運算單元13、正交轉換單元14、量化單元15、無損失編碼單元16、累積緩衝器17、反量化單元18、反正交轉換單元19、加法單元20、解塊濾波器 21、格記憶體22、開關23、內部預測單元24、動作預測/補償單元25、預測影像選取單元26、及速率控制單元27。
亦即,圖24中的編碼單元211的結構與圖4中的結構不同之處僅在於移除適應偏移濾波器41及適應迴路濾波器42以及在由無損失編碼單元16執行編碼時根據AVC技術而非HEVC技術。因此,編碼單元211以區塊單位而非CU單位來執行編碼操作。
無損失編碼單元16的編碼操作標的基本上與圖4中的無損失編碼單元16相同,但是適應偏移濾波器及適應迴路濾波器的參數除外。亦即,類似於圖4中的無損失編碼單元16,無損失編碼單元16從內部預測單元24取得內部預測模式資訊。此外,無損失編碼單元16從動作預測/補償單元25取得預測間模式資訊、動作向量、及指明參考影像的資訊。
類似於圖4中的無損失編碼單元16,無損失編碼單元16對量化單元15供應的量化係數執行無損失編碼,例如可變長度編碼(舉例而言,CAVLC(內容適應可變長度碼化))或算術編碼(舉例而言,CABAC(內容適應二進位算術碼化))。
此外,類似於圖4中的無損失編碼單元16,無損失編碼單元16對作為編碼相關的編碼資訊之內部預測模式資訊或預測間模式資訊、動作向量、指定參考影像的資訊、偏移濾波器資訊及濾波器偏數執行無損失編碼。無損 失編碼單元16將接受無損失編碼的編碼資訊及係數作為編碼資料供應及儲存至累積緩衝器17中。此外,接受無損失編碼的編碼資訊可為接受無損失編碼之係數的標頭資訊。
解塊濾波器21對加法單元20供應的本地解碼影像執行濾波,以移除區塊失真。解塊濾波器21供應結果影像儲存於格記憶體22中。
然後,儲存在格記憶體22中的影像作為參考影像,經由開關23輸出至內部預測單元24或是動作預測/補償單元25。
本技術也可應用至根據此AVC技術的編碼裝置201。
[舉例說明的解碼裝置的第二實施例的結構]
圖25是方塊圖,顯示應用本技術以及將從圖23中的編碼裝置201發送的編碼串解碼的作為影像處理裝置之解碼裝置的第二實施例的舉例說明的結構。
在圖25中所示的結構中,與圖19中相同的組件以同於圖19的代號表示。已作過的說明將不重複。
圖25中的解碼裝置251與圖19中的結構不同之處在於包含解碼單元261以取代解碼單元53。解碼裝置251的結構與圖19中的結構共同之處在於包含接收單元51、解多工單元52、影像調整單元54、顯示控制單元55及顯示單元56。
接收單元51接收從圖23中的編碼裝置201發送的編碼串,以及,根據AVC技術以將編碼串編碼,以及,將編碼串供應至解多工單元52。舉例而言,解多工單元52將例如根據AVC技術的標準設定的動態範圍之特徵資訊以及來自接收單元51供應的編碼資料解多工。解多工單元52供應編碼資料給解碼單元261。此外,假使需要時,解多工單元52也將動態範圍特徵資訊供應至解碼單元261及影像調整單元54。
假使需要時,解碼單元261參考例如解多工單元52供應的SPS、PPS、VUI及SEI,以及,根據AVC技術,將解多工單元52供應的編碼資料解碼。解碼單元261將例如因為解碼結果而取得的HDR影像等影像作為輸出訊號供應給影像調整單元54。
假使需要時,根據例如從解多工單元52供應之動態範圍特徵資訊,影像調整單元54調整從解碼單元261供應之作為輸出訊號的HDR影像之動態範圍。此外,影像調整單元54將HDR影像作為輸出訊號供應至顯示控制單元55。
亦即,解碼裝置251與圖19中的解碼裝置50不同之處僅在於根據AVC技術執行解碼操作。
[舉例說明的解碼單元結構]
圖26是方塊圖,顯示圖25中的舉例說明的解碼單元261的結構。
圖26中所示的組件中與圖20的組件相同的組件以同於圖20中的代號表示。已作過的說明將不再重複。
圖26中的解碼單元261包含累積緩衝器101、無損失解碼單元102、反量化單元103、反正交轉換單元104、加法單元105、解塊濾波器106、螢幕再配置緩衝器107、D/A轉換器108、格記憶體109、開關110、內部預測單元111、動作補償單元112、及開關113。
圖26中的解碼單元261的結構與圖20中的結構不同之處僅在於移除適應偏移濾波器141及適應迴路濾波器142以及在無損失解碼單元102中執行解碼時是根據AVC技術而非HEVC技術。因此,解碼單元261以區塊單位而非CU單位來執行解碼操作。
無損失解碼單元102的解碼操作標的基本上與圖20中的無損失編碼單元102相同,但是適應偏移濾波器及適應迴路濾波器的參數除外。亦即,類似於圖20中的無損失解碼單元102,藉由對來自累積緩衝器101的編碼資料執行例如可變長度解碼或算術解碼等無損失解碼,無損失解碼單元102取得量化係數及編碼資訊。無損失解碼單元102將量化係數供應至反量化單元103。
此外,類似於圖20中的無損失解碼單元102,無損失解碼單元102將內部預定模式資訊作為編碼資訊供應給內部預測單元111,以及,將動作向量、指明參考影像的資訊及預測間模式資訊供應給動作補償單元112。此外,無損失解碼單元102將內部預測模式資訊或預測間模式資 訊作為編碼資訊供應給開關113。
解塊濾波器106對加法單元105供應的影像執行濾波,以移除區塊失真。解塊濾波器106將結果影像供應給格記憶體109及螢幕再配置緩衝器107。
本技術也可應用至根據此AVC技術的解碼裝置251。
此外,當經由例如衛星廣播、有線電視、網際網路、或可攜式電話裝置等網路媒體而接收以例如HEVC技術的例如離散餘弦轉換等正交轉換及動作補償而壓縮的影像資訊(位元串)時,所使用的影像編碼裝置及影像解碼裝置可以應用本揭示。此外,本技術也可應用至用於例如光碟或磁碟等儲存媒體或快閃記憶體上的影像編碼裝置及影像解碼裝置。
<第三實施例> [多畫面影像編碼/多畫面影像解碼應用]
上述操作系列可應用至多畫面影像編碼/多畫面影像解碼。圖27是視圖,顯示多畫面影像編碼技術的實施。
如圖27所示,多畫面影像包含來自多個畫面的影像,以及,在眾多畫面中來自一預定畫面的影像被指定為基本畫面影像。基本畫面影像以外的各畫面影像作為非基本畫面影像。
當執行圖27中的多畫面影像編碼時,在各畫面(同一畫面)中設定動態範圍特徵資訊。此外,在各畫面(不 同畫面)中,也共用其它畫面中設定的動態範圍特徵資訊。
在此情形中,在至少一非基本畫面中使用基本畫面中設定的動態範圍特徵資訊。替代地,舉例而言,在基本畫面及非基本畫面(view_id=j)中至少之一中,使用非基本畫面(view_id=i)中設定的動態範圍特徵資訊。
依此方式,能夠準確地再生影像的動態範圍。
[多畫面影像編碼裝置]
圖28是視圖,顯示執行上述多畫面影像編碼的多畫面影像編碼裝置。如圖28所示,多畫面影像編碼裝置600具有編碼單元601、編碼單元602、及多工化單元603。
編碼單元601將基本畫面影像編碼,以及產生基本畫面影像編碼串。編碼單元602將非基本畫面影像編碼,以及產生非基本畫面影像編碼串。多工單元603將編碼單元601產生的基本畫面影像編碼串及編碼單元602產生的非基本畫面影像編碼串多工化,以及,產生多畫面影像編碼串。
編碼裝置1(圖3)及編碼裝置201(圖23)可應用至多畫面影像編碼裝置600的編碼單元601及編碼單元602。在此情形中,多畫面影像編碼裝置600設定及發送編碼單元601設定的的動態範圍特徵資訊以及由編碼單元602設定的動態範圍特徵資訊。
此外,如上所述,由編碼單元601設定的動態範圍特徵資訊可以設定為在編碼單元601與編碼單元602之間共享以及被發送。此外,由編碼單元602設定的動態範圍特徵資訊可以設定為在編碼單元601與編碼單元602之間共享以及被發送。
[多畫面影像解碼裝置]
圖29是視圖,顯示執行上述多畫面影像解碼的多畫面影像編碼裝置。如圖29所示,多畫面影像解碼裝置610具有反多工單元611、解碼單元612、及解碼單元613。
反多工單元611將藉由多工化基本畫面影像編碼串及非基本畫面影像編碼串而取得的多畫面影像編碼串反向多工化,以及將基本畫面影像編碼串及非基本畫面影像編碼串解多工。解碼單元612將從反多工單元611解多工的基本畫面影像編碼串解碼,以及取得基本畫面影像。解碼單元613將從反多工單元611解多工的非基本畫面影像編碼串解碼,以及取得非基本畫面影像。
解碼裝置50(圖19)及解碼裝置251(圖25)可應用至多畫面影像解碼裝置610的解碼單元612以及解碼單元613。在此情形中,使用由編碼單元601設定的及由解碼單元612解碼的動態範圍特徵資訊、以及由編碼單元602設定的及由解碼單元613解碼的特徵資訊,多畫面影像解碼裝置610執行操作。
此外,如上所述,由編碼單元601(或編碼單元602)設定的動態範圍特徵資訊設定成在編碼單元601與編碼單元602之間共享以及被發送。在此情形中,使用由編碼單元601(或編碼單元602)設定的及由解碼單元612(或解碼單元613)解碼的動態範圍特徵資訊,多畫面影像解碼裝置610執行操作。
<第四實施例> [階層影像編碼/階層影像解碼]
上述系列操作可應用至階層影像編碼/階層影像解碼。圖30顯示多畫面影像編碼技術的實例。
如圖30所示,階層影像包含眾多層(解析度)的影像,以及,眾多解析度中的一預定層的影像被指定為基本層影像。基本層影像以外的各層影像作為非基本層影像。
當執行如圖30中的階層影像編碼(空間比例化能力)時,在各層(同一層)中設定動態範圍特徵資訊。此外,在各層(不同層)中,共用另一層中設定的動態範圍特徵資訊。
在此情形中,在至少一非基本層中使用基本層中設定的動態範圍特徵資訊。替代地,舉例而言,在基本層與非基本層(layer_id=j)中至少之一中使用非基本層(layer_id=i)中設定的動態範圍特徵資訊。
依此方式,能夠準確地再生影像的動態範圍。
[階層影像編碼裝置]
圖31是視圖,顯示執行上述階層影像編碼的階層影像編碼裝置。如圖31所示,階層影像編碼裝置620具有編碼單元621、編碼單元622及多工單元623。
編碼單元621將基本層影像編碼,以及產生基本層影像編碼串。編碼單元622將非基本層影像編碼,以及產生非基本層影像編碼串。多工單元623將編碼單元621產生的基本層影像編碼串及編碼單元622產生的非基本層影像編碼串多工化,以及,產生階層影像編碼串。
編碼裝置1(圖3)及編碼裝置201(圖23)可應用至本階層影像編碼裝置620的編碼單元621及編碼單元622。在此情形中,階層影像編碼裝置620設定及發送由編碼單元621設定的的動態範圍特徵資訊以及由編碼單元602設定的動態範圍特徵資訊。
此外,如上所述,由編碼單元621設定的動態範圍特徵資訊可以設定為在編碼單元621與編碼單元622之間共享以及被發送。相反地,由編碼單元622設定的動態範圍特徵資訊可以設定為在編碼單元621與編碼單元622之間共享以及被發送。
[階層影像解碼裝置]
圖32是視圖,顯示執行上述階層影像解碼的階層影像編碼裝置。如圖32所示,階層影像解碼裝置630具有反多工單元631、解碼單元632、及解碼單元633。
反多工單元631將藉由多工化基本層影像編碼串及非基本層影像編碼串而取得的階層影像編碼串反向多工化,以及將基本層影像編碼串及非基本層影像編碼串解多工。解碼單元632將反多工單元631解多工的基本層影像編碼串解碼,以及取得基本層影像。解碼單元633將從反多工單元631解多工的非基本層影像編碼串解碼,以及取得非基本層影像。
解碼裝置50(圖19)及解碼裝置251(圖25)可應用至階層影像解碼裝置630的解碼單元632以及解碼單元633。在此情形中,使用由編碼單元621設定的及由解碼單元632解碼的動態範圍特徵資訊、以及由編碼單元622設定的及由解碼單元633解碼的特徵資訊,階層影像解碼裝置630執行操作。
此外,如上所述,由編碼單元621(或編碼單元622)設定的動態範圍特徵資訊設定成在編碼單元621與編碼單元622之間共享以及被發送。在此情形中,使用由編碼單元621(或編碼單元622)設定的及由解碼單元632(或解碼單元633)解碼的動態範圍特徵資訊,階層影像解碼裝置630執行操作。
<第五實施例> [舉例說明的電腦結構]
上述系列操作可由硬體執行,以及,也可由軟體執行。當系列操作是要由軟體執行時,形成軟體的程式安裝 於電腦中。此處,電腦可為併入於特定用途硬體中的電腦,或是當安裝各種程式時能夠執行各種功能的一般用途個人電腦。
圖33是方塊圖,顯示根據程式之執行上述系列操作的舉例說明之電腦硬體架構。
在電腦800中,CPU(中央處理單元)801、ROM(唯讀記憶體)802、及RAM(隨機存取記憶體)803藉由匯流排804而彼此連接。
輸入/輸出介面805又連接至匯流排804。輸入單元806、輸出單元807、儲存單元808、通訊單元809、及驅動器810連接至輸入/輸出介面805。
輸入單元806由鍵盤、滑鼠、麥克風、等等形成。輸出單元807由顯示器、揚音器、等等形成。儲存單元808由硬碟、非依電性記憶體、等等形成。通訊單元809由網路介面等等形成。驅動器810驅動例如磁碟、光碟、磁光碟、或半導體記憶體等可移除媒體811。
在具有上述結構的電腦中,CPU 801將儲存在儲存單元808中的程式經由輸入/輸出介面805和匯流排804而載入至RAM 803中,以及,執行程式,以致於執行上述系列操作。
舉例而言,要由電腦800(CPU 801)執行的程式可以記錄在可移除媒體811上,作為要提供的套裝媒體。替代地,經由例如區域網路、網際網路、或數位衛星廣播等有線或無線傳輸媒體,提供程式。
在電腦中,藉由將可移除媒體811附著至驅動器810,經由輸入/輸出介面805,將程式安裝在儲存單元808中。此外,經由有線或無線傳輸媒體,由通訊單元809接收程式,以及,程式被安裝於儲存單元808中。此外,程式可以預先安裝在ROM 802及儲存單元808中。
要由電腦執行的程式可為用於根據本說明書中所述的順序而依時間次序執行處理之程式、或是平行地或例如為回應呼叫而於任何時候需要時執行處理的程式。
在本說明書中,要記錄於記錄媒體中之撰寫於程式中的步驟包含假使不需依時間次序時可平行地或彼此獨立地執行的操作、以及根據此處所述順序之依時間次序執行的操作。
此外,在本說明書中,系統意指由眾多裝置形成的整體設備。
而且,在上述實例中,說明成一個裝置(或一個處理單元)的任何結構可以分成二或更多裝置(或處理單元)。相反地,說明成二或更多個裝置(或處理單元)的任何結構可以相結合以形成一個裝置(或一個處理單元)。而且,當然能夠將上述多個結構以外的結構加至這些裝置中的任何裝置(或任何處理單元)的結構。此外,只要整個系統的結構及功能實質上維持相同,則裝置的部份結構(或是處理單元)可以併入另一裝置中(或另一處理單元)。亦即,本技術的實施例不限於上述實施例,以及,在不悖離本技術的範圍之下,可以對它們作各式各樣 的修改。
根據上述實施例的影像編碼裝置及影像解碼裝置可應用至各式各樣的電子裝置,例如用於衛星廣播、有線電視的有線廣播、網際網路上散佈、或藉由蜂巢式通訊而對終端之散佈等等的發送器或接收器、記錄影像於例如光碟、磁碟及快閃記憶體等媒體中的記錄裝置或是從這些儲存媒體再生影像的再生裝置。於下,將說明四個應用實例。
<應用實例> [第一應用實例:電視接收器]
圖34顯示應用上述實施例的電視裝置的結構實例。電視裝置900包含天線901、調諧器902、解多工器903、解碼器904、視頻訊號處理單元905、顯示單元906、音頻訊號處理單元907、揚音器908、外部介面909、控制單元910、使用者介面911及匯流排912。
調諧器902從天線901收到的廣播訊號中取出所需的頻道訊號。此外,調諧器902將因解調變的結果取得的編碼位元串輸出至解多工器903。亦即,調諧器902在電視裝置900中扮演發射器角色,接收編碼影像的編碼串。
解多工器903將來自編碼位元串之要觀看的節目之視頻串與音頻串分開,以及,將各分開的串輸出至解碼器904。此外,解多工器903從編碼位元串中取出例如EPG(電子節目表)等輔助資料,以及,將取出的資料供應給控制單元910。此外,當編碼位元串被擾碼時,解多工器 903可以執行解擾碼。
解碼器904將自解多工器903輸入的視頻串及音頻串解碼。此外,解碼器904將解碼操作產生的視頻資料輸出至視頻訊號處理單元905。此外,解碼器904將解碼操作產生的音頻資料輸出至音頻訊號處理單元907。
視頻訊號處理單元905再生自解碼器904輸入的視頻資料輸入,以及將視頻影像顯示在顯示單元906上。此外,視頻訊號處理單元905可以將經由網路供應的應用顯示幕顯示於顯示單元906上。此外,根據設定,視頻訊號處理單元905對視頻資料執行例如雜訊移除等增加的操作。又此外,視頻訊號處理單元905可以產生例如選單、按鍵、游標等GUI(圖形使用者介面)影像,以及,將產生的影像重疊於輸出影像上。
顯示單元906由視頻訊號處理單元905供應的驅動訊號驅動,以及,在顯示裝置(例如液晶顯示器、電漿顯示器或OELD(有機電致發光顯示器)(有機EL顯示器))的顯示幕上顯示視頻影像或影像。
音頻訊號處理單元907對自解碼器904輸入的音頻資料執行再生操作,例如D/A轉換及放大,以及,從揚音器908輸出音頻。此外,音頻訊號處理單元907對音頻資料執行例如雜訊移除等增加的操作。
外部介面909是連接電視裝置900與外部裝置或網路之介面。舉例而言,經由外部介面909收到的視頻串或音頻串由解碼器904解碼。亦即,外部介面在接收編碼影像 的編碼串之電視裝置900中也扮演發射器的角色。
控制單元910具有例如CPU等處理器、以及例如RAM和ROM等記憶體。記憶體儲存要CPU執行的程式、程式資料、EPG資料、及經由網路取得的資料。在電視裝置900致動時,儲存在記憶體中的程式由CPU讀取及執行。藉由執行程式,CPU根據例如從使用者介面911輸入的操作訊號以控制電視裝置900的操作。
使用者介面單元911連接至控制單元910。舉例而言,使用者介面911具有使用者用以操作電視裝置900之按鍵及開關、以及接收遙控訊號的接收單元。使用者介面911經由這些組件而偵測使用者的操作、產生操作訊號及輸出產生的操作訊號給控制單元910。
匯流排912相互地連接調諧器902、解多工器903、解碼器904、視頻訊號處理單元905、音頻訊號處理單元907、外部介面909及控制單元910。
在具有此結構的電視裝置900中,解碼器904具有根據上述實施例的影像解碼裝置的功能。依此方式,當電視裝置900將影像解碼時,能夠準確地再生影像的動態範圍。
[第二應用實例:可攜式電話裝置]
圖35顯示應用上述實施例的可攜式電話裝置的結構實例。可攜式電話裝置920包含天線921、通訊單元922、音頻編解碼器923、揚音器924、麥克風925、相機 單元926、影像處理單元927、多工/分離單元928、記錄/再生單元929、顯示單元930、控制單元931、操作單元932及匯流排933。
天線921連接至通訊單元922。揚音器924及麥克風925連接至音頻編解碼器923。操作單元932連接至控制單元931。匯流排933相互地連接通訊單元922、音頻編解碼器923、相機單元926、影像處理單元927、多工/分離單元928、記錄/再生單元929、顯示單元930、及控制單元931。
在例如語音通訊模式、資料通訊模式、影像捕捉模式和視訊電話模式等各種模式中,可攜式電話裝置920執行例如音頻訊號的發送和接收、電子郵件和影像資料的發送及接收、影像捕捉、以及資料記錄等各種操作。
在音頻通訊模式中,在麥克風925產生的類比音頻訊號供應給音頻編解碼器923。音頻編解碼器923將類比音頻訊號轉換成音頻資料,以及對壓縮及轉換的音頻資料執行A/D轉換。此外,音頻編解碼器923將壓縮的音頻資料輸出至通訊單元922。通訊單元922將音頻資料編碼及調變,以及產生發送訊號。此外,通訊單元922將產生的發送訊號經由天線921而發送至基地台(未顯示)。此外,通訊單元922對經由天線921接收的無線電訊號放大及執行頻率轉換,以及取得收到的訊號。又此外,通訊單元922將收到的訊號解調變及解碼、產生音頻資料及將產生的音頻資料輸出至音頻編解碼器923。音頻編解碼器923 對音頻資料解壓縮及執行D/A轉換,以及產生類比音頻訊號。此外,音頻編解碼器923供應產生的音頻訊號給揚音器924、以及輸出音頻。
此外,在資料通訊模式中,舉例而言,控制單元931根據經由操作單元932之使用者的操作而產生規劃電子郵件的文字資料。又此外,控制單元931在顯示單元930上顯示文字。此外,控制單元931根據經由操作單元932之來自使用者的發送指令而產生電子郵件資料,以及輸出產生的電子郵件資料給通訊單元922。通訊單元922將電子郵件資料編碼及調變,以及產生發送訊號。此外,通訊單元922將產生的發送訊號經由天線921而發送給基地台(未顯示)。此外,通訊單元922對經由天線921收到的無線電訊號放大及執行頻率轉換,以及取得收到的訊號。又此外,通訊單元922將收到的訊號解調變及解碼、恢復電子郵件資料及輸出恢復的電子郵件給控制單元931。控制單元931在顯示單元930上顯示電子郵件的內容,以及將電子郵件資料儲存在記錄/再生單元929的儲存媒體中。
記錄/再生單元929具有任意可讀取/可寫入儲存媒體。舉例而言,儲存媒體是例如RAM或快閃記憶體等內建儲存媒體,以及是例如硬碟、磁碟、磁光碟、光碟、USB(通用串列匯流排)記憶體、或記憶卡等外部附加的儲存媒體。
此外,在影像捕捉模式中,舉例而言,相機單元926捕捉物件的影像、產生影像資料及輸出產生的影像資料給 影像處理單元927。影像處理單元927將自相機單元926輸入的影像資料編碼,以及,將編碼串儲存在記錄/再生單元929的儲存媒體中。
此外,在視訊電話模式中,舉例而言,多工/分離單元928將影像處理單元927編碼的視頻串以及自音頻編解碼器923輸入的音頻串多工化、以及將多工化的串輸出至通訊單元922。通訊單元922將串編碼及調變,以及產生發送訊號。此外,通訊單元922將產生的發送訊號經由天線921發送給基地台(未顯示)。此外,通訊單元922對經由天線921收到的無線電訊號執行頻率轉換,以及取得收到的訊號。這些發送訊號及收到的訊號包含編碼位元串。此外,通訊單元922將收到的訊號解調變及解碼,恢復串及將恢復的串輸出至多工/分離單元928。多工/分離單元928將來自輸入串的視頻串及音頻串分離,以及,將視頻串輸出至影像處理單元927,及將音頻串輸出至音頻編解碼器923。影像處理單元927將視頻串解碼,以及產生視頻資料。視頻資料供應給顯示單元930,以及,顯示單元930顯示系列影像。音頻編解碼器923對音頻串解壓縮及執行D/A轉換,以及產生類比音頻訊號。此外,音頻編解碼器923將產生的音頻訊號供應給揚音器924,以及輸出音頻。
在具有結構的可攜式電話裝置920中,影像處理單元927具有根據上述實施例之影像編碼裝置及影像解碼裝置的功能。依此方式,在可攜式電話裝置920中編碼及解碼 影像時,能夠準確地再生影像的動態範圍。
[第三應用實例:記錄/再生裝置]
圖36顯示應用上述實施例之記錄/再生裝置的結構實例。舉例而言,記錄/再生裝置940將自另一裝置取得的音頻資料及視頻資料編碼,以及將資料記錄在記錄媒體中。此外,記錄/再生裝置940根據例如使用者的指令而將記錄在記錄媒體中的資料再生於監視器上及揚音器上。在此情形中,記錄/再生裝置940將音頻資料及視頻資料解碼。
記錄/再生裝置940包含調諧器941、外部介面單元942、編碼器943、HDD(硬碟機)單元944、碟片驅動器945、選取器946、解碼器947、OSD(螢幕上顯示)單元948、控制單元949、及使用者介面950。
調諧器941從天線(未顯示)收到的廣播訊號中取出所需頻道訊號,以及將取出的訊號解調變。此外,調諧器941將藉由解調變取得的編碼位元串輸出給選取器946。亦即,調諧器941在記錄/再生裝置940中扮演發送器的角色。
外部介面單元942是連接記錄/再生裝置940及外部裝置或網路之介面。外部介面單元942由IEEE 1394介面、網路介面單元、USB介面、快閃記憶體介面、等等形成。舉例而言,經由外部介面單元942收到的視頻資料及音頻資料輸入至編碼器943。亦即,外部介面單元942在 記錄/再生裝置940中扮演發送器的角色。
當從外部介面單元942輸入的視頻資料及音頻資料未被編碼時,編碼器943將視頻資料及音頻資料編碼。此外,編碼器943將編碼位元串輸出至選取器946。
HDD 944將藉由壓縮例如視頻影像及音頻等內容資料、各種程式及其它資料而取得的編碼位元串記錄於硬碟內部中。此外,在視頻影像及音頻再生時,HDD 944從硬碟讀取這些資料項。
碟片驅動器945對附接的記錄媒體記錄及讀取資料。舉例而言,附著至碟片驅動器945的記錄媒體是DVD碟片(例如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R及DVD+RW)或藍光(註冊商標)光碟。
在視頻及音頻記錄時,選取器946選取從調諧器941或編碼器943輸入的編碼位元串,以及,將選取的編碼位元串輸出至HDD 944或碟片驅動器945。此外,在視頻及音頻再生時,選取器946將從HDD 944或碟片驅動器945輸入的編碼位元串輸出至解碼器947。
解碼器947將編碼位元串解碼,以及產生視頻資料及音頻資料。此外,解碼器947將產生的視頻資料輸出至OSD 948。此外,解碼器904將產生的音頻資料輸出至外部揚音器。
OSD 948再生從解碼器947輸入的視頻資料、以及顯示視頻影像。此外,OSD 948將例如選單、按鍵或游標等GUI影像疊加於要顯示的視頻影像上。
控制單元949具有例如CPU等處理器、以及例如RAM及ROM等記憶體。記憶體儲存要由CPU執行的程式、及程式資料。舉例而言,在記錄/再生裝置940致動時,由CPU讀取及執行儲存在記憶體中的程式。藉由執行程式,根據例如從使用者介面950輸入的操作訊號,CPU控制記錄/再生裝置940的操作。
使用者介面950連接至控制單元949。舉例而言,使用者介面具有用以操作記錄/再生裝置940的按鍵及開關、以及接收遙控訊號的接收單元。使用者介面950經由這些組件而偵測使用者的操作、產生操作訊號及輸出產生的操作訊號給控制單元949。
在具有此結構的記錄/再生裝置940中,編碼器943具有根據上述實施例的影像編碼裝置的功能。此外,解碼器947具有根據上述實施例的影像解碼裝置的功能。藉由此方式,在記錄/再生裝置940中編碼及解碼時,能夠準確地再生影像的動態範圍。
[第四應用實例:成像裝置]
圖37顯示應用上述實施例的成像裝置之結構的實例。成像裝置960捕捉物件的影像、產生影像、將影像資料編碼及將影像資料記錄在記錄媒體中。
成像裝置960包含光學區961、成像單元962、訊號處理單元963、影像處理單元964、顯示單元965、外部介面966、記憶體967、媒體驅動器968、OSD 969、控制 單元970、使用者介面971及匯流排972。
光學區961連接至成像單元962。成像單元962連接至訊號處理單元963。顯示單元965連接至影像處理單元964。使用者介面971連接至控制單元970。匯流排972相互地連接影像處理單元964、外部介面966、記憶體967、媒體驅動器968、OSD 969及控制單元970。
光學區961具有聚焦透鏡、光闌、等等。光學區961在成像單元962的成像表面上形成物體的光學影像。成像單元962具有例如CCD(電耦合裝置)或CMOS(互補金屬氧化物半導體)等影像感測器、及藉由光電轉換而將形成在成像表面上的光學影像轉換成作為影像訊號之電訊號。此外,成像單元962將影像訊號輸出至訊號處理單元963。
訊號處理單元963對成像單元962輸入的影像訊號執行各種相機訊號操作,例如,拐點校正、伽瑪校正、及色彩校正。訊號處理單元963將接受相機訊號操作的影像資料輸出至影像處理單元964。
影像處理單元964將訊號處理單元963輸入的影像資料編碼、以及產生編碼資料。此外,影像處理單元964將產生的編碼資料輸出至外部介面966或媒體驅動器968。此外,影像處理單元964將外部介面966或媒體驅動器968輸入的編碼資料解碼、以及產生影像資料。又此外,影像處理單元964將產生的影像資料輸出至顯示單元965。此外,影像處理單元964將訊號處理單元963輸入 的影像資料輸出至顯示單元965、以及顯示影像。此外,影像處理單元964將得自OSD 969的顯示資料疊加於要輸出至顯示單元965的影像上。
OSD 969產生例如選單、按鍵或游標等GUI影像、以及將產生的影像輸出至影像處理單元964。
外部介面966形成為例如USB輸入/輸出端。在例如列印影像時,外部介面966連接成像裝置960與印表機。此外,假使需要時,外部介面966與驅動器連接。例如磁碟或光碟等可移除媒體附加至驅動器,以及,讀自可移除媒體的程式安裝在成像裝置960中。此外,外部介面966包含連接至例如LAN或網際網路等網路的網路介面。亦即,外部介面966在成像裝置960中分演發送器的角色。
附著至媒體驅動器968的記錄媒體可為任何可讀取/可重寫的可移除媒體,例如磁碟、磁光碟、光碟、或半導體記憶體。此外,記錄媒體附加至媒體驅動器968,以及形成例如內建式硬碟機或SSD(固態驅動器)等可固定的、且非可攜式的儲存單元。
控制單元970具有例如CPU等處理器、以及例如RAM和ROM等記憶體。記憶體儲存要由CPU執行的程式、以及程式資料。舉例而言,在成像裝置960致動時,由CPU讀取及執行儲存在記憶體中的程式。藉由執行程式,CPU根據例如自使用者介面971輸入的操作訊號而控制成像裝置960的操作。
使用者介面971連接至控制單元970。舉例而言,使 用者介面971具有使用者用以操作成像裝置960的按鍵及開關。使用者介面971經由這些組件以偵測使用者的操作、產生操作訊號及輸出產生的操作訊號給控制單元970。
在具有結構的成像裝置960中,影像處理單元964具有根據上述實施之影像編碼裝置及影像解碼裝置的功能。依此方式,在成像裝置960中編碼及解碼影像時,能夠準確地再生影像的動態範圍。
應注意,本技術的實施例不限於上述實施例,以及,在悖離本技術的範圍之下,可以作出各種修改。
舉例而言,圖19中的顯示控制單元55及顯示單元56可以設在解碼裝置50之外。
此外,本技術可以採用雲端計算配置,雲端計算配置經由網路而在眾多裝置之間共用一功能以及協力執行操作。
此外,上述流程圖中所述的各步驟由一裝置執行或是在眾多裝置之間共享及被執行。
又此外,當一步驟包含眾多操作時,包含在一步驟中的眾多操作由一裝置執行或是在眾多裝置之間共享及被執行。
此外,在本說明書中已說明實例,其中,例如動態範圍特徵資訊等不同資訊件隨著編碼串被多工化,以及從編碼串發送至解碼側。但是,發送這些資訊件的方法不限於本實例。舉例而言,這些資訊件可以作為與編碼位元串相 關連的不同資料被發送或記錄而不用隨著編碼位元串多工化。同時,「相關連」意指記錄時將包含在與此影像相關連的位元串或資訊中的影像(或是例如片斷或區塊等部份影像)鏈結。亦即,資訊可以在不同於影像(或位元串)的傳輸通道之傳輸通道上發送。此外,資訊可以記錄在不同於影像(或位元串)的記錄媒體(或單一記錄媒體的另一記錄區)中。此外,資訊及影像(或位元串)可以以例如眾多格、一格或部份格等任意單位彼此相關連。
又此外,在本實施例中,旗標不限於例如存在或不存在(0或1)等二選一,以及能夠辨識包含來自眾多選項的特定項之資訊。
雖然已參考附圖詳細地說明本揭示的適當實施例,但是,本揭示不限於這些實例。顯然地,具有本揭示所屬之技術領域的一般技術者能達成申請專利範圍中所述的技術概念的範圍之內的各種修改實例及校正實例,以及,這些實例本質上屬於本揭示的技術範圍。
此外,本技術也採用下述結構。
(1)影像處理裝置,具有:編碼單元,對影像執行編碼操作及產生位元串;設定單元,將表示要指派給顯影的影像之動態範圍特徵之動態範圍特徵資訊設定給捕捉影像;以及,發送單元,發送編碼單元產生的位元串及設定單元設定的動態範圍特徵資訊。
(2)根據上述(1)中所述的影像處理裝置,其中,設定單元將表示要指派給顯影的影像之動態範圍的碼之碼 資訊設定給捕捉影像作為動態範圍特徵資訊。
(3)根據上述(1)或(2)中所述的影像處理裝置,其中,設定單元將表示要指派給顯影的影像之碼的碼資訊設定給捕捉影像的白位準作為動態範圍特徵資訊。
(4)根據上述(1)至(3)中任一項所述的影像處理裝置,其中,設定單元將表示要指派給顯影的影像之碼的白位準碼資訊設定給捕捉影像的白位準作為動態範圍特徵資訊。
(5)根據上述(1)至(4)中任一項所述的影像處理裝置,其中,設定單元將表示要指派給顯影的影像的白位準之碼的最大值的最大白位準碼資訊設定為動態範圍特徵資訊。
(6)根據上述(1)至(5)中任一項所述的影像處理裝置,其中,設定單元將表示顯影的影像的黑位準之碼的黑位準碼資訊設定為動態範圍特徵資訊。
(7)根據上述(1)至(6)中任一項所述的影像處理裝置,其中,設定單元將表示顯影的影像的灰階之碼的灰階碼資訊設定為動態範圍特徵資訊。
(8)根據上述(1)至(7)中任一項所述的影像處理裝置,其中,設定單元將表示捕捉的影像的白位準的最大值的最大白位準資訊設定為動態範圍特徵資訊。
(9)根據上述(1)至(8)中任一項所述的影像處理裝置,其中,設定單元將表示藉由對位元串執行解碼操作而取得的影像之有用區的亮度範圍之資訊設定為動態範 圍特徵資訊。
(10)根據上述(1)至(9)中任一項所述的影像處理裝置,其中,設定單元將表示藉由對位元串執行解碼操作而取得的影像之有用區的位置及偏移之資訊設定為動態範圍特徵資訊。
(11)根據上述(1)至(10)中任一項所述的影像處理裝置,其中,發送單元發送動態範圍特徵資訊,作為用以顯示藉由對位元串執行解碼操作而取得的影像之輔助資訊。
(12)根據上述(1)至(10)中任一項所述的影像處理裝置,其中,發送單元發送動態範圍特徵資訊,作為藉由延伸現存的輔助資訊而取得的延伸輔助資訊。
(13)根據上述(1)至(10)中任一項所述的影像處理裝置,其中,發送單元發送動態範圍特徵資訊,作為tone_mapping_information SEI(補充強化資訊)。
(14)根據上述(1)至(10)中任一項所述的影像處理裝置,其中,發送單元延伸用以藉由以tone_mapping_information SEI為目標而發送動態範圍特徵資訊的model_id,以及發送動態範圍特徵資訊作為SEI。
(15)根據上述(1)至(10)中任一項所述的影像處理裝置,其中,發送單元發送動態範圍特徵資訊作為依順序標示影像可用性的VUI(視頻可用資訊)。
(16)根據上述(1)至(15)中任一項所述的影像 處理裝置,其中,編碼單元根據與AVC/H.264相符的編碼技術而對影像執行編碼操作。
(17)一種影像處理方法,包含:對影像執行編碼操作以及產生位元串;設定動態範圍特徵資訊給捕捉的影像,動態範圍特徵資訊是表示要指派給顯影的影像的動態範圍特徵;以及,發送產生的位元串及設定的動態範圍特徵資訊。
(18)一種影像處理裝置,具有:接收位元串及動態範圍特徵資訊的接收單元,所述動態範圍特徵資訊是標示藉由對位元串執行解碼操作而取得的影像的動態範圍特徵資訊;解碼單元,對接收單元收到的位元串執行解碼操作,以及,產生影像;以及,影像調整單元,使用接收單元接收的動態範圍特徵資訊,以及調整解碼單元產生的影像的動態範圍。
(19)根據上述(18)中所述的影像處理裝置,又具有接收位元串及動態範圍特徵資訊的的接收單元、以及對接收單元收到的位元串執行解碼操作,以及,影像調整單元使用接收單元收到的動態範圍特徵資訊,以及調整解碼單元產生的影像的動態範圍特徵資訊。
(20)一種影像處理方法,包含:接收位元串及動態範圍特徵資訊,所述動態範圍特徵資訊是表示藉由對位元串執行解碼操作而取得的影像的動態範圍特徵;執行收到的位元串的解碼操作及產生影像;以及,使用收到的動態範圍特徵資訊,以及調整產生的影像的動態範圍。
本揭示包含2012年8月22日向日本專利局申請的日本優先權專利申請號JP 2012-183164中揭示的標的、以及2012年6月29日向日本專利局申請的JP 2012-147885中揭示的標的,其整體內容於此一併列入參考。

Claims (20)

  1. 一種影像處理裝置,包含:至少一處理器,配置以:將影像資料解碼,用以產生解碼的影像資料;接收與該影像資料關聯的動態範圍特徵資訊,該動態範圍特徵資訊包括最大影像白位準資訊及參考螢幕亮度資訊,該最大影像白位準資訊將該影像資料之亮度的動態範圍表示為相對於參考白位準的百分比,該參考螢幕亮度資訊表示用於該影像資料的參考螢幕白位準設定,該參考螢幕白位準設定係使用於影像產生過程並且具有每平方米燭光之單位;以及基於該動態範圍特徵資訊調整該解碼的影像資料之動態範圍,其中該影像資料按照HEVC來編碼,以及該動態範圍特徵資訊係為界定於HEVC中的色調映射資訊。
  2. 如申請專利範圍第1項的影像處理裝置,其中該至少一處理器更配置以基於該動態範圍特徵資訊而將該解碼的影像資料之動態範圍增加到該影像資料的動態範圍。
  3. 如申請專利範圍第1項的影像處理裝置,其中該動態範圍特徵資訊更包括最大影像白位準碼值資訊,其識別最大白位準之亮度碼值。
  4. 如申請專利範圍第1項的影像處理裝置,其中該動態範圍特徵資訊更包括白位準碼值資訊,其識別白位準之 亮度碼值。
  5. 如申請專利範圍第4項的影像處理裝置,其中該白位準碼值資訊識別複數個白位準之複數個亮度碼值。
  6. 如申請專利範圍第1項的影像處理裝置,其中該動態範圍特徵資訊更包括黑位準碼值資訊,其識別黑位準之亮度碼值。
  7. 如申請專利範圍第1項的影像處理裝置,其中該動態範圍特徵資訊識別與該影像資料之亮度關聯的亮度碼值,該亮度碼值係在0與1024之間的範圍。
  8. 一種非暫態電腦可讀儲存媒體,具有儲存於其上的電腦可執行指令,其在當被至少一處理器執行時,施行影像處理方法,該方法包含:將影像資料解碼,用以產生解碼的影像資料;接收與該影像資料關聯的動態範圍特徵資訊,該動態範圍特徵資訊包括最大影像白位準資訊及用於該影像資料的參考螢幕亮度資訊,該最大影像白位準資訊將該影像資料之亮度的動態範圍表示為相對於參考白位準的百分比,該參考螢幕白位準設定係使用於影像生產過程且具有每平方米燭光之單位;以及基於該動態範圍特徵資訊調整該解碼的影像資料之動態範圍,其中該影像資料按照HEVC編碼;以及該動態範圍特徵資訊係為界定於HEVC中的色調映射資訊。
  9. 如申請專利範圍第8項的非暫態電腦可讀儲存媒體,其中該方法更包含基於該動態範圍特徵資訊而將該解碼的影像資料之動態範圍增加到該影像資料的動態範圍。
  10. 如申請專利範圍第8項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括最大影像白位準碼值資訊,其識別最大白位準之亮度碼值。
  11. 如申請專利範圍第8項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括白位準碼值資訊,其識別白位準之亮度碼值。
  12. 如申請專利範圍第11項的非暫態電腦可讀儲存媒體,其中該白位準碼值資訊識別複數個白位準之複數個亮度碼值。
  13. 如申請專利範圍第8項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括黑位準碼值資訊,其識別黑位準之亮度碼值。
  14. 如申請專利範圍第8項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊識別與該影像資料之亮度關聯的亮度碼值,該亮度碼值係在0與1024之間的範圍。
  15. 一種非暫態電腦可讀儲存媒體,具有儲存於其上的影像資料以及與該影像資料關聯的動態範圍特徵資訊,其在當該影像資料被至少一處理器解碼時由該至少一處理器處理用以調整該影像資料之動態範圍,該動態範圍特徵資訊包含:最大影像白位準資訊,其將該影像資料之亮度的動態 範圍表示為相對於參考白位準的百分比;以及用於該影像資料的參考螢幕亮度資訊,該參考螢幕白位準設定被使用於影像產生過程且具有每平方米燭光之單位,其中該影像資料按照HEVC編碼;以及該動態範圍特徵資訊係為界定於HEVC中的色調映射資訊。
  16. 如申請專利範圍第15項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括最大影像白位準碼值資訊,其識別最大白位準之亮度碼值。
  17. 如申請專利範圍第15項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括白位準碼值資訊,其識別白位準之亮度碼值。
  18. 如申請專利範圍第17項的非暫態電腦可讀儲存媒體,其中該白位準碼值資訊識別複數個白位準之複數個亮度碼值。
  19. 如申請專利範圍第15項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊更包括黑位準碼值資訊,其識別黑位準之亮度碼值。
  20. 如申請專利範圍第15項的非暫態電腦可讀儲存媒體,其中該動態範圍特徵資訊識別與該影像資料之亮度關聯的亮度碼值,該亮度碼值係在0與1024之間的範圍。
TW102121737A 2012-06-29 2013-06-19 影像處理裝置及非暫態電腦可讀儲存媒體 TWI586150B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012147885 2012-06-29
JP2012183164 2012-08-22

Publications (2)

Publication Number Publication Date
TW201414312A TW201414312A (zh) 2014-04-01
TWI586150B true TWI586150B (zh) 2017-06-01

Family

ID=49783053

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102121737A TWI586150B (zh) 2012-06-29 2013-06-19 影像處理裝置及非暫態電腦可讀儲存媒體

Country Status (13)

Country Link
US (2) US20150010059A1 (zh)
EP (2) EP3512203B1 (zh)
JP (2) JP6219823B2 (zh)
KR (1) KR102161017B1 (zh)
CN (2) CN108965893B (zh)
AR (1) AR091515A1 (zh)
AU (1) AU2013281949B2 (zh)
BR (1) BR112014032224B1 (zh)
CA (1) CA2875199C (zh)
MX (1) MX344551B (zh)
RU (1) RU2653464C2 (zh)
TW (1) TWI586150B (zh)
WO (1) WO2014002901A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
CN110266912A (zh) 2014-02-07 2019-09-20 索尼公司 发送装置、接收装置、及显示装置
KR102344096B1 (ko) 2014-02-21 2021-12-29 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2015130796A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
JP6546599B2 (ja) * 2014-02-26 2019-07-17 トムソン ライセンシングThomson Licensing Hdr画像を符号化及び復号する方法及び装置
JP6149777B2 (ja) * 2014-03-28 2017-06-21 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
CN106416261B (zh) * 2014-06-13 2020-06-26 索尼公司 传输设备、传输方法、接收设备以及接收方法
CN110708439A (zh) 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
EP3163894B1 (en) 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
EP3944241A3 (en) 2014-08-07 2022-05-04 Panasonic Intellectual Property Corporation of America Decoding system and decoding method
JP6466258B2 (ja) 2014-08-07 2019-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生装置、再生方法および記録媒体
JP6331882B2 (ja) 2014-08-28 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
EP4280598A3 (en) * 2014-09-12 2024-02-21 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
JP6355521B2 (ja) * 2014-10-21 2018-07-11 三菱電機株式会社 デジタル放送受信装置及び方法
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP2016122985A (ja) * 2014-12-25 2016-07-07 株式会社東芝 画像処理システム、画像処理装置および画像処理方法
JP6862830B2 (ja) 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6530854B2 (ja) * 2015-07-16 2019-06-12 ドルビー ラボラトリーズ ライセンシング コーポレイション Hdrおよび広色域の信号のための信号整形および符号化
JP6986670B2 (ja) * 2015-09-11 2021-12-22 パナソニックIpマネジメント株式会社 映像受信方法及び映像受信装置
EP3349474A4 (en) * 2015-09-11 2018-07-25 Panasonic Intellectual Property Management Co., Ltd. Video reception method, video transmission method, video reception apparatus, and video transmission apparatus
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
JP6609708B2 (ja) 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法
KR102347034B1 (ko) 2015-09-23 2022-01-04 애리스 엔터프라이지즈 엘엘씨 전송 스트림들 내의 하이 다이내믹 레인지 및 와이드 컬러 가무트 콘텐츠의 시그널링
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP6132006B1 (ja) * 2015-12-02 2017-05-24 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
MX364488B (es) 2015-12-17 2019-04-29 Koninklijke Philips Nv Codificación de intervalo dinámico para imágenes y video.
US10542296B2 (en) * 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
US11102495B2 (en) 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
JP2017143546A (ja) * 2017-03-21 2017-08-17 ソニー株式会社 再生装置、記録媒体、表示装置、および情報処理方法
JP6583501B2 (ja) * 2018-08-28 2019-10-02 ソニー株式会社 再生装置、表示装置、情報処理方法
JP2020074571A (ja) * 2020-01-16 2020-05-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
WO2012012489A2 (en) * 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation Display management server
WO2012071235A1 (en) * 2010-11-23 2012-05-31 Dolby Laboratories Licensing Corporation Content metadata enhancement of high dynamic range images

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057351A (ja) * 1991-06-26 1993-01-14 Shimadzu Corp 画像信号変換装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
FR2812506B1 (fr) * 2000-07-25 2002-12-20 Canon Kk Procede et dispositif d'alerte lors du decodage progressif d'une image numerique codee avec une region d'interet
JP2004112048A (ja) * 2002-09-13 2004-04-08 Ricoh Co Ltd 画像読取装置
JP2005143032A (ja) * 2003-11-10 2005-06-02 Fuji Photo Film Co Ltd 撮影装置
JP2005208817A (ja) * 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP4412720B2 (ja) * 2004-06-24 2010-02-10 キヤノン株式会社 映像処理方法及び装置
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR101521041B1 (ko) * 2006-05-25 2015-05-15 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
RU2400815C2 (ru) * 2006-10-09 2010-09-27 Самсунг Электроникс Ко., Лтд. Способ повышения качества цифрового фотоизображения
US8106880B2 (en) * 2007-03-27 2012-01-31 Avaya Inc. Sharing a video display between telephony and computing devices
JP2008263547A (ja) * 2007-04-13 2008-10-30 Konica Minolta Holdings Inc 撮像装置
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
JP5133085B2 (ja) * 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
US20090317017A1 (en) * 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
JP4977573B2 (ja) * 2007-10-11 2012-07-18 オンセミコンダクター・トレーディング・リミテッド 映像信号処理装置におけるオートゲインコントロール回路
JP2009223722A (ja) * 2008-03-18 2009-10-01 Sony Corp 画像信号処理装置、画像信号処理方法、およびプログラム
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
WO2010041534A1 (ja) * 2008-10-07 2010-04-15 株式会社エヌ・ティ・ティ・ドコモ 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
JP5119215B2 (ja) * 2009-07-07 2013-01-16 株式会社エヌ・ティ・ティ・ドコモ 通信端末および通信制御方法
JPWO2011033669A1 (ja) * 2009-09-18 2013-02-07 株式会社東芝 画像表示装置
JP5588022B2 (ja) * 2010-02-22 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 表示サブシステムにビデオデータを提供する方法、およびシステム
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US9626730B2 (en) * 2011-05-05 2017-04-18 Arm Limited Method of and apparatus for encoding and decoding data
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
BR112014011151B1 (pt) * 2011-11-09 2023-02-07 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung Ev Previsão intercamadas entre camadas de diferentes faixas de valor de amostras dinâmicas
CN104160706B (zh) * 2012-01-20 2018-12-28 诺基亚技术有限公司 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
WO2012012489A2 (en) * 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation Display management server
WO2012071235A1 (en) * 2010-11-23 2012-05-31 Dolby Laboratories Licensing Corporation Content metadata enhancement of high dynamic range images

Also Published As

Publication number Publication date
EP2869558B1 (en) 2019-04-10
KR102161017B1 (ko) 2020-09-29
RU2653464C2 (ru) 2018-05-08
CA2875199C (en) 2021-02-16
EP3512203B1 (en) 2023-10-25
KR20150024846A (ko) 2015-03-09
JPWO2014002901A1 (ja) 2016-05-30
MX344551B (es) 2016-12-20
JP2018023154A (ja) 2018-02-08
EP2869558A1 (en) 2015-05-06
AU2013281949B2 (en) 2017-05-11
JP6219823B2 (ja) 2017-10-25
CN108965893A (zh) 2018-12-07
TW201414312A (zh) 2014-04-01
AU2013281949A2 (en) 2015-01-22
US20150010059A1 (en) 2015-01-08
EP2869558A4 (en) 2016-01-20
CN104380738A (zh) 2015-02-25
EP3512203A1 (en) 2019-07-17
CN108965893B (zh) 2021-10-01
BR112014032224A2 (pt) 2017-08-01
MX2014015818A (es) 2015-03-05
CA2875199A1 (en) 2014-01-03
US20150131904A1 (en) 2015-05-14
WO2014002901A1 (ja) 2014-01-03
JP6580648B2 (ja) 2019-09-25
AU2013281949A1 (en) 2015-01-22
BR112014032224B1 (pt) 2022-12-06
AR091515A1 (es) 2015-02-11
RU2014152106A (ru) 2016-07-10
CN104380738B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
TWI586150B (zh) 影像處理裝置及非暫態電腦可讀儲存媒體
TWI592011B (zh) Image processing device and method
JP6358475B2 (ja) 画像復号装置および方法、並びに、画像符号化装置および方法
TW201717642A (zh) 資訊處理設備及資訊處理方法
CN110572650B (zh) 解码设备和解码方法、以及编码设备和编码方法
CN111314694B (zh) 图像处理装置及方法
JP2015076861A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2013150164A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2015056566A1 (ja) 画像処理装置および方法
TW201330638A (zh) 影像處理裝置及方法
KR102338766B1 (ko) 화상 부호화 장치 및 방법, 및 기록 매체
WO2013154029A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法