TW201803350A - 用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置 - Google Patents

用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置

Info

Publication number
TW201803350A
TW201803350A TW106109911A TW106109911A TW201803350A TW 201803350 A TW201803350 A TW 201803350A TW 106109911 A TW106109911 A TW 106109911A TW 106109911 A TW106109911 A TW 106109911A TW 201803350 A TW201803350 A TW 201803350A
Authority
TW
Taiwan
Prior art keywords
quantization
conversion
quantization parameter
unit
inverse
Prior art date
Application number
TW106109911A
Other languages
English (en)
Other versions
TWI734757B (zh
Inventor
林宗順
西孝啓
遠間正真
Original Assignee
松下知識產權經營股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下知識產權經營股份有限公司 filed Critical 松下知識產權經營股份有限公司
Publication of TW201803350A publication Critical patent/TW201803350A/zh
Application granted granted Critical
Publication of TWI734757B publication Critical patent/TWI734757B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種編碼方法，是對1個或複數個量化過的第1轉換係數進行逆量化，且根據逆量化過的1個或複數個第1轉換係數來導出量化參數，並根據導出的量化參數，對量化過的第2轉換係數進行逆量化。

Description

用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置
發明領域 本揭示是有關於一種為了壓縮資訊而使用量化之圖像及動態圖像的編碼及解碼。
發明背景 在下一代動態圖(例如，4K解析度或8K解析度)的無線及有線傳輸中，超越現行的編碼性能之編碼效率是必要的。到目前為止已進行了與適應量化技術相關的研究或實驗，其結果證明了編碼效率的提升。一般而言，編碼器為了提高編碼的效率，會使用此適應量化技術，藉此可以在相同圖片的圖像區塊之間而在空間上，或者，在不同圖片之間而在時間上，更靈活地分配位元。在針對上述適應量化技術的習知技術中，通常是以圖像區塊單位或圖片單位進行適應化，且在壓縮位元流內在區塊層級上需要某種形式的發信(signaling)。 先前技術文獻
非專利文獻 非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))
發明概要 發明欲解決之課題 通常，當影片編碼器將從無數的操作模式之中選擇一個模式這項決定指示給解碼器時，訊號位元會因為該決定而必須被編碼為位元流。在該決定是以小單位(例如，4×4的區塊單位)進行的情況下，以及操作模式的數量多的情況下，發信位元會變得相當長。由於發信位元的尺寸會成為問題，因此在很多情況下，最好是不要以最小的單位來進行發信。適應工具(adaptation tool)的編碼效率會因為該種問題而降低。
在此，本揭示提供一種編碼方法及解碼方法，其可以在使用適應量化技術的動態圖像之編碼及解碼中，提升主觀畫質，並可以提升編碼效率。 用以解決課題之手段
本揭示之一態樣的編碼方法是對1個或複數個量化的第1轉換係數進行逆量化，且根據前述逆量化的1個或複數個第1轉換係數來導出量化參數，並根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化。
本揭示之一態樣的解碼方法是對1個或複數個量化的第1轉換係數進行逆量化，且根據前述逆量化的1個或複數個第1轉換係數來導出量化參數，並根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化。
再者，這些全面性的或具體的態樣可以藉由系統、裝置、積體電路、電腦程式或電腦可讀取的CD-ROM等記錄媒體來實現，也可以藉由系統、裝置、積體電路、電腦程式及記錄媒體的任意組合來實現。 發明效果
本揭示之一態樣的編碼方法及解碼方法可以在使用適應量化技術的動態圖像之編碼及解碼中，提升主觀畫質，並可以提升編碼效率。
用以實施發明之形態 以下，將參照圖式來具體地說明實施形態。
再者，以下說明的實施形態都是顯示全面性的或具體的例子之實施形態。以下實施形態所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等只是一個例子，並非用來限定請求範圍的主旨。又，以下的實施形態的構成要素之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要素，是作為任意之構成要素來說明。 (實施形態1) [編碼裝置之概要]
首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，其具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、循環濾波部120、框記憶體122、幀內預測部124、幀間預測部126、預測控制部128。
編碼裝置100例如是藉由通用處理器及記憶體來實現。在此情況下，藉由處理器執行儲存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、循環濾波部120、幀內預測部124、幀間預測部126及預測控制部128而發揮功能。又，編碼裝置100也可以是作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、循環濾波部120、幀內預測部124、幀間預測部126及預測控制部128的1個以上之專用的電子電路來實現。
以下，針對編碼裝置100所包含的各構成要素來進行說明。 [分割部]
分割部102將輸入動態圖像所包含的各圖片分割為複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先將圖片分割為固定尺寸(例如128x128)的區塊。此固定尺寸的區塊被稱為編碼樹單元(CTU)。而且，分割部102根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，將各個固定尺寸的區塊分割為可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊被稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，並不需要區分CU、PU及TU，圖片內的一部分或全部的區塊構成CU、PU、TU的處理單位亦可。
圖2是顯示實施形態1之區塊分割的一例之圖。在圖2中，實線表示藉由四元樹區塊分割的區塊邊界，而虛線表示藉由二元樹區塊分割的區塊邊界。
在此，區塊10是128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先被分割為4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊更進一步地被垂直地分割為2個矩形的32×64區塊，而左邊的32×64區塊更進一步地被垂直地分割為2個矩形的16×64區塊(二元樹區塊分割)。其結果是左上的64×64區塊被分割為2個16×64區塊11、12以及32×64區塊13。
右上的64×64區塊被水平地分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊被分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊當中左上的區塊及右下的區塊更進一步地被分割。左上的32×32區塊被垂直地分割為2個矩形的16×32區塊，而右邊的16×32區塊更進一步地被水平地分割為2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平地分割為2個32×16區塊(二元樹區塊分割)。其結果是左下的64×64區塊被分割為：16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、2個32×16區塊21、22。
右下的64×64區塊23沒有被分割。
如上所述，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，被分割為13個可變尺寸的區塊11~23。這種分割被稱為QTBT(quad-tree plus binary tree)分割。
再者，在圖2中，1個區塊雖然是被分割為4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，1個區塊也可以被分割為3個區塊(三元樹區塊分割)。這種包含了三元樹區塊分割的分割，被稱為MBT(multi type tree)分割。 [減法部]
減法部104是以由分割部102分割的區塊單位從原訊號(原樣本)減去預測訊號(預測樣本)。也就是說，減法部104算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘餘誤差)。而且，減法部104將算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下說明中，表示圖像的訊號也會稱為樣本。 [轉換部]
轉換部106將空間區域的預測誤差轉換為頻率區域的轉換係數，且將轉換係數輸出至量化部108。具體來說，轉換部106是例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106也可以是從複數個轉換類型之中適應地選擇轉換類型，且使用與選擇的轉換類型相對應之轉換基礎函數(transform basis function)，而將預測誤差轉換為轉換係數。這種轉換被稱為EMT(explicit multiple core transform)或AMT(adaptive multiple transform)。
複數個轉換類型例如包含DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換類型的轉換基礎函數之表格。在圖3中N表示輸入像素的數量。從這些複數個轉換類型之中選擇轉換類型，例如可以是相依於預測的種類(幀內預測(intra-prediction)及幀間預測(inter-prediction))，也可以是相依於幀內預測模式。
這種顯示是否適用EMT或AMT的資訊(例如被稱為AMT標誌)及顯示所選擇的轉換類型的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。
又，轉換部106也可以將轉換係數(轉換結果)再轉換。這種再轉換被稱為AST(adaptive secondary transform)或NSST(non-separable secondary transform)。例如，轉換部106在對應於幀內預測誤差的轉換係數之區塊所包含的每個子區塊(例如4×4子區塊)中進行再轉換。顯示是否適用NSST的資訊以及與NSST所使用的轉換矩陣相關的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。 [量化部]
量化部108對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序掃描當前區塊的轉換係數，且根據與掃描的轉換係數對應之量化參數(QP)對該轉換係數進行量化。而且，量化部108將當前區塊之量化過的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。
預定的順序是用在轉換係數的量化/逆量化的順序。例如，預定的掃描順序是以頻率的升序(從低頻率到高頻率的順序)或降序(從高頻率到低頻率的順序)來定義。
所謂量化參數是定義量化步階 (量化寬度)的參數。例如，量化參數的值增加的話，量化步階也會增加。也就是說，量化參數的值增加的話，量化誤差會増大。 [熵編碼部]
熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流)。具體來說，熵編碼部110例如是將量化係數二元化，而將二元訊號加以算術編碼。 [逆量化部]
逆量化部112是對從量化部108輸入之量化係數進行逆量化。具體來說，逆量化部112是以預定的掃描順序對當前區塊的量化係數進行逆量化。而且，逆量化部112將當前區塊之逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]
逆轉換部114是藉由對從逆量化部112輸入之轉換係數進行逆轉換，來復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與轉換部106的轉換對應之逆轉換，來復原當前區塊的預測誤差。而且，逆轉換部114將復原的預測誤差輸出至加法部116。
再者，由於復原的預測誤差因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含量化誤差。 [加法部]
加法部116是將從逆轉換部114輸入之預測誤差與從預測控制部128輸入之預測訊號作加法運算，藉此再構成當前區塊。而且，加法部116將再構成的區塊輸出到區塊記憶體118及循環濾波部120。再構成區塊被稱為本地解碼區塊。 [區塊記憶體]
區塊記憶體118是用來儲存在幀內預測中參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體118儲存從加法部116輸出的再構成區塊。 [循環濾波部]
循環濾波部120對藉由加法部116再構成的區塊施行循環濾波，且將濾波過的再構成區塊輸出到框記憶體122。所謂循環濾波器是在編碼循環內使用的濾波器(環內濾波器(In-loop filter))，例如包含了去區塊濾波器(DF, Deblocking Filter)、取樣自適應偏移(SAO, Sample Adaptive Offset)及調適性迴圈濾波器(ALF, Adaptive Loop Filter)等。
在ALF中，適用去除編碼失真用的最小平方誤差濾波器，例如在當前區塊內的每個2×2子區塊中，根據局部的梯度(gradient)的方向及活性度(activity)，適用從複數個濾波器之中選擇的1個濾波器。
具體來說，首先子區塊(例如2×2子區塊)被分類為複數個階級(class)(例如15個或25個階級)。子區塊的分類是根據梯度的方向及活性度來進行。例如，利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。而且，根據分類值C，子區塊被分類為複數個階級(例如15個或25個階級)。
梯度的方向值D例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A例如是藉由將複數個方向的梯度作加法運算，並將加法結果量化來導出。
根據這種分類的結果，即可從複數個濾波器之中決定出子區塊用的濾波器。
使用於ALF的濾波器之形狀，例如可以是利用圓對稱形狀。圖4A~圖4C是顯示使用於ALF的濾波器之形狀的複數個例子之圖。圖4A顯示5×5鑽石形狀濾波器，圖4B顯示7×7鑽石形狀濾波器，而圖4C顯示9×9鑽石形狀濾波器。顯示濾波器的形狀之資訊是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需限定於圖片層級，也可以是其他層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。
ALF的開/關例如是在圖片層級或CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開/關之資訊是在圖片層級或CU層級被訊號化。再者，顯示ALF的開/關之資訊的訊號化並不需限定於圖片層級或CU層級，也可以是其他層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。
可選擇的複數個濾波器(例如到15個或25個為止的濾波器)之係數組是在圖片層級被訊號化。再者，係數組的訊號化並不需限定於圖片層級，也可以是其他層級(例如，序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]
框記憶體122是用來儲存幀間預測所使用的參照圖片之儲存部，也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122儲存被循環濾波部120濾波過的再構成區塊。 [幀內預測部]
幀內預測部124參照區塊記憶體118所儲存的當前圖片內之區塊，來進行當前區塊的幀內預測(也稱為畫面內預測)，藉此生成預測訊號(幀內預測訊號)。具體來說，幀內預測部124參照與當前區塊鄰接的區塊之樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，並將幀內預測訊號輸出至預測控制部128。
例如，幀內預測部124利用事先規定的複數個幀內預測模式當中的1個來進行幀內預測。複數個幀內預測模式包含了1個以上之非方向性預測模式以及複數個方向性預測模式。
1個以上之非方向性預測模式例如包含H.265/HEVC(High-Efficiency Video Coding)規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。
複數個方向性預測模式例如包含H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式除了33個方向之外，也可以更進一步地包含32個方向的預測模式(合計65個方向性預測模式)。圖5是顯示幀內預測中的67個幀內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭表示H.265/HEVC規格所規定的33個方向，虛線箭頭表示追加的32個方向。
再者，在色差區塊的幀內預測中，也可以參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。這種幀內預測被稱為CCLM(cross-component linear model)預測。這種參照亮度區塊的色差區塊之幀內預測模式(例如被稱為CCLM模式)，也可以作為1個色差區塊的幀內預測模式而加入。
幀內預測部124也可以根據水平/垂直方向的參照像素之梯度來修正幀內預測後的像素值。這種伴隨有修正的幀內預測被稱為PDPC(position dependent intra prediction combination)。顯示是否適用PDPC的資訊(例如被稱為PDPC標誌)例如是在CU層級被訊號化。再者，此資訊的訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。 [幀間預測部]
幀間預測部126參照框記憶體122所儲存的參照圖片且也是與當前圖片不同的參照圖片，來進行當前區塊的幀間預測(也稱為畫面間預測)，藉此生成預測訊號(幀間預測訊號)。幀間預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，幀間預測部126針對當前區塊或子區塊而在參照圖片內進行運動探索(motion estimation)。而且，幀間預測部126利用以運動探索得到的運動資訊(例如運動向量)來進行運動補償，藉此生成當前區塊或子區塊的幀間預測訊號。而且，幀間預測部126將生成的幀間預測訊號輸出至預測控制部128。
使用於運動補償的運動資訊會被訊號化。在運動向量的訊號化中，也可以使用預測運動向量(motion vector predictor)。也就是說，運動向量與預測運動向量之間的差分也可以被訊號化。
再者，不只是由運動探索得到的當前區塊的運動資訊，也可以利用鄰接區塊的運動資訊，來生成幀間預測訊號。具體來說，將根據由運動探索得到的運動資訊所生成的預測訊號以及根據鄰接區塊的運動資訊所生成的預測訊號作加權相加，藉此以當前區塊內的子區塊單位來生成幀間預測訊號亦可。這種幀間預測(運動補償)被稱為重疊分塊運動補償(OBMC, overlapped block motion compensation)。
在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC標誌)是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需限定於序列層級及CU層級，也可以是其他層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
再者，運動資訊也可以不被訊號化，而在解碼裝置側被導出。例如，也可以使用H.265/HEVC規格所規定的合併模式。又例如，藉由在解碼裝置側進行運動探索來導出運動資訊亦可。在此情況下，是不使用當前區塊的像素值而進行運動探索。
在此，針對在解碼裝置側進行運動探索的模式進行說明。這種在解碼裝置側進行運動探索的模式被稱為型樣匹配運動向量導出(PMMVD, pattern matched motion vector derivation)模式或幀率提升轉換(FRUC, flame rate up-conversion)模式。
首先，合併列表所包含的候補之一被選擇當作型樣匹配之探索的開始位置。使用第1型樣匹配或第2型樣匹配來作為型樣匹配。第1型樣匹配及第2型樣匹配分別被稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
在第1型樣匹配中，是在2個不同參照圖片內的2個區塊且也是沿著當前區塊的運動軌道(motion trajectory)的2個區塊之間進行型樣匹配。
圖6是用來說明沿著運動軌道的2個區塊間的型樣匹配(雙向匹配)之圖。如圖6所示，在第1型樣匹配中，是在沿著當前區塊(Cur block)的運動軌道的2個區塊且也是2個不同參照圖片(Ref0、Ref1)內的2個區塊之配對中，探索最匹配的一對，藉此導出2個運動向量(MV0、MV1)。
在連續的運動軌道之假設下，指出2個參照區塊的運動向量(MV0、MV1)是相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)成正比。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之運動向量。
在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊鄰接的區塊(例如上及/或左鄰接區塊))與參照圖片內的區塊之間進行型樣匹配。
圖7是用來說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。如圖7所示，在第2型樣匹配中，是在參照圖片(Ref0)內探索出與在當前圖片(Cur Pic)內鄰接於當前區塊(Cur block) 的區塊最匹配的區塊，藉此導出當前區塊的運動向量。
這種顯示是否適用FRUC模式的資訊(例如被稱為FRUC標誌)是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC標誌為真(true)的情況)，顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如被稱為FRUC模式標誌)是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
再者，也可以藉由有別於運動探索的不同方法，在解碼裝置側導出運動資訊。例如，也可以根據假設了等速直線運動的模型，以像素單位使用周邊像素值來算出運動向量的修正量。
在此，針對根據假設了等速直線運動的模型來導出運動向量的模式進行說明。此模式被稱為雙向光流(BIO, bi-directional optical flow)模式。
圖8是用來說明假設了等速直線運動的模型之圖。在圖8中，(vx ，vy )表示速度向量，而τ0 、τ1 分別表示當前圖片(Cur Pic)與2個參照圖片(Ref0 ，Ref1 )之間的時間上之距離。(MVx0 ，MVy0 )表示對應於參照圖片Ref0 的運動向量，而(MVx1 ，MVy1 )表示對應於參照圖片Ref1 的運動向量。
此時在速度向量(vx ，vy )的等速直線運動之假設下，(MVx0 ，MVy0 )及(MVx1 ，MVy1 )分別被表示為(vx τ0 ，vy τ0 )及(-vx τ1 ，-vy τ1 )，且以下的光流等式(1)會成立。 [數學式1]
Figure TW201803350AD00001
在此，I(k) 表示運動補償後的參照圖像k(k=0，1)之亮度值。此光流等式顯示 (i)亮度值的時間微分、(ii)水平方向的速度及參照圖像的空間梯度之水平成分的積、(iii)垂直方向的速度及參照圖像的空間梯度之垂直成分的積的總和等於零。根據此光流等式與埃爾米特插值(Hermite interpolation)的組合，從合併列表等得到的區塊單位之運動向量會以像素單位被修正。
再者，也可以藉由有別於根據假設了等速直線運動的模型來導出運動向量的不同方法，在解碼裝置側導出運動向量。例如，也可以根據複數個鄰接區塊的運動向量以子區塊單位導出運動向量。
在此，針對根據複數個鄰接區塊的運動向量以子區塊單位導出運動向量的模式進行說明。此模式被稱為仿射運動補償預測(affine motion compensation prediction)模式。
圖9是用來說明根據複數個鄰接區塊的運動向量來導出子區塊單位的運動向量之圖。在圖9中，當前區塊包含16個4×4子區塊。在此，根據鄰接區塊的運動向量來導出當前區塊的左上角控制點之運動向量v0 ，且根據鄰接子區塊的運動向量來導出當前區塊的右上角控制點之運動向量v1 。而且，使用2個運動向量v0 及v1 ，藉由以下的式(2)，來導出當前區塊內的各子區塊之運動向量(vx ，vy )。 [數學式2]
Figure TW201803350AD00002
在此，x及y分別表示子區塊的水平位置及垂直位置，而w表示預定的加權係數。
在這種仿射運動補償預測模式中，左上及右上角控制點的運動向量之導出方法也可以包含幾個不同的模式。這種顯示仿射運動補償預測模式的資訊(例如被稱為仿射標誌)是在CU層級被訊號化。再者，顯示此仿射運動補償預測模式的資訊之訊號化並不需限定於CU層級，也可以是其他層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。 [預測控制部]
預測控制部128選擇幀內預測訊號及幀間預測訊號的任一個，且將選擇的訊號作為預測訊號而輸出至減法部104及加法部116。 [解碼裝置的概要]
接著，針對可解碼從上述編碼裝置100輸出的編碼訊號(編碼位元流)之解碼裝置的概要進行說明。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、循環濾波部212、框記憶體214、幀內預測部216、幀間預測部218、預測控制部220。
解碼裝置200例如是藉由通用處理器及記憶體來實現。在此情況下，藉由處理器執行儲存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、循環濾波部212、幀內預測部216、幀間預測部218及預測控制部220而發揮功能。又，解碼裝置200也可以是作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、循環濾波部212、幀內預測部216、幀間預測部218及預測控制部220的1個以上之專用的電子電路來實現。
以下，針對解碼裝置200所包含的各構成要素來進行說明。 [熵解碼部]
熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202例如是從編碼位元流算術解碼出二元訊號。而且，熵解碼部202對二元訊號進行多值化(debinarize)。藉此，熵解碼部202以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]
逆量化部204是對從熵解碼部202輸入之解碼對象區塊(以下，稱為當前區塊)之量化係數進行逆量化。具體來說，逆量化部204針對各當前區塊的量化係數，是根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。而且，逆量化部204將當前區塊之逆量化過的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]
逆轉換部206是藉由對從逆量化部204輸入之轉換係數進行逆轉換，來復原預測誤差。
例如顯示從編碼位元流解讀的資訊適用EMT或AMT的情況下(例如AMT標誌為真)，逆轉換部206會根據顯示解讀的轉換類型之資訊，而對當前區塊的轉換係數進行逆轉換。
又例如，顯示從編碼位元流解讀的資訊適用NSST的情況下，逆轉換部206會對轉換過的轉換係數(轉換結果)進行再轉換。 [加法部]
加法部208是將從逆轉換部206輸入之預測誤差與從預測控制部220輸入之預測訊號作加法運算，藉此再構成當前區塊。而且，加法部208將再構成的區塊輸出到區塊記憶體210及循環濾波部212。 [區塊記憶體]
區塊記憶體210是用來儲存在幀內預測中參照的區塊且也是解碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體210儲存從加法部208輸出的再構成區塊。 [循環濾波部]
循環濾波部212對藉由加法部208再構成的區塊施行循環濾波，且將濾波過的再構成區塊輸出到框記憶體214及顯示裝置等。
當顯示從編碼位元流解讀的ALF之開/關的資訊顯示ALF開啟的情況下，根據局部的梯度之方向及活性度從複數個濾波器之中選擇1個濾波器，且將選擇的濾波器適用在再構成區塊。 [框記憶體]
框記憶體214是用來儲存幀間預測所使用的參照圖片之儲存部，也被稱為框緩衝器。具體來說，框記憶體214儲存被循環濾波部212濾波過的再構成區塊。 [幀內預測部]
幀內預測部216根據從編碼位元流解讀的幀內預測模式，參照區塊記憶體210所儲存的當前圖片內之區塊來進行幀內預測，藉此生成預測訊號(幀內預測訊號)。具體來說，幀內預測部216參照與當前區塊鄰接的區塊之樣本(例如亮度值、色差值)來進行幀內預測，藉此生成幀內預測訊號，並將幀內預測訊號輸出至預測控制部220。
再者，在色差區塊的幀內預測中選擇參照亮度區塊的幀內預測模式之情況下，幀內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。
又，顯示從編碼位元流解讀的資訊適用PDPC的情況下，幀內預測部216會根據水平/垂直方向的參照像素之梯度來修正幀內預測後的像素值。 [幀間預測部]
幀間預測部218參照框記憶體214所儲存的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，幀間預測部126利用從編碼位元流解讀的運動資訊(例如運動向量)而進行運動補償，藉此生成當前區塊或子區塊的幀間預測訊號，並將幀間預測訊號輸出至預測控制部128。
再者，顯示從編碼位元流解讀的資訊適用OBMC模式的情況下，幀間預測部218不只會使用藉由運動探索得到的當前區塊之運動資訊，也會使用鄰接區塊的運動資訊，來生成幀間預測訊號。
又，顯示從編碼位元流解讀的資訊適用FRUC模式的情況下，幀間預測部218會根據從編碼流解讀的型樣匹配之方法(雙向匹配或模板匹配)進行運動探索，藉此導出運動資訊。而且，幀間預測部218使用導出的運動資訊而進行運動補償。
又，在適用BIO模式的情況下，幀間預測部218會根據假設了等速直線運動的模型來導出運動向量。又，顯示從編碼位元流解讀的資訊適用仿射運動補償預測模式的情況下，幀間預測部218會根據複數個鄰接區塊的運動向量，以子區塊單位導出運動向量。 [預測控制部]
預測控制部220選擇幀內預測訊號及幀間預測訊號的任一個，且將選擇的訊號作為預測訊號而輸出至加法部208。
接著，一邊參照圖示一邊具體地說明在如上述構成的編碼裝置100及解碼裝置200中進行的訊號相依型適應量化/逆量化。 [編碼裝置中的訊號相依型適應量化/逆量化處理]
圖11是顯示實施形態1之編碼裝置100中的訊號相依型適應量化/逆量化處理1000之流程圖。圖11所示之訊號相依型適應量化/逆量化處理1000，主要是藉由圖1所示之編碼裝置100的逆量化部112而進行。
首先，在步驟S1001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。此換算處理是逆量化處理。也就是說，在步驟S1001中，量化係數是藉由預定的量化參數而被逆量化。
在步驟S1002中，是根據步驟S1001中換算出的轉換係數來導出新的量化參數。此新導出的量化參數之值通常是比預定的量化參數還大。作為量化參數與根據該量化參數換算出的轉換係數之關係的例子，有線性函數的例子，但也有其他非線性函數(例如，冪函數(power function))的例子。
在本實施形態的一變形例中，導出的量化參數與該量化參數的導出中所使用的轉換係數(第1轉換係數)之關係，可以藉由1個或複數個強度參數而調整。又，在本實施形態的其他變形例中，在量化參數的導出中，可以使用依據1個或複數個選擇參數而可切換的複數個映射函數。此複數個映射函數是用來從轉換係數導出量化參數的彼此不同的函數。更進一步地，在本實施形態的其他變形例中，是根據圖像區塊的量化參數來決定強度參數或選擇參數(例如，從大的量化參數值得到大的強度參數值，又，從不同的量化參數值得到不同的切換參數值)。
最後，在步驟S1003中，根據步驟S1002中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。
步驟S1003中的轉換係數(第1轉換係數)與步驟S1001中的轉換係數(第2轉換係數)是屬於相同的圖像區塊。又，這些轉換係數可以屬於相同的色成分，也可以屬於不同的色成分。例如，將步驟S1001中的轉換係數設為亮度區塊的轉換係數，且將步驟S1003中的轉換係數設為色差區塊的轉換係數亦可。在本實施形態的一變形例中，轉換係數全都是1個圖像區塊的轉換係數。又，在本實施形態的其他變形例中，轉換係數全都是1個圖像區塊的AC轉換係數。又，在本實施形態的其他變形例中，至少1個轉換係數是圖像區塊的DC係數。
圖28顯示8×8像素尺寸的區塊之轉換係數的逆量化的一例。在圖28中，複數個圓每個都是表示係數。量化過的轉換係數(量化係數)是根據預定的掃描順序被換算(逆量化)。在圖28中，圓內的數值表示預定的掃描順序中之順序。在此，預定的掃描順序是以頻率的升序來定義。如圖28所示，在預定的掃描順序中先被逆量化的轉換係數是用來導出用在該預定的掃描順序中的後續轉換係數之量化/逆量化的量化參數。
具體來說，在圖28中，最先被逆量化的DC成分之量化係數(0)是根據第1預定量化參數而被逆量化。接著，第2個被逆量化的AC成分之量化係數(1)是根據第2預定量化參數而被逆量化。第2預定量化參數可以和第1量化參數相同，也可以比第1量化參數還大。
而且，根據由量化係數(1)的逆量化而得到的AC成分之轉換係數(1)，導出用在接著被逆量化的量化係數(2)之量化參數。第3個被逆量化的AC成分之量化係數(2)是根據從轉換係數(1)導出的量化參數而被逆量化，而得到轉換係數(2)。
再者，用在成為量化/逆量化對象之轉換係數(以下，稱為當前係數)的量化參數，可以是在預定的掃描順序中由當前係數之前的轉換係數之累積合計來導出。例如，在預定的掃描順序中，用在第16個當前係數的量化/逆量化之量化參數，可以是根據第1~15個轉換係數之累積合計來導出。此時，累積合計增加的話，量化參數也跟著增加即可。藉此，和低頻率區域相比之下可以將高頻率區域的轉換係數之量化/逆量化的量化步階(quantization step)放大，且和低頻率區域相比之下可以更壓縮高頻率區域的轉換係數。
再者，在這種轉換係數的累積合計中，也可以去除DC係數(例如第1個轉換係數)。也就是說，用在當前係數的量化參數可以是根據該當前係數之前的AC轉換係數(例如第2個之後的轉換係數)的累積合計來導出。
又，在轉換係數的累積合計中，也可以去除低頻率區域的轉換係數。也就是說，用在當前係數的量化參數可以是根據該當前係數之前的轉換係數且也是門檻值順序之後的轉換係數的累積合計來導出。例如若門檻值順序為第7個，則在掃描順序中用在第16個當前係數的量化/逆量化之量化參數，是根據第7~15個轉換係數的累積合計來導出。
此門檻值順序可以是以標準規格等事先定義。又，門檻值順序也可以是根據序列、圖片或區塊等而適應地決定。在此情況下，門檻值順序例如可在序列、圖片或區塊層級被訊號化。 [編碼裝置的逆量化部之詳細內容]
圖19是顯示實施形態1之編碼裝置100的逆量化部112之詳細功能構成之方塊圖。
量化部108根據預定的量化參數或從逆量化部112輸入的量化參數，對從轉換部106輸入的轉換係數進行量化。而且，量化部108將量化過的轉換係數(量化係數)輸出至逆量化部112及熵編碼部110。
逆量化部112對被量化部108量化過的轉換係數進行逆量化。而且，逆量化部112將逆量化過的轉換係數輸出至逆轉換部114。如圖19所示，逆量化部112具備逆量化器9003及量化參數導出器9010。
逆量化器9003是根據預定的量化參數或由量化參數導出器9010導出的量化參數，對被量化部108量化過的轉換係數進行逆量化，且將逆量化過的轉換係數輸出至逆轉換部114及量化參數導出器9010。
量化參數導出器9010根據從逆量化器9003輸入之逆量化過的轉換係數，導出用在接著被量化/逆量化的轉換係數之新的量化參數。而且，量化參數導出器9010將導出之新的量化參數輸出至量化部108及逆量化器9003。 [解碼裝置中的訊號相依型適應逆量化處理]
圖12是顯示實施形態1之解碼裝置200中的訊號相依型適應逆量化處理2000之流程圖。圖12所示之訊號相依型適應逆量化處理2000，主要是藉由圖10所示之解碼裝置200的逆量化部204而進行。
首先，在步驟S2001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。此換算處理是逆量化處理。也就是說，在步驟S2001中，量化係數是藉由預定的量化參數而被逆量化。
在步驟S2002中，是根據步驟S2001中換算出的轉換係數來導出新的量化參數。此新導出的量化參數之值通常是比預定的量化參數還大。作為量化參數與根據該量化參數換算出的轉換係數之關係的例子，有線性函數的例子，但也有其他非線性函數(例如，冪函數)的例子。
在本實施形態的一變形例中，導出的量化參數與該量化參數的導出中所使用的轉換係數之關係，可以藉由1個或複數個強度參數而調整。又，在本實施形態的其他變形例中，在量化參數的導出中，可以使用依據1個或複數個選擇參數而可切換的複數個映射函數。此複數個映射函數是用來從轉換係數導出量化參數的彼此不同的函數。更進一步地，在本實施形態的其他變形例中，是根據圖像區塊的量化參數來決定強度參數或選擇參數(例如，從大的量化參數值得到大的強度參數值，又，從不同的量化參數值得到不同的切換參數值)。
最後，在步驟S2003中，根據步驟S2002中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。
步驟S2003中的轉換係數與步驟2001中的轉換係數是屬於相同的圖像區塊。又，這些轉換係數可以屬於相同的色成分，也可以屬於不同的色成分。例如，將步驟S2001中的轉換係數設為亮度區塊的轉換係數，且將步驟S2003中的轉換係數設為色差區塊的轉換係數亦可。在本實施形態的一變形例中，轉換係數全都是1個圖像區塊的轉換係數。又，在本實施形態的其他變形例中，轉換係數全都是1個圖像區塊的AC轉換係數。又，在本實施形態的其他變形例中，至少1個轉換係數是圖像區塊的DC係數。 [解碼裝置的逆量化部之詳細內容]
圖20是顯示實施形態1之解碼裝置200的逆量化部204之詳細功能構成之方塊圖。
逆量化部204是對從熵解碼部202輸入之當前區塊之量化過的轉換係數(量化係數)進行逆量化。而且，逆量化部204將逆量化過的轉換係數輸出至逆轉換部206。如圖20所示，逆量化部204具備逆量化器10002及量化參數導出器10008。
逆量化器10002是根據預定的量化參數或由量化參數導出器10008導出的量化參數，對被熵解碼部202解碼過的量化係數進行逆量化，且將轉換係數輸出至逆轉換部206及量化參數導出器10008。
量化參數導出器10008根據從逆量化器9003輸入之轉換係數，導出用在接著被逆量化的轉換係數之量化參數，且輸出至逆量化器10002。
如上所述，本實施形態之編碼裝置100及解碼裝置200，是對1個或複數個量化過的第1轉換係數進行逆量化，且根據逆量化過的1個或複數個第1轉換係數來導出量化參數，並根據導出的量化參數，對量化過的第2轉換係數進行逆量化。
藉此，可以根據先被逆量化的第1轉換係數，導出使用在量化過的第2轉換係數的逆量化之量化參數。也就是說，能以係數單位適應地導出量化參數。根據這種以係數單位適應地導出的量化參數對量化過的轉換係數進行逆量化，藉此便可謀求主觀畫質的提升。更進一步地，由於可以根據先被逆量化的第1轉換係數來導出量化參數，因此可以抑制用於導出量化參數的訊號位元之增加，而可謀求編碼效率的提升。 (實施形態1的變形例1)
接著，針對實施形態1的變形例1進行說明。在本變形例中，和上述實施形態1不同的地方在於：根據先被逆量化的轉換係數以及從當前區塊的預測訊號轉換的轉換係數來導出量化參數。以下，針對本變形例，以和上述實施形態1的不同點為中心進行說明。 [編碼裝置中的訊號相依型適應量化/逆量化處理]
圖13是顯示實施形態1的變形例1之編碼裝置100中的訊號相依型適應量化/逆量化處理3000之流程圖。圖13所示之訊號相依型適應量化/逆量化處理3000，主要是藉由後述的逆量化部112A(圖21)而進行。
首先，在步驟S3001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S3002中，預測樣本的區塊被轉換為轉換係數(第3轉換係數)。也就是說，當前區塊的預測訊號被頻率轉換為轉換係數。
在步驟S3003中，是根據步驟S3001中換算出的轉換係數，以及步驟S3002中從預測樣本的區塊轉換的1個或複數個轉換係數，來導出新的量化參數。
在量化參數的導出中也可以包含將步驟S3001中換算出的1個轉換係數，以及步驟S3002中從預測樣本的區塊轉換的複數個轉換係數當中的1個加以合計的步驟。作為量化參數的其他導出例，有根據從預測樣本的區塊轉換的複數個轉換係數之分布來導出的方法。在步驟S3003的導出中，為了決定新的量化參數，也可以使用從預測樣本的區塊轉換之複數個轉換係數的合計與分布雙方。
最後，在步驟S3004中，根據步驟S3003中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [編碼裝置的逆量化部之詳細內容]
圖21是顯示實施形態1的變形例1之編碼裝置100的逆量化部112A之詳細功能構成之方塊圖。在本變形例中，逆量化部112A取代圖1的逆量化部112而包含在編碼裝置100中。
如圖21所示，逆量化部112A具備逆量化器11003、量化參數導出器11010及轉換器11011。逆量化器11003是根據預定的量化參數或由量化參數導出器11010導出的量化參數，對被量化部108量化過的轉換係數進行逆量化。而且，逆量化器11003將逆量化過的轉換係數輸出至逆轉換部114及量化參數導出器11010。
量化參數導出器11010根據從逆量化器11003輸入之逆量化過的轉換係數，以及從轉換器11011輸入之轉換係數，導出用在接著被量化/逆量化的轉換係數之新的量化參數。而且，量化參數導出器11010將導出之新的量化參數輸出至逆量化器11003。
轉換器11011將從預測控制部128輸入的當前區塊之預測樣本轉換為頻率區域的轉換係數。而且，轉換器11011將轉換係數輸出至量化參數導出器11010。 [解碼裝置中的訊號相依型適應逆量化處理]
圖14是顯示實施形態1的變形例1之解碼裝置200中的訊號相依型適應逆量化處理4000之流程圖。圖14所示之訊號相依型適應逆量化處理4000，主要是藉由後述的逆量化部204A(圖22)而進行。
首先，在步驟S4001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S4002中，預測樣本的區塊被轉換為轉換係數(第3轉換係數)。也就是說，當前區塊的預測訊號被頻率轉換為轉換係數。
在步驟S4003中，是根據步驟S4001中換算出的轉換係數，以及步驟S4002中從預測樣本的區塊轉換的1個或複數個係數，來導出新的量化參數。
再者，在量化參數的導出中也可以包含將步驟S4001中經1次換算出的1個轉換係數，以及步驟S4002中從預測樣本的區塊轉換之複數個轉換係數當中的1個加以合計的步驟。作為量化參數的其他導出例，有根據從預測樣本的區塊轉換的複數個轉換係數之分布來導出的方法。在步驟S4003的導出中，為了決定新的量化參數，也可以使用從預測樣本的區塊轉換之複數個轉換係數的合計與分布雙方。
最後，在步驟S4004中，根據步驟S4003中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [解碼裝置的逆量化部之詳細內容]
圖22是顯示實施形態1的變形例1之解碼裝置200的逆量化部204A之詳細功能構成之方塊圖。在本變形例中，逆量化部204A取代圖10的逆量化部204而包含在解碼裝置200中。
如圖22所示，逆量化部204A具備逆量化器12002、量化參數導出器12008及轉換器12009。逆量化器12002是根據預定的量化參數或由量化參數導出器12008導出的量化參數，對被熵解碼部202解碼過的量化係數進行逆量化，且將轉換係數輸出至逆轉換部206及量化參數導出器12008。
量化參數導出器12008根據從逆量化器12002輸入之轉換係數以及從轉換器12009輸入之轉換係數，導出量化參數，且輸出至逆量化器12002。
轉換器12009將從預測控制部220輸入的當前區塊之預測樣本轉換為頻率區域的轉換係數。而且，轉換器12009將轉換係數輸出至量化參數導出器12008。
如上所述，本變形例之編碼裝置100及解碼裝置200是更進一步地將編碼對象區塊的預測訊號轉換為1個以上的第3轉換係數，且根據逆量化過的1個或複數個第1轉換係數，以及從編碼對象區塊的預測訊號轉換之1個以上的第3轉換係數，來導出量化參數。
藉此，可更進一步地根據從編碼對象區塊的預測訊號轉換之1個以上的第3轉換係數，來導出用於量化過的第2轉換係數之逆量化的量化參數。因此，也可以導出更適當的量化參數，而能謀求主觀畫質的提升以及編碼效率的提升。 (實施形態1的變形例2)
接著，針對實施形態1的變形例2進行說明。在本變形例中，和上述實施形態1不同的地方在於：根據先被逆量化的轉換係數以及從當前區塊的預測訊號決定的活性度來導出量化參數。以下，針對本變形例，以和上述實施形態1的不同點為中心進行說明。 [編碼裝置中的訊號相依型適應量化/逆量化處理]
圖15是顯示實施形態1的變形例2之編碼裝置100中的訊號相依型適應量化/逆量化處理5000之流程圖。圖15所示之訊號相依型適應量化/逆量化處理5000，主要是藉由後述的逆量化部112B(圖23)而進行。
首先，在步驟S5001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S5002中，從預測區塊(當前區塊的預測訊號)來決定活性度(activity measure)。此活性度可以是從框記憶體122所儲存的參照圖片讀出，也可以是根據預測區塊而利用電腦來求出。作為活性度的例子，可以舉例如區塊的分散值，但其他也可以舉例如：在預定的方向(例如，水平、垂直或對角)上藉由邊緣檢測得到的邊緣之強度。作為活性度的其他例子，可以舉例如空間或頻率區域中的訊號(圖像)強度。根據此活性度，預測區塊會被分類為不同的群組，且根據分類結果導出量化參數。
在步驟S5003中，是根據步驟S5001中換算出的轉換係數以及步驟S5002中決定的活性度，來導出新的量化參數。
在步驟S5003的一變形例中，當預測區塊為幀間預測區塊的情況下，活性度被用於量化參數的導出。預測區塊為幀內預測區塊的情況下，用來決定活性度的步驟S5002被跳過，在步驟S5003中不根據活性度，而是根據換算出的轉換係數來導出新的量化參數。
最後，在步驟S5004中，根據步驟S5003中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [編碼裝置的逆量化部之詳細內容]
圖23是顯示實施形態1的變形例2之編碼裝置100的逆量化部112B之詳細功能構成之方塊圖。在本變形例中，逆量化部112B取代圖1的逆量化部112而包含在編碼裝置100中。
如圖23所示，逆量化部112B具備逆量化器13003及量化參數導出器13010。逆量化器13003是根據預定的量化參數或由量化參數導出器13010導出的量化參數，對被量化部108量化過的轉換係數進行逆量化。而且，逆量化器13003將逆量化過的轉換係數輸出至逆轉換部114及量化參數導出器13010。
量化參數導出器13010從框記憶體122讀出預測區塊的活性度。而且，量化參數導出器13010根據被逆量化器11003逆量化的轉換係數，以及從框記憶體122讀出的活性度，來導出用在接著量化/逆量化的轉換係數之新的量化參數。而且，量化參數導出器13010將導出之新的量化參數輸出至逆量化器13003。 [解碼裝置中的訊號相依型適應逆量化處理]
圖16是顯示實施形態1的變形例2之解碼裝置200中的訊號相依型適應逆量化處理6000之流程圖。圖16所示之訊號相依型適應逆量化處理6000，主要是藉由後述的逆量化部204B(圖24)而進行。
首先，在步驟S6001中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S6002中，是從預測區塊決定活性度。此活性度可以是從框記憶體214所儲存的參照圖片讀出，也可以是根據預測區塊而利用電腦來求出。作為活性度的例子，可以舉例如區塊的分散值，但其他也可以舉例如：在預定的方向(例如，水平、垂直或對角)上藉由邊緣檢測得到的邊緣之強度。作為活性度的其他例子，可以舉例如空間或頻率區域中的訊號(圖像)強度。根據此活性度，預測區塊會被分類為不同的群組，且根據分類結果導出量化參數。
在步驟S6003中，是根據步驟S6001中換算出的轉換係數及步驟S6002中決定的活性度，來導出新的量化參數。
在步驟S6003的一變形例中，當預測區塊為幀間預測區塊的情況下，活性度被用於量化參數的導出。預測區塊為幀內預測區塊的情況下，用來決定活性度的步驟S6002被跳過，在步驟S6003中不根據活性度，而是根據換算出的轉換係數來導出新的量化參數。
最後，在步驟S6004中，根據步驟S6003中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [解碼裝置的逆量化部之詳細內容]
圖24是顯示實施形態1的變形例2之解碼裝置200的逆量化部204B之詳細功能構成之方塊圖。在本變形例中，逆量化部204B取代圖10的逆量化部204而包含在解碼裝置200中。
如圖24所示，逆量化部204B具備逆量化器14002及量化參數導出器14008。逆量化器14002是根據預定的量化參數或由量化參數導出器14008導出的量化參數，對被熵解碼部202解碼過的量化係數進行逆量化，且將轉換係數輸出至逆轉換部206及量化參數導出器14008。
量化參數導出器14008從框記憶體214讀出預測區塊的活性度。而且，量化參數導出器14008根據被逆量化器14002逆量化的轉換係數，以及從框記憶體214讀出的活性度，來導出用在接著逆量化的轉換係數之新的量化參數。而且，量化參數導出器14008將導出之新的量化參數輸出至逆量化器14002。
如上所述，本變形例之編碼裝置100及解碼裝置200是更進一步地根據編碼對象區塊的預測訊號來決定活性度，且根據逆量化過的1個或複數個第1轉換係數與已決定的活性度，來導出量化參數。
藉此，可以更進一步地根據依編碼對象區塊的預測訊號而決定的活性度，來導出用於量化過的第2轉換係數之逆量化的量化參數。因此，也可以導出更適當的量化參數，而能謀求主觀畫質的提升以及編碼效率的提升。 (實施形態1的變形例3)
接著，針對實施形態1的變形例3進行說明。在本變形例中，和上述實施形態1不同的地方在於：根據先被逆量化的轉換係數以及編碼位元流內已編碼的控制參數，來導出量化參數。以下，針對本變形例，以和上述實施形態1的不同點為中心進行說明。 [編碼裝置中的訊號相依型適應量化/逆量化處理]
圖17是顯示實施形態1的變形例3之編碼裝置100中的訊號相依型適應量化/逆量化處理7000之流程圖。圖17所示之訊號相依型適應量化/逆量化處理7000，主要是藉由後述的逆量化部112C(圖25)而進行。
首先，在步驟S7001中，1個或複數個控制參數被寫入到壓縮圖像標頭(編碼位元流內的標頭)。此控制參數可以是強度參數，也可以是切換參數。
在下一個步驟S7002中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S7003中，根據步驟S7001中寫入的控制參數以及步驟S7002中換算出的轉換係數，來導出新的量化參數。在本變形例中，量化參數與用於該量化參數的導出之轉換係數的關係，可以藉由1個或複數個強度參數而調整。又，在量化參數的導出中，也可以使用藉由1個或複數個選擇參數而可切換的複數個映射函數。亦即，根據控制參數(強度參數或選擇參數)而決定轉換係數與量化參數的關係，且根據已決定的關係從轉換係數來導出量化參數。例如，轉換係數與量化參數的關係是以線性函數表示，且控制參數為強度參數的情況下，藉由強度參數而調整線性函數的傾斜，且使用調整過的傾斜而從轉換係數來導出量化參數。又例如，控制參數為選擇參數的情況下，根據選擇參數，從轉換係數及量化參數的預定之複數個映射函數當中選擇1個映射函數，且使用選擇到的映射函數而從轉換係數來導出量化參數。
最後，在步驟S7004中，根據步驟S7003中新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [編碼裝置的逆量化部之詳細內容]
圖25是顯示實施形態1的變形例3之編碼裝置100的逆量化部112C之詳細功能構成之方塊圖。在本變形例中，逆量化部112C取代圖1的逆量化部112而包含在編碼裝置100中。
如圖25所示，逆量化部112C具備逆量化器15003及量化參數導出器15010。逆量化器15003是根據預定的量化參數或由量化參數導出器15010導出的量化參數，對被量化部108量化過的轉換係數進行逆量化。而且，逆量化器15003將逆量化過的轉換係數輸出至逆轉換部114及量化參數導出器15010。
量化參數導出器15010根據被逆量化器15003逆量化過的轉換係數與用於量化參數的導出之控制參數，而導出新的量化參數，且輸出至逆量化器15003。此控制參數可以是強度參數，也可以是選擇參數。 [語法(Syntax)]
圖27是顯示編碼影片流(壓縮影片位元流)中的控制參數之位置的複數個例子。圖17的(i)是顯示影片參數集內有控制參數。圖17的(ii)是顯示影片流的序列參數集內有控制參數。圖17的(iii)是顯示圖片的圖片參數集內有控制參數。圖17的(iv)是顯示片段的片段標頭內有控制參數。圖17的(v)是顯示用來進行動態圖系統或影片解碼器的設置或初始化之參數的群組內有控制參數。控制參數存在於複數個階層(例如，圖片參數集及片段標頭)的情況下，低階層(例如片段標頭)中的控制參數之值會覆蓋更高階層(例如，圖片參數集)中的控制參數之值。
圖29A是顯示根據於強度參數的轉換係數與量化參數(QP)之關係之調整的一例。如圖29A所示，強度參數的值越增加，線性函數的傾斜也越增加。也就是說，強度參數的值增加的話，即使轉換值為相同值，量化參數的值也會增加。
圖29B是顯示根據於選擇參數的轉換係數與量化參數(QP)之關係之切換的一例。如圖29B所示，轉換係數與量化參數的複數個映射函數(線性函數及冪函數)是事先定義的，而根據選擇參數(Switch index 1及Switch index 1)來選擇映射函數。例如，當選擇參數為Switch index 1的情況下選擇線性函數，而當選擇參數為Switch index 2的情況下選擇冪函數。 [解碼裝置中的訊號相依型適應逆量化處理]
圖18是顯示實施形態1的變形例3之解碼裝置200中的訊號相依型適應逆量化處理8000之流程圖。圖16所示之訊號相依型適應逆量化處理8000，主要是藉由後述的逆量化部204C(圖26)而進行。
首先，在步驟S8001中，從壓縮圖像標頭解讀出1個或複數個控制參數。此控制參數可以是強度參數，也可以是選擇參數。
接著，在步驟S8002中，1個或複數個量化過的轉換係數(第1轉換係數)被換算(scaling)。
在步驟S8003中，根據步驟S8002中換算出的轉換係數以及步驟S8001中解讀的控制參數，來導出新的量化參數。在本變形例中，量化參數與該量化參數的導出中所使用的轉換係數之關係，可以藉由1個或複數個強度參數而調整。又，在量化參數的導出中，也可以使用藉由1個或複數個選擇參數而可切換的複數個映射函數。亦即，根據控制參數(強度參數或選擇參數)而決定轉換係數與量化參數的關係，且根據已決定的關係從轉換係數來導出量化參數。例如，轉換係數與量化參數的關係是以線性函數表示，且控制參數為強度參數的情況下，藉由強度參數而調整線性函數的傾斜，且使用調整過的傾斜而從轉換係數來導出量化參數。又例如，控制參數為選擇參數的情況下，根據選擇參數，從轉換係數及量化參數的預定之複數個映射函數當中選擇1個映射函數，且使用選擇到的映射函數而從轉換係數來導出量化參數。
最後，在步驟S8004中，根據新導出的量化參數，量化過的轉換係數(第2轉換係數)被換算。 [解碼裝置的逆量化部之詳細內容]
圖26是顯示實施形態1的變形例3之解碼裝置200的逆量化部204C之功能構成之方塊圖。在本變形例中，逆量化部204C取代圖10的逆量化部204而包含在解碼裝置200中。
如圖26所示，逆量化部204C具備逆量化器16002及量化參數導出器16008。逆量化器16002對被熵解碼部202解碼過的量化係數進行逆量化，且將轉換係數輸出至逆轉換部206及量化參數導出器16008。
量化參數導出器16008根據逆量化過的轉換係數及控制參數，導出新的量化參數，且輸出至逆量化器16002。控制參數例如是藉由熵解碼部202而從編碼位元流中解讀出來。
如上所述，藉由本變形例之編碼裝置100及解碼裝置200，量化參數與第1轉換係數的關係，可以藉由1個或複數個強度參數而調整。又，在本變形例中，在量化參數的導出中，也可以使用藉由1個或複數個選擇參數而可切換的複數個映射函數。而且，這種1個或複數個強度參數及1個或複數個選擇參數是被寫入到編碼位元流內的標頭。
藉此，在量化參數的導出中，轉換係數與量化參數之間的關係可以調整或切換。因此，也可以導出更適當的量化參數，而能謀求主觀畫質的提升以及編碼效率的提升。
再者，在本變形例中，雖然控制參數是被訊號化，但控制參數不一定要被訊號化。例如，控制參數也可以是根據用在與當前區塊不同的區塊之係數逆量化的量化參數來決定。例如，可以依照只要用在與當前區塊不同的區塊之係數逆量化的量化參數增加的話，強度參數就會增加的方式來決定強化參數。又例如，可以對應用在與當前區塊不同的區塊之係數逆量化的量化參數之值來決定選擇參數。
再者，也可以組合上述實施形態1的複數個變形例。例如，可以將變形例1~變形例3全部組合，也可以將變形例1~變形例3當中的任意2個組合。 (實施形態2)
在以上之各實施形態中，各個功能方塊通常可藉由MPU及記憶體等來實現。又，藉由各個功能方塊所進行之處理，通常是藉由使處理器等之程式執行部將已記錄於ROM等之記錄媒體的軟體(程式)讀出並執行來實現。該軟體可藉由下載等來發布，亦可記錄於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。
又，在各實施形態中所說明之處理，可以藉由使用單一的裝置(系統)集中處理來實現，或者藉由使用複數個裝置分散處理來實現亦可。又，執行上述程式之處理器可為單個，亦可為複數個。亦即，可進行集中處理，或者進行分散處理亦可。
本發明不受以上之實施例所限定，可進行種種的變更，且該等亦包含於本發明之範圍內。
更進一步地，在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例與使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他的構成，可以視情況適當地變更。 [使用例]
圖30是顯示實現內容發送服務(content delivery service)的內容供給系統ex100之整體構成之圖。將通訊服務之提供區分割成所期望的大小，且在各格區(cell)內分別設置有作為固定無線電台之基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接到網際網路ex101。該內容供給系統ex100亦可構成為組合並連接上述之任一要素。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器相連接。又，串流伺服器ex103是透過衛星ex116來與飛機ex117內之熱點(hot spot)內的終端等連接。
再者，取代基地台ex106~ex110 ，改使用無線存取點或熱點等亦可。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。
相機ex113是數位相機等之可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115是對應於一般稱作2G、3G、3.9G、4G、還有今後會被稱作5G的移動通訊系統之方式的智慧型電話機、攜帶電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118是冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。
在內容供給系統ex100中，是藉由使具有攝影功能之終端通過基地台ex106等來連接到串流伺服器ex103，而使實況(live)即時發送等變得可行。在實況即時發送中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等)會對使用者使用該終端所攝影之靜態圖或動態圖內容進行已在上述各實施形態所說明之編碼處理，且與已藉由編碼而得到之影像資料、已將對應於影像之聲音編碼的聲音資料進行多工化，並將所獲得之資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103會對針對有要求之客戶端(client)所傳送之內容資料進行流(stream)發送。客戶端是可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、或飛機ex117內之終端等。已接收到所發送之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]
又，串流伺服器ex103是複數個伺服器或複數台電腦，也可以是將資料分散處理或記錄以進行發送者。例如，串流伺服器ex103可藉由CDN(Contents Delivery Network(內容遞送網路))而實現，亦可藉由分散於世界中的多數個邊緣伺服器(edge server)與在邊緣伺服器之間進行連接的網路來實現內容發送。在CDN上，會因應客戶來動態地分配在物理上相近之邊緣伺服器。而且，藉由將內容快取(cache)及發送至該邊緣伺服器就可以減少延遲。又，由於可以在發生某種錯誤時或是在因流量增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散，或將發送主體切換為其他的邊緣伺服器，來繞過已發生障礙之網路部分並持續發送，因此可以實現高速且穩定的發送。
又，不僅是發送本身之分散處理，已攝影之資料的編碼處理可在各終端進行，也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理循環。在第1次循環中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次循環中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端進行第1次編碼處理，且使已接收內容的伺服器側進行第2次編碼處理，而減少在各終端之處理負荷並且使其提升內容的質與效率。此時，只要有以近乎即時的方式接收並解碼的要求，也可以將終端所進行之第1次編碼已完成的資料以其他終端接收並播放，因此也可做到更靈活的即時發送。
作為其他的例子，相機ex113等是由圖像中進行特徵量抽取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像意義的壓縮。特徵量資料對於伺服器再度壓縮時的運動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二元算術編碼方式)等處理負荷較大的編碼。
此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、因應需要而沒有進行攝影之其他的終端及伺服器，以例如GOP(Group of Picture(圖像群組))單位、圖片單位、或已將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理並進行分散處理。藉此，可以減少延遲，而更能夠實現即時性(real-time)。
又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示，以使得可互相地參考對照在各終端所攝影之影像資料。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係，或是修正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的流(stream)。
又，伺服器亦可在進行將影像資料之編碼方式變更的轉碼(transcode)後再發送影像資料。例如，伺服器可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。
如此，編碼處理就可藉由終端或1個以上之伺服器來進行。因此，以下雖然使用「伺服器」或「終端」等之記載來作為進行處理之主體，但亦可由終端來進行以伺服器所進行之部分處理或全部處理，也可由伺服器來進行以終端所進行之部分處理或全部處理。又，有關於這些，針對解碼處理也是同樣的。 [3D、多角度]
近年來，將以彼此幾乎同步之複數台相機ex113及/或智慧型手機ex115等終端所攝影到之不同的場景、或是將相同的場景從不同的角度所攝影到之圖像或影像加以整合並利用的作法也在逐漸增加中。各終端所攝影到之影像會根據另外取得的終端間之相對位置關係、或是包含於影像之特徵點為一致的區域等而被整合。
伺服器不僅將二維動態圖像編碼，亦可根據動態圖像之場景解析等而自動地，或者在使用者所指定之時刻中，將靜態圖編碼並傳送至接收終端。更進一步地，伺服器在可以取得攝影終端間之相對位置關係的情形下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)等而生成之三維資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，從複數個終端所攝影之影像中選擇，或是再構成並生成要傳送至接收終端的影像。
如此一來，使用者也可以任意選擇各攝影終端所對應之各影像來享受場景，還可以享受從利用複數圖像或影像再構成之三維資料中切出任意視點的影像之內容。此外，與影像同樣地，聲音也可由複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定之角度或空間的聲音與影像進行多工化並傳送。
又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界做對應之內容也逐漸普及。在VR圖像的情形下，伺服器可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等進行在各視點影像間容許參考之編碼，亦可不互相參考而作為不同的流來進行編碼。在不同的流之解碼時，可使其互相同步並播放，以因應使用者之視點來重現虛擬的三維空間。
在AR圖像的情形下，伺服器會根據三維位置或使用者視點的移動，將虛擬空間上之虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料，因應使用者視點的移動而生成二維圖像並順暢地連結，藉此製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者視點的移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的移動來製作重疊資料，並將重疊資料進行編碼並發送至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將預定之值的RGB值設定為背景，而生成目標以外之部分為背景色的資料。
同樣地被發送之資料的解碼處理可在客戶端之各終端進行，也可在伺服器側進行，亦可互相分擔而進行。作為一例，某個終端一旦將接收要求傳送至伺服器後，由其他終端接收因應該要求之內容並進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置亦可。不依靠可通訊之終端本身的性能而將處理分散並選擇適當之內容之作法，可以播放畫質良好的資料。又，作為其他之例，用TV等接收大尺寸之圖像資料，將圖片分割後之圖塊等一部分的區域解碼而顯示於鑑賞者之個人終端亦可。藉此，可以將整體圖片共有化，並且可以就近確認本身負責的領域或是想要更詳細確認之區域。
又，可以預想到今後不論是屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，會利用MPEG-DASH等發送系統規格，一邊對連接中之通訊切換適當之資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，就連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，可以根據本身之位置資訊等，一邊切換要解碼之終端及要顯示之終端一邊進行解碼。藉此，在往目的地之移動中，一邊使已埋入可顯示之元件的鄰近之建築物的牆面或地面的一部分顯示地圖資訊一邊移動之情形也變得可行。又，令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容遞送伺服器(content delivery server)中的邊緣伺服器等，根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)的作法也是可能的。 [可調式編碼]
關於內容之切換，將使用圖31所示之應用上述各實施形態顯示之動態圖像編碼方法來壓縮編碼之可調整的流進行說明。雖然伺服器具有複數個內容相同但質卻不同的流來作為個別的流也無妨，但亦可以是將藉由如圖示地分層來進行編碼一事而實現的時間上/空間上可調整之流的特徵加以活用，來切換內容的構成。亦即，因應性能這種內在要因與通訊頻帶之狀態等外在要因來決定解碼側要解碼至哪一層，解碼側即可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的流解碼至不同的層即可，因此可以減輕伺服器側的負擔。
此外，如上述地，除了實現每層都有圖片被編碼，且在基本層之上位存在增強層(enhancement layer)之可調整性(scalability)的構成以外，使增強層包含根據於圖像之統計資訊等的元資訊，且使解碼側根據元資訊將基本層之圖片進行超解析，藉此來生成已高畫質化之內容亦可。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用以特定出於超解析處理中使用之線形或非線形的濾波係數的資訊、或者特定出於超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值的資訊等。
或者，亦可為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇要解碼之圖塊，藉此只將一部分之區域解碼的構成。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以儲存，解碼側即可以根據元資訊特定出所期望之目標的位置，來決定包含該目標之圖塊。例如，如圖32所示，元資訊可使用HEVC中的SEI訊息等與像素資料不同的資料儲存構造來被儲存。此元資訊是表示例如主目標之位置、尺寸、或色彩等。
又，以流、序列或隨機存取單位等的由複數個圖片構成的單位來儲存元資訊亦可。藉此，解碼側可以取得特定人物出現在影像內之時刻等，且與圖片單位之資訊對照，藉此可以特定出目標存在之圖片、以及在圖片內之目標的位置。 [網頁之最佳化]
圖33是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖34是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖33及圖34所示，當網頁包含複數個屬於對圖像內容之鏈接的鏈接圖像時，其外觀會依閱覽之裝置而不同。當畫面上可看到複數個鏈接圖像時，直至使用者明確地選擇鏈接圖像，或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都會顯示具有各內容之靜態圖或框內編碼畫面(Intra Picture)作為鏈接圖像，或者以複數個靜態圖或框內編碼畫面等顯示如gif動畫的影像，或者僅接收基本層來將影像進行解碼及顯示。
當已由使用者選擇出鏈接圖像時，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示屬於可調整之內容的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常嚴格時，顯示裝置可以藉由僅解碼及顯示前向參考(forward reference)之圖片(框內編碼畫面、預測畫面(Predictive Picture) 、僅前向參考之雙向預估編碼畫面(Bidirectionally Predictive Picture))，以減低前頭圖片之解碼時刻與顯示時刻之間的延遲(內容的開始解碼到開始顯示的延遲)。又，顯示裝置亦可特意無視圖片之參考關係而將所有的雙向預估編碼畫面及預測畫面設成前向參考來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。 [自動駕駛]
又，當為了汽車的自動駕駛或支援駕駛而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料時，接收終端可以除了屬於1個以上之層的圖像資料之外，也將天候或工程之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料進行多工化。
此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此藉由接收終端在接收要求時傳送該接收終端之位置資訊，即可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應使用者之選擇、使用者之狀況或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度，或要將地圖資訊更新至何種程度。
如以上地進行，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並將其進行解碼、播放。 [個人內容之發送]
又，在內容供給系統ex100中，不僅是來自影像發送業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)發送也是可行的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容做成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。
伺服器會在攝影時即時或是先累積然後在攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景探索、意義解析、及目標檢測等之辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行：修正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等之編輯。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時收視率會下降的情況也是眾所皆知的，伺服器可根據圖像處理結果而自動對不僅是如上述之重要性低的場景甚至還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄並進行編碼。
再者，在個人內容中，也有照原樣的話會有造成侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有共享的範圍超過所欲之範圍等對個人來說不方便的情況。因此，例如，伺服器亦可將畫面周邊部之人的臉、或房子之中等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，從著作權等之觀點來讓使用者指定想要加工圖像的人物或背景區域後，伺服器進行將所指定之區域置換為別的影像，或者使焦點模糊等處理之作法也是可行的。如果是人物的話，可以在動態圖像中一邊追蹤人物一邊置換臉之部分的影像。
又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層來進行解碼及播放。解碼裝置亦可在這段期間接收增強層，且於循環播放之情形等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。只要是如此地進行著可調整之編碼的流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使以第1次播放之粗略的流、與參考第1次之動態圖而編碼之第2次的流構成為1個流，也可以提供同樣的體驗。 [其他之使用例]
又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，將動態圖像編碼或解碼用之軟體組入可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體進行編碼或解碼處理亦可。此外，當智慧型手機ex115為附有相機時，亦可傳送以該相機取得之動態圖資料。此時之動態圖資料是以智慧型手機ex115具有之LSIex500來編碼處理過之資料。
再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否有對應於內容之編碼方式，或者是否具有特定服務之執行能力。當終端沒有對應於內容之編碼方式時，或者不具有特定服務之執行能力時，終端會下載編碼解碼器或應用軟體，然後取得及播放內容。
又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以組入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一種。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播放用之電波來進行傳送接收，因此相對於內容供給系統ex100的易於單播的構成，有著適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]
圖35是顯示智慧型手機ex115之圖。又，圖36是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等已被解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等的操作部ex466、用於輸出聲音或音響之揚聲器等的聲音輸出部ex457、用於輸入聲音之麥克風等的聲音輸入部ex456、可保存已攝影之影像或靜態圖、已錄音之聲音、已接收之影像或靜態圖、郵件等之已編碼之資料或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部的插槽部ex464，該SIMex468是用於特定使用者，且以網路為首對各種資料的存取進行認證。再者，亦可使用外接記憶體來取代記憶體部ex467。
又，統合地控制顯示部ex458及操作部ex466等之主控制部ex460是透過匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467連接著。
電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力來將智慧型手機ex115起動為可作動之狀態。
智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是將以聲音輸入部ex456所收音之聲音訊號在聲音訊號處理部ex454轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。當在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455會藉由在上述各實施形態所顯示之動態圖像編碼方法將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號進行壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454會在以相機部ex465拍攝影像或靜態圖等的途中，將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以預定之方式將編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450傳送。
在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了透過天線ex450將已接收之多工資料解碼，多工/分離部ex453會藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455會藉由與上述各實施形態所示之動態圖像編碼方法對應的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此根據使用者的狀況，也可能會產生就社會性而言不適合播放聲音的情況。因此，作為初始值較理想的是，聲音訊號不播放而僅播放影像資料之構成。僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放亦可。
又，此處雖然以智慧型手機ex115為例進行了說明，但是在作為終端方面，除了具有編碼器及解碼器兩者之傳送接收型終端以外，還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端，這3種組裝形式是可以考慮的。此外，在數位播送用系統中，雖然是說明成會將已在影像資料中多工化了音樂資料等的多工資料進行接收或傳送，但在多工資料中，除了聲音資料以外，亦可將與影像有關聯之文字資料等多工化，也可接收或傳送影像資料本身而非多工資料。
再者，雖然是說明成包含CPU之主控制部ex460會控制編碼或解碼處理，但終端具備GPU的情況也很多。因此，也可以是藉由在CPU與GPU已共通的記憶體、或將地址管理成可以共通使用的記憶體，來活用GPU之性能而將較寬廣區域一併處理的構成。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是運動探索、解塊濾波方法(deblock filter)、SAO(Sample Adaptive Offset(取樣自適應偏移))、及轉換量化之處理，在不利用CPU的情形下，利用GPU以圖片等單位一併進行時是有效率的。 産業上之可利用性
本揭示可以適用在編碼動態圖像的編碼裝置以及解碼已被編碼的動態圖像的解碼裝置。
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧減法部
106‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
114、206‧‧‧逆轉換部
116、208‧‧‧加法部
118、210‧‧‧區塊記憶體
120、212‧‧‧循環濾波部
122、214‧‧‧框記憶體
124、216‧‧‧幀內預測部
126、218‧‧‧幀間預測部
128、220‧‧‧預測控制部
200‧‧‧解碼裝置
202‧‧‧熵解碼部
10~23‧‧‧區塊
1000、3000、5000、7000‧‧‧訊號相依型適應量化/逆量化處理
11011、12009‧‧‧轉換器
112、112A、112B、112C、204、204A、204B、204C‧‧‧逆量化部
2000、4000、6000、8000‧‧‧訊號相依型適應逆量化處理
9003、10002、11003、12002、13003、14002、15003、16002‧‧‧逆量化器
9010、10008、11010、12008、13010、14008、15010、16008‧‧‧量化參數導出器
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧通訊網
ex106、ex107、ex108、ex109、ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧相機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧傳送/接收部
ex452‧‧‧調變/解調部(調變/解調電路部)
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧顯示器控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧相機介面部
ex464‧‧‧插槽部
ex465‧‧‧相機部
ex466‧‧‧操作部
ex467‧‧‧記憶體部
ex468‧‧‧SIM
ex470‧‧‧匯流排
ex500‧‧‧LSI
MV0、MV1、MVx0、MVy0、MVx1、MVy1、v0、v1‧‧‧運動向量
vx、vy‧‧‧速度向量
Ref0、Ref1‧‧‧參照圖片
S1001~S1003、S2001~S2003、S3001~S3004、S4001~S4004、S5001~S5004、S6001~S6004、S7001~S7004、8001~S8004‧‧‧步驟
τ0、τ1、TD0、TD1‧‧‧距離
圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。 圖2是顯示實施形態1之區塊分割的一例之圖。 圖3是顯示對應於各轉換類型的轉換基礎函數之表格。 圖4A是顯示使用於ALF的濾波器之形狀的一例之圖。 圖4B是顯示使用於ALF的濾波器之形狀的其他例之圖。 圖4C是顯示使用於ALF的濾波器之形狀的其他例之圖。 圖5是顯示幀內預測中的67個幀內預測模式之圖。 圖6是用來說明沿著運動軌道的2個區塊間的型樣匹配(雙向匹配)之圖。 圖7是用來說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。 圖8是用來說明假設了等速直線運動的模型之圖。 圖9是用來說明根據複數個鄰接區塊的運動向量來導出子區塊單位的運動向量之圖。 圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。 圖11是顯示實施形態1之編碼裝置中的訊號相依型適應量化/逆量化處理之流程圖。 圖12是顯示實施形態1之解碼裝置中的訊號相依型適應逆量化處理之流程圖。 圖13是顯示實施形態1的變形例1之編碼裝置中的訊號相依型適應量化/逆量化處理之流程圖。 圖14是顯示實施形態1的變形例1之解碼裝置中的訊號相依型適應逆量化處理之流程圖。 圖15是顯示實施形態1的變形例2之編碼裝置中的訊號相依型適應量化/逆量化處理之流程圖。 圖16是顯示實施形態1的變形例2之解碼裝置中的訊號相依型適應逆量化處理之流程圖。 圖17是顯示實施形態1的變形例3之編碼裝置中的訊號相依型適應量化/逆量化處理之流程圖。 圖18是顯示實施形態1的變形例3之解碼裝置中的訊號相依型適應逆量化處理之流程圖。 圖19是顯示實施形態1之編碼裝置的逆量化部之詳細功能構成之方塊圖。 圖20是顯示實施形態1之解碼裝置的逆量化部之詳細功能構成之方塊圖。 圖21是顯示實施形態1的變形例1之編碼裝置的逆量化部之詳細功能構成之方塊圖。 圖22是顯示實施形態1的變形例1之解碼裝置的逆量化部之詳細功能構成之方塊圖。 圖23是顯示實施形態1的變形例2之編碼裝置的逆量化部之詳細功能構成之方塊圖。 圖24是顯示實施形態1的變形例2之解碼裝置的逆量化部之詳細功能構成之方塊圖。 圖25是顯示實施形態1的變形例3之編碼裝置的逆量化部之詳細功能構成之方塊圖。 圖26是顯示實施形態1的變形例3之解碼裝置的逆量化部之詳細功能構成之方塊圖。 圖27是顯示編碼影片流中的控制參數之位置的複數個例子之圖。 圖28是顯示8x8像素尺寸的區塊之轉換係數的逆量化的一例之圖。 圖29A是顯示根據強度參數之轉換係數與量化參數的關係之調整的一例之圖。 圖29B是顯示根據選擇參數之轉換係數與量化參數的關係之切換的一例之圖。 圖30是實現內容發送服務(content delivery service)的內容供給系統之整體構成圖。 圖31是顯示可調式編碼時之編碼構造的一例之圖。 圖32是顯示可調式編碼時之編碼構造的一例之圖。 圖33是顯示網頁的顯示畫面例之圖。 圖34是顯示網頁的顯示畫面例之圖。 圖35是顯示智慧型手機的一例之圖。 圖36是顯示智慧型手機的構成例之方塊圖。
1000‧‧‧訊號相依型適應量化/逆量化處理
S1001~S1003‧‧‧步驟

Claims (18)

  1. 一種編碼方法，是對1個或複數個量化過的第1轉換係數進行逆量化，且根據前述逆量化過的1個或複數個第1轉換係數來導出量化參數，並根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化 。
  2. 如請求項1之編碼方法，其中更進一步地將編碼對象區塊的預測訊號轉換為1個以上的第3轉換係數， 在前述量化參數的導出中，根據前述逆量化過的1個或複數個第1轉換係數，以及從前述編碼對象區塊的預測訊號轉換之1個以上的第3轉換係數，來導出前述量化參數。
  3. 如請求項1之編碼方法，其中更進一步地根據編碼對象區塊的預測訊號來決定活性度， 在前述量化參數的導出中，根據前述逆量化過的1個或複數個第1轉換係數，以及前述已決定的活性度，來導出前述量化參數。
  4. 如請求項1之編碼方法，其中前述量化參數與前述第1轉換係數的關係，可以藉由1個或複數個強度參數而調整。
  5. 如請求項1之編碼方法，其中在前述量化參數的導出中，是使用藉由1個或複數個選擇參數而可切換的複數個映射函數。
  6. 如請求項4之編碼方法，其中前述1個或複數個強度參數是被寫入到編碼位元流內的標頭。
  7. 如請求項5之編碼方法，其中前述1個或複數個選擇參數是被寫入到編碼位元流內的標頭。
  8. 如請求項1~7中任一項之編碼方法，其中前述複數個第1轉換係數及前述第2轉換係數是包含在相同的編碼對象區塊中， 前述複數個第1轉換係數是依照預定的掃描順序而比前述第2轉換係數還先被掃描， 在前述量化參數的導出中，根據前述複數個第1轉換係數的累積合計，來導出前述量化參數。
  9. 一種解碼方法，是對1個或複數個量化過的第1轉換係數進行逆量化， 且根據前述逆量化過的1個或複數個第1轉換係數來導出量化參數， 並根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化 。
  10. 如請求項9之解碼方法，其中更進一步地將解碼對象區塊的預測訊號轉換為1個以上的第3轉換係數， 在前述量化參數的導出中，根據前述逆量化過的1個或複數個第1轉換係數，以及從前述解碼對象區塊的預測訊號轉換之1個以上的第3轉換係數，來導出量化參數。
  11. 如請求項9之解碼方法，其中更進一步地根據解碼對象區塊的預測訊號來決定活性度， 在前述量化參數的導出中，根據前述逆量化過的1個或複數個第1轉換係數，以及前述已決定的活性度，來導出量化參數。
  12. 如請求項9之解碼方法，其中前述量化參數與前述第1轉換係數的關係，可以藉由1個或複數個強度參數而調整。
  13. 如請求項9之解碼方法，其中在前述量化參數的導出中，根據1個或複數個選擇參數，從第1轉換係數與量化參數之間事先定義的複數個關係當中選擇1個關係，且根據所選擇的關係，從前述逆量化過的1個或複數個第1轉換係數來導出前述量化參數。
  14. 如請求項12之解碼方法，其中前述1個或複數個強度參數是從編碼位元流內的標頭被解讀出來。
  15. 如請求項13之解碼方法，其中前述1個或複數個選擇參數是從編碼位元流內的標頭被解讀出來。
  16. 如請求項9~15中任一項之解碼方法，其中前述複數個第1轉換係數及前述第2轉換係數是包含在相同的解碼對象區塊中， 前述複數個第1轉換係數是依照預定的掃描順序而比前述第2轉換係數還先被掃描， 在前述量化參數的導出中，根據前述複數個第1轉換係數的累積合計，來導出前述量化參數。
  17. 一種編碼裝置，具備： 逆量化部，對1個或複數個量化過的第1轉換係數進行逆量化；及 導出部，根據前述逆量化過的1個或複數個第1轉換係數來導出量化參數， 前述逆量化部更進一步地根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化 。
  18. 一種解碼裝置，具備： 逆量化部，對1個或複數個量化過的第1轉換係數進行逆量化；及 導出部，根據前述逆量化過的1個或複數個第1轉換係數來導出量化參數， 前述逆量化部更進一步地根據前述導出的量化參數，對量化過的第2轉換係數進行逆量化 。
TW106109911A 2016-03-25 2017-03-24 用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置 TWI734757B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662313405P 2016-03-25 2016-03-25
US62/313,405 2016-03-25

Publications (2)

Publication Number Publication Date
TW201803350A true TW201803350A (zh) 2018-01-16
TWI734757B TWI734757B (zh) 2021-08-01

Family

ID=59900552

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109911A TWI734757B (zh) 2016-03-25 2017-03-24 用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置

Country Status (6)

Country Link
US (2) US10939105B2 (zh)
JP (1) JP6895645B2 (zh)
CN (1) CN109417620B (zh)
DE (1) DE112017001540B4 (zh)
TW (1) TWI734757B (zh)
WO (1) WO2017164297A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708164B2 (en) 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
US10645395B2 (en) * 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
CN109479131B (zh) * 2016-06-24 2023-09-01 世宗大学校产学协力团 视频信号处理方法及装置
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
WO2020065520A2 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
KR20190083956A (ko) * 2018-01-05 2019-07-15 에스케이텔레콤 주식회사 YCbCr간의 상관 관계를 이용한 영상 부호화/복호화 방법 및 장치
US11209816B2 (en) * 2018-01-26 2021-12-28 Above Daas, Inc. Autonomous long range aerial vehicles and fleet management system
TWI700922B (zh) * 2018-04-02 2020-08-01 聯發科技股份有限公司 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
KR20210022617A (ko) 2018-06-21 2021-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
US10687081B2 (en) 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10666981B2 (en) * 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
CN116546213A (zh) 2018-09-19 2023-08-04 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的语法重用
WO2020094149A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in triangular prediction mode
CN113039796B (zh) 2018-11-17 2023-09-19 北京字节跳动网络技术有限公司 视频处理中的广义双向预测模式
CN113196747B (zh) 2018-12-21 2023-04-14 北京字节跳动网络技术有限公司 当前图片参考模式下的信息信令通知
JP6900359B2 (ja) * 2018-12-28 2021-07-07 株式会社ドワンゴ 画像送受信システム、データ送受信システム、送受信方法、コンピュータ・プログラム、画像送信システム、画像受信装置、送信システム、受信装置
KR20210121021A (ko) * 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
US11973977B2 (en) 2019-02-22 2024-04-30 Lg Electronics Inc. CCLM prediction-based image decoding method and apparatus in image coding system
SG11202109150QA (en) 2019-03-08 2021-09-29 Beijing Bytedance Network Technology Co Ltd Constraints on model-based reshaping in video processing
CN113632480B (zh) * 2019-03-29 2024-07-12 北京字节跳动网络技术有限公司 自适应环路滤波与其他编解码工具之间的交互
WO2020211863A1 (en) 2019-04-18 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Selective use of cross component mode in video coding
CA3135973A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
CN111866510A (zh) 2019-04-30 2020-10-30 华为技术有限公司 视频序列的帧内预测方法及装置
CN113796072B (zh) 2019-05-08 2023-10-03 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
CN113411598B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
US11653003B2 (en) 2021-07-16 2023-05-16 City University Of Hong Kong System and method for processing a stream of images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3293362B2 (ja) 1994-10-17 2002-06-17 富士ゼロックス株式会社 画像圧縮装置および画像伸長装置
JPH1070723A (ja) * 1996-05-16 1998-03-10 Daewoo Electron Co Ltd 映像信号符号化システム用エンコーダ
JP4072859B2 (ja) * 2004-03-03 2008-04-09 Ｋｄｄｉ株式会社 ビデオ情報再符号化装置
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8135063B2 (en) * 2006-09-08 2012-03-13 Mediatek Inc. Rate control method with frame-layer bit allocation and video encoder
JP4952282B2 (ja) * 2007-02-14 2012-06-13 パナソニック株式会社 画像符号化装置、画像符号化方法、および画像符号化プログラム
JP4947364B2 (ja) * 2007-06-22 2012-06-06 ソニー株式会社 情報処理システムおよび方法、情報処理装置および方法、並びにプログラム
JP5488613B2 (ja) * 2009-12-28 2014-05-14 富士通株式会社 動画像符号化装置および動画像復号装置
TW201134223A (en) * 2010-03-29 2011-10-01 Univ Nat Taiwan Perceptual video encoding system and circuit thereof
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US20130272390A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Uniform granularity for quantization matrix in video coding
US9521410B2 (en) * 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
WO2014193630A1 (en) * 2013-05-30 2014-12-04 Intel Corporation Quantization offset and cost factor modification for video encoding
JP2015002462A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像圧縮回路、画像圧縮方法、および伝送システム
US9661329B2 (en) * 2014-04-30 2017-05-23 Intel Corporation Constant quality video coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
JP5800077B2 (ja) * 2014-09-29 2015-10-28 富士通株式会社 動画像復号方法

Also Published As

Publication number Publication date
JP6895645B2 (ja) 2021-06-30
WO2017164297A1 (ja) 2017-09-28
US10939105B2 (en) 2021-03-02
JPWO2017164297A1 (ja) 2019-01-31
DE112017001540B4 (de) 2023-02-02
US20190075293A1 (en) 2019-03-07
US11523116B2 (en) 2022-12-06
CN109417620B (zh) 2021-04-27
US20210136379A1 (en) 2021-05-06
DE112017001540T5 (de) 2018-12-06
TWI734757B (zh) 2021-08-01
CN109417620A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
TWI734757B (zh) 用於使用訊號相依型適應量化來編碼及解碼動態圖像的方法及裝置
KR102608008B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2018092868A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
KR102577599B1 (ko) 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TW201806392A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201834452A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201826792A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
TW201817229A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JPWO2019022099A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JPWO2019003993A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6770192B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
TW201842777A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JPWO2019098152A1 (ja) 復号装置、画像復号装置及び復号方法
JP6767579B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
TW201808004A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI783129B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
WO2019225459A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019172202A1 (ja) 符号化装置及び符号化方法
WO2019049912A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019146718A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201826793A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法