TWI842282B - 圖像解碼裝置、圖像解碼方法及程式 - Google Patents
圖像解碼裝置、圖像解碼方法及程式 Download PDFInfo
- Publication number
- TWI842282B TWI842282B TW111148671A TW111148671A TWI842282B TW I842282 B TWI842282 B TW I842282B TW 111148671 A TW111148671 A TW 111148671A TW 111148671 A TW111148671 A TW 111148671A TW I842282 B TWI842282 B TW I842282B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- quantization matrix
- quantization
- matrix
- array
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 99
- 238000013139 quantization Methods 0.000 claims abstract description 400
- 239000011159 matrix material Substances 0.000 claims abstract description 337
- 230000008569 process Effects 0.000 claims description 30
- 230000009466 transformation Effects 0.000 abstract description 83
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 12
- 230000008929 regeneration Effects 0.000 description 12
- 238000011069 regeneration method Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000001172 regenerating effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
解碼手段從位元流將與N×M個量化係數對應的資料解碼。反量化手段至少使用量化矩陣從N×M個量化係數導出正交變換係數。逆正交變換手段對透過反量化手段而生成的正交變換係數執行逆正交變換,生成與P×Q像素的區塊對應的預測誤差。反量化手段至少使用具有N×M個要素的量化矩陣而導出正交變換係數,逆正交變換手段生成比N×M大的尺寸的P×Q像素的預測誤差。
Description
本發明涉及圖像編碼技術。
將動態圖像進行壓縮的編碼方式方面,已知HEVC(High Efficiency Video Coding)編碼方式(以下,記為HEVC)。在HEVC,為了編碼效率的提升,採用比歷來的大區塊(16×16像素)大的尺寸的基本塊。此大的尺寸的基本塊稱為CTU(Coding Tree Unit),其尺寸最大為64×64像素。CTU進一步被分割為子塊,該子塊為用於執行預測、變換的單元。
此外,於HEVC,為了對實施正交變換後的係數(以下,記為正交變換係數)依頻率成分進行加權而使用量化矩陣。使用量化矩陣從而將人類的視覺上不易注意到劣化的高頻成分的資料比低頻成分的資料進行削減,使得可一面維持畫質一面提高壓縮效率。在日本特開2013-38758,已揭露將顯示如此的量化矩陣的資訊進行編碼的技術。
此外,近年來,作為HEVC的後繼,進行更高效率的編碼方式的國際標準化之活動已經開始。具體而言,透過由ISO/IEC與ITU-T設立的JVET(Joint Video Experts Team),VVC(Versatile Video Coding)編碼方式(以下,VVC)的標準化正在進展。於此標準化,為了編碼效率的提升,在進行正交變換之際的區塊尺寸為大的情況下,強制使高頻成分的正交變換係數為0從而削減代碼量的新的手法(以下,稱為零化)正被檢討。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2013-38758
於VVC,亦如同HEVC般正在檢討量化矩陣的導入。然而,HEVC中的量化矩陣以使用與歷來的正交變換的尺寸相等的大小的量化矩陣而進行量化的方法為前提,並未能應對於使一部分的正交變換係數為零的為新的手法之零化。為此,對零化的正交變換係數,無法進行因應於頻率成分之量化控制,存在無法提升主觀畫質如此的課題。
[解決問題之技術手段]
為了作成可進行使用應對於一部分的正交變換係數被強制地設為0的手法的量化矩陣之量化處理,使得即便使用該手法的情況下仍使主觀畫質提升,例如具有以下的構成。亦即,一種圖像解碼裝置,其為能以包含P×Q像素(P及Q為整數)的區塊的複數個區塊單位從位元流將圖像解碼者,具有:解碼手段,其從前述位元流將與N×M個(N為符合N<P的整數,且M為符合M<Q的整數)量化係數對應的資料解碼;反量化手段,其至少使用量化矩陣從前述N×M個量化係數生成正交變換係數;和逆正交變換手段,其對透過前述反量化手段而生成的正交變換係數執行逆正交變換,生成與前述P×Q像素的區塊對應的預測誤差;前述反量化手段至少使用具有N×M個要素的量化矩陣從前述N×M個量化係數生成前述正交變換係數,前述逆正交變換手段對該正交變換係數執行前述逆正交變換,從而生成比前述N×M大的尺寸的前述P×Q像素的預測誤差。
就本發明的實施方式,根據圖式進行說明。另外,在以下的實施方式示出的構成為一例,本發明不限定於透過以下的實施方式而說明的構成。另外,基本塊、子塊、量化矩陣、基本量化矩陣如此的稱呼為在各實施方式中方便上使用的稱呼,在其意思不改變的範圍內,可酌情使用其他稱呼。例如,基本塊、子塊可稱為基本單元、子單元,亦可僅稱為區塊、單元。此外,在以下的說明中,長方形如一般的定義為4個內角為直角,且2個對角線具有相等的長度的四角形。此外,正方形如一般的定義為長方形之中4個角全部相等且4個邊全部相等的四角形。亦即,正方形為長方形的一種。
<實施方式1>
以下,就本發明的實施方式,利用圖式進行說明。
首先,就零化(zeroing out)更詳細進行說明。零化如前述般為強制使作為編碼對象的區塊的正交變換係數的一部分為0的處理。例如,假設輸入圖像(picture)中的64×64像素的區塊為作為編碼對象的區塊。此時,正交變換係數方面亦為64×64的尺寸。零化為即使在例如此64×64的正交變換係數的一部分方面正交變換的結果具有非0的值的情況下仍視為0而進行編碼的處理。例如,與在2維的正交變換係數中的包含DC成分的左上的既定的範圍對應的低頻成分方面不設為強制地予以為0的對象,與比該等低頻成分高的頻率成分對應的正交變換係數方面,始終設為0。
接著,就本實施方式的圖像編碼裝置進行說明。圖1為就本實施方式的圖像編碼裝置進行繪示的方塊圖。於圖1,101為輸入圖像資料的端子。
102為區塊分割部,將輸入圖像分割為複數個基本塊,將基本塊單位的圖像對後階輸出。
103為生成並儲存量化矩陣的量化矩陣保存部。於此,量化矩陣為用於依頻率成分而就對於正交變換係數之量化處理進行加權者。後述的量化處理中的為了各正交變換係數的量化步驟是作為一例,對基於作為基準之參數值(量化參數)的標度值(量化標度)乘上在量化矩陣的各要素的值從而進行加權。
透過量化矩陣保存部110儲存的量化矩陣的生成方法方面不特別限定。例如,可為使用者輸入顯示量化矩陣的資訊,亦可為圖像編碼裝置從輸入圖像的特性加以算出。此外,亦可使用作為初始值而預先指定者。在本實施方式,除示於圖8A的8×8的基本量化矩陣以外,生成並儲存將基本量化矩陣放大而生成的示於圖8B、圖8C的2種類的32×32的二維的量化矩陣。圖8B的量化矩陣將圖8A的8×8的基本量化矩陣的各要素,在垂直兼水平方向上重複4次從而放大為4倍的32×32的量化矩陣。另一方面,圖8C的量化矩陣為將圖8A的基本量化矩陣的左上4×4部分的各要素,在垂直兼水平方向上重複8次從而放大的32×32的量化矩陣。
如以上,基本量化矩陣不僅為在8×8像素的子塊方面的量化,亦是為了作成比基本量化矩陣大的尺寸的量化矩陣而使用的量化矩陣。另外,基本量化矩陣的尺寸雖為8×8,惟不限於此尺寸。此外,亦可依子塊的尺寸而使用別的基本量化矩陣。例如,使用8×8、16×16、32×32的3種類的子塊的情況下,亦可使用分別對應的3種類的基本量化矩陣。
104為預測部,對基本塊單位的圖像資料,決定子塊分割。亦即,決定是否將基本塊往子塊進行分割,要分割時決定如何分割。不往子塊進行分割的情況下,子塊為與基本塊相同的尺寸。子塊可為正方形,亦可為正方形以外的長方形(非正方形)。
並且,預測部104以子塊單位進行畫格內預測(intra prediction)、畫格間預測(inter prediction)等,生成預測圖像資料。
例如,預測部104從畫格內預測及畫格間預測之中選擇對1個子塊進行的預測方法,進行所選擇的預測,生成用於該子塊的預測圖像資料。其中,使用的預測方法不限定於此等,亦可使用將畫格內預測與畫格間預測進行組合的預測等。
再者,預測部104從輸入的圖像資料與前述預測圖像資料算出並輸出預測誤差。例如,預測部104算出子塊的各像素值和透過對於該子塊之預測從而生成的預測圖像資料的各像素值的差分,將其作為預測誤差而算出。
此外,預測部104亦與預測誤差一併輸出預測所需的資訊如顯示子塊的分割狀態的資訊、顯示該子塊的預測方法的預測模式、動態向量等的資訊。在以下將此預測所需的資訊統稱預測資訊。
105為變換兼量化部。變換兼量化部105將透過預測部104算出的預測誤差以子塊單位進行正交變換,獲得表示預測誤差的各頻率成分的正交變換係數。並且,變換兼量化部105進一步使用儲存於量化矩陣保存部103的量化矩陣和量化參數進行量化,獲得為被量化的正交變換係數之量化係數。另外,進行正交變換的功能和進行量化的功能可作成為個別的構成。
106為反量化兼逆變換部。反量化兼逆變換部106就從變換兼量化部105輸出的量化係數,使用儲存於量化矩陣保存部103的量化矩陣和量化參數進行反量化而再生成正交變換係數。並且,反量化兼逆變換部106進一步進行逆正交變換而再生成預測誤差。如此,將使用量化矩陣與量化參數而再生成(導出)正交變換係數的處理稱為反量化。另外,進行反量化的功能和進行反量化的功能可作成為個別的構成。此外,圖像解碼裝置導出量化參數用的資訊亦被透過編碼部110編碼於位元流。
108為儲存再生成的圖像資料的圖框記憶體。
107為圖像再生部。根據從預測部104輸出的預測資訊,酌情參照圖框記憶體108而生成預測圖像資料,從此與輸入的預測誤差生成並輸出再生圖像資料。
109為迴圈式濾波器部。對再生圖像進行去區塊濾波器、取樣自適應偏移等的迴圈式濾波器處理,輸出被濾波處理的圖像。
110為編碼部。將從變換兼量化部105輸出的量化係數及從預測部104輸出的預測資訊進行編碼,生成並輸出代碼資料。
113為量化矩陣編碼部。將從量化矩陣保存部103輸出的基本量化矩陣進行編碼,圖像解碼裝置生成並輸出為了導出基本量化矩陣用的量化矩陣代碼資料。
111為統合編碼部。使用量化矩陣代碼資料(為從量化矩陣編碼部113的輸出者)而生成標頭代碼資料。進一步與從編碼部110輸出的代碼資料一起形成並輸出位元流。
112為端子,將在統合編碼部111生成的位元流輸出至外部。
於以下說明在上述圖像編碼裝置的圖像的編碼動作。在本實施方式採取將動態圖像資料按畫格單位進行輸入的構成。再者,在本實施方式,為了說明,於區塊分割部101雖以分割為64×64像素的基本塊進行說明,惟不限定於此。例如,可使128×128像素的區塊為基本塊,亦可使32×32像素的區塊為基本塊。
圖像編碼裝置在圖像的編碼之前,進行量化矩陣的生成及編碼。另外,在以下的說明中,作為一例,使量化矩陣800、各區塊中的水平方向為x座標、使垂直方向為y座標,分別使右方向為正、使下方向為正。此外,使量化矩陣800中的左上端的要素的座標為(0,0)。亦即,8×8的基本量化矩陣的右下端的要素的座標為(7,7)。32×32的量化矩陣的右下端的要素的座標為(31,31)。
在最初,量化矩陣保存部103生成量化矩陣。量化矩陣被依子塊的尺寸、被量化的正交變換係數的尺寸、預測方法的種類而生成。在本實施方式,首先生成8×8的基本量化矩陣,該8×8的基本量化矩陣使用於示於圖8A的後述的量化矩陣的生成。接著,將此基本量化矩陣放大,生成示於圖8B及圖8C的2種類的32×32的量化矩陣。圖8B的量化矩陣將圖8A的8×8的基本量化矩陣的各要素,在垂直兼水平方向上重複4次從而放大為4倍的32×32的量化矩陣。
亦即,在示於圖8B之例,對32×32的量化矩陣中的x座標為0~3及y座標為0~3的範圍內的各要素分配屬基本量化矩陣的左上端的要素的值之「1」。此外,對32×32的量化矩陣中的x座標為28~31及y座標為28~31的範圍內的各要素分配屬基本量化矩陣的右下端的要素的值之「15」。在圖8B之例,基本量化矩陣中的各要素的值的全部被分配給32×32的量化矩陣的各要素內的任一者。
另一方面,圖8C的量化矩陣為將圖8A的基本量化矩陣的左上4×4部分的各要素,在垂直兼水平方向上重複8次從而放大的32×32的量化矩陣。
亦即,在示於圖8C之例,對32×32的量化矩陣中的x座標為0~7及y座標為0~7的範圍內的各要素,分配屬基本量化矩陣的左上4×4部分的左上端的要素的值之「1」。此外,對32×32的量化矩陣中的x座標為24~31及y座標為24~31的範圍內的各要素,分配屬基本量化矩陣的左上4×4部分的右下端的要素的值之「7」。在圖8C之例,僅與基本量化矩陣中的各要素的值的左上4×4部分(x座標為0~3及y座標為0~3的範圍)對應的要素的值被分配給32×32的量化矩陣的各要素。
其中,生成的量化矩陣不限定於此,被量化的正交變換係數的尺寸存在32×32以外的情況下,亦可生成16×16、8×8、4×4等與被量化的正交變換係數的尺寸對應的量化矩陣。構成基本量化矩陣、量化矩陣的各要素的決定方法不特別限定。例如,可使用既定的初始值,亦可個別進行設定。此外,亦可依圖像的特性而生成。
於量化矩陣保存部103,保存如此般生成的基本量化矩陣、量化矩陣。圖8B為使用於與後述的32×32的子塊、圖8C為使用於與64×64的子塊對應的正交變換係數的量化之量化矩陣的一例。粗框的800表示量化矩陣。為了使說明簡易化,分別採32×32的1024像素份的構成,粗框內的各正方形表示構成量化矩陣的各要素。在本實施方式,雖作成示於圖8B、圖8C的三種的量化矩陣被以二維的形狀進行保存,惟量化矩陣內的各要素當然不限定於此。此外,亦可依被量化的正交變換係數的尺寸,或依編碼對象為亮度塊或色差塊,從而對於相同的預測方法保存複數個量化矩陣。一般而言,量化矩陣是為了實現因應於人類的視覺特性下的量化處理,如示於圖8B、圖8C般相當於量化矩陣的左上部分的低頻部分的要素小,相當於右下部分之高頻部分的要素大。
量化矩陣編碼部113將以二維形狀儲存的基本量化矩陣的各要素從量化矩陣保存部106依序讀出,掃描各要素而計算差分,將該各差分配置為一維的矩陣。在本實施方式,示於圖8A的基本量化矩陣採用示於圖9的掃描方法,按要素計算與在掃描順序下緊接著之前的要素的差分。例如在圖8A示出的8×8的基本量化矩陣被透過在圖9示出的掃描方法而掃描,位於左上的最初的要素1的下一個為位於緊臨下面的要素2被掃描,計算出為差分的+1。此外,於量化矩陣的最初的要素(本實施方式中為1)的編碼,雖作成計算與既定的初始值(例如8)的差分,惟當然不限定於此,亦可使用與任意的值的差分、最初的要素的值本身。
作成如此,在本實施方式,圖8A的基本量化矩陣是使用圖9的掃描方法,生成示於圖10的差分矩陣。量化矩陣編碼部113進一步將前述差分矩陣進行編碼而生成量化矩陣代碼資料。在本實施方式雖使用示於圖11A的編碼表而編碼,惟編碼表不限定於此,亦可使用例如示於圖11B的編碼表。如此般生成的量化矩陣代碼資料被輸出至後階的統合編碼部111。
返回圖1,在統合編碼部111將圖像資料的編碼所需的標頭資訊進行編碼,統合量化矩陣的代碼資料。
接著,進行圖像資料的編碼。從端子101輸入的一畫格份的圖像資料被輸入至區塊分割部102。
在區塊分割部102,將輸入的圖像資料分割為複數個基本塊,將基本塊單位的圖像對預測部104輸出。在本實施方式,作成輸出64×64像素的基本塊單位的圖像。
於圖7示出子塊分割方法的一例。粗框的700表示基本塊,為了使說明簡易化,作成64×64像素的構成,粗框內的各四角形表示子塊。圖7B表示四元樹的正方形子塊分割的一例,64×64像素的基本塊被分割為32×32像素的子塊。另一方面,圖7C~圖7F表示長方形子塊分割的一例,在圖7C中基本塊分割為32×64像素的縱長、在圖7D中分割為64×32像素的橫寬的長方形的子塊分割。此外,在圖7E、圖7F,以1:2:1的比分割為長方形子塊。如此般不僅正方形,亦使用正方形以外的長方形的子塊而進行編碼處理。此外,亦可進一步將基本塊分割為複數個正方形的區塊,以該分割的正方形的區塊為基準而進行子塊分割。換言之,基本塊的尺寸不限定於64×64像素,此外亦可使用複數個尺寸的基本塊。
此外,在本實施方式,雖作成僅使用不分割64×64像素的基本塊的圖7A及如圖7B的四元樹分割,惟子塊分割方法不限定於此。亦可使用如圖7E、圖7F的三元樹分割或如圖7C、圖7D的二元樹分割。亦使用圖7A、圖7B以外的子塊分割的情況下,在量化矩陣保存部103生成與被使用的子塊對應的量化矩陣。此外,亦生成與生成的量化矩陣對應的新的基本量化矩陣的情況下亦在量化矩陣編碼部113將新的基本量化矩陣進行編碼。
此外,就在本實施方式使用的透過預測部194之預測方法,更詳細進行說明。在本實施方式,作為一例,使用畫格內預測、畫格間預測的2種類的預測方法。畫格內預測是使用編碼對象區塊的空間上位於周邊的編碼完成像素而生成編碼對象區塊的預測像素,亦生成顯示水平預測、垂直預測、DC預測等的畫格內預測方法之中使用的畫格內預測方法的畫格內預測模式的資訊。畫格間預測是使用與編碼對象區塊時間上不同的畫格的編碼完成像素而生成編碼對象區塊的預測像素,亦生成顯示參照的畫格、動態向量等的動態資訊。另外,如前述般,預測部194亦可使用將畫格內預測與畫格間預測進行組合的預測方法。
從決定的預測模式及編碼完的像素生成預測圖像資料,進一步從被輸入的圖像資料與前述預測圖像資料生成預測誤差,輸出至變換兼量化部105。此外,子塊分割、預測模式等的資訊是作為預測資訊被輸出至編碼部110、圖像再生部107。
在變換兼量化部105,對輸入的預測誤差進行正交變換兼量化,生成量化係數。首先實施與子塊的尺寸對應的正交變換處理而生成正交變換係數,接著將正交變換係數依預測模式使用儲存於量化矩陣保存部103的量化矩陣進行量化,生成量化係數。更具體的正交變換兼量化處理方面,在以下說明。
在選擇以圖7B示出的32×32的子塊分割的情況下,對32×32的預測誤差,實施使用32×32的正交變換矩陣的正交變換,生成32×32的正交變換係數。具體而言,進行離散餘弦變換(DCT)為代表的32×32的正交變換矩陣與32×32的預測誤差的乘算,算出32×32的矩陣狀之中間係數。對此32×32的矩陣狀之中間係數,進一步進行與前述的32×32的正交變換矩陣的轉置矩陣的乘算,生成32×32的正交變換係數。對如此生成的32×32的正交變換係數,使用圖8B所示的32×32的量化矩陣和量化參數進行量化,生成32×32的量化係數。64×64的基本塊之中存在4個32×32的子塊,故重複4次上述的處理。
另一方面,選擇圖7A所示的64×64的分割狀態(無分割)的情況下,對64×64的預測誤差,使用將在64×64的正交變換矩陣中的第奇數個列(以下,稱為奇數列)抽出而生成的32×64的正交變換矩陣。亦即,實施使用將此奇數列抽出而生成的32×64的正交變換矩陣之正交變換,從而生成32×32的正交變換係數。
具體而言,首先從64×64的正交變換矩陣將奇數列抽出而生成64×32的正交變換矩陣。然後進行此64×32的正交變換矩陣與64×64的預測誤差的乘算,生成64×32的矩陣狀之中間係數。對此64×32的矩陣狀之中間係數,進行與將前述的64×32的正交變換矩陣予以轉置的32×64的轉置矩陣的乘算,生成32×32的正交變換係數。並且,變換兼量化部105使生成的32×32的正交變換係數為64×64的正交變換係數的左上部分(x座標為0~31及y座標為0~31的範圍)的係數,使其他為0,從而執行零化。
在本實施方式,如此對64×64的預測誤差使用64×32的正交變換矩陣和將此64×32的正交變換矩陣予以轉置的32×64的轉置矩陣而進行正交變換。如此般生成32×32的正交變換係數從而執行零化。藉此,能以比將進行64×64的正交變換而生成的64×64的正交變換係數的一部分在其值非0的情況下仍強制予以為0的手法少的演算量而生成32×32的正交變換係數。亦即,使用64×64的正交變換矩陣而進行正交變換,其結果,可比不論成為零化的對象之正交變換係數是否為0皆視為0而進行編碼的情況減低在正交變換之演算量。另外,雖只要使用從64×64的預測誤差透過正交變換係數算出32×32的正交變換係數的方法即可使演算量減低,惟零化的方法不限於此方法,可使用各種的方法。
此外,執行零化的情況下,可就顯示成為零化的對象的範圍的正交變換係數為0的資訊進行編碼,亦可僅就顯示已進行零化的資訊(旗標等)進行編碼。圖像解碼裝置可將該等資訊進行解碼,從而將零化的對象視為0,將各區塊進行解碼。
接著,對如此般生成的32×32的正交變換係數,變換兼量化部105使用圖8C所示的32×32的量化矩陣和量化參數進行量化,生成32×32的量化係數。
在本實施方式,對與32×32的子塊對應的32×32的正交變換係數使用圖8B的量化矩陣,對與64×64的子塊對應的32×32的正交變換係數使用圖8C的量化矩陣。亦即,對未執行零化的32×32的正交變換係數使用圖8B,對與已執行零化的64×64的子塊對應的32×32的正交變換係數使用圖8C的量化矩陣。其中,使用的量化矩陣不限定於此。生成的量化係數被輸出至編碼部110及反量化兼逆變換部106。
在反量化兼逆變換部106,就被輸入的量化係數,使用儲存於量化矩陣保存部103的量化矩陣和量化參數進行反量化而再生成正交變換係數。並且,反量化兼逆變換部106進一步將再生成的正交變換係數進行逆正交變換而再生成預測誤差。於反量化處理,如同變換兼量化部105,使用與作為編碼對象的子塊的大小對應的量化矩陣。關於透過更具體的反量化兼逆變換部106之反量化兼逆正交變換處理,於以下進行說明。
選擇圖7B的32×32的子塊分割的情況下,反量化兼逆變換部106使用圖8B的量化矩陣將以變換兼量化部105生成的32×32的量化係數進行反量化,再生成32×32的正交變換係數。並且,反量化兼逆變換部106進行前述的32×32的轉置矩陣與32×32的正交變換的乘算,算出32×32的矩陣狀之中間係數。並且,反量化兼逆變換部106進行此32×32的矩陣狀之中間係數與前述的32×32的正交變換矩陣的乘算,再生成32×32的預測誤差。對各32×32子塊進行同樣的處理。另一方面,如示於圖7A,選擇無分割的情況下,以變換兼量化部105生成的32×32的量化係數是被使用圖8C的量化矩陣而反量化,再生成32×32的正交變換係數。並且,進行前述的32×64的轉置矩陣與32×32的正交變換的乘算,算出32×64的矩陣狀之中間係數。進行此32×64的矩陣狀之中間係數與前述的64×32的正交變換矩陣的乘算,再生成64×64的預測誤差。在本實施方式,被依子塊的大小而使用與在變換兼量化部105使用的量化矩陣相同者,被執行反量化處理。再生成的預測誤差被輸出至圖像再生部107。
在圖像再生部107,根據從預測部104輸入的預測資訊,酌情參照記憶於圖框記憶體108的預測圖像的再生所需的資料,再生成預測圖像。並且,從再生成的預測圖像與從反量化兼逆變換部106輸入的再生成之預測誤差再生成圖像資料,對圖框記憶體108輸入、儲存。
在迴圈式濾波器部109,從圖框記憶體108讀出再生圖像,進行去區塊濾波器等的迴圈式濾波器處理。並且,將被濾波處理的圖像再次對圖框記憶體108輸入、再儲存。
在編碼部110,以區塊單位將在變換兼量化部105生成的量化係數、從預測部104輸入的預測資訊進行熵編碼,生成代碼資料。熵編碼的方法不特別指定,可使用哥倫布編碼、算術編碼、霍夫曼編碼等。生成的代碼資料被輸出至統合編碼部111。
在統合編碼部111,與前述的標頭的代碼資料一起將從編碼部110輸入的代碼資料等多工化而形成位元流。最後,位元流被從端子112對外部輸出。
圖6A為在實施方式1被輸出的位元流的一例。於序列標頭包含基本量化矩陣的代碼資料,被以各要素的編碼結果而構成。其中,基本量化矩陣的代碼資料等被編碼的位置不限定於此,當然亦可採取編碼於圖像標頭部、其他標頭部的構成。此外,在一個序列之中進行量化矩陣的變更的情況下,亦可將基本量化矩陣重新編碼從而更新。此情況下,可改寫全部的量化矩陣,亦可指定與改寫的量化矩陣對應的量化矩陣的子塊的大小從而變更其一部分。
圖3為就涉及實施方式1的圖像編碼裝置的編碼處理進行繪示的流程圖。
首先,在圖像的編碼之前,在步驟S301,量化矩陣保存部103生成並保存二維的量化矩陣。在本實施方式,生成並保存示於圖8A的基本量化矩陣及從基本量化矩陣生成的示於圖8B、圖8C的量化矩陣。
在步驟S302,量化矩陣編碼部113將在步驟S301使用於量化矩陣的生成的基本量化矩陣進行掃描,算出在掃描順序下前後的各要素間的差分,生成一維的差分矩陣。在本實施方式,示於圖8A的基本量化矩陣使用圖9的掃描方法,生成示於圖10的差分矩陣。量化矩陣編碼部113進一步將生成的差分矩陣進行編碼,生成量化矩陣代碼資料。
在步驟S303,統合編碼部111是與生成的量化矩陣代碼資料一起,將圖像資料的編碼所需的標頭資訊進行編碼、輸出。
在步驟S304,區塊分割部102將畫格單位的輸入圖像分割為64×64像素的基本塊單位。
在步驟S305,預測部104對在步驟S304生成的基本塊單位的圖像資料,使用前述的預測方法而執行預測處理,生成子塊分割資訊、預測模式等的預測資訊及預測圖像資料。在本實施方式,使用示於圖7B的32×32像素的子塊分割及示於圖7A的64×64像素的子塊的2種類的子塊尺寸。進一步從輸入的圖像資料與前述預測圖像資料算出預測誤差。
在步驟S306,變換兼量化部105將在步驟S305算出的預測誤差進行正交變換而生成正交變換係數。並且,變換兼量化部105進一步使用在步驟S301生成並保存的量化矩陣和量化參數進行量化,生成量化係數。具體而言,對圖7B的32×32像素的子塊的預測誤差,進行使用32×32的正交變換矩陣及其轉置矩陣的乘算,生成32×32的正交變換係數。另一方面,對圖7A的64×64像素的子塊的預測誤差,進行使用64×32的正交變換矩陣及其轉置矩陣的乘算,生成32×32的正交變換係數。在本實施方式,對圖7B的32×32的子塊的正交變換係數使用圖8B的量化矩陣,對圖7A的與64×64的子塊對應的正交變換係數使用圖8C的量化矩陣,將32×32的正交變換係數進行量化。
在步驟S307,反量化兼逆變換部106就在步驟S306生成的量化係數使用在步驟S301生成並保存的量化矩陣和量化參數進行反量化,再生成正交變換係數。再者,對正交變換係數進行逆正交變換,再生成預測誤差。在本步驟,分別使用與在步驟S306使用的量化矩陣相同者,進行反量化處理。具體而言,對圖7B的與32×32像素的子塊對應的32×32的量化係數,進行使用圖8B的量化矩陣之反量化處理,再生成32×32的正交變換係數。並且,就此32×32的正交變換係數進行使用32×32的正交變換矩陣及其轉置矩陣的乘算,再生成32×32像素的預測誤差。另一方面,對與圖7A的64×64像素的子塊對應的32×32的量化係數,進行使用圖8C的量化矩陣之反量化處理,再生成32×32的正交變換係數。並且,就此32×32的正交變換係數進行使用64×32的正交變換矩陣及其轉置矩陣的乘算,再生成64×64像素的預測誤差。
在步驟S308,圖像再生部107根據在步驟S305生成的預測資訊再生成預測圖像。進一步從再生成的預測圖像與在步驟S307生成的預測誤差再生成圖像資料。
在步驟S309,編碼部110將在步驟S305生成的預測資訊及在步驟S306生成的量化係數進行編碼,生成代碼資料。此外,亦予以包含其他代碼資料,生成位元流。
在步驟S310,圖像編碼裝置進行畫格內的全部的基本塊的編碼是否結束的判定,結束時進至步驟S311,若非如此則使下個基本塊為對象,返回步驟S304。
在步驟S311,迴圈式濾波器部109對在步驟S308再生成的圖像資料,進行迴圈式濾波器處理,生成被濾波處理的圖像,使處理結束。
透過以上的構成與動作,可一面減少演算量一面按頻率成分控制量化,可使主觀畫質提升。尤其,在步驟S305,減少正交變換係數的數量,進行使用與減少的正交變換係數對應的量化矩陣之量化處理,使得可一面減少演算量一面按頻率成分控制量化,可使主觀畫質提升。再者,減少正交變換係數的數量並僅將低頻部分進行量化兼編碼的情況下,使用如圖8C的僅將基本量化矩陣的低頻部分放大的量化矩陣,使得可實現對低頻部分最佳的量化控制。另外,此處所謂的低頻部分在圖8C之例是x座標為0~3及y座標為0~3的範圍。
另外,在本實施方式,雖構成為,為了代碼量削減,僅將共通使用於圖8B、圖8C的量化矩陣的生成的圖8A的基本量化矩陣進行編碼,惟亦可構成為將圖8B、圖8C的量化矩陣本身進行編碼。此情況下,可按各量化矩陣的頻率成分而設定獨自的值,故可按頻率成分實現更細緻的量化控制。此外,亦可構成為,對圖8B、圖8C的各者設定個別的基本量化矩陣,將個別的基本量化矩陣進行編碼。此情況下,亦可對32×32的正交變換係數與64×64的正交變換係數實施個別不同的量化控制,實現更細緻的主觀畫質的控制。再者,在該情況下,與64×64的正交變換係數對應的量化矩陣亦可代替將8×8的基本量化矩陣的左上的4×4部分放大8倍而將8×8的基本量化矩陣整體放大4倍。如此對64×64的正交變換係數,亦可實現更細緻的量化控制。
再者,在本實施方式,雖構成為無歧異決定相對於使用零化的64×64的子塊之量化矩陣,惟亦可構成為導入識別符從而可進行選擇。例如圖6B為新導入量化矩陣編碼方法資訊代碼從而使相對於使用零化的64×64的子塊之量化矩陣編碼為選擇性者。例如,量化矩陣編碼方法資訊代碼顯示0的情況下,對與使用零化的64×64像素的子塊對應的正交變換係數,使用為獨立的量化矩陣之圖8C。此外,編碼方法資訊代碼顯示1的情況下,對使用零化的64×64像素的子塊,使用為一般的相對於不被零化的子塊之量化矩陣之圖8B。另一方面,編碼方法資訊代碼顯示2的情況下,非8×8的基本量化矩陣而為將對使用零化的64×64像素的子塊所使用的量化矩陣的要素全部進行編碼如此的情況。藉此,可選擇性實現量化矩陣代碼量削減與對於使用零化之子塊之獨自的量化控制。
此外,在本實施方式雖使用零化進行處理的子塊僅為64×64,惟使用零化而處理的子塊不限定於此。例如,與示於圖7C、圖7B的32×64、64×32子塊對應的正交變換係數之中強制使下部分、右半部的32×32的正交變換係數為0亦無妨。此情況下,僅使上部分、左半部的32×32的正交變換係數為量化兼編碼的對象,對上部分、左半部的32×32的正交變換係數使用與圖8B不同的量化矩陣而進行量化處理。
再者,亦可構成為,將生成的正交變換係數之中與對畫質的影響最大的位於左上端的DC係數對應的量化矩陣的值,與8×8的基本矩陣的各要素的值個別地進行設定兼編碼。圖12B及圖12C為示出比起圖8B及圖8C將屬於DC成分的位於左上端的要素的值進行變更之例。此情況下,除圖8A的基本量化矩陣的資訊以外,將顯示位於DC部分的「2」的資訊另外進行編碼,使得可設定示於圖12B及圖12C的量化矩陣。藉此,對於對畫質的影響最大的正交變換係數的DC成分可實施更細緻的量化控制。
<實施方式2>
圖2為就本發明的涉及實施方式2的圖像解碼裝置的構成進行繪示的方塊圖。在本實施方式,以將在實施方式1生成的編碼資料進行解碼的圖像解碼裝置為例而進行說明。
201為被編碼的位元流被輸入的端子。
202為分離解碼部,從位元流分離為涉及解碼處理的資訊、涉及係數的代碼資料,且將存在於位元流的標頭部的編碼資料進行解碼。在本實施方式,將量化矩陣代碼分離,對後階輸出。分離解碼部202進行與圖1的統合編碼部111相反的動作。
209為量化矩陣解碼部,將量化矩陣代碼從位元流進行解碼而再生成基本量化矩陣,進一步從基本量化矩陣生成各量化矩陣而執行處理。
203為解碼部,將從分離解碼部202輸出的代碼資料進行解碼,再生成(導出)量化係數及預測資訊。
204為反量化兼逆變換部,如同圖1的反量化兼逆變換部106,使用再生成的量化矩陣和量化參數對量化係數進行反量化而獲得正交變換係數,進一步進行逆正交變換,再生成預測誤差。另外,為了導出量化參數用的資訊亦被透過解碼部203從位元流解碼。此外,進行反量化的功能和進行反量化的功能可作成為個別的構成。
206為圖框記憶體。儲存再生成的圖像的圖像資料。
205為圖像再生部。根據輸入的預測資訊,酌情參照圖框記憶體206而生成預測圖像資料。並且,根據此預測圖像資料與以反量化兼逆變換部204再生成的預測誤差而生成並輸出再生圖像資料。
207為迴圈式濾波器部。如同圖1的109,對再生圖像,進行去區塊濾波器等的迴圈式濾波器處理,輸出被濾波處理的圖像。
208為端子,將再生成的圖像資料輸出至外部。
在以下說明在上述圖像解碼裝置的圖像的解碼動作。在本實施方式,構成為將在實施方式1生成的位元流以畫格單位(圖像單位)進行輸入。
於圖2,從端子201輸入的1畫格份的位元流被輸入至分離解碼部202。在分離解碼部202,從位元流分離為涉及解碼處理的資訊、涉及係數的代碼資料,將存在於位元流的標頭部的編碼資料進行解碼。更具體而言,再生成量化矩陣代碼資料。在本實施方式,首先,從示於圖6A的位元流的序列標頭將量化矩陣代碼資料抽出,對量化矩陣解碼部209輸出。在本實施方式,與示於圖8A的基本量化矩陣對應的量化矩陣代碼資料被抽出、輸出。接著,再生成圖像資料的基本塊單位的代碼資料,對解碼部203輸出。
在量化矩陣解碼部209,首先將輸入的量化矩陣代碼資料進行解碼,再生成示於圖10的一維的差分矩陣。在本實施方式,如同實施方式1,雖採利用示於圖11A的編碼表進行解碼,惟編碼表不限定於此,只要使用與實施方式1相同者則亦可使用其他編碼表。再者,量化矩陣解碼部209從再生成的一維的差分矩陣再生成二維的量化矩陣。此處是進行與實施方式1的量化矩陣編碼部113的動作相反的動作。亦即,在本實施方式,示於圖10的差分矩陣是使用示於圖9的掃描方法,分別再生成並保存示於圖8A的基本量化矩陣。具體而言,量化矩陣解碼部209將在差分矩陣之各差分值,從前述的初始值依序加算,從而再生成在量化矩陣之各要素。並且,量化矩陣解碼部209將該再生成的一維的各要素,依示於圖9的掃描方法,依序與2維的量化矩陣的各要素建立對應,從而再生成2維的量化矩陣。
再者在量化矩陣解碼部209,將此再生成的基本量化矩陣,如同第1實施方式般放大,生成示於圖8B及圖8C的2種類的32×32的量化矩陣。圖8B的量化矩陣將圖8A的8×8的基本量化矩陣的各要素,在垂直兼水平方向上重複4次從而放大為4倍的32×32的量化矩陣。
另一方面,圖8C的量化矩陣為將圖8A的基本量化矩陣的左上4×4部分的各要素,在垂直兼水平方向上重複8次從而放大的32×32的量化矩陣。其中,生成的量化矩陣不限定於此,在後階被反量化的量化係數的尺寸存在32×32以外的情況下,亦可生成與16×16、8×8、4×4等被反量化的量化係數的尺寸對應的量化矩陣。生成的此等量化矩陣被保存,使用於後階的反量化處理。
在解碼部203,將代碼資料從位元流進行解碼,再生成量化係數及預測資訊。根據解碼的預測資訊而決定作為解碼對象的子塊的尺寸,進一步再生成的量化係數被輸出至反量化兼逆變換部204,再生成的預測資訊被輸出至圖像再生部205。在本實施方式,不論作為解碼對象的子塊的大小,亦即不論為圖7A的64×64或圖7B的32×32,對於各子塊再生成32×32的量化係數。
在反量化兼逆變換部204,對輸入的量化係數,使用以量化矩陣解碼部209再生成的量化矩陣和量化參數進行反量化而生成正交變換係數,進一步實施逆正交變換而再生成預測誤差。就更具體的反量化兼逆正交變換處理,以下記述之。
選擇圖7B的32×32的子塊分割的情況下,以解碼部203再生成的32×32的量化係數被使用圖8B的量化矩陣而反量化,再生成32×32的正交變換係數。並且,進行前述的32×32的轉置矩陣與32×32的正交變換的乘算,算出32×32的矩陣狀之中間係數。進行此32×32的矩陣狀之中間係數與前述的32×32的正交變換矩陣的乘算,再生成32×32的預測誤差。對各32×32子塊進行同樣的處理。
另一方面,如圖7A般選擇無分割的情況下,以解碼部203再生成的32×32的量化係數被使用圖8C的量化矩陣而反量化,再生成32×32的正交變換係數。並且,進行前述的32×64的轉置矩陣與32×32的正交變換的乘算,算出32×64的矩陣狀之中間係數。進行此32×64的矩陣狀之中間係數與前述的64×32的正交變換矩陣的乘算,再生成64×64的預測誤差。
再生成的預測誤差被輸出至圖像再生部205。在本實施方式,依透過以解碼部203再生成的預測資訊而定的作為解碼對象的子塊的大小,決定在反量化處理使用的量化矩陣。亦即,對圖7B的32×32的各子塊,使用圖8B的量化矩陣於反量化處理,對圖7A的64×64的子塊使用圖8C的量化矩陣。其中,使用的量化矩陣不限定於此,為與在實施方式1的變換兼量化部105及反量化兼逆變換部106使用的量化矩陣相同者即可。
在圖像再生部205,根據從解碼部203輸入的預測資訊,酌情參照圖框記憶體206,取得預測圖像的再生所需的資料,再生成預測圖像。在本實施方式,如同實施方式1的預測部104,使用畫格內預測及畫格間預測的2種類的預測方法。此外,如前述般亦可使用將畫格內預測與畫格間預測進行組合的預測方法。此外,如同實施方式1般預測處理是以子塊單位進行。
關於具體的預測處理,如同實施方式1的預測部104,故省略說明。圖像再生部205從透過預測處理而生成的預測圖像和從反量化兼逆變換部204輸入的預測誤差再生成圖像資料。具體而言,圖像再生部205將預測圖像與預測誤差進行加算從而再生成圖像資料。再生成的圖像資料酌情儲存於圖框記憶體206。儲存的圖像資料在其他子塊的預測之際酌情被參照。
在迴圈式濾波器部207,如同圖1的迴圈式濾波器部109,從圖框記憶體206讀出再生圖像,進行去區塊濾波器等的迴圈式濾波器處理。並且,被濾波處理的圖像再次被對圖框記憶體206輸入。
儲存於圖框記憶體206的再生圖像最後被從端子208對外部輸出。再生圖像例如被輸出至外部的顯示裝置等。
圖4為就涉及實施方式2的圖像解碼裝置中的圖像的解碼處理進行繪示的流程圖。
首先,在步驟S401,分離解碼部202是從位元流分離為與解碼處理相關的資訊、與係數相關的代碼資料且將標頭部分的代碼資料進行解碼。更具體而言,再生成量化矩陣代碼資料。
在步驟S402,量化矩陣解碼部209首先將在步驟S401再生成的量化矩陣代碼資料進行解碼,再生成在圖10示出的一維的差分矩陣。接著,量化矩陣解碼部209從再生成的一維的差分矩陣再生成二維的基本量化矩陣。再者,量化矩陣解碼部209放大再生成的二維的基本量化矩陣,生成量化矩陣。
亦即,在本實施方式,量化矩陣解碼部209將示於圖10的差分矩陣,使用示於圖9的掃描方法,再生成示於圖8A的基本量化矩陣。再者,量化矩陣解碼部209放大再生成的基本量化矩陣,生成並保存示於圖8B及圖8C的量化矩陣。
在步驟S403,解碼部203將在步驟S401被分離的代碼資料進行解碼,再生成量化係數及預測資訊。再者,根據解碼的預測資訊而決定作為解碼對象的子塊的尺寸。在本實施方式,不論作為解碼對象的子塊的大小,亦即不論圖7A的64×64或圖7B的32×32,對於各子塊再生成32×32的量化係數。
在步驟S404,反量化兼逆變換部204對量化係數使用在步驟S402再生成的量化矩陣進行反量化而獲得正交變換係數,進一步進行逆正交變換,再生成預測誤差。在本實施方式,依透過在步驟S403再生成的預測資訊而定的作為解碼對象的子塊的大小,決定在反量化處理使用的量化矩陣。亦即,對圖7B的32×32的各子塊,使用圖8B的量化矩陣於反量化處理,對圖7A的64×64的子塊使用圖8C的量化矩陣。其中,使用的量化矩陣不限定於此,為與在實施方式1的步驟S306及步驟S307使用的量化矩陣相同者即可。
在步驟S405,圖像再生部205從在步驟S403生成的預測資訊再生成預測圖像。在本實施方式,如同實施方式1的步驟S305,使用畫格內預測及畫格間預測的2種類的預測方法。進一步從再生成的預測圖像與在步驟S404生成的預測誤差而再生成圖像資料。
在步驟S406,圖像解碼裝置進行畫格內的全部的基本塊的解碼是否結束的判定,已結束時進至步驟S407,若非如此則以下個基本塊為對象返回步驟S403。
在步驟S407,迴圈式濾波器部207對在步驟S405再生成的圖像資料,進行迴圈式濾波器處理,生成被濾波處理的圖像,使處理結束。
透過以上的構成與動作,對在實施方式1生成的僅就低頻的正交變換係數進行量化兼編碼的子塊,亦可使用量化矩陣而按頻率成分控制量化,可解碼使主觀畫質提升的位元流。此外,對僅將低頻的正交變換係數進行量化兼編碼的子塊,使用如圖8C的僅將基本量化矩陣的低頻部分放大的量化矩陣,可解碼對低頻部分實施最佳的量化控制的位元流。
另外,在本實施方式,雖構成為,為了代碼量削減,僅將共通使用於圖8B、圖8C的量化矩陣的生成的圖8A的基本量化矩陣進行解碼,惟亦可構成為將圖8B、圖8C的量化矩陣本身進行解碼。此情況下,可按各量化矩陣的頻率成分而設定獨自的值,故可解碼按頻率成分實現更細緻的量化控制的位元流。
此外,亦可構成為,對圖8B、圖8C的各者設定個別的基本量化矩陣,將個別的基本量化矩陣進行編碼。此情況下,對32×32的正交變換係數與64×64的正交變換係數,實施個別不同的量化控制,亦可解碼實現更細緻的主觀畫質的控制的位元流。再者,在該情況下,與64×64的正交變換係數對應的量化矩陣亦可代替將8×8的基本量化矩陣的左上4×4部分放大8倍,將8×8的基本量化矩陣整體放大4倍。如此對64×64的正交變換係數,亦可實現更細緻的量化控制。
再者,在本實施方式,雖構成為無歧異決定相對於使用零化的64×64的子塊之量化矩陣,惟亦可構成為導入識別符從而可進行選擇。例如圖6B為新導入量化矩陣編碼方法資訊代碼從而使相對於使用零化的64×64的子塊之量化矩陣編碼為選擇性者。例如,量化矩陣編碼方法資訊代碼顯示0的情況下,對與使用零化的64×64的子塊對應的量化係數,使用為獨立的量化矩陣之圖8C。此外,編碼方法資訊代碼顯示1的情況下,對使用零化的64×64的子塊,使用為一般的相對於不被零化的子塊之量化矩陣之圖8B。另一方面,編碼方法資訊代碼顯示2的情況下,非8×8的基本量化矩陣而為將對使用零化的64×64的子塊所使用的量化矩陣的要素全部進行編碼如此的情況。藉此,可解碼選擇性實現量化矩陣代碼量削減與對於使用了零化的子塊之獨自的量化控制的位元流。
此外,在本實施方式雖使用零化進行處理的子塊僅為64×64,惟實施使用了零化的處理之子塊不限定於此。例如,亦可構成為,與示於圖7C、圖7B的32×64、64×32子塊對應的正交變換係數之中不解碼下部分、右半部的32×32的正交變換係數,僅解碼上部分、左半部的量化係數。此情況下,僅使上部分、左半部的32×32的正交變換係數為解碼兼反量化的對象,對上部分、左半部的32×32的正交變換係數使用與圖8B不同的量化矩陣而進行量化處理。
再者,亦可構成為,生成的正交變換係數之中將與對畫質的影響最大的位於左上端的DC係數對應的量化矩陣的值,與8×8的基本矩陣的各要素的值個別地進行解碼兼設定。圖12B及圖12C為示出比起圖8B及圖8C將屬於DC成分的位於左上端的要素的值進行變更之例。此情況下,除圖8A的基本量化矩陣的資訊以外,將顯示位於DC部分的「2」的資訊另外進行解碼,使得可設定示於圖12B及圖12C的量化矩陣。藉此,可解碼對於對畫質的影響最大的正交變換係數的DC成分實施更細緻的量化控制的位元流。
<實施方式3>
在上述實施方式說明示於圖1、2的各處理部以硬體構成。然而,亦可將以示於此等圖的各處理部進行的處理以電腦程式構成。
圖5為就可適用於涉及上述各實施方式的圖像編碼裝置、圖像解碼裝置的電腦的硬體的構成例進行繪示的方塊圖。
CPU501利用儲存於RAM502、ROM503的電腦程式、資料進行電腦整體的控制,同時作為上述各實施方式中的圖像處理裝置所進行者而執行上述的各處理。亦即,CPU501作用為示於圖1、圖2的各處理部。
RAM502具有為了將從外部記憶裝置506加載的電腦程式、資料、經由I/F(介面)507從外部取得的資料等暫時記憶用的區域。再者,RAM502具有CPU501在執行各種的處理之際使用的工作區。亦即,RAM502例如可分配為圖框記憶體,酌情提供其他各種的區域。
於ROM503儲存主電腦的設定資料、啟動程序等。操作部504由鍵盤、滑鼠等構成,主電腦的使用者進行操作,從而可對CPU501輸入各種的指示。輸出部505輸出透過CPU501之處理結果。此外,輸出部505以例如液晶顯示器而構成。
外部記憶裝置506是硬碟裝置為代表的大容量資訊記憶裝置。於外部記憶裝置506,保存OS(作業系統)、為了使CPU501實現示於圖1、圖2的各部分的功能用的電腦程式。再者,於外部記憶裝置506,亦可保存作為處理對象的各圖像資料。
保存於外部記憶裝置506的電腦程式、資料依透過CPU501之控制酌情加載於RAM502,成為CPU501的處理對象。於I/F507,可連接LAN、網際網路等的網路、投影裝置、顯示裝置等的其他機器,主電腦可經由此I/F507取得、送出各種的資訊。508為連接上述的各部分的匯流排。
由上述的構成所成的作動是就在前述的流程圖說明的作動使CPU501為中心而進行該控制。
(其他實施例)
各實施方式亦可對系統提供記錄實現前述的功能的電腦程式的代碼的記憶媒體,而該系統將電腦程式的代碼進行讀出並執行從而達成。此情況下,從記憶媒體讀出的電腦程式的代碼本身實現前述的實施方式的功能,記憶該電腦程式的代碼的記憶媒體構成本發明。此外,亦包含以下情況:根據該程式的代碼的指示,在電腦上運轉的作業系統(OS)等進行實際的處理的一部分或全部,透過該處理實現前述的功能。
再者,亦可透過以下的方式實現。亦即,將從記憶媒體讀出的電腦程式碼,寫入被***電腦的功能擴充卡、連接於電腦的功能擴充單元所具備的記憶體。並且,亦包含以下情況:根據該電腦程式的代碼的指示,該功能擴充卡、功能擴充單元所具備的CPU等進行實際的處理的一部分或全部,實現前述的功能。
將本發明適用於上述記憶媒體的情況下,於該記憶媒體,儲存與先前說明的流程圖對應的電腦程式的代碼。
依以上的各實施方式時,作成可進行使用應對於一部分的正交變換係數被強制地設為0的手法的量化矩陣之量化處理,使得即便使用該手法的情況下仍可使主觀畫質提升。
本發明不限制於上述實施方式,在不從本發明的精神及範圍脫離之下,可進行各種的變更及變形。因此,撰寫申請專利範圍以公開本發明的範圍。
本案以2019年3月11日提出的日本特願2019-044274為基礎而主張優先權者,於此援用其記載內容的全部。
101:端子
102:區塊分割部
103:量化矩陣保存部
104:預測部
105:變換兼量化部
106:反量化兼逆變換部
107:圖像再生部
108:圖框記憶體
109:迴圈式濾波器部
110:編碼部
111:統合編碼部
112:端子
113:量化矩陣編碼部
201:端子
202:分離解碼部
203:解碼部
204:反量化兼逆變換部
205:圖像再生部
206:圖框記憶體
207:迴圈式濾波器部
208:端子
209:量化矩陣解碼部
501:CPU
502:RAM
503:ROM
504:操作部
505:輸出部
506:外部記憶裝置
507:I/F
508:匯流排
700:基本塊
800:量化矩陣
[圖1]就實施方式1中的圖像編碼裝置的構成進行繪示的方塊圖。
[圖2]就實施方式2中的圖像解碼裝置的構成進行繪示的方塊圖。
[圖3]就涉及實施方式1的圖像編碼裝置中的圖像編碼處理進行繪示的流程圖。
[圖4]就涉及實施方式2的圖像解碼裝置中的圖像解碼處理進行繪示的流程圖。
[圖5]就可適用於本發明的圖像編碼裝置、圖像解碼裝置的電腦的硬體構成例進行繪示的方塊圖。
[圖6A]就在實施方式1被輸出的位元流的一例進行繪示的圖。
[圖6B]就在實施方式1被輸出的位元流的一例進行繪示的圖。
[圖7A]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖7B]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖7C]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖7D]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖7E]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖7F]就在實施方式1及實施方式2使用的子塊分割的一例進行繪示的圖。
[圖8A]就在實施方式1及實施方式2使用的量化矩陣的一例進行繪示的圖。
[圖8B]就在實施方式1及實施方式2使用的量化矩陣的一例進行繪示的圖。
[圖8C]就在實施方式1及實施方式2使用的量化矩陣的一例進行繪示的圖。
[圖9]就在實施方式1及實施方式2使用的量化矩陣的各要素的掃描方法進行繪示的圖。
[圖10]就在實施方式1及實施方式2被生成的量化矩陣的差分值矩陣進行繪示的圖。
[圖11A]就使用於量化矩陣的差分值的編碼之編碼表之一例進行繪示的圖。
[圖11B]就使用於量化矩陣的差分值的編碼之編碼表之一例進行繪示的圖。
[圖12A]就在實施方式1及實施方式2使用的量化矩陣的他例進行繪示的圖。
[圖12B]就在實施方式1及實施方式2使用的量化矩陣的他例進行繪示的圖。
[圖12C]就在實施方式1及實施方式2使用的量化矩陣的他例進行繪示的圖。
Claims (11)
- 一種圖像解碼裝置,可透過使用包含P×Q像素陣列的第1區塊的複數個區塊,從位元流將圖像解碼,前述P及Q為整數, 前述圖像解碼裝置具有: 解碼單元,其配置以從前述位元流將與量化變換係數對應的資料進行解碼; 反量化單元,其配置以透過使用量化矩陣從前述量化變換係數導出變換係數,前述變換係數表示頻率分量;和 逆變換單元,其配置以透過對由前述反量化單元導出的前述變換係數執行逆變換處理,從而從前述變換係數導出預測殘差; 在目標塊為前述第1區塊的情況下: (i)前述反量化單元被配置以透過使用N×M要素陣列的量化矩陣,從N×M量化變換係數陣列中導出N×M變換係數陣列,其中N為符合N<P的整數,M為符合M<Q的整數;以及 (ii)前述逆變換單元被配置以透過執行N×M變換係數陣列和M×Q陣列矩陣的乘法從而導出中間值的N×Q陣列,並透過執行P×N陣列矩陣和中間值的N×Q陣列的乘法從而導出用於前述第1區塊的P×Q預測殘差陣列; 在目標塊為小於前述第1區塊的第2區塊的情況下: (i)前述反量化單元被配置以透過使用用於前述第2區塊的量化矩陣,從用於前述第2區塊的量化變換係數陣列導出用於前述第2區塊的變換係數陣列,其中用於前述第2區塊的前述變換係數陣列的尺寸、用於前述第2區塊的前述量化變換係數陣列的尺寸以及用於前述第2區塊的前述量化矩陣的尺寸與前述第2區塊相同;以及 (ii)前述逆變換單元被配置以透過至少使用用於前述第2區塊的前述變換係數陣列和尺寸與前述第2區塊相同的矩陣以執行乘法,從而導出尺寸與前述第2區塊相同的預測殘差陣列。
- 如請求項1的圖像解碼裝置,其中,前述第1區塊為正方形的區塊。
- 如請求項2的圖像解碼裝置,其中,前述整數P及Q為64,前述整數N及M為32。
- 如請求項2的圖像解碼裝置,其中,前述整數P及Q為128,前述整數N及M為32。
- 如請求項1的圖像解碼裝置,其中,前述第1區塊為非正方形的區塊。
- 一種圖像解碼方法,可透過使用包含P×Q像素陣列的第1區塊的複數個區塊,從位元流將圖像解碼,前述P及Q為整數, 前述圖像解碼方法具有: 從前述位元流將與量化變換係數對應的資料進行解碼; 透過使用量化矩陣從前述量化變換係數導出變換係數,前述變換係數表示頻率分量;和 對前述變化係數執行逆變換處理以從前述變換係數導出預測殘差; 在目標塊為前述第1區塊的情況下: (i)透過使用N×M要素陣列的量化矩陣,從N×M量化變換係數陣列中導出N×M變換係數陣列,其中N為符合N<P的整數,M為符合M<Q的整數;以及 (ii)透過執行N×M變換係數陣列和M×Q陣列矩陣的乘法從而導出中間值的N×Q陣列,並透過執行P×N陣列矩陣和中間值的N×Q陣列的乘法從而導出用於前述第1區塊的P×Q預測殘差陣列; 在目標塊為小於前述第1區塊的第2區塊的情況下: (i)透過使用用於前述第2區塊的量化矩陣,從用於前述第2區塊的量化變換係數陣列導出用於前述第2區塊的變換係數陣列,其中用於前述第2區塊的前述變換係數陣列的尺寸、用於前述第2區塊的前述量化變換係數陣列的尺寸以及用於前述第2區塊的前述量化矩陣的尺寸與前述第2區塊相同;以及 (ii)透過至少使用用於前述第2區塊的前述變換係數陣列和尺寸與前述第2區塊相同的矩陣以執行乘法,從而導出尺寸與前述第2區塊相同的預測殘差陣列。
- 如請求項6的圖像解碼方法,其中,前述第1區塊為正方形的區塊。
- 如請求項7的圖像解碼方法,其中,前述整數P及Q為64,前述整數N及M為32。
- 如請求項7的圖像解碼方法,其中,前述整數P及Q為128,前述整數N及M為32。
- 如請求項6的圖像解碼方法,其中,前述第1區塊為非正方形的區塊。
- 一種非暫時性電腦可讀取儲存媒體,其儲存用於使電腦作用為如請求項1的圖像解碼裝置的各單元的程式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044274A JP2020150338A (ja) | 2019-03-11 | 2019-03-11 | 画像復号装置、画像復号方法、及びプログラム |
JP2019-044274 | 2019-03-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202318872A TW202318872A (zh) | 2023-05-01 |
TWI842282B true TWI842282B (zh) | 2024-05-11 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018008387A1 (ja) | 2016-07-04 | 2018-01-11 | ソニー株式会社 | 画像処理装置および方法 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018008387A1 (ja) | 2016-07-04 | 2018-01-11 | ソニー株式会社 | 画像処理装置および方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11985352B2 (en) | Image coding apparatus, image coding method, and storage media | |
JP2024015184A (ja) | 画像復号装置及び方法及びプログラム | |
JP7497486B2 (ja) | 画像復号装置、画像復号方法、及びプログラム | |
JP2023113858A (ja) | 画像復号装置、画像復号方法、及びプログラム | |
TWI842282B (zh) | 圖像解碼裝置、圖像解碼方法及程式 | |
TWI803709B (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
JP2020010320A (ja) | 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム | |
US20240259602A1 (en) | Image coding apparatus, image coding method, and storage media | |
US20240259600A1 (en) | Image coding apparatus, image coding method, and storage media | |
US20240259601A1 (en) | Image coding apparatus, image coding method, and storage media | |
US20240259599A1 (en) | Image coding apparatus, image coding method, and storage media | |
TW202034699A (zh) | 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式 | |
TW202418801A (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 |