TWI388218B - 影像編碼方法與解碼方法、其程式及記錄有程式的記錄媒體 - Google Patents
影像編碼方法與解碼方法、其程式及記錄有程式的記錄媒體 Download PDFInfo
- Publication number
- TWI388218B TWI388218B TW97140257A TW97140257A TWI388218B TW I388218 B TWI388218 B TW I388218B TW 97140257 A TW97140257 A TW 97140257A TW 97140257 A TW97140257 A TW 97140257A TW I388218 B TWI388218 B TW I388218B
- Authority
- TW
- Taiwan
- Prior art keywords
- value
- pixel
- prediction
- encoding
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 239000013598 vector Substances 0.000 claims description 98
- 238000009826 distribution Methods 0.000 claims description 72
- 238000013139 quantization Methods 0.000 claims description 36
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000013461 design Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000002994 raw material Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本發明係有關一種效率佳地將影像(靜止影像或映像(動態影像))予以編碼/解碼之高效率影像編碼方式的技術。
本案係基於2007年10月30日所申請的日本特願2007-281556號而主張優先權,並援用其內容於此。
在影像(靜止影像或映像)的編碼中,使用經過解碼的像素,藉由空間方向的預測或時間方向的預測方法來預測編碼對象的像素值之預測編碼方式為主流。
例如在H.264/AVC中,於4×4區塊的畫面內(intra)水平預測中,使用經過解碼完成的左鄰之像素a至d,以
→ → → →
a│A B C D
b│E F G H
c│I J K L
d│M N O P
亦即,
A=B=C=D=a
E=F=G=H=b
I=J=K=L=c
M=N=O=P=d
之方式於水平方向預測從編碼對象的A至P(以下以A至P予以表記,其他亦相同)之4×4的區塊,接著,以
A-a B-a C-a D-a
E-b F-b G-b H-b
I-c J-c K-c L-c
M-d N-d O-d P-d
之方式計算預測殘差後,施予正交轉換/量化/熵編碼(entropy coding)而予以壓縮編碼。
在動態補償預測中亦相同,於4×4區塊的動態補償中,係將藉由其他像框(frame)預測A至P而得的4×4區塊A’至P’以
A’ B’ C’ D’
E’ F’ G’ H’
I’ J’ K’ L’
M’ N’ O’ P’
之方式作成,接著,以
A-A’ B-B’ C-C’ D-D’
E-E’ F-F’ G-G’ H-H’
I-I’ J-J’ K-K’ L-L’
M-M’ N-N’ O-O’ P-P’
之方式計算預測殘差後,施予正交轉換/量化/熵編碼而予以壓縮編碼。
解碼器係從經過解碼的像素值,於例如區塊左上的位置獲得預測值A’與預測殘差的解碼值(A-A’),而以該等之和獲得原像素值A。此雖為可逆之情形,但於非可逆之情形解碼器亦獲得預測殘差解碼值(A-A’+Δ)(Δ為編碼雜訊),而獲得(A+Δ)作為與預測值A’之和。
以上是像素值為4×4之16個之情形,以下係概念性地予以單純化而以一次元來思考。以下係思考一般為8位元(bit)像素值之情形。像素值係取0至255這256個整數值。此外,8位元以外的像素值同樣能應用以下的論述。
將編碼對象的像素值設為x,將預測值設為x’。由於x’係接近x的值,因此預測殘差(x-x’)雖能取得-255…255之值,但集中於接近0之值,絕對值之較大值相對地較少。此關係係以圖形方式顯示於第1圖。
由於有偏在分佈之資訊量係小於同樣分佈的資訊量,因此能期待編碼後的壓縮。以往係利用該分佈的偏在來實現高效率壓縮。
此外,於非專利文獻1係記載有一種稜錐向量(pyramid vector)量化的技術,於本發明實施例的說明所使用的向量編碼中,代表向量係規則性地位於空間內。
此外,非專利文獻2係記載有一種依據LBG(Linde-Buzo-Gray)演算法之向量量化的技術,在向量量化中係藉由學習將代表向量予以最佳化,結果將該等向量不規則地予以空間性配置。
非專利文獻1:T. R. Fischer,“A pyramid vector quantizer”,IEEE Trans. Inform. Theory,vol. IT-32,no. 4,pp. 568-583,July,1986.
非專利文獻2:Y. Linde,A. Buzo and R. M. Gray,“An algorithm for vector quantizer design,”IEEE Trans. On Communications,vol. Com-28,no. 1,pp. 84-95,Jan.,1980
在以往的方法中,係例如將預測值設為x’=255。像素值x為0至255之值,因此預測殘差僅能取得x-x’=-255至0之0以下之值。
因此,在預測殘差分佈中,正方向的大致右半部分的分佈未被使用。若無視分佈之端(發生機率極低)而定性敘述時,由於分佈為左右對稱,因此於「左邊或右邊」之資訊需要1位元(例如0為右,1為左)。在未使用右半部分的分佈(存在有從能取得之值的範圍超出之部分)之情形中,本來就不需要該1位元。在預測值為x’=0的情形中,預測誤差分佈的負方向的大致左半部分未被使用,同樣本來就不需要1位元。
這些關係顯示於第2圖。在以下的圖中,在圖中以斜線表示像素值或預測誤差等之值能取得的範圍。
以定量性而言,首先,將擴及於左右的機率分佈設為pw
(d)。
由於實際上未能取得右半部分的值,因此誤差d的正確分佈變成pw
的兩倍。
pc
(d)=2pw
(d) (d≦0時)
pc
(d)=0 (d>0時) …(2)
當推估將發生機率設為pw
時的平均訊息量(entropy)Hw
時,會變成如下所示。
使用正確的發生機率時之平均訊息量係如下所示。
然而,由於以往僅將差分值(x-x’)作為對象進行編碼,因此無法刪減此不需要的1位元。
此理由如下:
(1)遺失來自(x-x’)的預測值(x’);
(2)(多次元的情形)由於對差分值(x-x’)施予正交轉換,因此必須考慮到轉換後的空間中的x能取得的範圍亦同時經過轉換,而變得極難以判斷多次元分佈中的「(從能取得之值的範圍)超出」。
本發明乃有鑑於上述問題而研創者,其目的在進行與以往相同的時間/空間性預測時,不求出原像素值與預測值之差分,而是藉由對應考慮到有關上述分佈之「超出」的原像素值之分佈將原像素值予以編碼,藉此改善預測編碼中的編碼效率。
為了解決上述課題,本發明的主要特徵為在使用從經過解碼的影像藉由空間預測或時間預測(動態補償)所產生的預測值將編碼對象的像素之值(亦有賦予對應像素區塊之值的情形)予以編碼之預測編碼中,使用考慮到像素值能取得的上下限值之像素值的該預測值中的附有條件的分佈將編碼對象像素(或像素區塊)之值予以編碼。
所謂像素值能取得之上下限係指數位影像中的像素能取得值之上限與下限。在更廣範圍所使用的8位元影像中,分別為255與0,在10位元影像中則為1023與0。
取為比該上限還大之值(2000等)或比下限還小之值(-1)之像素係假設成未存在於原影像而無問題。所謂上下限值的考慮係亦指該情形,本發明係使用這種事實將編碼予以效率化。
所謂像素值的該預測值中之附條件的分佈係指在預測值為x’這種像素中,原像素值x實際上是採取哪個值之機率分佈。
所謂附條件係指相當於預測值為x’之情形。
在數學式中,亦寫為Pr(x∣x’)。通常,該形狀係變成將x’設為峰值之吊鐘狀。
在預測值為x’這種條件下的x分佈以及(雖為理所當然)無該條件之情形的x分佈恆常地只取像素上下限內的值(在8位元影像中為0至255的整數值)。
此外,本發明係在上述發明中為以像素區塊單位進行預測之情形時,於區塊預測所進行之像素區塊值之附條件的分佈之編碼可使用向量量化。
依據本發明,不會產生以往處理預測值與原像素值的差分時之「遺漏預測值這種重要的資訊」,能完全地利用於編碼,結果能以更少的編碼量將影像(靜止影像或映像)予以編碼。
首先,簡單且具體地說明本發明的概要。
例如,在不清楚信號d取為{-2、-1、1、2}這四個中的哪一個之情形中(假設機率各為25%),將該信號予以編碼時需要2位元。第1圖係顯示以機率分佈表示此情形(二次元的例子顯示於第9圖)。
假設知道「信號d為正」時,由於只有{1,2}這兩種可能性,因此能以1位元編碼。第2圖係顯示以機率分佈表示此情形(二次元的例子顯示於第11圖)。
相同的情形亦會發生在靜止影像或映像的預測編碼。假設影像信號x(0≦x)的預測值為x’時,預測誤差d=x-x’的分佈係根據預測值x’而變化。
例如,假設x’=0時,0≦d0
,亦即d不會取為負值。另一方面,當x’=255時,d0
≦0,亦即d不會取為正值(此概念可同樣參照第2圖)。
如此,能將預測值x’的值作為線索,在編碼/解碼前預先縮小d的存在範圍。此即有助於編碼效率的改善。
縮小d的存在範圍之處理係相當於將x’+d的範圍規格化至0至255(8位元影像的情形)。
在編碼方法中此相當於第12圖的流程圖的截除步驟105,在解碼方法中則相當於第15圖的流程圖的截除步驟405。
此外,於預測單位的每個區塊設計代表向量,藉此能適應性地設計最佳的代表向量(在編碼方法中相當於第12圖的流程圖的代表向量設計步驟106,在解碼方法中相當於第15圖的流程圖的代表向量設計步驟406)。
如此縮小編碼對象信號後,經由一般的編碼輸出比以往更短(編碼效率高)的編碼(第12圖的流程圖的量化指數編碼步驟109)。
像素值的預測係於既存的編碼技術MPEG-1、MPEG-2、MPEG-4、H.264/AVC中作為「動態補償」或「畫面內預測」來使用(在編碼方法中為第12圖的流程圖的步驟101,在解碼方法中為第15圖的流程圖的步驟401),本發明係能廣泛地應用於使用這種預測的情形,且有助於編碼效率的改善。
此外,在既存的預測編碼技術中,預測誤差恆常作為正負皆能取得者而予以編碼(概念圖為第9圖)。
接著,詳細說明本發明實施形態中的原理性架構。
雖說明以像素區塊單位進行預測並於區塊預測所進行的像素區塊值之附條件的分佈之編碼使用向量量化之例,但在預測值為x’這種像素中使用原像素值x實際上是取為哪個值之機率分佈來進行編碼的這種基本想法在以像素單位進行編碼的情形中亦相同。
使用第3圖說明以二次元的量化/編碼為例之情形。第3圖為二次元最單純的格子量化的示意圖。起始於原點的距離尺度係根據L∞
標準(座標絕對值的最大值)來計算。
例如點(0,3)與點(-2,-3)具有相同的L∞
標準。
圖中,以虛線連接的點(向量量化後,為離散資料所隸屬的代表向量)彼此間具有相同的L∞
標準,且假設相同標準的點彼此係以相同機率產生。
圖中,相鄰的兩像素的原像素值分別為x1
=253與x2
=102,預測值為x1
’=255與x2
’=100。差分值變成x1
-x1
’=-2與x2
-x2
’=2。
假設對應原像素值的差分向量(-2,2)所隸屬的L∞
標準=2的產生機率為0.3。
由於L∞
標準變成2之代表向量全部為16個,因此編碼原像素值所需的資訊量為
-log2
0.3+log2
16=5.737[位元] …(9)
接著,藉由本發明推估未計算預測誤差時的編碼量。概念圖顯示於第4圖。
以圖中附上斜線部分所屬的白點所表示的代表向量(○)係存在有原像素值的可能性,以斜線外側所屬的黑點所表示的代表向量(●)未存在有原像素值的可能性。
假設中心為預測值(x1
’,x2
’)=(255,100),且與之前相同起始於中心的L∞
標準變成2之機率為0.3。
由於屬於此情形的代表向量為9個,因此編碼原像素值所需的資訊量為
-log2
0.3+log2
9=4.907[位元] …(10)
計算差分時落在比(第9式)還低0.83位元的值。
第5圖係顯示對應二次元且L∞
標準=4之代表向量。
將次元設為L,將標準設為K時,代表向量的個數N(L,K)由下式所求得:
N(L,K)=(2K+1)L
-(2K-1)L
…(11)
在第5圖所示的例子中,變成:
N(2,4)=92
-72
=81-49=32
在編碼中,於特定標準後,為了進一步特定代表向量,需要以下的資訊量。
log2
N(L,K)[位元] …(12)
此外,在第5圖中,存在以黑點(●)表示的「超出部分」(無原像素值的可能性之部分)。於求取減去該個數的白點(○)的個數時,在(x1
、x2
、...、xL
)的各次元中,當將上限設為(p
K1
、p
K2
、...、p
KL
),將下限設為(-n
K1
、-n
K2
、...、-n
KL
)時,為0≦n
Ki
、p
Ki
≦K(i=1...L)。在無超出的情形中,為Ki
(上限、下限)≡K。
若將○的個數設為N’(L,K,n
K1
,…,n
KL
,p
K1
,…,p
KL
)時,可求得:
其中,f(K,K’)=K’-1 (K’=K時)
f(K,K’)=K’ (K’<K時) …(14)
在第5圖的例子中,由於L=2、K=4、n
K1
=4、n
K2
=4、p
K1
=2、p
K2
=4,因此變成:
N’(2,4,4,4,2,4)=(4+2+1)(4+4+1)-(4-1+2+1)(4-1+4-1+1)=63-42=21
若推估使用本發明的手法所產生的平均訊息量削減程度,則變成log2
32-log2
21=0.608[位元]。
接著,以第6圖的情形考量不同預測值的例子。
由於L=2、K=4、n
K1
=4、n
K2
=3、p
K1
=2、p
K2
=3,因此變成:
N’(2,4,4,3,2,3)=(2+4+1)(3+3+1)-(2+4-1+1)(3+3+1)=49-42=7
大幅減少超出部分。
接著,使用第7圖說明起始於原點的距離遵循L1
標準的情形,亦即為稜錐向量量化的情形。與之前相同,虛線表示等機率面,斜線部表示像素值能取得的範圍(0至255)。
以大圓形表示的(X1
,X2
)為原像素,屬於該標準(在圖中為4)的代表向量,當包含範圍外時為16個,在範圍內為10個。
在此情形中,未取得原像素值與預測值的差分時(本發明)的平均訊息量與取得原像素值與預測值的差分時(以往的方法)相比,變低成:
log2
16-log2
10=0.687[位元] ...(15)
第8圖係顯示抽出第7圖的L1
標準=4的部分。
與之前相同,將L次元的稜錐向量量化之屬於L1
標準=K的代表向量的點的個數設為N(L,K)。此由下述遞推的方式求出(參照非專利文獻1)。
‧K=1時
N(L,K)=2L
‧L=1時
N(L,K)=2
除此之外,
N(L,K)=N(L,K-1)+N(L-1,K-1)+N(L-1,K)...(16)
因此,變成:
N(2,4)=N(2,3)+N(1,3)+N(1,4)=N(2,2)+N(1,2)+N(1,3)+2+2=N(2,2)+2+2+4=N(2,1)+N(1,1)+N(1,2)+8=4+2+2+8=16
接著,考量「超出部分」的個數。例如p
K1
=1時產生5個「超出」代表向量(●),p
K2
=3時產生1個「超出」代表向量(●)。
首先為了簡便,考量僅p
K1
為p
K1
<K,而剩餘的n
K1
,Ki
=K(I=2,...,L)的情形。
此時的超出代表向量(●)的個數M(L,K)係使用第16式的N,在
K=0時:M(L,K)=1
L=1時:M(L,K)=1
除此之外:M(L,K)=(N(L,K)+N(L-1,K)/2) ...(17)中,從M(L,K-p
K1
-1)求出。
在第8圖的L=2、K=4、p
K1
=1的情形中,變成:
M(2,4-1-1)=M(2,2)=(N(2,2)+N(1,2))/2=(8+2)/2=5
同樣的手法亦能應用於其他的次元,例如在p
K2
=3時,求出M(2,4-3-1)=M(2,0)=1。
如此,根據代表向量總數N與超出個數M,以N-M求出○的個數。
此外,為了正確地求出上述的超出量,需滿足下列條件:
‧垂直於i號座標軸的xi
=Ki
面之全端點的L1
標準恆常為K以上。
‧亦即,留下│Kj
│、│255-Kj
│(j≠i)中給予最小值的座標軸j,除此之外的座標值全部為0之點的L1
標準(此在全端點中賦予最小的L1
標準)為K以上。
‧亦即,
以具體例來說,施予第8圖中斜線的四角部分的四個角變成「全端點」,在此情形中,全部的短點係位於L1
標準=4的線上或外側,超出量係正確地求出。
假設該斜線部分設定成第16圖所示時,具有存在於L1
標準=4的線內側的端點(存在於(x1
,x2
)=(1,1)的端點),且存在被重複計數的「超出」代表向量(存在於(x1
,x2
)=(2,2)的代表向量)。
在此情形中,未正確求出超出量。
在使用已知的LBG演算法(非專利文獻2)等之代表向量的配置為非規則性的一般向量量化中,本發明係以下述方式應用。
第9圖係相對於一般的差分信號(二次元)的向量量化的示意圖。為了取得各次元-255至255的值,差分信號係設為即使在代表向量的設計中亦會網羅該範圍。如影像預測差分信號般在原點(0,0)附近產生信號的機率高時,如第9圖所示,代表向量在原點附近亦變成密集,而周邊變成稀疏。
第10圖係對應以往的編碼方法來進行預測值(x1
’,x2
’)中的原信號的編碼。由於原信號僅獲得0至255的值,因此在其範圍外亦存在代表向量。因此,與一次元的編碼論述時相同,發生編碼量的浪費。
第11圖係對應本發明的編碼方法,且根據預測值(x1
’,x2
’)來設計代表向量。
由於在各次元0至255的範圍內進行設計(亦即0≦x1
,x2
≦255),因此不會發生在以往的方法(第10圖)中所產生的代表向量的「超出」,能進行不會浪費編碼量的編碼。
以下,作為本發明實施形態的一例,係說明以像素區塊單位進行預測,且於區塊預測所進行之像素區塊值的附條件分佈的編碼使用向量量化時的例子。
在本實施形態中,根據事前的學習用資料作成向量量化的代表向量。
雖亦可僅使用對應編碼對象區塊的預測值x’的學習資料,但由於次元較高時資料數會變少,因此可構成為預先記憶例如與原像素值的差分值(x-x’),並於學習使用於差分值加上預測值的值。
第12圖係顯示本實施形態的流程圖。實線箭頭表示處理的流程,虛線箭頭表示資料的流程。
在像素值預測步驟101中,藉由於區塊單位予以動態補償或畫面內預測等,進行編碼對象區塊的像素值預測,獲得預測值102(向量的量)。
在移位步驟104中,對預先另外儲存的差分分佈資料103(向量的量)中的差分值加算(移位)預測值,接著在截除步驟105中,將向量的各要素截除至0至255。此變成學習的原資料。
在代表向量設計步驟106中,藉由例如LBG演算法,使用學習的原資料來設計代表向量(獲得例如第11圖的結果)。
接著,藉由向量量化步驟107,將編碼對象區塊的原像素值108(向量的量)賦予對應至最接近原像素值的代表向量。
在量化指數編碼步驟109中,根據該發生機率,藉由算數符號等熵編碼將所獲得的代表向量的指數資訊予以編碼,輸出編碼資料,完成動作。
使用第13A圖至第13D圖,以簡單的例子說明第12圖所示的編碼的處理所產生的作用。為了便於圖示,在第13A圖至第13D圖中以一次元的像素值來表示。原像素值x係設為取0至255的值。
當這些值的發生機率設為一樣時,如第13A圖所示,各值變成以1/256的機率產生。這種等機率分佈所產生的值的編碼成本較大。
然而,若在獲得該原像素值x的預測值x’時,能從已知的預測誤差值的分佈將原像素值x能取得的機率分佈設為非等機率分佈。本方式係著眼於此點而改善編碼效率者。
屬於原像素值x與預測值x’的差分之預測誤差x-x’的值(差分值)係能取得-255至255的值,惟該差分分佈係能藉由多個取樣影像的預測編碼實驗等求得。預先儲存/保持該差分分佈的資料。
差分分佈係各預測誤差的值的頻率值或機率值的分佈,例如變成第13B圖的分佈。第12圖的差分分佈資料103係用以表示第13B圖的分佈之資料(惟係向量的量)。
將原像素值x編碼時,在像素值預測步驟101中,首先求出預測值x’。
在移位步驟104中,於差分分佈資料103的各差分值(亦即第13B圖所示的差分分佈中橫軸的各預測誤差x-x’的值)加算(移位)預測值x’,使該差分分佈如第13C圖所示移位至對應於原像素值x。
此係變成預測值x’相當於已知時的原像素值x能取得的機率分佈。
在第13C圖的分佈中,原像素值x變成從-255+x’至255+x’的範圍分佈。然而,由於在此原像素值x係以僅取得0至255的值為前提,因此如第13D圖所示,在接下來的截除步驟105中捨棄原像素值x的分佈中未滿0以及超過255的值之部分,根據需要將捨棄後所獲得的分佈予以正規化,並作為機率分佈。
若根據第13D圖所示的分佈將原像素值x予以編碼,則當然能獲得比在第13A圖所示的等機率分佈下進行編碼時還高的編碼效率,且效率亦會高於在第13B圖所示的廣泛的機率分佈下進行的編碼(對應以往的方法)。
作為在這種機率分佈下效率佳地進行編碼的一例,有向量量化的方式,且在本實施形態中,根據第13D圖所示的機率分佈,藉由第12圖所示的步驟106至109來決定量化代表向量的配置,以進行向量量化。
第14圖係顯示本實施形態的編碼裝置的方塊圖。
從信號端子300輸入映像原信號以及經過解碼的映像信號。
編碼對象區塊的原像素值係儲存於原像素值儲存記憶體306。
在像素值預測器301中,藉由在區塊單位進行動態補償或畫面內預測等,進行編碼對象區塊的像素值預測,獲得預測值(向量的量)並儲存於預測值儲存記憶體302。
在加算/截除器304中,加算差分分佈儲存記憶體303預先另外儲存的差分分佈資料向量以及預測值,並將向量的各要素截除至0至255。此變成學習的原資料。
在代表向量設計器305中,藉由例如LBG演算法,使用學習的原資料來設計代表向量。
接著,藉由向量量化器307,將儲存於記憶體306的編碼對象區塊的原像素值(向量的量)予以對應至最接近原像素值的代表向量。
在量化指數編碼器308中,根據該發生機率,藉由算數符號等熵編碼將所獲得的代表向量的指數資訊予以編碼,將編碼資料輸出至輸出端子309,結束動作。
第15圖係顯示本實施形態解碼時的流程圖。實線箭頭表示處理的流程,虛線箭頭表示資料的流程。
在像素值預測步驟401中,藉由於區塊單位進行動態補償或畫面內預測等,進行編碼對象區塊的像素值預測,獲得預測值402(向量的量)。
在加算步驟404中,加算預先另外儲存的差分分佈資料向量與預測值,接著在截除步驟405中將向量的各要素截除至0至255。此變成學習的原資料。
在代表向量設計步驟406中,藉由例如LBG演算法,使用學習的原資料來設計代表向量。
在量化指數解碼步驟407中,根據所獲得的代表向量的指數資訊之產生機率,將指數予以解碼。
接著,在向量逆量化步驟408中,求出對應指數的代表向量值,輸出該代表向量值,結束動作。
此外,關於本實施形態的解碼裝置的區塊構成,由於從第14圖所示的編碼裝置的方塊圖的說明以及第15圖所示的解碼時的流程說明即能輕易類推,因此省略使用圖式說明。
解碼裝置的構成基本上亦與第14圖所示的編碼裝置的方塊圖相同,第14圖中的原像素值儲存記憶體306在解碼裝置中係變成量化指數編碼資料儲存記憶體,向量量化器307在解碼裝置中係變成量化指數解碼器,量化指數編碼器308在解碼裝置中係變成向量逆量化器。
以上的影像/映像編碼及解碼的處理亦可藉由電腦與軟體程式來實現,且可將該程式儲存於電腦可讀取的記錄媒體以提供該程式,亦可透過網路來提供。
依據本發明,不會產生以往處理預測值與原像素值的差分時之「遺漏預測值這種重要的資訊」,能完全地利用於編碼,結果能以更少的編碼量將影像(靜止影像或映像)予以編碼。
101、104、105、106、107、109...步驟
102...預測值
103...差分分佈資料
108...原像素值
300...信號端子
301...像素值預測器
302...預測值儲存記憶體
303...差分分佈儲存記憶體
304...加算/截除器
305...代表向量設計器
306...原像素值儲存記憶體
307...向量量化器
308...量化指數編碼器
309...輸出端子
第1圖係顯示像素值差分的分佈之圖。
第2圖係顯示預測值為255時的像素值差分的分佈之圖。
第3圖係顯示單純的向量量化的情形(有差分)之圖。
第4圖係顯示單純的向量量化的情形(無差分)之圖。
第5圖係顯示對應L∞
標準=4之代表向量之圖。
第6圖係顯示對應L∞
標準=4之代表向量(不同預測值之例)之圖。
第7圖係顯示稜錐向量量化的情形(有差分)之圖。
第8圖係顯示稜錐向量量化的代表向量的計數之圖。
第9圖係LBG演算法所進行的差分向量量化的示意圖。
第10圖係特定的預測值(x1
’,x2
’)中的差分向量量化的示意圖。
第11圖係特定的預測值(x1
’,x2
’)中以本發明的手法所進行的向量量化的示意圖。
第12圖係顯示本發明的實施形態中的編碼時的處理流程之圖。
第13A圖係顯示原像素值的發生機率相同之概念之圖。
第13B圖係顯示原像素值與預測值的差分分佈之概念圖。
第13C圖係顯示使差分分佈移位至對應原像素值者的分佈之概念圖。
第13D圖係顯示截除至原像素值能取得之值的分佈之概念圖。
第14圖係本實施形態中的編碼裝置的方塊圖。
第15圖係顯示本實施形態中的解碼時的處理流程之圖。
第16圖係顯示未正確求出代表向量的超出個數之例。
101、104、105、106、107、109...步驟
102...預測值
103...差分分佈資料
108...原像素值
Claims (8)
- 一種影像編碼方法,係使用從經過解碼的影像藉由空間預測或時間預測所產生的預測值將編碼對象的像素的值予以編碼之影像信號的編碼方法,該編碼方法係具有:進行編碼對象的像素的值的預測以獲得預測值之步驟;對於前述所獲得的預測值,將預測值加上預先儲存的預測編碼中的原像素值與預測值的差分的分佈資料中的原像素值與預測值的差分值,藉此算出原像素值是採取哪種值的機率分佈的資料之步驟;將前述所獲得的機率分佈的資料截除至原像素值能取得的下限值至上限值的範圍之步驟;以及使用前述所截除的原像素值的下限值至上限值的機率分佈的資料,將編碼對象的像素的值予以編碼之步驟。
- 如申請專利範圍第1項之影像編碼方法,其中,以像素區塊單位進行前述預測,俾使前述編碼對象的像素的值對應預定的像素區塊;在將前述像素值予以編碼的步驟中,以對於以區塊預測所獲得的像素區塊值所求出的前述機率分佈的資料為根據來制定量化代表向量,將前述像素區塊值予以向量量化,藉此予以編碼。
- 一種影像解碼方法,係使用從經過解碼的影像藉由空間 預測或時間預測所產生的預測值將解碼對象的像素的值予以解碼之影像信號的解碼方法,該解碼方法係具有:進行解碼對象的像素的值的預測以獲得預測值之步驟;對於前述所獲得的預測值,將預測值加上預先儲存的預測編碼中的原像素值與預測值的差分的分佈資料中的原像素值與預測值的差分值,藉此算出原像素值是採取哪種位的機率分佈的資料之步驟;將前述所獲得的機率分佈的資料截除至原像素值能取得的下限值至上限值的範圍之步驟;以及使用前述所截除的原像素值的下限值至上限值的機率分佈的資料,將解碼對象的像素的值予以解碼之步驟。
- 如申請專利範圍第3項之影像解碼方法,其中,以像素區塊單位進行前述預測,俾使前述解碼對象的像素的值對應預定的像素區塊;在將前述像素值予以解碼的步驟中,以對於以區塊預測所獲得的像素區塊值所求出的前述機率分佈的資料為根據來制定量化代表向量,根據前述制定的量化代表向量將解碼對象經過向量量化的像素區塊值予以解碼。
- 一種影像編碼程式,係使電腦執行申請專利範圍第1項所記載的影像編碼方法。
- 一種影像解碼程式,係使電腦執行申請專利範圍第3項所記載的影像解碼方法。
- 一種電腦可讀取的記錄媒體,係記錄用以使電腦執行申請專利範圍第1項所記載的影像編碼方法的影像編碼程式。
- 一種電腦可讀取的記錄媒體,係記錄用以使電腦執行申請專利範圍第3項所記載的影像解碼方法的影像解碼程式。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007281556 | 2007-10-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200931987A TW200931987A (en) | 2009-07-16 |
TWI388218B true TWI388218B (zh) | 2013-03-01 |
Family
ID=40590897
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101109618A TWI433545B (zh) | 2007-10-30 | 2008-10-21 | 影像編碼裝置及影像解碼裝置 |
TW97140257A TWI388218B (zh) | 2007-10-30 | 2008-10-21 | 影像編碼方法與解碼方法、其程式及記錄有程式的記錄媒體 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101109618A TWI433545B (zh) | 2007-10-30 | 2008-10-21 | 影像編碼裝置及影像解碼裝置 |
Country Status (11)
Country | Link |
---|---|
US (1) | US8520727B2 (zh) |
EP (1) | EP2204999B1 (zh) |
JP (1) | JP4987086B2 (zh) |
KR (1) | KR101128533B1 (zh) |
CN (1) | CN101836456B (zh) |
BR (1) | BRPI0817901A2 (zh) |
CA (1) | CA2703083C (zh) |
ES (1) | ES2741924T3 (zh) |
RU (1) | RU2454823C2 (zh) |
TW (2) | TWI433545B (zh) |
WO (1) | WO2009057506A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4871246B2 (ja) * | 2007-10-30 | 2012-02-08 | 日本電信電話株式会社 | ベクトル量子化方法,装置およびそれらのプログラムとそれを記録したコンピュータ読み取り可能な記録媒体 |
US9456111B2 (en) | 2010-06-15 | 2016-09-27 | Mediatek Inc. | System and method for content adaptive clipping |
TWI418220B (zh) * | 2010-08-12 | 2013-12-01 | Via Telecom Co Ltd | 結合軟硬體實現之視訊處理系統,方法及其電腦程式產品 |
GB2513111A (en) * | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
CN105993178B (zh) * | 2014-02-27 | 2019-03-29 | 瑞典爱立信有限公司 | 用于音频/视频采样矢量的棱椎矢量量化编索引和解索引的方法和装置 |
KR102034419B1 (ko) * | 2014-07-28 | 2019-10-18 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 피라미드 벡터 양자화기의 형상 검색 |
CN107852492A (zh) * | 2015-05-12 | 2018-03-27 | 三星电子株式会社 | 用于对图像进行编码和解码的方法和设备 |
US10484695B2 (en) | 2017-10-23 | 2019-11-19 | Google Llc | Refined entropy coding for level maps |
JP7185638B2 (ja) | 2017-11-16 | 2022-12-07 | リンテック株式会社 | 半導体装置の製造方法 |
WO2019098101A1 (ja) | 2017-11-16 | 2019-05-23 | リンテック株式会社 | 半導体装置の製造方法 |
EP3721625A1 (en) * | 2017-12-06 | 2020-10-14 | V-Nova International Limited | Methods and apparatuses for hierarchically encoding and decoding a bytestream |
WO2019135655A1 (ko) * | 2018-01-08 | 2019-07-11 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
KR20200138193A (ko) | 2018-03-30 | 2020-12-09 | 린텍 가부시키가이샤 | 수지 시트, 수지 시트의 사용 방법, 및 경화 수지층을 가지는 경화 봉지체의 제조 방법 |
US10645381B2 (en) | 2018-04-30 | 2020-05-05 | Google Llc | Intra-prediction for smooth blocks in image/video |
CN113099234B (zh) * | 2021-04-09 | 2022-04-19 | 中国矿业大学 | 基于预计算的dna快速编码方法 |
WO2023101423A1 (ko) * | 2021-11-30 | 2023-06-08 | 한국전자통신연구원 | 위상 신호의 주기성에 기반한 영상 부호화 및 복호화 방법 및 장치 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3486396T2 (de) * | 1983-09-06 | 1996-02-01 | Mitsubishi Electric Corp | Vektor-Quantisierer. |
US4885637A (en) * | 1986-07-26 | 1989-12-05 | Canon Kabushiki Kaisha | Encoder |
JPH03145887A (ja) * | 1989-10-31 | 1991-06-21 | Victor Co Of Japan Ltd | 予測符号化装置 |
TW297202B (zh) | 1993-10-13 | 1997-02-01 | Rca Thomson Licensing Corp | |
JP3196608B2 (ja) * | 1995-08-31 | 2001-08-06 | 三菱電機株式会社 | 符号化・復号化装置及び符号化・復号化方法 |
JPH0984022A (ja) | 1995-09-19 | 1997-03-28 | Fujitsu Ltd | フレーム間符号化装置 |
US6865291B1 (en) * | 1996-06-24 | 2005-03-08 | Andrew Michael Zador | Method apparatus and system for compressing data that wavelet decomposes by color plane and then divides by magnitude range non-dc terms between a scalar quantizer and a vector quantizer |
US6125201A (en) * | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
AR016812A1 (es) | 1997-08-14 | 2001-08-01 | Samsung Electronics Co Ltd | Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video |
US6909808B2 (en) * | 2002-03-08 | 2005-06-21 | Anzus, Inc. | Image compression to enhance optical correlation |
ES2525557T3 (es) | 2002-05-28 | 2014-12-26 | Sharp Kabushiki Kaisha | Método y sistemas para la estimación, comunicación y organización de modos de intra-predicción de imágenes |
EP2722995B1 (en) * | 2003-10-06 | 2023-04-19 | QUALCOMM Incorporated | Soft-Decision Decoding of Multi-Stage Chain Reaction Codes |
TWI285055B (en) | 2004-09-30 | 2007-08-01 | Nippon Telegraph & Telephone | Method for progressive lossless video coding, method for progressive lossless video decoding, progressive lossless video coding apparatus, progressive lossless video decoding apparatus, and recording media of progressive lossless video coding program... |
JP4581733B2 (ja) * | 2005-02-17 | 2010-11-17 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム |
US7983341B2 (en) * | 2005-02-24 | 2011-07-19 | Ericsson Television Inc. | Statistical content block matching scheme for pre-processing in encoding and transcoding |
JP4543971B2 (ja) * | 2005-03-07 | 2010-09-15 | ソニー株式会社 | 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体 |
CN100428634C (zh) * | 2005-03-09 | 2008-10-22 | 浙江大学 | 数字信号处理中联合变长编解码的方法和装置 |
WO2006109550A1 (ja) | 2005-03-30 | 2006-10-19 | Hitachi Medical Corporation | 磁気共鳴イメージング装置及び方法 |
EP1732329A1 (en) * | 2005-06-06 | 2006-12-13 | STMicroelectronics S.r.l. | Method and apparatus for coding moving images |
WO2007010690A1 (ja) | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US9077960B2 (en) * | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
CN1984336A (zh) * | 2005-12-05 | 2007-06-20 | 华为技术有限公司 | 一种二进制化方法及装置 |
JP4666255B2 (ja) | 2005-12-27 | 2011-04-06 | 日本電気株式会社 | 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 |
JP4793059B2 (ja) | 2006-04-03 | 2011-10-12 | セイコーエプソン株式会社 | 撮像装置及び撮像システム |
US8121190B2 (en) * | 2006-10-05 | 2012-02-21 | Siemens Aktiengesellschaft | Method for video coding a sequence of digitized images |
-
2008
- 2008-10-21 TW TW101109618A patent/TWI433545B/zh active
- 2008-10-21 TW TW97140257A patent/TWI388218B/zh active
- 2008-10-23 US US12/682,701 patent/US8520727B2/en active Active
- 2008-10-23 ES ES08844283T patent/ES2741924T3/es active Active
- 2008-10-23 EP EP08844283.5A patent/EP2204999B1/en active Active
- 2008-10-23 JP JP2009539030A patent/JP4987086B2/ja active Active
- 2008-10-23 CN CN2008801124860A patent/CN101836456B/zh active Active
- 2008-10-23 KR KR1020107008522A patent/KR101128533B1/ko active IP Right Grant
- 2008-10-23 RU RU2010115771/07A patent/RU2454823C2/ru active
- 2008-10-23 CA CA 2703083 patent/CA2703083C/en active Active
- 2008-10-23 WO PCT/JP2008/069257 patent/WO2009057506A1/ja active Application Filing
- 2008-10-23 BR BRPI0817901 patent/BRPI0817901A2/pt not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
TWI433545B (zh) | 2014-04-01 |
BRPI0817901A2 (pt) | 2015-03-31 |
KR20100058646A (ko) | 2010-06-03 |
TW200931987A (en) | 2009-07-16 |
ES2741924T3 (es) | 2020-02-12 |
JPWO2009057506A1 (ja) | 2011-03-10 |
US20100215102A1 (en) | 2010-08-26 |
EP2204999B1 (en) | 2019-05-15 |
JP4987086B2 (ja) | 2012-07-25 |
EP2204999A1 (en) | 2010-07-07 |
WO2009057506A1 (ja) | 2009-05-07 |
CN101836456B (zh) | 2012-10-10 |
EP2204999A4 (en) | 2016-04-27 |
RU2454823C2 (ru) | 2012-06-27 |
CN101836456A (zh) | 2010-09-15 |
KR101128533B1 (ko) | 2012-03-27 |
CA2703083A1 (en) | 2009-05-07 |
RU2010115771A (ru) | 2011-10-27 |
CA2703083C (en) | 2014-07-15 |
US8520727B2 (en) | 2013-08-27 |
TW201244500A (en) | 2012-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI388218B (zh) | 影像編碼方法與解碼方法、其程式及記錄有程式的記錄媒體 | |
US9699458B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
US6654419B1 (en) | Block-based, adaptive, lossless video coder | |
JP5409909B2 (ja) | ビットストリームを復号する方法 | |
JP2010529802A (ja) | 映像復旧を利用したイントラ予測符号化、復号化方法及び装置 | |
CN110383695B (zh) | 用于对数字图像或视频流进行编码和解码的方法和装置 | |
JP4831547B2 (ja) | 画像圧縮および伸張加速化のための方法 | |
JP2006511113A (ja) | 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング | |
WO2018014301A1 (zh) | 视频编码方法及装置 | |
WO2019189904A1 (ja) | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム | |
TW201320757A (zh) | 位元串流型式之畫像的解碼方法 | |
US8655088B2 (en) | Image encoder, image decoder and method for encoding original image data | |
WO2019150411A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
WO2020054060A1 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JPH09186883A (ja) | 多値画像符号化装置 | |
CN109845259A (zh) | 编码和解码图像参数的方法、编码和解码图像参数的设备及其相应的计算机程序 | |
WO2019150435A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
CN112313950A (zh) | 视频图像分量的预测方法、装置及计算机存储介质 | |
JP4743884B2 (ja) | 画像符号化装置及びその制御方法 | |
JP7444599B2 (ja) | イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム | |
CN113132734B (zh) | 一种编码、解码方法、装置及其设备 | |
CN113412618B (zh) | 用于编码和解码表示至少一个图像的数据流的方法和设备 | |
JP3359214B2 (ja) | 多値画像符号化装置 | |
JP4875649B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4008846B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |