TWI499304B - 動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體 - Google Patents

動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體 Download PDF

Info

Publication number
TWI499304B
TWI499304B TW097124680A TW97124680A TWI499304B TW I499304 B TWI499304 B TW I499304B TW 097124680 A TW097124680 A TW 097124680A TW 97124680 A TW97124680 A TW 97124680A TW I499304 B TWI499304 B TW I499304B
Authority
TW
Taiwan
Prior art keywords
image
layer
signal
image region
region
Prior art date
Application number
TW097124680A
Other languages
English (en)
Other versions
TW200915882A (en
Inventor
Kazuya Hayase
Yukihiro Bandoh
Seishi Takamura
Kazuto Kamikura
Yoshiyuki Yashima
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW200915882A publication Critical patent/TW200915882A/zh
Application granted granted Critical
Publication of TWI499304B publication Critical patent/TWI499304B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體
本發明係有關動畫像可縮放(scable)編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體。
本申請案係依據於2007年7月2日所提出的日本國專利申請2007－174161號而主張優先權，且在此引用其內容。
於一般的動畫像編碼方式中，係藉由依據影格(frame)間的像素值差分最小化的區塊比對(block matching)而進行動態預測，以謀求編碼性能的提昇。然而，在像淡化(fade)等亮度隨時間而變化的畫像中，動態預測之預測殘差(Predictive Residual)會擴大達亮度變化之份，而導致編碼性能降低。
因此，於非專利文獻1所揭示的H.264/AVC中，係進行對動態預測參照圖片(picture)適應地乘上加權係數的加權動態預測。藉由該加權動態預測，構成已補正了時間性亮度變化的預測參照訊號，而提昇編碼性能。
於H.264/AVC的加權動態預測中，係準備有2種係數傳送模式，分別為將加權係數編碼化後而進行傳送的外顯(Explicit)模式；以及於編碼器和解碼器從參照影格的資訊中間接地生成相同加權係數的內隱(Implicit)模式。於第1表中示有P片段(slice)及B片段中的加權動態預測之種類和預測方法。
於該第1表中，z為加權動態預測訊號，y、y0 、y1 為加權動態預測參照訊號，w、w0 、w1 、d、d0 、d1 係指加權係數。加權動態預測之切換與係數傳送模式之選擇係以片段為單位而實行。
第1圖為說明H.264/AVC中的加權動態預測(內隱模式)的圖。內隱模式係僅被使用於B片段之雙預測的情形，於編碼器及解碼器中，係如第1圖所示地生成加權係數。 tb 、td 為影格間距離。
假設編碼對像影格與2張被參照影格間的亮度變化為線性，而因應距參照圖片之距離而算出比例係數w0 、w1 。 設偏移(off set)係數d為0。
w0 ＝1－w1
w1 ＝tb /td
d＝0
第1圖雖為因應距圖片之距離的內分而作之比例係數算出之一例，但在外分時也可同樣地進行。只要為亮度線 性地變化的畫像，則由於即使為內隱模式也可算出適當的加權係數，故可以節省係數資訊所需的編碼量。
現在，即使於非專利文獻2所示的ISO與ITU－T之聯合團體的JVT所採用的H.264/AVC之可縮放擴張方式JSVC中，也採用了與前述所示的H.264/AVC相同的加權動態預測。
於非專利文獻3所示的JSVC之參照編碼器JSVM(程式)中，也採用第1表所示的加權動態預測。
此外，就檢測動畫像之大局性的輝度變化而進行輝度補償的技術而言，已知有記載於專利文獻1的技術。於記載於該專利文獻1的技術中，藉由使用判定是否進行畫面全體之大局性的輝度變化量、或每個小區域的輝度變化之補償的旗標(flag)，而對應當畫面內的亮度變化不一致時的情形。
[非專利文獻1]ITU－T：”Advanced video coding for generic audiovisual services”,ITU－T Rec,H.264,pp.129－132,2003.[非專利文獻2]T.Wiegand,G.Sullivan,J.Reichel,H.Schwarz and M.Wien：”Joint Draft 9 of SVC Amendment”,ISO/IEC JTC1/SC29/WG11 and ITU－T SG16 Q.6,JVT－V201,pp.166－170,2006.[非專利文獻3]J.Reichel,H.Schwarz and M.Wien：”Joint Scalable Video Model JSVM－8.0”,ISO/IEC JTC1/SC29/WG11 and ITU－T SG16 Q.6,JVT－U202,2006.
[專利文獻1]日本國特開平10－32824號公報。
如前所述，H.264/AVC之加權動態預測係以片段為單位而實行。從而，當於片段內之一部分產生亮度變化時、和於片段內之亮度變化不一致時，H.264/AVC的加權動態預測的預測性能會降低。例如，因移動物體之陰影等而產生的亮度變化等即符合於上述，而使預測性能降低。
假設，若欲藉由比片段更細微的巨集區塊(macro block)等單位算出加權係數而執行加權動態預測，則在外顯模式下加權係數所需的編碼量會變得極大。於該情形時，係以內隱模式算出加權係數為佳。然而，如前所述，H.264/AVC之加權動態預測之內隱模式的建置係僅限於進行雙預測的B片段。
另外，由於藉由該加權動態預測之內隱模式所算出的加權係數係依據編碼對像影格與2張被參照影格間之亮度變化為線性的假設而得者，故當在3影格間的亮度之時間性變化並非線性時，則無法算出適當的加權係數而導致預測性能降低。如亮度非線性地變化的淡化畫像、和含有閃光的閃光畫像等一時性地變化的畫像等即符合於上述情形。JSVC的加權動態預測係原封不動的建置H.264/AVC的加權動態預測，因此也面臨了與前述相同的問題。
另外，於前述專利文獻1所記載的技術中，由於需要依每個小區域傳送旗標資訊，故有編碼性能降低的問題，而在該小區域之輝度變化量大且與大局性的輝度變化量乖 離時，亦有由於無法補償該小區域的輝度變化而有編碼性能降低的問題。
本發明為有鑑於該等問題而研發者，其目的為確立一種可縮放之編碼器及解碼器的設計方法，係於由具有最低空間解析度的基本圖層(layer)、與具有比其更高的空間解析度的一個以上之擴張圖層所構成的空間可縮放編碼中，產生以動態預測之被參照影格之解碼訊號與編碼對象影格之正下方圖層的解碼訊號間的時間性亮度變化之資訊為根據的加權動態預測之加權係數，且進行不傳送加權係數之資訊而於編碼器及解碼器中使用相同的加權係數之加權動態預測。
以下記有本發明之加權動態預測之程序。
加權動態預測係由加權動態推定與加權動態補償2個步驟所構成。
所謂加權動態推定，係指一邊補正處理對象影格與動態預測參照影格間之亮度變化，一邊探索兩影格間的動態，且將藉由探索所檢測的動態資訊作為動態向量而輸出的處理。
所謂加權動態補償，係指讀取動態向量資訊，對於該動態向量所指目標之訊號值進行亮度變化之補正，且將補正後的訊號值作為處理對象影格的預測訊號而輸出的處理。
於編碼處理中，係藉由加權動態推定而檢測動態向 量，讀取該動態向量，而執行加權動態補償。
另一方面，於解碼處理中，將編碼資料進行解碼而讀取動態向量，執行加權動態補償。
加權係數的算出係能以任意畫像區域單位來進行。舉例而言，可列舉影格單位、片段單位、巨集區塊單位等。
由於不需要傳送係數，故加權動態預測所要的負擔(overhead)無論在哪個畫像區域單位皆不變。從而，越在小的畫像區域單位內進行加權係數的算出，越可提升加權動態預測之預測性能。
在此，舉以巨集區塊單位進行加權係數之算出的情形為例進行說明。但即使是巨集區塊以外的單位，也可藉由同樣的處理進行加權動態預測。另外，不受作為對象的訊號所限，無論是輝度訊號或色差訊號皆可同樣地進行處理。
依據本發明，由於可以任意局部區域為單位來進行加權係數的算出，故在因移動物體之陰影等而使畫像內之一部分的亮度變化時，也可藉由不傳送加權係數的內隱模式執行高精度的加權動態預測。
另外，在以往僅有外顯模式的P片段及B片段的L0/L1預測時，也可執行依據內隱模式的加權動態預測。
另外，藉由進行將正下圖層之亮度資訊納入考慮的補正，即使在含有閃光的畫像和非線性變化的淡化畫像般的於編碼/解碼處理對象影格與複數個預測參照影格間之亮度變化為非線形的畫像中，也可以內隱模式執行高精度的 加權動態預測。藉由如上所述的加權動態預測之性能提昇，可期待編碼效率的提昇。
以下對本發明之典型的處理進行說明。
[加權動態推定]
於加權動態推定中，係依編碼對象影格之預定單位的畫像區域(例如每個巨集區塊)探索在推定被參照影格內所整合的巨集區塊。
於前述探索之際，於每次變更探索對象巨集區塊時，即算出表示於兩影格的該區塊間之亮度變化的加權係數，且將以該加權係數補正探索對象巨集區塊之解碼訊號後的訊號作為整合判定用之比較訊號而加以活用。
之後，被判定為整合的巨集區塊即成為動態向量的參照目標，而成為動態補償中的被參照巨集區塊。
就整合之判定手段的一例而言，可列舉於非專利文獻1所示的編碼量與編碼失真間之拉格蘭治(Lagrangian)成本最小化所採用的判定手段。
[加權動態補償]
加權動態補償中，首先，於每個編碼/解碼對象巨集區塊讀取該區塊所具有的動態向量資訊。
接著，算出表示該動態向量所指目標的被參照巨集區塊、與編碼/解碼對象巨集區塊間之亮度變化的加權係數。
之後，將以該加權係數補正被參照巨集區塊之解碼訊號所得者作為編碼/解碼對象巨集區塊的預測訊號而加以 活用。
[加權係數之算出處理]
典型而言，係藉由以下的程序而算出可縮放編碼之加權動態推定及用於加權動態補償的加權係數。
於習知的內隱模式中，係封閉於一個圖層內，而藉由因應於從被參照影格起的距離之內插或外插而推定時間性亮度之變化，且算出加權係數。
於本發明中，係藉由於該時間性亮度變化之推定使用編碼/解碼對象之圖層正下方的圖層之巨集區塊解碼訊號之資訊，而提昇其推定精確度。
在說明程序之前，先整理於說明中所使用的記號。將該擴張圖層之編碼/解碼處理對象影格(以下稱補正對象影格)記為f；將P片段或B片段的L0預測之加權動態推定/補償被參照影格(以下稱被補正影格)記為f0 ；將B片段的L1預測之被補正影格記為f1 。
此外，將與補正對象影格f同時刻之正下圖層的影格記為g，將與被補正影格f0 同時刻之正下圖層的影格記為g0 ；將與被補正影格f1 同時刻之正下圖層的影格記為g1 。
另外，將代入於影格f的編碼/解碼處理對象區塊(以下稱補正對象區塊)之座標(i、j)的預測訊號值記為z(i,j)；另外，將於影格f0 的加權動態推定/補償被參照區塊(以下稱被補正區塊)的座標(i、j)的解碼訊號值記為y0 (i、j)。
另外，將於影格g的與影格f之補正對象區塊在空間 上位於同位置的區塊座標(i、j)的解碼訊號值記為x(i,j)，將使用預定的放大取樣過濾器(up sample filter)把該x(i、j)放大取樣至該擴張圖層之解析度的訊號值記為x’(i、j)。
同樣地，將於影格g0 的與影格f0 之被補正區塊在空間上位於同位置的區塊座標(i、j)的解碼訊號值記為x0 (i,j)，將使用預定的放大取樣過濾器把該x0 (i、j)放大取樣至該擴張圖層之解析度的訊號值記為x0 ’(i、j)。
y1 (i、j)、x1 (i、j)、x1 ’(i、j)之求法，係比照y0 (i、j)、x0 (i、j)、x0 ’(i、j)。
將以上所述圖示於第2圖。第2圖為該擴張圖層與正下圖層之解析度比係縱橫皆為2：1時的圖。在解析度比為2：1以外時也可進行同樣的處理。
另外，將於影格f0 的被補正區塊之直流成分值設為Y0 ，另外，將於影格g的與影格f之補正對象區塊於空間上位於同位置的區塊之直流成分值記為X。該等於第2圖之情形可如下述算出。
X0 、X0 ’、X1 、X1 ’、Y1 的求法，係比照X、Y0 。
<P片段及進行L0/L1預測之B片段的加權係數之算出方法>
在如P片段及進行L0/L1預測的B片段般的單一影格 預測時，預測訊號值z(i、j)係以如下所述地算出。
．P片段或L0預測B片段時z(i、j)＝w0 ．y0 (i、j)＋d0
．L1預測B片段時z(i、j)＝w1 ．y1 (i、j)＋d1 ………(3)
在此，列舉3個該加權係數w0 和d0 、或w1 和d1 的算出方法。
於以下所記的算出方法之說明，係以P片段或L0預測B片段之情形為例。於L1預測B片段時，只要將關於影格f0 及g0 的要件變更為關於影格f1 及g1 的要件即可。
3個算出方法係依據以下之假設。由於影格f與影格g為同時刻之資訊，故可以預測其訊號之亮度亦相近。因此，利用已知的影格g之亮度資訊，從被補正影格f0 間接地預測補正對象影格f之亮度變化。
[方法1－1]單一影格預測之使用直流成分的比例係數補正
本方法中係如以下所述地算出加權係數。
w0 ＝X/Y0 (4)
d0 ＝0 (5)
該第(4)式之X亦可置換成放大取樣訊號之直流成分值X’。更且，亦可置換為對於該X或X’使用被補正影格f0 與其正下圖層之影格g0 的直流成分之關係性補正後的成分。
就補正之例而言，可考量於X或X’乘算了被補正影格f0 的直流成分比Y0 /X0 的成分；或者於X或X’加算了被 補正影格f0 的直流成分差Y0 －X0 的成分。
[方法1－2]單一影格預測之使用直流成分的偏移係數補正
本方法中係如以下所述地算出加權係數。
w0 ＝1 (6)
d0 ＝X－Y0 (7)
與方法1－1相同的，該第(7)式之X亦可置換成放大取樣訊號之直流成分值X’。更且，亦可置換為對於該X或X’使用被補正影格f0 與其正下圖層之影格g0 的直流成分之關係性補正後的成分。補正方法之例係與方法1－1所述者相同。
[方法1－3]單一影格預測之使用最小二乘法的加權係數補正
本方法中係如以下所述地算出加權係數。又，於以下式中附有波紋號(~)的w0 、d0 係分別用以求出w0 、d0 的變數。
該第(8)式之X’(i、j)亦可置換為對於該X’(i、j)使用被補正影格f0 與其正下圖層之影格g0 的解碼訊號之關係性予以補正後的成分。就補正之例而言，可考慮於X’(i、j)乘算了被補正影格f0 之解碼訊號比y0 (i、j)/x0 ’(i、j) 的成分；或者於X’(i、j)加算了被補正影格f0 之解碼訊號差y0 (i、j)－x0 ’(i、j)的成分。
給予ε之最小值的加權係數(w0 、d0 )係可作為以下連立一次方程式之解而求得。
<雙預測B片段之加權係數的算出方法>
進行雙預測的B片段，其預測訊號值z(i、j)係如以下所述而算出。
z(i、j)＝w0 ．y0 (i、j)＋w1 ．y1 (i、j)＋d (12)
在此，列舉2個該加權係數w0 、w1 、d之算出方法。
2個算出方法係依據以下之假設。由於影格f與影格g為同時刻之資訊，故可預測其訊號之亮度接近。因此，係利用已知的影格g之亮度資訊，而從被補正影格f0 及f1 間接地預測補正對象影格f之亮度變化。
[方法2－1]雙預測之使用了直流成分區塊的加權係數補正
於本方法中，係如以下所述地算出加權係數。
w0 ＝1－w1 (13)
w1 ＝tb /td (14)
d＝X－w0 ．Y0 －w1 ．Y1 (15)
tb 係表示從被補正影格f0 至補正對象影格f為止的影格間距離，td 係表示從被補正影格f0 至被補正影格f1 為止的影格間距離。
該第(15)式之X亦可置換成放大取樣訊號之直流成分值X’。更且，亦可置換為對於該X或X’使用被補正影格f0 與其正下圖層之影格g0 的直流成分或被補正影格f1 與其正下圖層之影格g1 的直流成分補正後的成分。補正方法之例係與方法1－1所述者相同。
[方法2－2]雙預測之使用了最小二乘法的加權係數補正
於本方法中係如以下所述地算出加權係數。
該第(16)式之X’(i、j)亦可置換為對於該X’(i、j)使用被補正影格f0 與其正下圖層之影格g0 的解碼訊號或被補正影格f1 與其正下圖層之影格g1 的解碼訊號補正後的成分。就補正方法之例而言，係與方法1－3所述者相同。
給予ε之最小值的加權係數(w0 、w1 、d)係可作為以下連立一次方程式之解而求得。
[數式5]
於習知之H.264/AVC之加權動態預測中，係以片段為單位而切換加權係數，相對於此，本發明可用任意矩形區域單位算出加權係數，而提昇加權預測之精確度。
另外，於習知技術中，在進行單向預測之區塊的情形中有需要傳送加權係數資訊，相對於此，本發明即使在進行單向預測的區塊中，也可不傳送加權係數之資訊地執行高精確度的加權預測。
另外，於習知技術中，當對象影像之亮度為非線性變化時，若欲進行高精確度的加權預測，則即使是雙預測也有需要傳輸加權係數資訊，相對於此，本發明無論對象影像之時間性亮度變化呈現何種變化方式，也可以不需要傳送加權係數資訊地實現高精確度的加權預測。
尤其，上述[方法1－1]係於當預測參照區塊之解碼訊號與該區塊之原訊號的訊號值比於區塊內為一樣時，即可算出高精確度的加權係數而相當適合。
另外，於前述[方法1－2]，當預測參照區塊之解碼訊號與該區塊之原訊號的訊號值差分於區塊內為一樣時，可算出特別高精確度的加權係數而相當適合。
另外，上述[方法1－1]、[方法1－2]、[方法2－1]，係於 當包含於該區塊之原訊號的所有空間頻率成分、與正下圖層之空間上對應的區塊之插值訊號所含的空間頻率成分類似時，即可算出精確度較高的加權係數。
前述[方法1－3]、[方法2－2]，係僅於當包含於該區塊之原訊號的直流成分、與正下圖層之空間上對應的區塊之插值訊號所含的直流成分類似時，可算出精確度較高的加權係數。
[處理流程]
參照第3圖對本發明之編碼處理的實施形態進行說明。所說明的實施形態為對於一個巨集區塊的編碼處理。藉由將其對於所有的巨集區塊實施，而構成影像之編碼資料。
步驟S1：係進行該擴張圖層之該巨集區塊是否為加權動態預測之對象巨集區塊的判定處理，當為真時進行步驟S3之處理，當為假時則進行步驟S2的處理。
該判定處理雖例如依循預先定好的設定條件而進行，但於本實施形態中可任意選用任何條件。
步驟S2：依據於步驟S1之處理所輸出的該巨集區塊之預測模式資訊而進行預測訊號的生成。在此之預測方式可列舉畫面內預測、無加權的通常動態預測、以及圖層間預測。就各方式之預測方法的一例而言，可列舉於非專利文獻3中所示的JSVM之預測方法。
步驟S3：當該巨集區塊為加權動態預測之對象時，對於該巨集區塊讀入該巨集區塊之原訊號、其正下圖層的巨 集區塊解碼訊號、以及(在被參照影格的)探索對象巨集區塊之解碼訊號而進行加權動態推定，且輸出動態向量資訊。本處理之詳細係示於第5圖(於後詳述)。
步驟S4：將於步驟S3之處理所輸出的動態向量資訊以及正下圖層之巨集區塊解碼資訊予以讀取，而進行加權動態補償，且輸出加權動態預測訊號。本處理之詳細係示於第5圖(於後詳述)。
步驟S5：將由步驟S2或步驟S4之處理所輸出的預測訊號予以讀取，生成與該巨集區塊之原訊號的差分訊號，且進行該差分訊號的編碼。就該差分訊號之編碼處理的一例而言，可列舉於非專利文獻3所示的JSVM之編碼處理。
參照第4圖，對本發明之解碼處理的實施形態進行說明。所說明的實施形態係對於一個巨集區塊的解碼處理。藉由將其對於所有的巨集區塊實施，而構成影像的解碼訊號。
步驟S11：讀入關於該擴張圖層的該巨集區塊之預測模式的編碼資料，進行解碼處理，輸出預測模式資訊。
步驟S12：進行該擴張圖層的該巨集區塊是否為加權動態預測之對象巨集區塊的判定處理，當為真時進行步驟S14之處理，當為假時進行步驟S13之處理。
步驟S13：依據於步驟S11之處理所輸出的該巨集區塊之預測模式資訊而進行預測訊號之生成。在此的預測方式可列舉：畫面內預測、無加權之通常動態預測、以及圖層間預測。
步驟S14：當該巨集區塊為加權動態預測之對象巨集區塊時，讀取關於該巨集區塊之動態向量的編碼資料，進行解碼處理，輸出動態向量資訊。
步驟S15：讀取在步驟S14之處理所輸出的動態向量資訊、以及正下圖層之巨集區塊解碼訊號，進行加權動態補償，輸出加權動態預測訊號。本處理之詳細係示於第6圖(於後詳述)。
步驟S16：讀取由步驟S13或步驟S15之處理所輸出的預測訊號，將其與解碼後的預測殘差訊號加算，構成解碼訊號，且予以輸出。
針對本發明之加權動態推定(步驟S3)之實施形態，參照第5圖而進行說明。
步驟S21：讀入正下圖層之巨集區塊的解碼訊號、以及(被參照影格的)現在之探索對象巨集區塊的解碼訊號，算出兩巨集區塊間的加權係數，且予以輸出。本處理之詳細係示於第7圖(於後詳述)。
步驟S22：讀取由步驟S21之處理所輸出的加權係數資訊，將現在探索對象巨集區塊之解碼訊號以該加權係數予以補正，且輸出其訊號值。
步驟S23：算出藉由將由步驟S22之處理所輸出的訊號值、與該巨集區塊之原訊號間的編碼量與編碼失真所得的編碼成本，且予以輸出。
步驟S24：進行是否已對於應探索的所有巨集區塊進行過探索的判定處理，當為真時即進行步驟S26之處理， 當為假時即進行步驟S25之處理。
步驟S25：將處理對象移至下一個探索對象巨集區塊，且重複步驟S21以後之處理。
步驟S26：讀取由步驟S23之處理所輸出的編碼成本之資訊，選定於所探索的巨集區塊中編碼成本為最小的巨集區塊，且將此區塊與該區塊間之座標位置的差分作為動態向量而輸出。
參照第6圖’對本發明之加權動態補償(步驟S4、步驟S15)的實施形態進行說明。
步驟S31：將該巨集區塊之動態向量資訊讀取、輸出。關於該動態向量資訊，於編碼處理中的加權動態補償時係從加權動態推定部之輸出予以讀取；於解碼處理中的加權動態補償時係從動態向量之解碼處理部的輸出予以讀取。
步驟S32：讀取正下圖層之巨集區塊的解碼訊號、以及由步驟S31之處理所輸出的動態向量資訊，算出動態向量所指的被參照巨集區塊與該巨集區塊間的加權係數且予以輸出。本處理之詳細係示於第7圖(於後詳述)。
又，於編碼處理時，將於第5圖所示的加權推定處理所算出的加權係數與動態向量資訊一併記憶，而輸出該加權係數亦可。
步驟S33：讀取由步驟S32之處理所輸出的加權係數資訊，將被參照巨集區塊之解碼訊號以該加權係數予以補正，並輸出其訊號值。
對於本發明之加權係數算出處理(步驟S21、步驟S32) 之實施形態，參照第7圖進行說明。
步驟S41：進行是否判定成該巨集區塊所屬的片段為B片段、且進行雙預測的判定處理，當為真時即進行步驟S42之處理；當為假時則進行步驟S45之處理。
步驟S42：進行由外部所指定的該巨集區塊之加權係數算出方法是否為雙預測B片段的平方誤差最小化規範之加權係數補正方法的判定處理，當為真時進行步驟S43之處理，當為假時進行步驟S44之處理。
就從外部給予加權係數算出方法的指定資訊之一例而言，可考慮一開始即作為編碼處理之設定條件而規定，確保於圖片參數組(picture parameter set)內的方法；或藉由多重路徑(multi pass)處理而選擇最適合於每個片段者之方法。
步驟S43：將由2個被補正巨集區塊之解碼訊號所構成的補正訊號、與正下圖層之巨集區塊的補正訊號間的平方誤差最小化的加權係數算出且輸出。本處理之詳細係示於第8圖(於後詳述)。
步驟S44：從2個被補正影格與該影格間的影格間距離算出比例係數，從2個被補正巨集區塊之解碼訊號、與正下圖層之巨集區塊的解碼訊號之直流成分算出偏移係數，且將該等係數予以輸出。本處理之詳細係示於第9圖(於後詳述)。
步驟S45：進行由外部所指定的該巨集區塊之加權係數算出方法是否為P片段或L0/L1預測B片段的平方誤差 最小化規範之加權係數補正方法的判定處理，當為真時進行步驟S46的處理，當為假時進行步驟S47的處理。
就從外部給予加權係數算出方法的指定資訊之一例而言，與步驟S42相同地，可考慮一開始即作為編碼處理之設定條件而規定，確保於圖片參數組內的方法；或藉由多重路徑處理而選擇最適合於每個片段者之方法。
步驟S46：算出使由被補正巨集區塊之解碼訊號所構成的補正訊號、和正下圖層之巨集區塊之解碼訊號間的二乘誤差最小化的加權係數且予以輸出。本處理之詳細係示於第10圖(於後詳述)。
步驟S47：進行由外界所指定的該巨集區塊之加權係數算出方法是否為P片段或L0/L1預測B片段的直流成分規範之比例係數補正方法的判定處理，當為真時進行步驟S48的處理，當為假時進行步驟S49的處理。
就從外部給予加權係數算出方法的指定資訊之一例而言，與步驟S42及S45之處理相同地，可考慮一開始即作為編碼處理之設定條件而規定，確保於圖片參數組內的方法；或藉由多重路徑處理而選擇最適合於每個片段者之方法。
步驟S48：計算被補正巨集區塊之解碼訊號、與正下圖層之巨集區塊的解碼訊號之直流成分的比，且將其作為比例係數而輸出。本處理之詳細係示於第11圖(於後詳述)。
步驟S49：計算被補正巨集區塊之解碼訊號、與正下圖層之巨集區塊之解碼訊號的直流成分的差，且將其作為 偏移係數而予以輸出。本處理之詳細係示於第12圖(於後詳述)。
對於第7圖所示的步驟S43之處理的實施形態，參照第8圖進行說明。
步驟S51：讀取正下圖層之巨集區塊的解碼訊號與2個被補正巨集區塊之解碼訊號，且寫入緩衝區(buffer)。
步驟S52：從緩衝區讀取正下圖層巨集區塊之解碼訊號與2個被補正巨集區塊之解碼訊號，建立可給出由2個被補正巨集區塊之解碼訊號所構成的補正訊號、與正下圖層之巨集區塊的解碼訊號間之最小平方誤差的連立方程式，且寫入暫存器(register)。
步驟S53：從暫存器讀取於步驟S52之處理所算出的連立方程式，求出該連立方程式的解，算出比例係數與偏移係數且予以輸出。就連立方程式之解的求法之一例而言，可考慮高斯(Gauss)消去法。本處理係依據上述的第(16)式以及第(17)式。
參照第9圖，說明於第7圖所示的步驟S44之處理的實施形態。
步驟S61：讀取正下圖層之巨集區塊的解碼訊號、與2個被補正巨集區塊之解碼訊號，且寫入緩衝區。
步驟S62：從緩衝區讀取正下圖層之巨集區塊的解碼訊號、與2個被補正巨集區塊之解碼訊號，計算正下圖層之巨集區塊的解碼訊號與2個被補正巨集區塊之解碼訊號的直流成分，且寫入暫存器。
步驟S63：從暫存器讀取於步驟S62之處理中所算出的直流成分的值，且從參照影格間距離算出比例係數、依從上述第(13)式至第(15)式算出偏移係數，且予以輸出。
參照第10圖，說明於第7圖所示之步驟S46之處理的實施形態。
步驟S71：讀取正下圖層之巨集區塊的解碼訊號和被補正巨集區塊的解碼訊號，且寫入緩衝區。
步驟S72：從緩衝區讀取正下圖層之巨集區塊的解碼訊號與被補正巨集區塊之解碼訊號，建立可給出由被補正巨集區塊之解碼訊號所構成的補正訊號、與正下圖層之巨集區塊的解碼訊號間的最小平方誤差的連立方程式，將其寫入暫存器。
步驟S73：從暫存器讀取以步驟S72之處理所算出的連立方程式，求出該連立方程式的解，算出比例係數與偏移係數且予以輸出。就連立方程式之解的求法之一例而言，可考慮高斯消去法。本處理係依循上述第(8)式及第(9)式。
參照第11圖，說明於第7圖所示的步驟S48之處理的實施形態。
步驟S81：讀取正下圖層之巨集區塊之解碼訊號與被補正巨集區塊之解碼訊號，且寫入緩衝區。
步驟S82：從緩衝區讀取正下圖層之巨集區塊之解碼訊號與被補正巨集區塊之解碼訊號，且計算正下圖層之巨集區塊之解碼訊號與被補正巨集區塊之解碼訊號的直流成 分，且寫入暫存器。
步驟S83：從暫存器讀取在步驟S82之處理所算出的直流成分之值，算出兩直流成分之比作為比例係數，將偏移係數設定為零，且予以輸出。本處理係依循上述第(4)式及第(5)式。
參照第12圖，說明於第7圖所示的步驟S49之處理的實施形態。
步驟S91：讀取正下圖層之巨集區塊的解碼訊號與被補正區塊的解碼訊號，寫入緩衝區。
步驟S92：從緩衝區讀取正下圖層之巨集區塊之解碼訊號與被補正巨集區塊之解碼訊號，計算正下圖層之巨集區塊之解碼訊號與被補正巨集區塊之解碼訊號的直流成分，且寫入暫存器。
步驟S93：從暫存器讀取在步驟S92之處理所算出的直流成分的值，將兩直流成分的差算出作為偏移係數，將比例係數設為1，且予以輸出。本處理係依循上述第(6)式及第(7)式。
[處理裝置]
於第13圖示有本發明之編碼裝置的構成例。第13圖為對於一個巨集區塊的編碼裝置圖。
預測方法判定部101：讀取該巨集區塊之預測方式的指定資訊，依據該指定資訊，當為畫面內預測時則移至畫面內預測部102；為無加權的通常動態預測時則移至無加權動態預測部103；當為圖層間預測時則移至圖層間預測 部104；當為加權動態預測時則移至加權動態推定部105。
畫面內預測部102：讀取編碼對象影格之原訊號及解碼訊號，執行畫面內預測而作成預測訊號，將該預測訊號輸出至預測殘差訊號生成部107。就畫面內預測之方法的一例而言，可列舉於非專利文獻3所示的JSVM之畫面內預測。
無加權動態預測部103：讀取編碼對象影格之原訊號及被參照影格之解碼訊號，執行未加權的通常動態預測而作成預測訊號，將該預測訊號輸出至預測殘差訊號生成部107。就無加權動態預測方法之一例而言，可列舉於非專利文獻3所示的JSVM之無加權動態預測。
圖層間預測部104：讀取編碼對象影格之原訊號及正下圖層之解碼訊號，執行圖層間預測而作成預測訊號，且將該預測訊號輸出至預測殘差訊號生成部107。就圖層間預測之方法的一例而言，可列舉於非專利文獻3所示的JSVM之圖層間預測。
加權動態推定部105：讀取編碼對象影格之原訊號、從該擴張圖層解碼訊號記憶部110所輸出的被參照影格之解碼訊號、以及從正下圖層解碼訊號記憶部111所輸出的正下圖層之解碼訊號，而實行加權動態推定，生成動態向量，將該動態向量資訊輸出至加權動態補償部106。本部分之詳細構成係示於第15圖(於後詳述)。
加權動態補償部106：讀取從該擴張圖層解碼訊號記憶部110所輸出的被參照影格之解碼訊號、以及從正下圖 層解碼訊號記憶部111所輸出的正下圖層之解碼訊號，執行動態加權補償，而生成預測訊號，將該預測訊號輸出至預測殘差訊號生成部107。本部分之詳細構成係示於第16圖(於後詳述)。
預測殘差訊號生成部107：讀取編碼對象影格之原訊號、以及從畫面內預測部102或無加權動態預測部103或圖層間預測部104或加權動態補償部106所輸出的預測訊號，生成該等之差分訊號而輸出至預測殘差訊號編碼部108。
預測殘差訊號編碼部108：讀取由預測殘差訊號生成部107所輸出的預測殘差訊號，進行編碼處理，作為編碼資料而輸出。另外，同時地為了將該編碼資料輸入至解碼部109，而預先進行緩衝(buffering)。就該預測殘差訊號之編碼處理的一例而言，可列舉於非專利文獻3所示的JSVM之正交變換、量化、可變長度編碼的一連串之處理的應用。
解碼部109：從前述緩衝區讀取編碼資料，進行解碼處理，將所得的解碼訊號輸出至該擴張圖層解碼訊號記憶部110。於該解碼處理可應用本發明之解碼處理。進行解處理的解碼裝置之詳細係示於第14圖(於後詳述)。
正下圖層解碼訊號記憶部111：讀取藉由正下圖層編碼資訊之解碼處理所得的解碼訊號，且輸出至緩衝區。
於第14圖示有依據本發明的解碼裝置。第14圖係對於該擴張圖層的一個巨集區塊的解碼裝置圖。
預測模式解碼部201：讀取關於該巨集區塊之預測模 式的編碼資料，進行其解碼處理，且將預測模式資訊輸出至預測模式記憶部202。
預測方法判定部203：從預測模式記憶部202讀取預測模式資訊，且依據該指定資訊，當為畫面內預測時則選擇畫面內預測部204為連接目標；當為無加權的通常動態預測時則選擇無加權動態預測部205為連接目標；當為圖層間預測時則選擇圖層間預測部206為連接目標；當為加權動態預測時則選擇動態向量資訊解碼部207為連接目標。
畫面內預測部204：讀取編碼對象影格之原訊號以及解碼訊號，實行畫面內預測而作成預測訊號，且將該預測訊號輸出至解碼訊號生成部213。
無加權動態預測部205：讀取編碼對象影格之原訊號以及被參照影格之解碼訊號，執行未加權的通常動態預測而作成預測訊號，將該預測訊號輸出至解碼訊號生成部213。
圖層間預測部206：讀取編碼對象影格之原訊號以及正下圖層之解碼訊號，執行圖層間預測而作成預測訊號，將該預測訊號輸出至解碼訊號生成部213。
動態向量資訊解碼部207：讀取關於該巨集區塊之動態向量的編碼資料，進行其解碼處理，將動態向量資訊輸出至動態向量資訊記憶部208。
加權動態補償部209：讀取從該擴張圖層解碼訊號記憶部214所輸出的被參照影格之解碼訊號、以及從正下圖 層解碼訊號記憶部210所輸出的正下圖層之解碼訊號，而執行加權動態補償，生成預測訊號，且將該預測訊號輸出至解碼訊號生成部213。本部分之詳細構成係示於第16圖(於後詳述)。
正下圖層解碼訊號記憶部210：讀取由正下圖層之編碼資訊解碼處理所得的解碼訊號，且寫入緩衝區。
殘差訊號解碼部211：讀取關於該巨集區塊之殘差訊號的編碼資料，且進行其解碼處理，將殘差訊號輸出至殘差訊號記憶部212。
解碼訊號生成部213：讀取從畫面內預測部204或無加權動態預測部205或圖層間預測部206或加權動態補償部209所輸出的預測訊號，且將該等訊號與從殘差訊號記憶部212所讀取的殘差訊號合成，生成解碼訊號而輸出至外部。此外，同時於該擴張圖層解碼訊號記憶部214也寫入解碼訊號214。
將於第13圖所示的加權動態推定部105之裝置構成例示於第15圖。第15圖為對於該擴張圖層之一個巨集區塊的加權動態推定裝置圖。
探索對象區塊設置部301：讀取屬於該擴張圖層解碼訊號的被參照影格之解碼訊號，確認為動態推定探索對象的巨集區塊，而將該巨集區塊之解碼訊號輸出至加權係數算出部302。
加權係數算出部302：讀取從探索對象區塊設置部301所輸出的探索對象巨集區塊之解碼訊號、以及正下圖層區 塊之解碼訊號，算出表示兩區塊間之亮度變化的加權係數，且輸出至加權係數記憶部303。
加權動態推定訊號生成部304：從加權係數記憶部303讀取加權係數，將該探索對象區塊之解碼訊號以加權係數補正，且將該補正訊號輸出至加權動態推定訊號記憶部305。
編碼成本算出部306：從加權動態推定訊號記憶部305讀取加權動態推定訊號，進行算出相對於該巨集區塊之原訊號的編碼成本，且將該編碼成本輸出至編碼成本記憶部307。
探索完了判定部308：進行於該巨集區塊的被參照影格內之加權動態推定探索是否已對於被指定的所有探索範圍內進行過的判定處理，當為真時將被參照區塊決定部309選為連接目標，當為假時將探索對象區塊設置部301選為連接目標。
被參照區塊決定部309：從編碼成本記憶部307讀取對於所有探索對象巨集區塊的編碼成本資料群，將使編碼成本為最小的探索對象巨集區塊決定為被參照區塊，將該被參照區塊與該巨集區塊之座標位置的差分作為動態向量資訊而輸出。
於第13圖所示的加權動態補償部106及於第14圖所示的加權動態補償部209之裝置構成例係示於第16圖。第16圖為對於該擴張圖層之一個巨集區塊的加權動態補償裝置圖。
被參照區塊訊號設置部401：讀取屬於該擴張圖層解碼訊號的被參照影格之解碼訊號及動態向量資訊，確認為被參照巨集區塊，且將該巨集區塊之訊號輸出至加權係數算出部402。
該動態向量資訊係於當本加權動態補償部被設置於編碼裝置內時由加權動態推定部105(第13圖)所給予；而當設置於解碼裝置內時，則由記憶了解碼後的動態向量資訊的動態向量資訊記憶部208(第14圖)所給予。
加權係數算出部402：讀取從被參照區塊訊號設置部401所輸出的被參照巨集區塊之解碼訊號、以及正下圖層區塊之解碼訊號，算出表示兩區塊間之亮度變化的加權係數，輸出至加權係數記憶部403。又，於編碼處理之加權動態補償時，亦可將藉由於第13圖所示的加權推定處理部105所算出的加權係數與動態向量資訊一併記憶，且將該加權係數輸出至加權係數記憶部403。
加權動態預測訊號生成部404：從加權係數記憶部403讀取加權係數，將被參照區塊之解碼訊號以加權係數補正，且將該補正訊號輸出至加權動態預測訊號記憶部405。
於第15圖所示的加權係數算出部302及於第16圖所示的加權係數算出部402之裝置構成例係示於第17圖。第17圖係對於該擴張圖層的一個巨集區塊的加權係數算出裝置圖。
加權係數算出方法判定部501：依據由外部所指定的該巨集區塊之加權係數算出方法，連接於執行該算出處理 的處理部。
就從外部給予加權係數算出方法之指定資訊的方法之一例而言，可考慮一開始即將其規定為編碼處理的設定條件而確保於圖片參數組內的方法；或藉由多重路徑處理而選擇最適合於每個片段者之方法。
雙預測平方誤差最小化規範加權係數補正處理部502：讀取2個被補正巨集區塊之解碼訊號及補正對象巨集區塊之正下圖層的解碼訊號，使用最小二乘法算出加權係數且輸出。本部分之詳細裝置圖係示於第18圖。本處理係依循前述第(16)及(17)式。
雙預測直流成分規範加權係數補正處理部503：讀取2個被補正巨集區塊之解碼訊號及補正對象巨集區塊之正下圖層的解碼訊號，利用該等的直流成分的值算出加權係數且予以輸出。本部分之詳細裝置圖係示於第19圖。本處理係依循前述第(13)至(15)式。
單一影格預測平方誤差最小化規範加權係數補正處理部504：讀取1個被補正巨集區塊之解碼訊號、及補正對象巨集區塊之正下圖層的解碼訊號，計算出使由被補正巨集區塊之解碼訊號所構成的補正訊號、與補正對象巨集區塊之正下圖層之解碼訊號間的平方誤差為最小的加權係數，且將其輸出。本處理係依循前述第(8)式及第(9)式。
單一影格預測直流成分規範比例係數補正處理部505：讀取1個被補正巨集區塊之解碼訊號、以及補正對象巨集區塊之正下圖層的解碼訊號，計算各區塊之直流成 分，而算出兩直流成分的比作為比例係數，且予以輸出。本處理係依循前述第(4)式及第(5)式。
單一影格預測直流成分規範偏移補正處理部506：讀取1個被補正巨集區塊之解碼訊號、及補正對象巨集區塊之正下圖層的解碼訊號，計算各區塊的直流成分，而算出兩直流成分之差作為偏移係數，且將其輸出。本處理係依循前述第(6)式及第(7)式。
第18圖係顯示有於第17圖所示的雙預測平方誤差最小化規範加權係數補正處理部502之裝置構成例。以下，係參照第18圖說明雙預測平方誤差最小化規範加權係數補正處理部502所進行的處理。
連立方程式建立部601：從緩衝區讀取正下圖層巨集區塊之解碼訊號、和2個被補正巨集區塊之解碼訊號，建立可給出由2個被補正巨集區塊之解碼訊號(被參照解碼訊號)所構成的補正訊號、與正下圖層之巨集區塊解碼訊號間的最小平方誤差的連立方程式，且輸出至連立方程式求解部602。
連立方程式求解部602：將從連立方程式建立部601所輸出的連立方程式輸入，求出該連立方程式的解，算出比例係數與偏移係數，且予以輸出。就連立方程式之解的求法的一例而言，可考慮高斯消去法。本處理係依循前述第(16)式及第(17)式。
第19圖係顯示有於第17圖所示的雙預測直流成分規範加權係數補正處理部503之裝置構成例。以下，係參照第19圖而說明雙預測直流成分規範加權係數補正處理部503進行的處理。
正下圖層解碼訊號直流成分算出部701：從緩衝區讀取正下圖層巨集區塊之解碼訊號，算出其直流成分且寫入暫存器。
被參照解碼訊號1直流成分算出部702：從緩衝區讀取1個被補正巨集區塊的解碼訊號，算出其直流成分且寫入暫存器。
被參照解碼訊號2直流成分算出部703：從緩衝區讀取與藉由被參照解碼訊號1直流成分算出部702所處理的被補正巨集區塊不同的另一方被補正巨集區塊的解碼訊號，算出其直流成分且寫入暫存器。
比例係數算出部704：讀取參照影格編號，算出比例係數，且輸出至比例係數記憶部705。
偏移係數算出部706：從暫存器輸入各直流成分、從比例係數記憶部705輸入比例係數，而算出偏移係數，且輸出至偏移係數記憶部707。偏移係數之算出方法係依循第(13)式至第(15)式。
第20圖係顯示有於第17圖所示的單一影格預測平方誤差最小化規範加權係數補正處理部504之裝置構成例。以下，參照第20圖說明單一影格預測平方誤差最小化規範加權係數補正處理部504進行的處理。
連立方程式建立部801：從緩衝區讀取正下圖層巨集區塊之解碼訊號、與被補正巨集區塊的解碼訊號，建立可給出由被補正巨集區塊之解碼訊號所構成的補正訊號、與正下圖層之巨集區塊解碼訊號間的最小平方誤差的連立方程式，且輸出至連立方程式求解部802。
連立方程式求解部802：讀取從連立方程式建立部801所輸出的連立方程式，求出該連立方程式的解，算出比例係數與偏移係數，且予以輸出。就連立方程式之解的求法的一例而言，可考慮高斯消去法。本處理係依循前述第(8)式及第(9)式。
第21圖係顯示有於第17圖所示的單一影格預測直流成分規範比例係數補正處理部505之裝置構成例。以下，參照第21圖說明單一影格預測直流成分規範比例係數補正處理部505進行的處理。
正下圖層解碼訊號直流成分算出部901：從緩衝區讀取正下圖層巨集區塊之解碼訊號，算出其直流成分，且寫入暫存器。
被參照解碼訊號直流成分算出部902：從緩衝區讀取被補正巨集區塊之解碼訊號，算出其直流成分，且寫入暫存器。
比例係數算出部903：從暫存器讀取2個直流成分的值，將兩直流成分之比算出而作為比例係數，且予以輸出。本處理係依循前述第(4)式及第(5)式。
第22圖係顯示有於第17圖所示的單一影格預測直流 成分規範偏移補正處理部506之裝置構成例。以下，係參照第22圖說明單一影格預測直流成分規範偏移補正處理部506進行的處理。
正下圖層解碼訊號直流成分算出部1001：從緩衝區讀取正下圖層巨集區塊之解碼訊號，算出其直流成分，且寫入暫存器。
被參照解碼訊號直流成分算出部1002：從緩衝區讀取被補正巨集區塊之解碼訊號，算出其直流成分，且寫入暫存器。
偏移係數算出部1003：從暫存器讀取2個直流成分的值，將兩直流成分之差算出而作為偏移係數，且予以輸出。本處理係依循前述第(6)式及第(7)式。
以上所說明的動畫像可縮放編碼及解碼處理，不僅可藉由硬體或韌體(firmware)而實現，也可藉由電腦和軟體程式而實現，該程式可藉由可供電腦讀取的記錄媒體而提供，也可經由網路而提供。
[實驗]
為了驗證本發明之效果，於JSVC參照軟體JSVM8.0(參照非專利文獻3)配置依據本發明的手法，進行本手法與JSVM之內隱模式的比較。但兩手法則於解碼器進行多重循環解碼(multi loop decode)。另外，兩手法皆將動態推定限定於整數精度而實施。在如上所述之條件下，對於淡化畫像和閃光畫像驗證其效果。
以下所示雖為於雙預測B片段的加權係數算出方法 中，以被說明為[方法2－1]的使用雙預測之直流成分區塊的加權係數補正之實驗例，但在使用依據本發明之其他方法時也同樣可獲得良好的結果。
<對於淡化畫像的驗證結果>
於第2表示有實驗條件。
於3種的JSVC標準畫像使用於33張間賦予了白色淡入的畫像(淡化(混合)畫像)。白淡入混合畫像係作成如下式作成。
g(t)＝(1－f(t))a(t)＋f(t)b(t)
在此，g(t)為淡化混合畫像，a(t)為白的單一色畫像，b(t)為原畫像，f(t)為混合係數之算出函數。
本實驗係於f(t)準備了以f(t)＝t/T變化的線性淡化(Linear Fade)、以及以f(t)＝(t/T)2 變化的二次淡化(Quadratic Fade)2種。T係指淡化區間。以淡化部分的33枚作為編碼對象，1影格係對應於1片段。
於第3表示有實驗結果。
使用於下述文獻所示的Bjontegaard Delta作為性能評價之指標(文獻：G.Bjontegaard：“Calculation of average PNSR differences between RD－curves”,ITU－T SG16 Q.6,VCEG,VCEG－M33,pp.1－4,2001)。此乃為用以計算2個RD曲線間之編碼量與PSNR(Peak Signal to Noise Ratio，峰值信噪比)之差分值的一個手法。
於第3表，係將於B圖片的比JSVM的(依據本發明之手法時的)編碼量增加率設為BD－位元(bit)，PSNR增加量設為BD－信噪比(snr)。於線性淡化之畫像中，實現了平均0.59%的編碼量削減，0.019dB的信噪比改善；於二次淡化之畫像中，實現了平均4.92%的編碼量削減，0.166dB的信噪比改善。
於第23圖示有於賦予了二次淡化的JSVC標準畫像“城市”之B圖片的BD－位元的時間性變化。
另外，於第24圖示有將“城市”之淡化混合畫像之平均 輝度值(Ave.of Lum.)與其混合畫像以QP(量化參數)24編碼之際的平均偏移係數(Ave.of offset)的時間性變化。
由於其係採取階層式的B圖片構造，故越是時間位階低的B影格其與參照訊號間的輝度變化也與線性乖離，而使本手法之效果提高。
從第23圖之結果也可確認，於時間位階低的B影格中，實現了超過10%的大幅編碼量削減。
另外，由第24圖可知，於該情形中，偏移係數的值也算出了非為零的值，而證實了偏移係數可良好地補正輝度變化。
<對於閃光畫像的驗證結果>
使用JSVC標準畫像之船員(Crew)，進行300張的編碼作為閃光畫像。GOP(group of pictures，圖片組)設為8。其他的實驗條件則以如第2表所記載之條件進行。
於第25圖示有閃光畫像的B圖片之BD－位元的時間性變化，於第26圖示有原畫像之平均輝度與以QP24進行編碼之際的平均偏移係數之時間性變化。
在第26圖，平均輝度值急速變化的影格即為含有閃光的影格(以下稱閃光影格)。另外，不應用本發明之內隱模式的影格之偏移係數為零。
由第25圖可知，對於閃光影格及其附近實現了約10%左右(最大36.2%)的編碼量削減。順序之B圖片全體的BD－位元為－1.14%，BD－信噪比為0.043dB。
若比對輝度訊號和偏移係數，則與BD－位元之變化相 同地，可知於閃光影格及其附近會算出非零的偏移係數。
對於閃光影格視輝度之增加份量而分配正偏移係數。其附近為預測參照閃光影格的影格，其因參照輝度高的閃光影格所致的與線性預測之乖離則藉由負的偏移係數予以補正。
由上可知所算出的偏移係數對於閃光畫像也可良好地補正其輝度變化。
(產業上的可利用性)
依據本發明，由於可在任意的局部區域單位進行加權係數的算出，故即使在因移動物體之陰影等而使畫像內之一部分亮度變化時，也可藉由不傳送加權係數的內隱模式而執行高精確度的加權動態預測。
另外，即使在習知的只存有外顯模式的P片段及B片段之L0/L1預測時，也可藉由內隱模式進行加權動態預測。
另外，藉由進行考慮了正下圖層之亮度資訊的補正，即使在含有閃光的畫像或非線性變化之淡入畫像等編碼/解碼處理對象影格與複數個預測參照影格間的亮度變化為非線性的畫像中，也能以內隱模式執行高精確度的加權動態預測。藉由如上所述的加權動態預測之性能提昇，而可期待編碼效率的提昇。
101‧‧‧預測方法判定部
102‧‧‧畫面內預測部
103‧‧‧無加權動態預測部
104‧‧‧圖層間預測部
105‧‧‧加權動態推定部
106‧‧‧加權動態補償部
107‧‧‧預測殘差訊號生成部
108‧‧‧預測殘差訊號編碼部
109‧‧‧解碼部
110‧‧‧該擴張圖層解碼訊號記憶部
111‧‧‧正下圖層解碼訊號記憶部
201‧‧‧預測模式解碼部
202‧‧‧預測模式記憶部
203‧‧‧預測方法判定部
204‧‧‧畫面內預測部
205‧‧‧無加權動態預測部
206‧‧‧圖層間預測部
207‧‧‧動態向量資訊解碼部
208‧‧‧動態向量資訊記憶部
209‧‧‧加權動態補償部
210‧‧‧正下圖層解碼訊號記憶部
211‧‧‧殘差訊號解碼部
212‧‧‧殘差訊號記憶部
213‧‧‧解碼訊號生成部
214‧‧‧該擴張圖層解碼訊號記憶部
301‧‧‧探索對象區塊設置部
302‧‧‧加權係數算出部
303‧‧‧加權係數記憶部
304‧‧‧加權動態推定訊號生成部
305‧‧‧加權動態推定訊號記憶部
306‧‧‧編碼成本算出部
307‧‧‧編碼成本記憶部
308‧‧‧探索完了判定部
309‧‧‧被參照區塊決定部
401‧‧‧被參照區塊訊號設置部
402‧‧‧加權係數算出部
403‧‧‧加權係數記憶部
404‧‧‧加權動態預測訊號生成部
405‧‧‧加權動態預測訊號記憶部
501‧‧‧加權係數算出方法判定部
502‧‧‧雙預測平方誤差最小化規範加權係數補正處理部
503‧‧‧雙預測直流成分規範加權係數補正處理部
504‧‧‧單一影格預測平方誤差最小化規範加權係數補正處理部
505‧‧‧單一影格預測直流成分規範比例係數補正處理部
506‧‧‧單一影格預測直流成分規範偏移補正處理部
601‧‧‧連立方程式建立部
602‧‧‧連立方程式求解部
701‧‧‧正下圖層解碼訊號直流成分算出部
702‧‧‧被參照解碼訊號1直流成分算出部
703‧‧‧被參照解碼訊號2直流成分算出部
704‧‧‧比例係數算出部
705‧‧‧比例係數記憶部
706‧‧‧偏移係數算出部
707‧‧‧偏移係數記憶部
801‧‧‧連立方程式建立部
802‧‧‧連立方程式求解部
901‧‧‧正下圖層解碼訊號直流成分算出部
902‧‧‧被參照解碼訊號直流成分算出部
903‧‧‧比例係數算出部
1001‧‧‧正下圖層解碼訊號直流成分算出部
1002‧‧‧被參照解碼訊號直流成分算出部
1003‧‧‧偏移係數算出部
第1圖為說明H.264/AVC的加權動態預測(內隱模式)的圖。
第2圖為說明本發明之加權動態預測的圖。
第3圖為表示本發明之一實施形態的編碼處理流程的圖。
第4圖為表示本發明之一實施形態的解碼處理流程的圖。
第5圖為表示編碼處理的加權動態推定處理之流程圖。
第6圖為表示編碼及解碼處理的加權動態補償處理之流程圖。
第7圖為表示編碼及解碼處理的加權係數算出處理之流程圖。
第8圖為表示步驟S43(第7圖)之詳細處理流程的圖。
第9圖為表示步驟S44(第7圖)之詳細處理流程的圖。
第10圖為表示步驟S46(第7圖)之詳細處理流程的圖。
第11圖為表示步驟S48(第7圖)之詳細處理流程的圖。
第12圖為表示步驟S49(第7圖)之詳細處理流程的圖。
第13圖為表示本發明之一實施形態的編碼裝置之構成例圖。
第14圖為表示本發明之一實施形態的解碼裝置之構成例圖。
第15圖為表示加權動態推定部之裝置構成例的圖。
第16圖為表示加權動態補償部之裝置構成例的圖。
第17圖為表示加權係數算出部之裝置構成例的圖。
第18圖為表示雙預測平方誤差最小化規範加權係數補正處理部部之裝置構成例圖。
第19圖為表示雙預測直流成分規範加權係數補正處理部之裝置構成例圖。
第20圖為表示單一影格預測平方誤差最小化規範加權係數補正處理部之裝置構成例圖。
第21圖為表示單一影格預測直流成分規範比例係數補正處理部之裝置構成例圖。
第22圖為表示單一影格預測直流成分規範偏移補正處理部之裝置構成例圖。
第23圖為表示淡化畫像的BD－位元變化(實驗例)的圖。
第24圖為表示淡化畫像的平均輝度值和平均偏移係數之變化(實驗例)的圖。
第25圖為表示閃光畫像的BD－位元之變化(實驗例)的圖。
第26圖為表示閃光畫像的平均輝度值與平均偏移係數之變化(實驗例)的圖。
101‧‧‧預測方法判定部
102‧‧‧畫面內預測部
103‧‧‧無加權動態預測部
104‧‧‧圖層間預測部
105‧‧‧加權動態推定部
106‧‧‧加權動態補償部
107‧‧‧預測殘差訊號生成部
108‧‧‧預測殘差訊號編碼部
109‧‧‧解碼部
110‧‧‧該擴張圖層解碼訊號記憶部
111‧‧‧正下圖層解碼訊號記憶部

Claims (36)

  1. 一種動畫像可縮放編碼方法，係利用插補處理從低空間解析度的正下圖層訊號預測且編碼高空間解析度的上位圖層訊號者，其係具有：在依每個預定單位的畫像區域，進行推定上位圖層之編碼對象畫像區域與被參照畫像區域間之動態的探索處理之際，係算出以正下圖層的與編碼對象畫像區域在空間上存在於同位置的畫像區域和被參照畫像區域間之間的亮度變化為根據的第1加權係數的步驟；將前述被參照畫像區域之解碼訊號之以前述第1加權係數補正後之訊號作為動態推定的推定訊號而進行動態推定，且算出動態向量的步驟；讀取所算出的動態向量，算出以該動態向量所指的被參照畫像區域、和正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域間之亮度變化為根據的第2加權係數的步驟；以及將前述動態向量所指的被參照圖像區域之解碼訊號之以前述第2加權係數補正後之訊號作為動態補償的補償訊號，使其為前述編碼對象畫像區域的預測訊號的步驟。
  2. 如申請專利範圍第1項之動畫像可縮放編碼方法，於算出前述各加權係數的步驟中，當前述被參照畫像區域為1個時，將被參照畫像區域之直流成分、和正下圖層的與編碼對象畫像區域在空間上存在於相同位 置的畫像區域之直流成分的比視為比例係數，且將偏移係數設為零，藉此算出前述加權係數。
  3. 如申請專利範圍第1項之動畫像可縮放編碼方法，於算出前述各加權係數的步驟中，當前述被參照畫像區域為1個時，將被參照畫像區域之直流成分、和正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分的差分視為偏移係數，且將比例係數設為1，藉此算出前述加權係數。
  4. 如申請專利範圍第1項之動畫像可縮放編碼方法，其中，於算出前述各加權係數的步驟中，當前述被參照畫像區域為1個時，以使將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止的訊號、與將被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  5. 如申請專利範圍第1項之動畫像可縮放編碼方法，其中，於算出前述各加權係數的步驟中，當前述被參照畫像區域為2個時，因應編碼對象畫像區域與各被參照畫像區域間的影格間距離而算出比例係數，藉由從正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，減去對於2個被參照畫像區域之直流成分乘算比例係數後的值而算出偏移係數，且予以設為前述加權係數。
  6. 如申請專利範圍第1項之動畫像可縮放編碼方法，其中， 於算出前述各加權係數的步驟中，當前述被參照畫像區域為2個時，以使將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止的訊號、與將2個被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  7. 如申請專利範圍第2項及第3項中任一項之動畫像可縮放編碼方法，其中，使用下述任一種成分代替前述正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，而進行前述加權係數之算出：將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域放大取樣後的畫像區域之直流成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，用被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，用被參照畫像區域和其正下圖層的畫像區域之放大取樣後之畫像區域的直流成分的關係性予以補正後的成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直 流成分，用被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；及將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用被參照畫像區域和其正下圖層之畫像區域之放大取樣後的畫像區域之直流成分的關係性予以補正後的成分。
  8. 如申請專利範圍第5項之動畫像可縮放編碼方法，其中，使用下述任一種成分代替前述正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，而進行前述加權係數之算出：將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域放大取樣後的畫像區域之直流成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，用任一個被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，用任一個被參照畫像區域和其正下圖層畫像區域之放大取樣後的畫像區域之直流成分的關係性予以補正後的成分；將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直 流成分，用任一個被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；及將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用任一個被參照畫像區域和其正下圖層畫像區域之放大取樣後的畫像區域之直流成分的關係性予以補正後的成分。
  9. 如申請專利範圍第4項之動畫像可縮放編碼方法，其中：使用下述任一種訊號代替將前述正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止的訊號，而進行前述加權係數之算出：將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，用被參照畫像區域和其正下圖層畫像區域之解碼訊號的關係性予以補正後的訊號；及將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，用被參照畫像區域和其正下圖層畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號之關係性予以補正後的訊號。
  10. 如申請專利範圍第6項之動畫像可縮放編碼方法，其中， 使用下述任一種訊號代替前述正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，而進行前述加權係數之算出：將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號，用任一個被參照畫像區域和其正下圖層畫像區域之解碼訊號的關係性予以補正後的訊號；及將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號，用任一個被參照畫像區域和其正下圖層畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號的關係性予以補正後的訊號。
  11. 一種動畫像可縮放解碼方法，係使用插補處理而從低空間解析度的正下圖層訊號預測且解碼出高空間解析度的上位圖層訊號者，其係具有：依每預定單位之畫像區域將編碼資料予以解碼，讀取解碼後的動態向量，算出以上位圖層之解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域、和前述動態向量所指的被參照畫像區域之間的亮度變化為根據的加權係數的步驟；及將前述動態向量所指的被參照畫像區域之解碼訊 號以前述加權係數補正後之訊號作為動態補償的補償訊號，使其為前述解碼對象畫像區域之預測訊號的步驟。
  12. 如申請專利範圍第11項之動畫像可縮放解碼方法，其中，於算出前述加權係數的步驟中，當前述被參照畫像區域為1個時，將被參照畫像區域之直流成分、和解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分的比視為比例係數，且將偏移係數設為零，藉此算出前述加權係數。
  13. 如申請專利範圍第11項之動畫像可縮放解碼方法，其中，於算出前述加權係數的步驟中，當前述被參照畫像區域為1個時，將被參照畫像區域之直流成分、和解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分的差分視為偏移係數，且將比例係數設為1，藉此算出前述加權係數。
  14. 如申請專利範圍第11項之動畫像可縮放解碼方法，其中，於算出前述加權係數的步驟中，當前述被參照畫像區域為1個時，以使將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間 的平方誤差為最小的方式算出前述加權係數。
  15. 如申請專利範圍第11項之動畫像可縮放解碼方法，其中，於算出前述加權係數的步驟中，當前述被參照畫像區域為2個時，因應解碼對象畫像區域與各被參照畫像區域的影格間距離而算出比例係數，藉由從解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，減去對於2個被參照畫像區域之直流成分乘算比例係數後的值而算出偏移係數，且予以設為前述加權係數。
  16. 如申請專利範圍第11項之動畫像可縮放解碼方法，其中，於算出前述加權係數的步驟中，當前述被參照畫像區域為2個時，以使將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將2個被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  17. 如申請專利範圍第12項及第13項中任一項之動畫像可縮放解碼方法，其中，使用下述任一種成分代替前述解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，而進行前述加權係數之算出：將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域放大取樣後的畫像區域之直流 成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，用被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，用被參照畫像區域和其正下圖層的畫像區域之放大取樣後之畫像區域的直流成分之關係性予以補正後的成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；及將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用被參照畫像區域和其正下圖層之畫像區域之放大取樣後的畫像區域之直流成分的關係性予以補正後的成分。
  18. 如申請專利範圍第15項之動畫像可縮放解碼方法，其中，使用下述任一種成分代替前述解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，而進行前述加權係數之算出：將解碼對象畫像區域之正下圖層的在空間上存在 於相同位置的畫像區域放大取樣後的畫像區域之直流成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，用任一個被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，用任一個被參照畫像區域和其正下圖層的畫像區域之放大取樣後的畫像區域直流成分的關係性予以補正後的成分；將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用任一個被參照畫像區域和其正下圖層畫像區域之直流成分的關係性予以補正後的成分；及將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之放大取樣後之畫像區域的直流成分，用任一個被參照畫像區域和其正下圖層之畫像區域之放大取樣後的畫像區域之直流成分的關係性予以補正後的成分。
  19. 如申請專利範圍第14項之動畫像可縮放解碼方法，其中：使用下述任一種訊號代替將前述解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止的訊 號，而進行前述加權係數之算出：將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，用被參照畫像區域和其正下圖層畫像區域之解碼訊號的關係性予以補正後的訊號；及將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，用被參照畫像區域和其正下圖層畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號之關係性予以補正後的訊號。
  20. 如申請專利範圍第16項之動畫像可縮放解碼方法，其中，使用下述任一種訊號代替前述解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止的訊號，而進行前述加權係數之算出：將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號，用任一個被參照畫像區域和其正下圖層畫像區域之解碼訊號的關係性予以補正後的訊號；及將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號之放大取樣至該圖 層之空間解析度為止後的訊號，用任一個被參照畫像區域和其正下圖層畫像區域之解碼訊號之放大取樣至該圖層之空間解析度為止後的訊號的關係性予以補正後的訊號。
  21. 一種動畫像可縮放編碼裝置，係利用插補處理從低空間解析度的正下圖層訊號而預測且編碼出高空間解析度的上位圖層訊號者，其係具有：在依每個預定單位的畫像區域，進行推定上位圖層之編碼對象畫像區域與被參照畫像區域間之動態的探索處理之際，係算出以正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域和被參照畫像區域間之間的亮度變化為根據的第1加權係數的手段；將前述被參照畫像區域之解碼訊號以前述第1加權係數補正後之訊號作為動態推定的推定訊號而進行動態推定，且算出動態向量的手段；讀取算出的動態向量，並算出以該動態向量所指的被參照畫像區域、和正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域間之亮度變化為根據的第2加權係數的手段；以及將前述動態向量所指的被參照圖像區域之解碼訊號以前述第2加權係數補正後之訊號作為動態補償的補償訊號，使其為前述編碼對象畫像區域的預測訊號的手段。
  22. 如申請專利範圍第21項之動畫像可縮放編碼裝置，其 中，當前述被參照畫像區域為1個時，算出前述各加權係數的手段係將被參照畫像區域之直流成分、和正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分的比視為比例係數，且將偏移係數設為零，藉此算出前述加權係數。
  23. 如申請專利範圍第21項之動畫像可縮放編碼裝置，其中，當前述被參照畫像區域為1個時，算出前述各加權係數的手段係將被參照畫像區域之直流成分、和正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分的差分視為偏移係數，且將比例係數設為1，藉此算出前述加權係數。
  24. 如申請專利範圍第21項之動畫像可縮放編碼裝置，其中，當前述被參照畫像區域為1個時，算出前述各加權係數的手段係以使將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  25. 如申請專利範圍第21項之動畫像可縮放編碼裝置，其中，當前述被參照畫像區域為2個時，算出前述各加權 係數的手段係因應編碼對象畫像區域與各被參照畫像區域的影格間距離而算出比例係數，藉由從正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之直流成分，減去對於2個被參照畫像區域之直流成分乘算比例係數後的值而算出偏移係數，且予以設為前述加權係數。
  26. 如申請專利範圍第21項之動畫像可縮放編碼裝置，其中，當前述被參照畫像區域為2個時，算出前述各加權係數的手段係以使將正下圖層的與編碼對象畫像區域在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將2個被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式設定前述加權係數。
  27. 一種動畫像可縮放解碼裝置，係使用插補處理而從低空間解析度的正下圖層訊號預測且解碼出高空間解析度的上位圖層訊號者，其係具有：依每預定單位之畫像區域將編碼資料予以解碼，讀取解碼後的動態向量，算出以上位圖層之解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域、和前述動態向量所指的被參照畫像區域之間的亮度變化為根據的加權係數的手段；及將前述動態向量所指的被參照畫像區域之解碼訊號以前述加權係數補正後之訊號作為動態補償的補償 訊號，使其為前述解碼對象畫像區域之預測訊號的手段。
  28. 如申請專利範圍第27項之動畫像可縮放解碼裝置，其中，當前述被參照畫像區域為1個時，算出前述加權係數的手段係將被參照畫像區域之直流成分、和解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分的比視為比例係數，且將偏移係數設為零，藉此算出前述加權係數。
  29. 如申請專利範圍第27項之動畫像可縮放解碼裝置，其中，當前述被參照畫像區域為1個時，算出前述加權係數的手段係將被參照畫像區域之直流成分、和解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分的差分視為偏移係數，且將比例係數設為1，藉此算出前述加權係數。
  30. 如申請專利範圍第27項之動畫像可縮放解碼裝置，其中，當前述被參照畫像區域為1個時，算出前述加權係數的手段係以使將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  31. 如申請專利範圍第27項之動畫像可縮放解碼裝置，其中，當前述被參照畫像區域為2個時，算出前述加權係數的手段係因應解碼對象畫像區域與各被參照畫像區域的影格間距離而算出比例係數，藉由從解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之直流成分，減去對於2個被參照畫像區域之直流成分乘算比例係數後的值而算出偏移係數，且予以設為前述加權係數。
  32. 如申請專利範圍第27項之動畫像可縮放解碼裝置，其中，當前述被參照畫像區域為2個時，算出前述加權係數的手段係以使將解碼對象畫像區域之正下圖層的在空間上存在於相同位置的畫像區域之解碼訊號放大取樣至該圖層之空間解析度為止後的訊號、與將2個被參照畫像區域之解碼訊號以加權係數補正時的補正訊號間的平方誤差為最小的方式算出前述加權係數。
  33. 一種動畫像可縮放編碼程式，用以使電腦執行如申請專利範圍第1項之動畫像可縮放編碼方法。
  34. 一種動畫像可縮放解碼程式，用以使電腦執行如申請專利範圍第11項之動畫像可縮放解碼方法。
  35. 一種記錄媒體，可供電腦讀取，且記錄有用以使電腦執行如申請專利範圍第1項之動畫像可縮放編碼方法的動畫像可縮放編碼程式。
  36. 一種記錄媒體，可供電腦讀取，且記錄有用以使電腦執行如申請專利範圍第11項之動畫像可縮放解碼方法的動畫像可縮放解碼程式。
TW097124680A 2007-07-02 2008-07-01 動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體 TWI499304B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007174161 2007-07-02

Publications (2)

Publication Number Publication Date
TW200915882A TW200915882A (en) 2009-04-01
TWI499304B true TWI499304B (zh) 2015-09-01

Family

ID=40226115

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097124680A TWI499304B (zh) 2007-07-02 2008-07-01 動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體

Country Status (11)

Country Link
US (1) US9386322B2 (zh)
EP (1) EP2164266B1 (zh)
JP (1) JP5185266B2 (zh)
KR (1) KR101103724B1 (zh)
CN (1) CN101690237B (zh)
BR (1) BRPI0813122A2 (zh)
CA (1) CA2692224C (zh)
ES (1) ES2630211T3 (zh)
RU (1) RU2434359C2 (zh)
TW (1) TWI499304B (zh)
WO (1) WO2009005071A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2202984B1 (en) * 2007-10-25 2017-04-19 Nippon Telegraph and Telephone Corporation Video scalable encoding method and decoding methods using weighted prediction, devices therefor, programs therefor, and recording medium where program is recorded
KR101540138B1 (ko) * 2007-12-20 2015-07-28 퀄컴 인코포레이티드 적응적 조사영역을 갖는 모션추정 장치 및 방법
WO2009085205A1 (en) * 2007-12-20 2009-07-09 Integrated Device Technology, Inc. Image interpolation with halo reduction
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
JP5216710B2 (ja) * 2009-07-24 2013-06-19 日立コンシューマエレクトロニクス株式会社 復号化処理方法
CN102439978A (zh) * 2010-03-12 2012-05-02 联发科技（新加坡）私人有限公司 运动预测方法
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
CN102739417B (zh) 2011-04-01 2014-08-20 华为技术有限公司 流媒体业务处理***及故障检测方法
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
WO2013069117A1 (ja) * 2011-11-09 2013-05-16 株式会社東芝 予測画像生成方法、符号化方法及び復号方法
WO2013095047A1 (ko) 2011-12-22 2013-06-27 삼성전자 주식회사 최대 부호화 단위 별로 픽셀 분류에 따른 오프셋 조정을 이용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2013169025A1 (ko) * 2012-05-09 2013-11-14 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9516309B2 (en) * 2012-07-09 2016-12-06 Qualcomm Incorporated Adaptive difference domain spatial and temporal reference reconstruction and smoothing
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US20150358644A1 (en) * 2012-12-28 2015-12-10 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
JP5952733B2 (ja) * 2012-12-28 2016-07-13 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
JP6087747B2 (ja) * 2013-06-27 2017-03-01 Kddi株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、映像復号方法、およびプログラム
US20160241882A1 (en) * 2013-10-11 2016-08-18 Sony Corporation Image processing apparatus and image processing method
CN106105208B (zh) * 2014-01-09 2020-04-07 三星电子株式会社 可伸缩视频编码/解码方法和设备
RU2684193C1 (ru) * 2015-05-21 2019-04-04 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ для компенсации движения в видеоизображении
EP3525459B1 (en) * 2016-11-10 2023-05-24 Nippon Telegraph And Telephone Corporation Image evaluation device, image evaluation method and image evaluation program
US11592656B2 (en) * 2017-05-17 2023-02-28 Kripton Co., Ltd. Image processing apparatus, image processing program, and image processing method
WO2024037645A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Boundary sample derivation in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054802A (ja) * 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
WO2006109141A1 (en) * 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
WO2007018669A1 (en) * 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032824A (ja) 1996-07-16 1998-02-03 Nippon Telegr & Teleph Corp <Ntt> 動画像の輝度変化検出方法、動画像の輝度変化補償方法、動画像の位置検出方法および動画像符号化・復号装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
MXPA05003464A (es) 2002-10-01 2005-07-05 Thomson Licensing Sa Ponderacion implicita de imagenes de referencia en un codificador de video.
US20060013306A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Motion information encoding/decoding apparatus and method and scalable video encoding/decoding apparatus and method employing them
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
WO2006118383A1 (en) 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100714696B1 (ko) * 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
JP5275806B2 (ja) 2005-10-12 2013-08-28 トムソン ライセンシング スケーラブルビデオ符号化及び復号における重み付け予測方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054802A (ja) * 2004-08-16 2006-02-23 Kddi Corp 動き予測情報検出装置
WO2006109141A1 (en) * 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
WO2007018669A1 (en) * 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
WO2007018670A1 (en) * 2005-07-21 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding

Also Published As

Publication number Publication date
BRPI0813122A2 (pt) 2015-08-04
RU2009147448A (ru) 2011-07-10
EP2164266A4 (en) 2011-08-17
ES2630211T3 (es) 2017-08-18
EP2164266A1 (en) 2010-03-17
CN101690237A (zh) 2010-03-31
KR101103724B1 (ko) 2012-01-11
EP2164266B1 (en) 2017-03-29
US9386322B2 (en) 2016-07-05
US20100329344A1 (en) 2010-12-30
CA2692224C (en) 2016-01-12
WO2009005071A1 (ja) 2009-01-08
CN101690237B (zh) 2012-03-21
CA2692224A1 (en) 2009-01-08
JPWO2009005071A1 (ja) 2010-08-26
JP5185266B2 (ja) 2013-04-17
RU2434359C2 (ru) 2011-11-20
KR20100022073A (ko) 2010-02-26
TW200915882A (en) 2009-04-01

Similar Documents

Publication Publication Date Title
TWI499304B (zh) 動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體
TWI384885B (zh) 動態圖像可縮放編碼方法及解碼方法、該等裝置、該等程式，及記錄有程式之記錄媒體
US8971652B2 (en) Image coding method and image decoding method for coding and decoding image data on a block-by-block basis
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
JP5423948B2 (ja) 動画像符号化方法、およびこれを用いた装置とプログラム
JP2005532725A (ja) ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2007243337A (ja) 動画像符号化方法及び動画像符号化装置とプログラムならびに媒体
JP4786612B2 (ja) 動画像符号化装置の予測動きベクトル生成装置
JP4452733B2 (ja) 動画像符号化における動き評価装置，方法およびそのプログラム並びにその記録媒体
JP2010226528A (ja) 符号化装置およびその方法
JP2007096479A (ja) 階層間予測符号化方法および装置，階層間予測復号方法および装置，並びにそれらのプログラムおよび記録媒体
WO2013125171A1 (ja) イントラ予測モード判定装置、方法、プログラム記憶媒体
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
KR101368732B1 (ko) 고성능 ｈ.264/ａｖｃ 인코더용 움직임 예측장치 및 움직임 예측방법
JP2008028882A (ja) 動画像符号化装置
Sasai et al. B-picture coding with motion-compensated frame rate upconversion
JP5980616B2 (ja) 低遅延画像符号化装置及びその予測画像制御方法
JP2006340014A (ja) 低複雑度動き補償型時間方向フィルタ処理方法ならびに装置