TW201306594A - 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式 - Google Patents

動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式 Download PDF

Info

Publication number
TW201306594A
TW201306594A TW101120878A TW101120878A TW201306594A TW 201306594 A TW201306594 A TW 201306594A TW 101120878 A TW101120878 A TW 101120878A TW 101120878 A TW101120878 A TW 101120878A TW 201306594 A TW201306594 A TW 201306594A
Authority
TW
Taiwan
Prior art keywords
interpolation filter
coding
amount
adaptive
filter
Prior art date
Application number
TW101120878A
Other languages
English (en)
Inventor
Yukihiro Bandoh
Shohei Matsuo
Seishi Takamura
Hirohisa Jozawa
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201306594A publication Critical patent/TW201306594A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明之動畫像編碼裝置係具備：在從固定內插濾波器、適應內插濾波器及區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使用適應內插濾波器之情形的編碼量/失真成本函數的下限值之手段；以及在下限值成為比相對於固定內插濾波器之編碼量/失真成本函數更大的值時，係依據固定內插濾波器及區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在下限值成為相對於固定內插濾波器之編碼量/失真成本函數以下之情形時，依據固定內插濾波器、適應內插濾波器及區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器之手段。

Description

動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式
本發明係關於動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式(program)及動畫像解碼程式。
本案係依據2011年6月13日於日本申請之特願2011-131126號主張優先權，並在此引用該內容。
於動畫像編碼中，就在不同之畫面間執行預測之面間預測編碼(動作補償)而言，係參照已解碼之訊框(frame)，且以使預測誤差電力為最小之方式求取動作向量(vector)，並對該殘差信號施加正交變換/量子化，以及經過熵值(entropy)編碼而產生編碼資料(data)。因此，為了提高編碼效率，降低預測誤差電力係不可或缺，且要求有高精密度的預測方式。
於影像編碼標準方式已導入有許多用以提高畫面間預測的精密度之工具(tool)，而其中之一係為小數畫素精密度動作補償。該者係使用所謂1/2畫素精密度、1/4畫素精密度之整數畫素以下之動作量，來進行前述畫面間預測之方法。例如，就規格H.264/AVC而言，最大可進行1/4畫素單位之小數畫素位置的參照。並且，為了參照如此之小數畫素位置，係必須產生同位置之畫素值，而規定有使用線性濾波器(filter)之內插畫像產生之方法。規格H.264所規定者係濾波器係數為固定之線性濾波器。針對 使用固定係數之內插濾波器，於以下說明中係簡記為IF。對1/2精密度之畫素進行內插時，係使用成為對象之內插畫素的左右各3點，合計為6個整數畫素來進行內插。關於垂直方向係使用上下各3點，合計為6個整數畫素來進行內插。濾波係數係分別為[(1,-5,20,20,-5,1)/32]。在對1/2精密度的畫素進行內插之後，1/4精密度的畫素係使用[1/2,1/2]之平均值濾波器進行內插。
已檢討有因應輸入影像的特徵而適應性地控制濾波器係數之所謂適應內插濾波器(AIF)作為該小數畫素位置的內插影像產生之改良(例如參照非專利文獻1)。適應內插濾波器之濾波器係數係以使預測誤差電力(預測誤差的平方和)為最小之方式而予以決定。相對於適應內插濾波器以訊框單位來設定濾波器係數，係檢討有考量畫像所具有之局部性，並使濾波器係數可按訊框內的每個局部區域進行設定，而在訊框內使用複數個濾波器係數之區域分割適應內插濾波器(RBAIF)。
在此，針對適應內插濾波器的濾波器係數算出演算法(algorithm)進行說明。在非專利文獻1中係提案有使內插濾波器係數適應性地變化之方式，並稱為非分離型的適應內插濾波器。就該方式而言，係考量二維內插濾波器(6×6之合計36個濾波器係數)，並以使預測誤差電力為最小之方式來決定濾波器係數。雖比起使用規格H.264/AVC所用之一維6tap之固定內插濾波器係可實現更高之編碼效率，惟由於在求取濾波器係數時之計算複雜度係非常地高， 故在非專利文獻2中介紹有為了減低該計算複雜度之提案。
在非專利文獻2中所介紹之手法係稱為分離型適應內插濾波器(SAIF：SeparableAdaptive Interpolation Filter)，並非使用二維內插濾波器，而是使用一維之6tap內插濾波器。就手續而言，首先對水平方向的畫素(非專利文獻2的Fig.1之a、b、c)進行內插。在濾波器係數之決定上係使用整數精密度畫素C1至C6。使式(1)的預測誤差電力函數E為最小之水平方向濾波器係數係解析性的予以決定。
在此，S係原畫像、P係已解碼參照畫像，x及y係分別顯示畫像中的水平及垂直方向的位置。再者，~x係~x=x+MVx-FilterOffset(~係附加於x之上方)，MVx係在事前所得到之動作向量的水平成分，FilterOffset係顯示用以調整之失真(offset)(將水平方向濾波器的分接(tap)長除以2之值)。關於垂直方向係成為~y=y+MVy(~係附加於y之上方)，而MVy係顯示動作向量的垂直成分。wci係顯示應求取之水平方向濾波器係數群ci(0≦ci<6)。
預測誤差能量(energy)函數E的最小化處理，係按水平方向的各小數畫素位置而獨立地予以實施。經過該最小 化處理，係求得3種之6tap濾波器係數群，並使用該濾波器係數對小數畫素(非專利文獻2之Fig.1之a、b、c)進行內插。水平方向的畫素內插完成後，係實施垂直方向的內插處理。藉由解開與水平方向相同之線性問題來決定垂直方向之濾波器係數。具體而言，使式(2)之預測誤差能量函數E最小化之垂直方向濾波器係數係解析性地予以決定。
在此，S係原畫像、^P(^係附加於P之上方)係在解碼後於水平方向經過內插處理之畫像，x及y係分別顯示畫像中的水平及垂直方向的位置。再者，~x表現為~x=4‧(x+MVx)(~係附加於x之上方)，MVx係顯示經過整數化之動作向量的水平成分。關於垂直方向係成為~y=x+MVy-FilterOffset(~係附加於y之上方)，MVy係顯示動作向量的水平成分，FilterOffset係顯示用以調整之失真(將濾波器的分接(tap)長除以2之值)。wcj係顯示應求取之垂直方向濾波器係數群cj(0≦cj<6)。
最小化處理係按每個小數精密度畫素而獨立地予以實施，而得到12種的6tap濾波器。使用該濾波器係數對殘留之小數精密度畫素(非專利文獻2的Fig.1之d至o)進行內插。藉由以上所述，必須對合計90(=6×15)個之濾波 器係數進行編碼並傳送至解碼側。
(先前技術文獻) (非專利文獻)
非專利文獻1：Y. Vatis, B. Edler, D. Nguyen, and J. Ostermann. Two-dimensional non-separable adaptive wiener interpolation filter for H.264 / AVC. In ITU-TQ. 6/SG16 VCEG-Z17r1, Apr. 2005.
非專利文獻2：S. Wittmann and T. Wedi. Separable adaptive interpolation filter for video coding. In IEEE International Conference on image Processing, pp. 2500. 2503, 2008.
然而，若對使用固定係數之內插濾波器(IF)、適應內插濾波器(AIF)、區域分割適應內插濾波器(RBAIF)進行比較，則預測誤差能量係依IF、AIF、RBAIF之順序減低。另一方面，用以表現濾波器係數之編碼量對於IF而言並不需要，而若對AIF、RBAIF進行比較，則依AIF、RBAIF之順序增加。
因此，IF、AIF、RBAIF之優劣係無法一概而論，而就考量了預測誤差能量及濾波器係數的編碼量之編碼效率之觀點而言，必須按每個訊框而選擇最適合之濾波器。
就用於每個訊框的濾波器的選擇之規範而言，係使用屬於解碼信號的編碼失真量及訊框內的總產生編碼量之加 權和之RD成本(cost)J。
J=D+λ R
在此，D係解碼信號的編碼失真量，R係訊框內的總產生編碼量，λ為由外部賦予之加權係數。並且，關於R，係可分離為濾波器係數的編碼量ρ及除此以外之編碼量r(用以表現預測誤差之編碼量r(e)、用以表現動作向量之編碼量r(m)、用以表現各種標頭(header)資訊之編碼量r(h)之和)。
以下，係以下述之方式標示關於IF、AIF、RBAIF之編碼量RI、RA、RR。
RI=rI=rI (e)+rI (m)+rI (h)
RA=rA+ρA=rA (e)+rA (m)+rA (h)+ρA
RR=rR+ρR=rR (e)+rR (m)+rR (h)+ρR
於上式中，rX (e)、rX (m)、rX (h)(X=I、A、R)係各自顯示用以表現使用各內插濾波器時之預測誤差之編碼量、用以表現動作向量之編碼量、用以表現各種標頭資訊之編碼量。ρA、ρR係各自為使用AIF、RBAIF時之濾波器係數的編碼量。並且，由於IF係使用固定值的濾波器係數，故不需要濾波器係數的編碼量。
在從IF、AIF、RBAIF中選擇最適當的濾波器時，係求取使用各內插濾波器時之各RD成本，並選擇使RD成本最小化之濾波器。使用IF、AIF、RBAIF時之RD成本JI、JA、JR係各自以式(3)、式(4)、式(5)表示。
JI=DI+λ rI………(3)
JA=DA+λ(rA+ρA)………(4)
JR=DR+λ(rR+ρR)………(5)
藉由以RD成本為規範來選擇內插濾波器，係可達成高編碼效率。惟，由於RD成本之算出係需要較多的演算量，故刪減RD成本算出的演算量係為重要的課題。
本發明係有鑑於如此之情事而研創者，目的在於提供動畫像編碼裝置、動畫像編碼方法以及動畫像編碼程式，係具有可一面抑制編碼效率的下降，一面刪減內插濾波器的選擇所需之演算量之內插濾波器選擇功能，以及將由該編碼裝置、動畫像編碼方法、動畫像編碼程式所編碼之動畫像予以解碼之動畫像解碼裝置、動畫像解碼方法、動畫像解碼程式。
本發明之動畫像編碼裝置係為具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域，並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測者，其特徵在於包含：下限值推定手段，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真 量，來推定使用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇手段，在前述下限值成為比相對於前述固定內插濾波器之編碼量/失真成本函數更大的值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器。
於本發明之動畫像編碼裝置中，亦可對經過編碼之動畫像進行解碼。
本發明之動畫像編碼方法係為具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域，並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測之動畫像編碼裝置之動畫像編碼方法，其特徵在於包含：下限值推定步驟(step)，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使 用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇步驟，在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數更大的值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器。
於本發明之動畫像編碼方法中，亦可對經過編碼之動畫像進行解碼。
本發明之使電腦(computer)執行動畫像編碼處理之動畫像編碼程式係為使具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域，並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測之動畫像編碼裝置上的電腦執行動畫像編碼處理者，其特徵在於：使前述電腦執行下述步驟：下限值推定步驟(step)，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據 使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇步驟，在前述下限值成為比相對於前述固定內插濾波器之編碼量/失真成本函數更大的值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器。
於本發明之動畫像邊碼程式，亦可對經過編碼之動畫像進行解碼。
依據本發明之動畫像編碼，在依據RD成本而選擇分割區域數不同之適應內插濾波器時，由於針對相對於區域數較少的適應內插濾波器之RD成本算出與否，係可不進行該RD成本之算出而可加以判定，故可得到能夠刪減RD成本算出的演算量，並可減低用以選擇適應內插濾波器之演算量之功效。
以下參照圖式說明本發明之一實施形態之具有內插濾波器選擇功能之動畫像編碼裝置。在進行動畫像編碼裝置 的詳細說明之前，係針對本發明之一實施形態之動畫像編碼裝置的動作原理進行說明。在本發明中，係估計適應內插濾波器的RD成本的下限值，且依據該下限值來判定適應內插濾波器的RD成本的算出與否，並因應判定結果省略適應內插濾波器的RD成本算出，以謀求演算量的減低。
就以下之說明而言，係以區域分割適應內插濾波器將畫面內分割為二區域，且按每個分割區域賦予濾波器係數者為例。RD成本之算出係以使用固定係數之內插濾波器、適應內插濾波器、區域分割適應內插濾波器之順序進行。
首先，依據前述之式(3)以下述之方式算出相對於使用固定係數之內插濾波器之RD成本JI。
JI=DI+λI
此時，將求得之關聯於畫面間預測之資訊(進行預測之區塊的大小(size)、動作向量、動作補償的參照畫像等)作為動作向量關聯資訊予以儲存。並且，用以求取前述動作向量關聯資訊之動作推定等之演算法係由外部所給予者。例如，使用文獻「K.P.Lim,G.Sullivan,and T.Wiegand.Text description of joint model reference encoding methods and decoding concealment methods.Technical Report R095,Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG,Jan.2006.」所記載者。
接著，讀取動作向量關聯資訊，且依據給予之分割方法，而進行區域分割。再者，使用前述動作向量關聯資訊，而按每個區域算出濾波器係數。
濾波器係數算出係依據預測誤差能量最小化的規範來進行。關於詳細內容係於後述。依據前述之式(5)以下述方式算出使用藉由該處理求得之區域分割適應內插濾波器時之RD成本JR。
JR=DR+λ(rR+ρR)
在此，估計使用適應內插濾波器時之RD成本的下限值。在對適應內插濾波器與區域分割適應內插濾波器進行比較時，關於編碼失真係有以下關係。
DA≧DR
關於訊框內的總產生編碼量RA=rA+ρA=rA (e)+rA (m)+rA (h)+ρA、以及RR=rR+ρR=rR (e)+rR (m)+rR (h)+ρR，係有以下關係。在區域分割適應內插濾波器及適應內插濾波器中，若使用共通之資訊作為動作向量關聯資訊，則rA (m)=rR (m)。由於區域分割適應內插濾波器係比適應內插濾波器更能減低預測誤差，故關於表現預測誤差之編碼量係為rA (e)≧rR (e)。關於標頭資訊係可視為大致相同程度。
rA (e)≒rR (e)
再者，針對濾波器係數的編碼量，由於區域分割適應內插濾波器係必須按每個分割區域將濾波器係數作為附加資訊而予以表現，故係成為ρA≦ρR在此，可使用β≦1，而將上述之不等式以下式之形式來表示。
ρA=β ρR
在區域分割適應內插濾波器將二個分割區域作為對象時，在各分割區域的濾波器係數的編碼量與對訊框賦予之適應內插濾波器的濾波器係數的編碼量未存在有較大之差異時，若設為β=0.5，則可以上式之形式進行表現。
此時，針對適應內插濾波器的RD成本JA係可以下述之方式估計下限值。
JA=DA+λ(rA+ρA)………(6)
JA≧DR+λ(rR+β ρR)………(7)
進行上式所示之適應內插濾波器的RD成本的下限值及使用固定係數之內插濾波器的RD成本之大小比較，在該下限值成為較大的值時，適應內插濾波器的RD成本係成為比使用固定係數之內插濾波器的RD成本更大的值。因此，無須進行適應內插濾波器的RD成本算出，即可判定適應內插濾波器無法將RD成本最小化。因此，省略適應內插濾波器的RD成本算出。並且，β之值係可為由外部給予，或另外予以設定者。
接著，參照第7圖，針對區域分割適應內插濾波器的濾波器係數算出演算法進行說明。首先，讀取所指定之動作向量關聯資訊(步驟S51)。接著，依據預先決定之規範，對訊框內進行分割(步驟S52)。例如，可適用所謂對畫面內進行水平分割而分割為上側區域及下側區域之二個區域，或對畫面內進行垂直分割而分割為左側區域及右側區域之二個區域之方法。此時，顯示分割位置之資訊係另外 給予者。或者，亦可依據動作向量的成分資訊，而以動作補償之區塊單位來進行分類。具體而言，依據動作向量的水平成分MVx以及垂直成分MVy，而以表1所示之形式分類為二種類，並進行區域分割。
以下，雖顯示以分離型的濾波器為對象，而對濾波器係數進行最佳化之手續，惟對於非分離型的濾波器亦可同樣地施行。再者，在以下中，係以水平方向的內插濾波器係數、垂直方向的內插濾波器係數之順序進行導出。當然，亦可使該導出順序顛倒。
接著，由區域分割之結果，而按每個區域算出濾波器係數(步驟S53)。就相對於水平方向的各小數精密度畫素之內插濾波器係數而言，係求取將式(8)之預測誤差能量E(α)最小化之wci(0≦ci<1)。
在此，α(1≦α≦2)係顯示經過分類之區域號碼、S 係原畫像、^P(^係附加於P的上方)係顯示已解碼參照畫像、x以及y係分別顯示畫像中的水平及垂直方向之位置。再者，~x係為~x=x+MVx-1/2(~係附加於x之上方)，而MVx係顯示在事前所得之動作向量的水平成分。關於垂直方向，~y係為~y=y+MVx(~係附加於y之上方)，而MVy係顯示動作向量的垂直成分。1係濾波器的分接長。
接著，使用所得到之二種類的水平方向的內插濾波器係數，而按訊框內之各區域，獨立地實施水平方向的小數畫素內插(非專利文獻2的Fig.1之a、b、c的內插)(步驟S54)。
接著，求取垂直方向之內插濾波器係數(步驟S55)。就相對於垂直方向的各小數精密度畫素之內插濾波器係數而言，係求取將式(9)之預測誤差能量E(α)最小化之wcj(0≦cj<1)。
在此，α(1≦α≦2)係顯示經過分類之區域號碼、S係原畫像、^P(^係附加於P的上方)係顯示已於步驟S54朝水平方向進行過內插處理之畫像、x以及y係分別顯示畫像中的水平及垂直方向之位置。再者，~x係表現為~x=4‧(x+MVx)(~係附加於x之上方)，而MVx係顯示經過整數化之動作向量的水平成分。關於垂直方向，~y係表現 為~y=x+MVy-1/2(~係附加於y之上方)，而MVy係顯示動作向量的垂直成分。1係濾波器的分接長。
接著，使用所得到之二種類的垂直方向的內插濾波器係數，而按訊框內各區域獨立地實施垂直方向的小數畫素內插(非專利文獻2的Fig.1之d至o之內插)(步驟S56)。並且，對於新的內插畫像搜尋動作向量(步驟S57)，而對各種內插濾波器係數群進行編碼(步驟S58)。
並且，在本實施形態中說明之內插濾波器係數的切換功能係不僅可適用於亮度信號，亦可適用於色差信號。再者，分割數在此雖設為2，惟亦可因應分類的定義而採用任意的數。
接著，參照第1圖，說明本發明之一實施形態之具有內插濾波器選擇功能之動畫像編碼裝置的構成。第1圖係顯示該實施形態的構成之方塊圖。使用IF之編碼/RD成本算出處理部1，係進行將利用固定係數之內插濾波器用作為內插濾波器之情形的編碼處理，而算出RD成本。該RD成本係傳送至內插濾波器選擇處理部6。再者，由編碼處理所得到之編碼資料、解碼畫像、動作向量關聯資訊係分別儲存於編碼資料記憶部8、解碼畫像記憶部7、動作向量關聯資訊記憶部2。
內插濾波器設定部31係將區域分割適應內插濾波器設定作為於後續的編碼處理/RD成本算出處理部32中所使用之內插濾波器。編碼處理/RD成本算出處理部32係進行使用區域分割適應內插濾波器作為內插濾波器之情形 的編碼處理，而算出RD成本。該RD成本係傳送至內插濾波器選擇處理部6。再者，由編碼處理所得到之編碼資料、解碼畫像係各自傳送至編碼資料記憶部8、解碼畫像記憶部7。
相對於AIF之RD成本算出執行判定部4係依據用於區域分割適應內插濾波器的RD成本計算之編碼失真量、產生編碼量，而求取適應內插濾波器的RD成本的下限值，並進行該下限值與使用固定係數之內插濾波器的RD成本之大小比較，且在下限值較小時，藉由編碼處理/RD成本算出處理部52進行處理。再者，作為編碼處理/RD成本算出處理部52之輸出，係許可將RD成本、由編碼處理所得到之編碼資料、解碼畫像各自傳送至內插濾波器選擇處理部6、編碼資料記憶部8、解碼畫像記憶部7。
內插濾波器設定部51係設定適應內插濾波器作為於後續的編碼處理/RD成本算出部52中使用之內插濾波器。編碼處理/RD成本計算部52係進行在使用適應內插濾波器作為內插濾波器時的編碼處理，而算出RD成本。再者，輸出由編碼處理所得到之編碼資料、解碼畫像。
內插濾波器選擇處理部6係依據輸入之RD成本的大小，而選擇將RD成本最小化之內插濾波器。再者，從編碼資料記憶部8中讀出使用所選擇之內插濾波器時的編碼資料，且作為最終的編碼資料並予以輸出。再者，從解碼畫像記憶部7中讀出使用所選擇之內插濾波器時的解碼畫像，並儲存於參照畫像記憶部9。
接著，參照第2圖，說明第1圖所示之使用IF之編碼/RD成本算出處理部1的詳細構成。第2圖係顯示在進行動作向量關聯資訊的算出時，使用IF之編碼及RD成本算出處理部1的構成之方塊圖。
變換/量子化處理部11係將預測誤差信號作為輸入並讀入，且對預測誤差信號進行正交變換處理，再者，對於正交變換的變換係數係進行量子化，並輸出變換係數的量子化索引(index)。熵值編碼處理部121係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行熵值編碼，而輸出編碼資料。熵值編碼處理部122係將動作相量關聯資訊作為輸入並讀入，且對該動作向量關聯資訊進行熵值編碼，而輸出編碼資料。
逆變換/逆量子化處理部13係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行逆量子化，再進行逆變換處理，而產生預測誤差信號的解碼信號。解塊濾波器(deblocking filter)處理部14係將加算預測誤差信號的解碼信號及預測畫像而產生之信號作為輸入並讀入，並對該加算結果進行濾波器處理，而產生並輸出解碼畫像。並且，就濾波處理之例而言，係可適用在規格H.264中所用之解塊濾波器等。
動作補償預測處理部161係將從輸入畫像、動作補償預測處理部161讀入之內插畫像及參照畫像作為輸入並讀入，且對於輸入畫像係進行使用參照畫像之動作推定處理，而算出動作向量關聯資訊。小數畫素位置內插處理部162 係將參照畫像作為輸入並讀入，並使用利用固定係數之內插濾波器作為內插濾波器而產生小數畫素位置畫素值。動作向量關聯資訊算出部163，係將參照畫像及由小數畫素位置內插處理部162所求得之動作向量關聯資訊作為輸入並讀入，且使用參照畫像及動作向量關聯資訊，並依據動作補償畫面間預測處理，而產生相對於輸入畫像之預測畫像。
編碼失真量算出部17係將輸入畫像及由解塊濾波器處理部14所輸出之解碼畫像作為輸入並讀入，並求取兩畫像的差分，而算出編碼失真量。RD成本算出部18係將由預測處理部16所產生之編碼資料的資料量(產生編碼量)，以及由編碼失真量算出部17所算出之編碼失真量作為輸入，而算出RD成本。
接著，參照第3圖，說明第1圖所示之編碼處理/RD成本算出處理部32、52的詳細構成。第3圖係顯示第1圖之編碼處理/RD成本算出處理部32、52的詳細構成之方塊圖。
變換/量子化處理部321係將預測誤差信號作為輸入並讀入，且對於預測誤差信號進行正交變換處理，再者，對於正交變換的變換係數係進行量子化，並輸出變換係數的量子化索引。熵值編碼處理部322係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行熵值編碼，而輸出編碼資料。熵值編碼處理部327係將動作向量關聯資訊作為輸入並讀入，且對該動作向量關聯資訊進行熵值 編碼，而輸出編碼資料。
逆變換/逆量子化處理部321係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行逆量子化，再進行逆變換處理，而產生預測誤差信號的解碼信號。解塊濾波器處理部324係將加算預測誤差信號的解碼信號及預測畫像而產生之信號作為輸入並讀入，且對該加算結果進行濾波器處理而產生並輸出解碼畫像。參照畫像記憶部325係記憶參照畫像。
小數畫素位置內插處理部3261係將參照畫像作為輸入並讀入，且將輸入畫像、參照畫像以及由動作向量關聯資訊算出部3262所讀入之動作向量關聯資訊作為輸入並讀入，而算出相對於由內插濾波器設定處理部329所設定的內插濾波器(適應內插濾波器或區域分割適應內插濾波器)之濾波器係數。具體的算出方法係如前述。再者，使用所算出之濾波器係數，而產生小數畫素位置的畫素值。
動作相量關聯資訊算出部3262係從外部讀入用於相對於輸入畫像及參照畫像之畫面間預測的動作向量關聯資訊，並加以儲存。
動作補償預測處理部3263係將參照畫像、從小數畫素位置內插處理部3261讀入之內插畫像，及從動作向量關聯資訊算出部3262讀入之動作向量關聯資訊作為輸入並讀入，且使用參照畫像及動作向量關聯資訊，並依據動作補償畫面間預測處理，而產生相對於輸入畫像之預測畫像。
編碼失真量算出部327係將輸入畫像及由解塊濾波器 處理部324所輸出之解碼畫像作為輸入並讀入，且求取兩畫像之差分，而算出編碼失真量。RD成本算出部328係將由預測處理部326所產生之編碼資料的資料量(產生編碼量)，以及由編碼失真量算出部327所算出之編碼失真量作為輸入，而算出RD成本。內插濾波器設定處理部329係設定用作為內插濾波器之濾波器。
接著，參照第4圖，說明第1圖所示之動畫像編碼裝置的處理動作。第4圖係顯示第1圖所示之動畫像編碼裝置的處理動作之流程圖。首先，使用IF之編碼/RD成本算出處理部1係讀入用於訊框間預測之參照畫像(步驟S1)，使用利用固定係數之內插濾波器作為內插濾波器，來進行編碼處理，而算出產生編碼量RI、編碼失真DI(步驟S2)。並且，使用IF之編碼/RD成本算出處理部1係算出JI=DI+λ RI，作為在使用利用固定係數之內插濾波器時之RD成本JI(步驟S3)。
接著，編碼/RD成本算出處理部32係使用區域分割適應內插濾波器做為內插濾波器，來進行編碼處理而算出產生編碼量RR、編碼失真DR(步驟S4)。並且，算出JR=DR+λ RR，作為在使用區域分割適應內插濾波器時之RD成本JR(步驟S5)。在此，產生編碼量RR係可分解作為RR=rR+ρR。
接著，讀入參數(parameter)β之值，且求取DR+λ(rR+β ρR)作為適應內插濾波器的RD成本下限制(步驟S6)，並比較步驟S6所求得之適應內插濾波器的RD成本的下限值與使用步驟S2所求得之固定係數之內插濾波器的RD成 本(步驟S7)，而在前者較大時，移動至步驟S8。若為相反者，則移動至步驟S11。
接著，在AIF的RD成本的下限值並未比IF的RD成本還大時，編碼處理/RD成本算出處理部52係使用適應內插濾波器作為內插濾波器來進行編碼處理，且算出產生編碼量RA、編碼失真DA(步驟S8)，並算出JA=DA+λ RA作為使用適應內插濾波器時的RD成本JA(步驟S9)。內插濾波器選擇處理部6係比較使用固定係數之內插濾波器、適應內插濾波器、區域分割適應內插濾波器的各RD成本JI、JA、JR，而選擇使該成本為最小之內插濾波器(步驟S10)。
另一方面，在AIF的RD成本的下限值比IF的RD成本還大時，內插濾波器選擇處理部6係比較使用固定係數之內插濾波器、區域分割適應內插濾波器的各RD成本JI、JR，而選擇使該成本為最小之內插濾波器(步驟S11)。
接著，參照第5圖，說明進行第4圖所示之「進行使用IF之編碼處理，並算出產生編碼量、編碼失真」處理(步驟S2)的詳細動作。第5圖係顯示第1圖所示之使用IF之編碼/RD成本算出處理部1進行第4圖所示之「進行使用IF之編碼處理，並算出產生編碼量、編碼失真」處理的詳細動作之流程圖。
首先，使用IF之編碼/RD成本算出處理部1係讀入用於訊框間預測之參照畫像(步驟S21)。並且，小數畫素位置內插處理部162係將參照畫像作為輸入並讀入，並使用利用固定係數之內插濾波器作為內插濾波器而產生小數 畫素位置的畫素值(步驟S22)。接著，動作向量關聯資訊算出部163係將輸入畫像及參照畫像作為輸入並讀入，並對於輸入畫像係進行使用參照畫像之動作推定處理，並算出動作向量關聯資訊。
接著，動作補償預測處理部161係將參照畫像及所求得之動作向量關聯資訊作為輸入並讀入，且使用參照畫像及所求得之動作向量關聯資訊，依據動作補償畫面間預測處理，而產生相對於輸入畫像之預測畫像(步驟S24)。接著，將預測畫像及輸入畫像作為輸入並讀入，且求取兩畫像之差分，而產生預測誤差信號(步驟S25)。
接著，變換/量子化處理部11係將預測誤差信號作為輸入並讀入，且對預測誤差信號進行正交變換處理，再者，對正交變換的變換係數進行量子化，而輸出變換係數的量子化索引(步驟S26)。接著，熵值編碼處理部121係將變換係數的量子化索引、動作向量關聯資訊作為輸入並讀入，並對該量子化索引、以及動作向量關聯資訊進行熵值編碼，而輸出編碼資料(步驟S27)。
接著，逆變換/逆量子化處理部13係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行逆量子化，再進行逆變換處理，而產生預測誤差信號的解碼信號(步驟S28)。接著，將所產生之預測誤差信號的解碼信號及所產生之預測畫像作為輸入並讀入，且對兩者進行加算，並且，對於該加算結果，由解塊濾波器處理部14進行濾波器處理，而產生並輸出解碼畫像(步驟S29)。
接著，編碼失真量算出部17係將輸入畫像及所輸出之解碼畫像作為輸入並讀入，且求取兩畫像的差分，而算出編碼失真量(步驟S30)。接著，RD成本算出部18係將所產生之編碼資料作為輸入並讀入，且依據該資料的資料量而算出產生編碼量(步驟S31)，並算出RD成本作為編碼失真量及產生編碼量的加權和(步驟S32)。
接著，參照第6圖，說明第1圖所示之編碼處理/RD成本算出處理部32、52算出第4圖所示之產生編碼量、編碼失真(步驟S4、S8)之處理的詳細動作。第6圖係顯示第1圖所示之編碼處理/RD成本算出處理部32、52算出第4圖所示之產生編碼量、編碼失真之處理的詳細動作之流程圖。
首先，編碼/RD成本算出處理部32、52係讀入用於訊框間預測之參照畫像(步驟S41)。並且，動作向量關聯資訊算出部3362，係讀入動作推定處理所需要之動作向量關聯資訊(步驟S42)。接著，將輸入畫像、參照畫像以及所讀入之動作向量關聯資訊作為輸入並讀入，並算出相對於作為本處理的輸入而賦予的內插濾波器(區域分割適應內插濾波器或者適應內插濾波器)之濾波器係數(步驟S43)。
接著，小數畫素位置內插處理部3261係將參照畫像作為輸入並讀入，且使用作為本處理的輸入而賦予之內插濾波器(區域分割適應內插濾波器或適應內插濾波器)而產生小數畫素位置的畫素值(步驟S44)。接著，動作補償預測處理部3263係將所讀入之動作向量關聯資訊、以及參照畫 像作為輸入並讀入，且依據動作補償畫面間預測處理，而產生相對於輸入畫像之預測畫像(步驟S45)。並且，將預測畫像及輸入畫像作為輸入並讀入，且求取兩畫像的差分，而產生預測誤差信號(步驟S46)。
接著，變換/量子化處理部321係將預測誤差信號作為輸入並讀入，且對預測誤差信號進行正交變換處理，再者，對於正交變換的變換係數係進行量子化，並輸出變換係數的量子化索引(步驟S47)。接著，熵值編碼處理部322係將變換係數的量子化索引、動作向量關聯資訊作為輸入並讀入，且對該量子化索引、以及動作向量關聯資訊進行熵值編碼，而輸出編碼資料(步驟S48)。
接著，逆變換/逆量子化處理部323係將變換係數的量子化索引作為輸入並讀入，且對該量子化索引進行逆量子化，再進行逆變換處理，而產生預測誤差信號的解碼信號(步驟S49)。接著，將所產生之預測誤差信號的解碼信號及所產生之預測畫像作為輸入並讀入，且對兩者進行加算，再者，對於該加算結果，藉由解塊濾波器處理部324進行濾波器處理，而產生並輸出解碼畫像(步驟S50)。
接著，編碼失真量算出部327係將輸入畫像及所輸出之解碼畫像作為輸入並讀入，且求取兩畫像之差分，而算出編碼失真量(步驟S51)。接著，RD成本算出部328係將所產生之編碼資料作為輸入並讀入，且依據該資料的資料量，而算出產生編碼量(步驟S52)，並算出RD成本作為編碼失真量及產生編碼量的加權和(步驟S53)。
接著，參照第8圖，說明第1圖所示之包含動畫像編碼裝置之動畫像傳送系統的構成。第8圖係顯示動畫像傳送系統的構成之方塊圖。於第8圖中，動畫像輸入部101係輸入由攝影機(camera)等所攝影之動畫像。符號102係第1圖所示之動畫像編碼裝置，而藉由動畫像輸入部101對所輸入之動畫像進行編碼並傳送。符號103係用以傳送由動畫像編碼裝置102所傳送之編碼動畫像的資料之傳送路徑。符號1044係接收藉由傳送路徑103所傳送之編碼動畫像資料，且對編碼動畫像的資料進行解碼並輸出之動畫像解碼裝置。動畫像輸出部105係將在動畫像解碼裝置104中經過解碼之動畫像予以輸出至顯示裝置等。
接著，參照第8圖，說明第8圖所示之動畫像傳送系統的動作。動畫像編碼裝置102係經由動畫像輸入部1而輸入動畫像的資料，並按每個動畫像的訊框進行編碼。此時，進行第1圖所示之內插濾波器選擇處理，並進行第2圖、第3圖所示之編碼處理及RD成本算出處理。並且，動畫像編碼裝置102係經由傳送路徑103而對動畫像解碼裝置104傳送經過編碼之動畫像資料。動畫像解碼裝置104係對該編碼動畫像資料進行解碼，且經由動畫像輸出部105，而將動畫像顯示於顯示裝置。
如上述說明，在依據RD成本而選擇分割區域數不同之適應內插濾波器時，由於關於相對於區域數較少之適應內插濾波器之RD成本算出與否，係可無須進行該RD成本的算出而進行判定，故可刪減RD成本算出的演算量，而可減 低用以選擇適應內插濾波器的演算量。
並且，亦可將用以實現第1圖之各處理部的功能之程式記錄於電腦可讀取之記錄媒體，且藉由使電腦系統(computer system)讀入並執行記錄於該記錄媒體之程式，而進行區域分割對應適應濾波器處理。
並且，在此所謂「電腦系統」係包含有OS及周邊機器等硬體者。再者，所謂「電腦可讀取之記錄媒體」係指軟碟(flexible disk)、光磁碟、ROM、CD-ROM等可攜媒體、內藏於電腦系統之硬碟(hard disk)等記憶裝置。再者，所謂「電腦可讀取之記錄媒體」亦包含有如在經由網際網路(internet)等網路(network)、及電話電路等通信電路而傳送程式時之伺服器(server)、或成為用戶端(client)之電腦系統內部的揮發性記憶體(RAM)般，在一定時間內保持程式者。
再者，上述程式亦可從將該程式儲存於記憶裝置等之電腦系統中，經由傳送媒體，或者藉由傳送媒體中的傳送波而傳送至其他電腦系統。在此，傳送程式之「傳送媒體」，係指具有以網際網路等網路(通信網)或電話電路等通信電路(通信線)之方式來傳送資訊的功能之媒體。再者，上述程式係可為用以實現前述功能的一部份者。再者，亦可為將前述之功能藉由已記錄於前述電腦系統之程式的組合者，亦即可為所謂的差分檔案(差分程式)。
(產業上之可利用性)
依據本發明之動畫像編碼裝置，係適用於可一面抑制 編碼效率下降，一面刪減內插濾波器之選擇的演算量為不可或缺之用途。
1‧‧‧使用IF之編碼/RD成本算出處理部
2‧‧‧動作向量關聯資訊記憶部
4‧‧‧相對於AIF之RD成本算出執行判定部
6‧‧‧內插濾波器選擇處理部
7‧‧‧解碼畫像記憶部
8‧‧‧編碼資料記憶部
9‧‧‧參照畫像記憶部
11、321‧‧‧變換/量子化處理部
13、323‧‧‧逆變換/逆量子化處理部
14、324‧‧‧解塊濾波器處理部
15、325‧‧‧參照畫像記憶部
16、326‧‧‧預測處理部
17、327‧‧‧編碼失真量算出部
18、328‧‧‧RD成本算出部
31、51‧‧‧內差濾波器設定部
32、52‧‧‧編碼處理/RD成本算出處理部
101‧‧‧動畫像輸入部
102‧‧‧動畫像編碼裝置
103‧‧‧傳送路徑
104‧‧‧動畫像解碼裝置
105‧‧‧動畫像輸出部
121、122‧‧‧熵值編碼處理部
161‧‧‧動作補償預測處理部
162‧‧‧小數畫素位置內差處理部
163‧‧‧動作向量關聯資訊算出部
322‧‧‧熵值編碼處理部
329‧‧‧內插濾波器設定處理部
3261‧‧‧小數畫素位置內插處理部
3262‧‧‧動作向量關聯資訊算出部
3263‧‧‧動作補償預測處理部
S1至S11、S21至S32、S41至S58‧‧‧步驟
第1圖係為顯示本發明一實施形態的構成之方塊(block)圖。
第2圖係為顯示第1圖所示之使用IF之編碼以及RD成本算出處理部的構成之方塊圖。
第3圖係為顯示第1圖之編碼處理/RD成本算出處理部的詳細的構成之方塊圖。
第4圖係為顯示第1圖所示之動畫像編碼裝置的處理動作之流程圖(flowchart)。
第5圖係為顯示第1圖所示之使用IF之編碼/RD成本算出處理部進行第4圖所示之「進行使用IF之編碼處理，而算出產生編碼量、編碼失真」處理之詳細動作之流程圖。
第6圖係為顯示第1圖所示之編碼處理/RD成本算出處理部算出第4圖所示之產生編碼量、編碼失真之處理的詳細動作之流程圖。
第7圖係為顯示區域分割適應內插濾波器的濾波器係數算出的處理動作之流程圖。
第8圖係為顯示動畫像傳送系統(system)的構成之方塊圖。
1‧‧‧使用IF之編碼/RD成本算出處理部
2‧‧‧動作向量關聯資訊記憶部
4‧‧‧相對於AIF之RD成本算出執行判定部
6‧‧‧內插濾波器選擇處理部
7‧‧‧解碼畫像記憶部
8‧‧‧編碼資料記憶部
9‧‧‧參照畫像記憶部
31、51‧‧‧內差濾波器設定部
32、52‧‧‧編碼處理/RD成本算出處理部

Claims (6)

  1. 一種動畫像編碼裝置，係為具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測者，該動畫像編碼裝置係包含：下限值推定部，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇部，在前述下限值成為比相對於前述固定內插濾波器之編碼量/失真成本函數更大的值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真 成本函數之比較，來選擇最適合之內插濾波器。
  2. 一種動畫像解碼裝置，係對藉由申請專利範圍第1項所述之動畫像編碼裝置所編碼之動畫像進行解碼。
  3. 一種動畫像編碼方法，係為具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測之動畫像編碼裝置之動畫像編碼方法，係包含：下限值推定步驟，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇步驟，在前述下限值成為比相對於前述固定內插濾波器之編碼量/失真成本函數更大的值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之 情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器。
  4. 一種動畫像解碼方法，係對藉由申請專利範圍第3項所述之動畫像編碼方法所編碼之動畫像進行解碼。
  5. 一種動畫像編碼程式，係使具備使用固定值之係數之固定內插濾波器、適應性地設定內插濾波器的係數之適應內插濾波器、以及將訊框內分割為複數個區域並按每個分割區域適應性地設定內插濾波器的係數之區域分割對應適應內插濾波器，來作為用以產生小數畫素位置的內插畫素值之內插濾波器，並進行對應於小數畫素精密度之動作補償訊框間預測之動畫像編碼裝置上的電腦執行動畫像編碼處理者，該動畫像編碼程式之特徵在於：使前述電腦執行下述步驟：下限值推定步驟，係在從前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器之中，依據編碼量/失真成本函數來選擇最適合之內插濾波器時，依據使用前述區域分割對應適應內插濾波器之情形的產生編碼量及編碼失真量，來推定使用前述適應內插濾波器之情形的編碼量/失真成本函數的下限值；以及內插濾波器選擇步驟，在前述下限值成為比相對於前述固定內插濾波器之編碼量/失真成本函數更大的 值時，係依據前述固定內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器，且僅在前述下限值成為相對於前述固定內插濾波器之編碼量/失真成本函數以下之情形時，依據前述固定內插濾波器、前述適應內插濾波器及前述區域分割對應適應內插濾波器的編碼量/失真成本函數之比較，來選擇最適合之內插濾波器。
  6. 一種動畫像解碼程式，係對藉由申請專利範圍第5項所述之動畫像編碼程式所編碼之動畫像進行解碼。
TW101120878A 2011-06-13 2012-06-11 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式 TW201306594A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011131126A JP5552092B2 (ja) 2011-06-13 2011-06-13 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Publications (1)

Publication Number Publication Date
TW201306594A true TW201306594A (zh) 2013-02-01

Family

ID=47357096

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101120878A TW201306594A (zh) 2011-06-13 2012-06-11 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式

Country Status (10)

Country Link
US (1) US20140133546A1 (zh)
EP (1) EP2709363A4 (zh)
JP (1) JP5552092B2 (zh)
KR (1) KR20140010174A (zh)
CN (1) CN103583046A (zh)
BR (1) BR112013031777A2 (zh)
CA (1) CA2838972A1 (zh)
RU (1) RU2013154581A (zh)
TW (1) TW201306594A (zh)
WO (1) WO2012173109A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102402671B1 (ko) 2015-09-09 2022-05-26 삼성전자주식회사 보간 필터의 연산 복잡도를 조절할 수 있는 영상 처리 장치, 영상 보간 방법 및 영상 부호화 방법
EP3348058B1 (en) 2015-09-25 2021-09-15 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
BR112018006041A2 (pt) 2015-09-25 2018-10-09 Huawei Tech Co Ltd codificador de vídeo, decodificador de vídeo e métodos para codificação e decodificação preditiva
KR102146436B1 (ko) 2015-09-25 2020-08-20 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
AU2015409726B2 (en) 2015-09-25 2019-12-19 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
JP2018530244A (ja) 2015-09-25 2018-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法
CN115514973B (zh) * 2018-09-05 2024-05-31 Lg电子株式会社 对视频信号进行解码/编码及发送数据的设备
US20220232255A1 (en) * 2019-05-30 2022-07-21 Sharp Kabushiki Kaisha Image decoding apparatus
WO2022253318A1 (en) * 2021-06-04 2022-12-08 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553321C (zh) * 2002-01-14 2009-10-21 诺基亚有限公司 编码动态滤波器
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码***中去块滤波方法及装置
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
CN101296380A (zh) * 2008-06-20 2008-10-29 四川虹微技术有限公司 运动补偿***中的插值方法及插值器
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
CN104954789A (zh) * 2009-04-20 2015-09-30 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
EP2296380A1 (en) * 2009-09-03 2011-03-16 Panasonic Corporation Efficient syntax for AIF signalling
JP2011131126A (ja) 2009-12-22 2011-07-07 Toyota Motor Corp グラビア塗工装置

Also Published As

Publication number Publication date
JP5552092B2 (ja) 2014-07-16
KR20140010174A (ko) 2014-01-23
CN103583046A (zh) 2014-02-12
JP2013005019A (ja) 2013-01-07
BR112013031777A2 (pt) 2016-12-06
RU2013154581A (ru) 2015-07-20
WO2012173109A1 (ja) 2012-12-20
US20140133546A1 (en) 2014-05-15
EP2709363A1 (en) 2014-03-19
CA2838972A1 (en) 2012-12-20
EP2709363A4 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
TW201306594A (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式
US9241160B2 (en) Reference processing using advanced motion models for video coding
KR101287458B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
US9544593B2 (en) Video signal decoding method and device
JP5490823B2 (ja) 画像の系列を表すストリームを復号化する方法、画像の系列を符号化する方法及び符号化データ構造
JP5623640B2 (ja) 高解像度の参照フレームを用いるビデオコーディング
KR20120027145A (ko) 화상 처리 장치 및 방법
KR20080069110A (ko) 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
WO2011013253A1 (ja) 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
TWI504241B (zh) 影像編碼方法、裝置、影像解碼方法、裝置及其程式產品
TW201309029A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及電腦程式
JP2012080151A (ja) 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
KR20150079742A (ko) 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
JP5552093B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR20110126075A (ko) 확장 블록 필터링을 이용한 비디오 부호화, 복호화 방법 및 장치
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법
JP2011135460A (ja) 動画像符号化装置および動画像復号装置
JP2013059132A (ja) 画像処理装置および方法、並びに記録媒体
JP2022145499A (ja) 符号化装置及び方法
KR20090027091A (ko) 동영상 부호화/복호화 방법 및 장치
KR20150022952A (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20150022953A (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치