TWI519134B - 解碼裝置與解碼方法 - Google Patents

解碼裝置與解碼方法 Download PDF

Info

Publication number
TWI519134B
TWI519134B TW103102719A TW103102719A TWI519134B TW I519134 B TWI519134 B TW I519134B TW 103102719 A TW103102719 A TW 103102719A TW 103102719 A TW103102719 A TW 103102719A TW I519134 B TWI519134 B TW I519134B
Authority
TW
Taiwan
Prior art keywords
image
value
parameter
unit
decoding
Prior art date
Application number
TW103102719A
Other languages
English (en)
Other versions
TW201419875A (zh
Inventor
角野真也
林忠順
傅德偉
沈勝美
Original Assignee
智慧財產之橋一號有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 智慧財產之橋一號有限責任公司 filed Critical 智慧財產之橋一號有限責任公司
Publication of TW201419875A publication Critical patent/TW201419875A/zh
Application granted granted Critical
Publication of TWI519134B publication Critical patent/TWI519134B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

解碼裝置與解碼方法 發明領域
本發明是有關於在動態影像中之像素值之預測方法，特別是有關於依據2個圖像(picture)進行時間性定標(scaling)處理之預測方法。
發明背景
在動態影像編碼中，一般是利用動態影像所具有之空間方向及時間方向之冗餘性來進行資訊量之壓縮。在此，是使用圖像間預測編碼來作為利用時間方向之冗餘性之方法。圖像間預測編碼中，在將某圖像編碼之際，是以時間性上位於前方或後方之圖像為參考圖像。然後，檢出來自該參考圖像之變動量，對進行變動補償之圖像與編碼對象之圖像之差量值消除空間方向之冗餘性，藉此進行資訊量壓縮。
這種動態影像編碼方式中，不進行圖像間預測編碼之圖像；亦即進行圖像內編碼之圖像稱為I圖像。在此，所謂圖像是指包含資訊框及欄位兩者之1個編碼單位。又，參考已處理完成之1張圖像來進行圖像間預測編碼之圖像稱為P圖像，參考已處理完成之2張圖像來進行圖像間預測編碼之圖像稱為B圖像。
又，B圖像係依據2個參考圖像，藉定標處理(依據圖像間隔之比例計 算)預測其像素質(亦稱「加權預測」)，並算出變動向量。又，作為圖像間隔者有例如圖像所具有之時間資訊差、每個圖像分配到之圖像編號差、表示出圖像之顯示順序之資訊差等。
第1圖是顯示出藉由依據2個參考圖像之加權預測，算出B圖像之預測像素值之過程之習知技術。如本圖所示，B圖像之預測像素質P是藉由利用2個參考圖像區塊1及2之像素質P0及P1之加權計算來決定。式中之加權係數a及b係例如每一個都是1/2。
第2圖及第3圖是顯示依據2個參考圖像(區塊1及2)，藉進行定標來算出B圖像(編碼對象區塊)之預測像素質之過程之其他例(例如參考Joint Video Team(JVT)of ISO/IEC MPEG and ITU-T VCEG Joint Committee Draft 2002-05-10、JVT-C167 11.)在此，第2圖是顯示B圖像(編碼對象區塊)參考前方之圖像(區塊1)與後方圖像(區塊2)之情況之例子，第3圖是顯示B圖像參考2個前方圖像(區塊1及區塊2)之情況之例子。又，圖中之W0及W1是在定標處理(在此為像素值之加權預測)中之加權係數，各自為乘以區塊1之像素值之加權係數、乘以區塊2之像素值之加權係數，以下式表示。
W0=(128×(T1-T))/(T1-T0) (式1)
W1=(128×(T-T0))/(T1-T0) (式2)
在此，T、T0、T1各自為賦予編碼對象區塊、前方參考區塊1、後方參考區塊之時間(計時標記等)。
這時，對象區塊之預測像素值P藉下式算出。
P=(P0×W0+P1×W1+64)>>7 (式3)
在此，>>是指朝右方向之位元移位。亦即，「>>7」是「÷(2 之7乘)」之意。又，上述式3是像素值顯示亮度訊號之值之情況，像素值顯示色差之情況則以下式表示。
P=128+((P0-128)×W0+(P1-128)×W1+64)>>7 (式4)
第4圖是顯示利用這些式之具體算出順序之流程圖。取得時刻T、T1、T0後(步驟S401)，判斷時刻T1與T0是否相等，亦即式1及式2所顯示之加權係數W0及W1之式中分母是否為零(步驟S402)。若為零時(步驟S402之Yes)，則使加權係數W0及W1為128(步驟S403)，若非如此時(步驟S402之No)，則依據上述式1及2算出加權係數W0及W1(步驟S404)，最後利用這些加權係數W0及W1、參考區塊1之像素值P0、及參考區塊2之像素值P1，依據上述式3或式4，算出編碼對象區塊之預測像素值P(步驟S405)。如此，利用2個參考區塊之像素值，進行時間性定標，藉此可算出編碼對象區塊之預測像素值。
然而，這種時間性定標處理中，係如上述式1及式2中所示，為了算出加權係數必須使用除法，但相較於乘法，除法在演算時需要之資源很大，故一般是預先計算除法之倒數，儲存於查找表等中，利用該倒數進行乘法計算來取代除法。
又，在第1圖、第2圖及第3圖中，係使區塊1及區塊2為P圖像，不過亦可使之為I圖像或B圖像，並不限定於P圖像。
然而，利用預先計算之倒數之方法，遇到算出加權係數之式中之除法種類很多時，預先計算之倒數種類也變得很多。例如，若式1、式2中所示之T0及T1所取得之值各自為30組，則單純地計算，需要900組之除法用以倒數計算，使得倒數演算之演算量變得非常大。又，儲存倒數之查找表等之 記憶容量需要很多，這也是問題所在。
又，上述式1及式2中之分母(加權係數之除數)若很小，則加權係數(商)就變得很大，例如，會有預測像素值超過可以16位元表現之值這個問題。因此，造成例如必須藉32位元進行演算等，由於演算上所需要之演算精度(有效演算位數)增加，而使得演算裝置之規模變大。
發明概要
於是，本發明有鑒於這種狀況，故目的在於提供在藉時間性定標處理之動態影像預測中，事先計算在此使用之除法之倒數並儲存於記憶體時，可縮小該記憶體之記憶容量之動態影像預測方法等。
又，本發明之目的在於提供在藉時間性定標處理之動態影像預測中，可不增加演算所需要之有效演算位數，而是以小規模之演算來完成之動態影像預測方法等。
為了達成上述目的，故本發明之動態影像預測方法，係依據2張參考圖像之像素值來預測構成動態影像之圖像之像素值者，包含有：第1參數算出步驟，將對應於預測對象圖像與第1參考圖像之間隔之第1參數算出；第2參數算出步驟，將對應於前述第1參考圖像與第2參考圖像之間隔之第2參數算出；第1判斷步驟，判斷依據前述第1參數及前述第2參數算出之第3參數是否含於事先設定之預定範圍中；第1預測步驟，在前述第1判斷步驟中之判斷結果中，當前述第3參數含於前述預定範圍時，則依據前述第1參數、前述第2參數、前述第1參考圖像及第2參考圖像之像素值進行定標，藉此算出前述預測對象圖像之像素值；及第2預測步驟，在前述第1判斷步驟中之判斷 結果中，當前述第3參數不含於前述預定範圍時，則依據事先設定之預定值、前述第1參考圖像及第2參考圖像之像素值進行定標，藉此算出前述預測對象圖像之像素值。
在此，所謂定標處理，係指求出從2張參考圖像之像素值算出預測對象圖像之像素值時之各加權係數之處理。
藉此，對在定標處理中之加權係數值之1之第3參數設置限制，當加權係數在預定範圍內時，即進行使用該加權係數之定標處理，當加權係數在預定範圍外時，則使加權係數為預定值，進行利用該加權係數之定標處理，因此求取預測對象圖像之像素值時，經常可以預定之有效位元數計算。
又，前述動態影像預測方法，宜更包含一第2判斷步驟，係用以判斷前述第1參數是否含於事先設定之預定範圍內，當在前述第2判斷步驟之判斷結果中，前述第1參數不含於前述預定範圍時，則進行前述第2預測步驟之預測。
藉此，對作為定標處理中之除數之值之第1參數設置限制，當除數為預定範圍內之值時，更判斷由該除數特定之係數是否在預定範圍內而如上述地進行處理，另一方面，當除數超過預定範圍時，則以預先規定之值作為係數進行處理，故在求取預測對象圖像之像素值時，可縮小抑制計算除數之倒數之演算量或記憶之量。
又，前述動態影像預測方法亦可更包含一第3判斷步驟，係用以判斷前述第2參數是否含於事先設定之預定範圍內，當在前述第3判斷步驟之判斷結果中，前述第2參數不含於前述預定範圍時，則進行前述第2預測步驟之預測。
藉此，對作為定標處理中之乘數之值之第2參數設置限制，當乘數為預定範圍內之值時，更判斷由該乘數特定之加權係數是否含於預定範圍內而如上述地進行處理，另一方面，當乘數超過預定範圍時，則以預先規定之值作為加權係數進行處理，故在求取預測對象圖像之像素值時，可縮小抑制計算之演算量。
又，本發明不僅可以這種動態影像預測方法來實現，亦可以含於這種動態影像預測方法之步驟為機構之動態影像預測裝置來實現，以進行這種動態影像預測方法之動態影像編碼方法、裝置及動態影像解碼方法、裝置來實現，以使電腦執行該等步驟之程式來實現。又，該程式可經由CD-ROM等記錄媒體或網際網路等傳送媒體來傳遞，這是不待言的。
從以上說明可清楚得知，藉本發明之動態影像預測方法，可使利用2個參考圖像之定標處理效率化。藉此，可削減伴隨定標處理之計算量與記憶體容量。
亦即，在預測像素值之生成或變動向量之生成中，可避免在加權係數之算出時之除法，故可削減保存所需要之倒數演算之次數與倒數之查找表等之記憶體大小。又，可以預定之有效位元數(例如16位元)進行定標處理，故可避免電路規模之肥大。
101‧‧‧圖像記憶體
102‧‧‧預測殘差編碼部
103‧‧‧編碼列生成部
104‧‧‧預測殘差解碼部
105‧‧‧圖像記憶體
106‧‧‧變動向量檢出部
107‧‧‧變動補償編碼部
108‧‧‧變動向量記憶部
110‧‧‧差量演算部
111‧‧‧加法演算部
112、113‧‧‧開關
201‧‧‧編碼列解析部
202‧‧‧預測殘差解碼部
203‧‧‧圖像記憶體
204‧‧‧變動補償解碼部
205‧‧‧變動向量記憶部
207‧‧‧加法演算部
208‧‧‧開關
Cs‧‧‧電腦
F‧‧‧殼體
FD‧‧‧軟碟
FDD‧‧‧軟碟驅動器
Se‧‧‧扇區
Tr‧‧‧磁軌
ex100‧‧‧內容供給系統
ex101‧‧‧網路
ex102‧‧‧網路服務供應者
ex103‧‧‧資料流伺服器
ex104‧‧‧電話網
ex107~ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧攝影機
ex114‧‧‧行動電話
ex115‧‧‧附相機之行動電話
ex116‧‧‧攝影機
ex117‧‧‧LSI
ex201‧‧‧天線
ex202‧‧‧顯示部
ex203‧‧‧攝影部
ex204‧‧‧操作按鍵
ex205‧‧‧音聲輸入部
ex206‧‧‧槽部
ex207‧‧‧記錄媒體
ex208‧‧‧音聲輸出部
ex301‧‧‧發送接收線路部
ex302‧‧‧LCD控制部
ex303‧‧‧攝影機介面部
ex304‧‧‧操作輸入控制部
ex305‧‧‧音聲處理部
ex306‧‧‧調變解調線路部
ex307‧‧‧記錄播放部
ex308‧‧‧多重分離部
ex309‧‧‧影像解碼部
ex310‧‧‧電源線路部
ex311‧‧‧主控制部
ex312‧‧‧影像編碼部
ex313‧‧‧同步匯流排
ex401‧‧‧電視(接收機)
ex402‧‧‧儲存媒體
ex403‧‧‧播放裝置
ex404‧‧‧顯示器
ex405‧‧‧電纜
ex406‧‧‧天線
ex407‧‧‧轉頻器(STB)
ex408‧‧‧電視之顯示器
ex409‧‧‧廣播局
ex410‧‧‧廣播衛星
ex411‧‧‧天線
ex412‧‧‧車子
ex413‧‧‧導航系統
ex420‧‧‧記錄器
ex421‧‧‧DVD碟
ex422‧‧‧SD卡
第1圖是顯示藉由依據2個參考圖像之加權預測，算出B圖像之預測像素值之過程之習知技術之一例。
第2圖是顯示B圖像(編碼對象區塊)參考前方圖像(區塊1)與後方圖像(區塊2)時之例之圖。
第3圖是顯示B圖像(編碼對象區塊)參考2個前方圖像(區塊1與區塊2)時之例之圖。
第4圖是顯示習知之加權預測之程序之流程圖。
第5圖是顯示利用有關本發明之動態影像預測方法之動態影像編碼裝置之一實施型態之構成之方塊圖。
第6圖是顯示藉第5圖中之變動補償編碼部所進行之加權預測之處理程序之流程圖。
第7圖是顯示可有效削減為避免在算出加權係數時之除法所需要之查找表之大小之處理程序之流程圖。
第8圖是顯示第7圖中之判斷處理(步驟S70)之具體例之流程圖，顯示(a)判斷時刻T1之索引是否為0之情況、(b)判斷時刻T1之索引是否在預定值以下之情況。
第9圖是顯示以預定之有效位元數進行加權預測之處理程序之流程圖。
第10圖是顯示第9圖中之判斷處理(步驟S90)之具體例之流程圖，顯示(a)判斷時刻T1與時刻T之差(T1-T)是否在預定範圍內之情況、(b)判斷時刻T1與時刻T0之差(T1-T0)是否在預定範圍內之情況。
第11圖是顯示利用有關本發明之動態影像預測方法之動態影像解碼裝置之一實施型態之構成之方塊圖。
第12圖是利用儲存有用以實現實施型態1之動態影像編碼裝置或實施型態2之動態影像解碼裝置之構成之程式之軟碟，藉電腦實施時之說明圖，(a)顯示記錄媒體本體之軟碟之物理格式之例之說明圖、(b)顯示從軟碟之正面所見之外觀、截面構造、及軟碟之說明圖、(c)顯示軟碟FD上用以 進行上述程式之記錄播放之構成之說明圖。
第13圖是顯示實現內容傳遞服務之內容供給系統之全體構成之方塊圖。
第14圖是顯示使用有關本發明之動態影像預測方法、動態影像編碼裝置及影像解碼裝置之行動電話之圖。
第15圖是顯示有關本發明之行動電話之構成之方塊圖。
第16圖是顯示有關本發明之數位傳輸系統之全體構成之方塊圖。
較佳實施例之詳細說明
以下，參考圖式詳細說明有關本發明之動態影像預測方法。
(實施型態1)
第5圖是顯示利用有關本發明之動態影像預測方法之動態影像編碼裝置之一實施型態之構成之方塊圖。
動態影像編碼裝置具有：圖像記憶體101、預測殘差編碼部102、編碼列生成部103、預測殘差解碼部104、圖像記憶體105、變動向量檢出部106、變動補償編碼部107、變動向量記憶部108、差量演算部110、加法演算部111、及開關112、113。
圖像記憶體101係依顯示時間順序儲存以圖像單位輸入之動態影像。變動向量檢出部106利用已編碼完成之解碼影像資料作為參考圖像，進行顯示該圖像內之探索領域中被預測為最適當位置之動態向量之檢出。
變動補償編碼部107利用由變動向量檢出部106所檢出之變動向量來決定區塊之編碼模式，依據該編碼模式生成預測影像資料(預測像素值)。例 如，遇到利用2張參考圖像之圖像間預測編碼方式時，變動補償編碼部107利用由變動向量檢出部106檢出之變動向量，從2張參考圖像求得2個參考區塊之像素值，生成預測影像資料。亦即，藉著有關本發明特徵之定標處理，進行像素值之加權預測，從2個參考區塊之像素值求得處理對象區塊之像素值。又，變動補償編碼部107具有將對應第1參考圖像與第2參考圖像之間隔之值(限制在預定範圍之值)與其倒數賦予對應來記憶之查找表，並參考該查找表進行定標處理。
變動向量記憶部108係用以記憶由變動向量檢出部106檢出之變動向量。該變動向量記憶部108所記憶之變動向量係在例如將具有參考圖像之變動向量定標處理，預測處理對象區塊之變動向量之時間性直接模式之際參考。差量演算部110係演算從圖像記憶101讀出之影像資料與從變動補償編碼部107輸入之預測影像資料兩者之差量，生成預測殘差影像資料。
預測殘差編碼部102對已輸入之預測殘差影像資料進行頻率變換或量化等編碼處理，生成編碼資料。編碼列生成部103對已輸入之編碼資料進行可變長度編碼等，更附加從變動補償編碼部107輸入之變動向量之資訊、及編碼方式之資訊，藉此生成編碼列。
預測殘差解碼部104對已輸入之編碼資料進行逆量化或逆頻率變換等解碼處理，生成解碼差量影像資料。加法演算部111將由預測殘差解碼部104輸入之解碼差量影像資料與從變動補償編碼部107輸入之預測影像資料兩者進行加法演算，生成解碼影像資料。圖像記憶體105儲存已生成之解碼影像資料。
接著，說明如上述所構成之動態影像編碼裝置之特徵性動作。在此， 以藉變動補償編碼部107生成B圖像之預測像素值來作為一例，亦即，一面參考第2圖及第3圖，一面說明加權預測。
變動補償編碼部107係依據下述式來算出編碼對象區塊之預測像素值。
P=P0+((P1-P0)×BWD)>>LWD (式5)
在此，BWD及LWD是以下述式6~式9特定之值。
BWD0=((T-T0)<<7)/(T1-T0) (式6)
在此，「<<」係指朝左方位元移動之意。亦即，「<<7」是「×(2之7乘)」之意。
LWD0=Ceil(log2(1+(abs(BWD0)>>7)) (式7)
在此，函數Ceil(x)係將x籠絡在x以上且最接近x之整數之函數。函數abs(x)係恢復x之絕對值之函數。
BWD=BWD0>>LWD0 (式8)
LWD=7-LWD0 (式9)
又，如式7中所示，LWD0也表示abs(BWD0)>>7之整數值之位元數。
從以上可清楚得知，在本實施型態中，若像素值以8位元表現，則上述式6、式7、式8、式9之演算全部是16位元之演算。因此，上述式5所示之定標處理保證可在16位元之有效位元數之範圍內進行。亦即，藉上述式8，限制了加權係數使上述式5中之乘法不超過16位元之有效位元數。藉此，B圖像之加權預測可經常在16位元之有效位元數內實現。又，為了處理量之削減，亦可就BWD及LWD進行事先計算，儲存在置於圖像或片段之開始時點之查找表等。
又，本實施型態中，為了削減用以算出加權係數之計算次數，除了上述限制之外，亦可使用其他限制，這是當區塊1之參考圖像不是第2參考列(list1)中最初之參考圖像時，則使用預設之加權係數這個限制。在此，第2參考列中最初之參考圖像是第2參考列中附加索引0之參考圖像。
在此，所謂參考列是用以特定參考圖像之相對性編號(索引)之列，為了特定B圖像所參考之2個圖像，故使用第1參考列與第2參考列。第1參考列是第1個變動向量之參考列，通常用於前方預測，第2參考列是第2個變動向量之參考列，通常用於後方預測。索引通常在對象影像與像素相關較大之參考圖像中分配有小編號，最小之編號為0。又，加權係數之預設值以BWD=1、LWD=1為佳。唯，LWD若為大於7之值，則亦可設定為不同的預設值，例如BWD=1、LWD=0。
第6圖是顯示藉變動補償編碼部107進行加權預測之處理程序之流程圖。首先，一取得P0、P1、T、T0、T1(步驟S501)，即判斷區塊2所屬之參考圖像是否為第2參考列中最初之參考圖像(亦即，在list1之索引0)(步驟S502)。
結果，區塊2所屬之參考圖像不是第2參考列中最初之參考圖像時(步驟S502之No)，則將加權係數設定為第1預設值(步驟S504)。在此，所謂「將加權係數設定為第1預設值」，係指BWD=1、LWD=1之意思。
另一方面，若區塊2所屬之參考圖像是參考列中最初之參考圖像時(步驟S502之Yes)，則判斷時刻T1與T0是否相等(步驟S503)。結果，T1與T0是相等時(步驟S503之Yes)，則將加權係數設定為第1預設值(步驟S504)，另一方面，當T1與T0不相等時(步驟S503之No)，則依據上述式6及式7算出 BWD0及LWD0(步驟S505)。
接著，判斷LWD0是否大於7(步驟S506)，若大於7時(步驟S506之Yes)，則將加權係數設定為第2預設值(步驟S507)。在此，所謂「將加權係數設定為第2預設值」，係指BWD=1、LWD=0之意思。另一方面，當LWD在7以下時(步驟S506之No)，則依據上述式8及式9，算出BWD及LWD(步驟S508)。
接著，利用以上述做法決定之BWD及LWD，依據上述式5算出編碼對象區塊之預測像素值P(步驟S509)。
如此，藉上述限制(步驟S502、S503、S504、S506、步驟S507)，亦即當滿足一定條件時則將加權係數固定在預定值，與習知相較，即可極度縮小計算次數、及加權係數用之查找表所需之記憶體大小。又，所需要之除法次數等同於從查找表中記憶之加權係數之個數減去1之值。這是由於查找表之項(entry)中之殘存部分為預設值之加權係數所用之故。亦即，僅一部分之加權係數是藉計算算出的。
又，以上之加權預測，不僅是像素值顯示亮度之情況，當然在顯示色差之情況也可成立。例如，關於B圖像中色差之區塊之加權係數，其色差之預測值可於上述式5中利用與式3同樣的128之殘留誤差(offset)算出。因此，與習知相較，對色差之像素值之定標也可削減計算量。
如上所述，藉本實施型態中之動態影像編碼裝置，可使利用2個參考區塊之定標處理效率化。接著，削減計算量這個效果，不僅是動態影像編碼裝置，當然亦可適用於動態影像解碼裝置。
又，本實施型態中，顯示出同時實現將用以避免算出加權係數之除法所需之查找表削減其大小、以預定之有效位元數(例如16位元)進行加權 預測這兩者之方法，不過本發明並不限定於同時發揮兩者之效果之實現方法。以下，說明將削減查找表之大小、與以預定有效位元數進行加權預測兩者各自單獨實現之方法。
又，在上述中，顯示了藉位元移動以預定之有效位元數進行加權預測之方法，不過BWD及LWD可利用固定值。使BWD及LWD為固定值，會有加權係數超過預定之有效位元數之情況，這種情況係如以下所說明地使用預定之加權係數。
第7圖是顯示出可削減用以避免算出加權係數之除法所需之查找表之大小之有效處理程序之流程圖。
首先，變動補償編碼部107在第2圖或第3圖所示之B圖像之加權預測之際，判斷是否有必要生成因應時刻T、T1、T0之值之預測值(步驟S70)。結果判斷為有必要時(步驟S70之Yes)，則如一般地根據上述式1~式3，生成因應這些時刻T、T1、T0之值之預測值(步驟S72)。另一方面，當判斷為沒有必要時(步驟S70之No)，則將2個加權係數W0及W1各自設定為1/2，依據上述式3生成預測值(步驟S71)。
第8圖是顯示第7圖中判斷處理(步驟S70)之具體例之流程圖。
第8(a)圖中，變動補償編碼部107依據時刻T1之索引(對應時刻T1之參考圖像在參考列中之索引)是否為0(步驟S80)，轉換利用預定之加權係數(例如W0=W1=1/2)生成預測值(步驟S81)、或依據上述式1~3，利用時刻T、T1、T0來生成預測值(步驟S82)。藉此，僅在例如關於時刻T1之索引為0之情況，必須算出與時間函數相關之加權係數，故僅需將對應於這種情況之加權係數儲存於查找表中，如此一來，與習知之儲存所有情況之加權 係數相較，即削減了表之大小。
第8(b)圖中，變動補償編碼部107依據時刻T1之索引(對應時刻T1之參考圖像在參考列中之索引)是否在預定值(例如2)以下(步驟S85)，轉換利用預定之加權係數(例如W0=W1=1/2)生成預測值(步驟S86)、或依據上述式1~3，利用時刻T、T1、T0來生成預測值(步驟S87)。藉此，僅在例如參考圖像之索引在預定值以下時，必須算出與時間函數相關之加權係數，故僅需將對應於這種情況之加權係數儲存於查找表中，如此一來，與習知之儲存所有情況之加權係數相較，即削減了表之大小。
第9圖是顯示以預定之有效位元數進行加權預測之處理程序之流程圖。
首先，變動補償編碼部107在第2圖或第3圖所示之B圖像之加權預測之際，判斷是否可因應時刻T、T1、T0之值，以預定有效位元數生成預測值(步驟S90)。結果判斷為可以時(步驟S90之Yes)，則如一般地根據上述式1~式3，生成因應這些時刻T、T1、T0之值之預測值(步驟S92)。另一方面，當判斷為不可能時(步驟S90之No)，則將2個加權係數W0及W1各自設定為1/2，依據上述式3生成預測值(步驟S91)。
第10圖是顯示第9圖中之判斷處理(步驟S90)之具體例之流程圖。
第10(a)圖是顯示在像素值之加權預測中之具體例之圖。在此，變動補償編碼部107依據時刻T1與時刻T之差(T1-T)是否在預定範圍內(例如-2~2)(步驟S100)，轉換利用預定之加權係數(例如W0=W1=1/2)生成預測值(步驟S101)、或依據上述式1~3，利用時刻T、T1、T0來生成預測值(步驟S102)。藉此，在預測像素值之生成中，加權係數超過一定值之情況，亦即，無法以一定位元數表現之事態發生時，將加權係數設定為預定值(可 以一定位元數表現之值)，故可確保時常藉一定之有效位元數進行加權預測。
第10(b)圖是顯示在像素值之加權預測中之具體例之圖。在此，變動補償編碼部107依據時刻T1與時刻T0之差(T1-T0)是否在預定範圍內(例如-2~2)(步驟S105)，轉換利用預定之加權係數(例如W0=W1=1/2)生成預測值(步驟S106)、或依據上述式1~3，利用時刻T、T1、T0來生成預測值(步驟S106)。藉此，在預測像素值之生成中，加權係數超過一定值之情況，亦即，發生無法以一定位元數表現之事態時，將加權係數設定為預定值(可以一定位元數表現之值)，故可確保時常藉一定之有效位元數進行加權預測。
(實施型態2)
接著，說明有關利用本發明之動態影像預測方法之動態影像解碼裝置。
第11圖是顯示利用有關本發明之動態影像預測方法之動態影像解碼裝置之一實施型態之構成之方塊圖。
動態影像解碼裝置具有：編碼列解析部201、預測殘差解碼部202、圖像記憶體203、變動補償解碼部204、變動向量記憶部205、加法演算部207、及開關208。
編碼列解析部201從已輸入之編碼列，進行編碼模式之資訊、及編碼時利用之變動向量之資訊等各種資料之抽出。預測殘差解碼部202進行已輸入之預測殘差編碼資料之解碼，生成預測殘差影像資訊。
變動補償解碼部204依據編碼時之編碼模式之資訊、及變動向量之資訊等，生成變動補償影像資料。例如，以使用2張參考圖像之圖像間預測編碼 模式來編碼時，變動補償解碼部204即利用由編碼列解析部201抽出之變動向量，從2張參考圖像求得2個參考區塊之像素值。亦即，藉有關本發明之特徵性定標處理，進行像素值之加權預測，從2個參考區塊之像素值求得處理對象區塊之像素值。又，變動補償解碼部204具有將對應第1參考圖像與第2參考圖像之間隔之值與其倒數賦予對應來記憶之查找表，並參考該查找表進行定標處理。
變動向量記憶部205記憶藉編碼列解析部201抽出之變動向量。該變動向量記憶部205所記憶之變動向量係在例如解碼對象區塊係藉時間性直接模式編碼之際參考。加法演算部207係將從預測殘差解碼部202輸入之預測殘差編碼資料與從變動補償解碼部204輸入之變動補償影像資料，生成解碼影像資料。圖像記憶體203係儲存已生成之解碼影像資料。
接著說明如以上構成之動態影像解碼裝置之特徵性動作，亦即，藉變動補償解碼部204進行像素值之加權預測。
變動補償解碼部204基本上具有與動態影像編碼裝置所具備之變動補償編碼部107相同之機能。例如，在藉定標處理之像素值加權預測中，係如第6圖所示地，根據時刻T1之索引值或時刻T1與時刻T0之一致性(步驟S501~S503)，於BWD及LWD設定預設值(步驟S504、S507)，或依據上述式6~9來特定BWD及LWD(步驟S508)，利用已特定之BWD及LWD，依據上述式5來算出編碼對象區塊P之預測像素值(步驟S509)。
又，變動補償解碼部204可如第7圖及第8圖所示地，只進行削減用以避免在加權係數之算出時之除法所需之查找表大小之有效處理。亦即，變動補償解碼部204在如第2圖或第3圖所示之B圖像之加權預測之際，判斷是否 有必要生成因應時刻T、T1、T0之值之預測值(步驟S70)。結果判斷為有必要時(步驟S70之Yes)，則如一般地根據上述式1~式3，生成因應這些時刻T、T1、T0之值之預測值(步驟S72)。另一方面，當判斷為沒有必要時(步驟S70之No)，則將2個加權係數W0及W1各自設定為1/2，依據上述式3生成預測值(步驟S71)。
藉此，僅在有必要生成因應時刻T、T1、T0之值之預測值時，必須算出與時間函數相關之加權係數，故僅需將對應於這種情況之加權係數儲存於查找表中，如此一來，與習知之儲存所有情況之加權係數相較，即削減了表之大小。
同樣的，變動補償解碼部204亦可如第9圖及第10圖所示地，進行以預定之有效位元數做加權預測之處理。亦即，變動補償解碼部204在第2圖或第3圖所示之B圖像之加權預測之際，判斷是否可因應時刻T、T1、T0之值，以預定有效位元數生成預測值(步驟S90)，結果判斷為可以時(步驟S90之Yes)，則如一般地根據上述式1~式3，生成因應這些時刻T、T1、T0之值之預測值(步驟S92)。另一方面，當判斷為不可能時(步驟S90之No)，則將2個加權係數W0及W1各自設定為1/2，依據上述式3生成預測值(步驟S91)。
藉此，無法利用時刻T、T1、T0以預定有效位元數預測時，亦即，由於加權係數超過一定值而無法以一定位元數表現預測值之事態發生時，則將加權係數設定為預定值(可以一定位元數表現之值)，故可確保時常藉一定之有效位元數進行加權預測。
(實施型態3)
接著，說明關於以其他型態實現有關本發明之動態影像預測方法、動 態影像編碼裝置及動態影像解碼裝置之例子。
將用以實現上述各實施型態中所示之動態影像編碼裝置或動態影像解碼裝置之構成之程式記錄於軟碟等記憶媒體中，可藉此使得上述實施型態中所示之處理可在獨立之電腦系統中簡單地實施。
第12圖是利用儲存有用以實現上述實施型態1之動態影像編碼裝置或實施型態2之動態影像解碼裝置之構成之程式之軟碟，藉電腦系統實施之情況之說明圖。
第12(b)圖是顯示從軟碟正面所見之外觀、截面構造及軟碟，第12(a)圖是顯示記錄媒體本體之軟碟之物理格式之例子。軟碟FD內藏於殼體F內，該軟碟之表面以同心圓狀從外周向內周形成有多數之磁軌Tr，各磁軌於角度方向分割為16個扇區Se。因此，儲存有上述程式之軟碟中，在上記軟碟FD上所分配之領域中，記錄有作為上述程式之影像編碼方法。
又，第12(c)圖係顯示用以於軟碟FD進行上述程式之記錄播放之構成。將上述程式記錄於軟碟FD時，係從電腦系統Cs經由軟碟驅動器寫入作為上述程式之動態影像編碼裝置或動態影像解碼裝置。又，藉由軟碟FD內之程式將上述影像編碼方法構築於電腦系統中時，係藉軟碟驅動器從軟碟讀取程式，傳送到電腦系統。
又，在上述說明中，是就使用軟碟作為記錄媒體來進行說明，使用光碟也可同樣進行。又，記錄媒體並不限定於此，凡IC卡、ROM卡等可記錄媒體者皆可同樣實施。
接著更在此說明上述實施型態中所示之動態影像預測方法、動態影像編碼裝置、動態影像解碼裝置之應用例及利用該等之系統。
第13圖是顯示實現內容傳遞服務之內容供給系統ex100之全體構成之方塊圖。將通訊服務之提供區域分割為所希望之大小，各細胞內各自設置有固定無線台之基地台之ex107~ex110。
該內容供給系統ex100經由例如網路ex101中網路服務供應者ex102、電話網ex104及基地台ex107~ex110，連接於電腦ex111、PDA(Personal digital assistant)ex112、攝影機ex113、行動電話ex114、附相機之行動電話ex115等各機器。
然而，內容供給系統ex100並不限定於第13圖這種組合，亦可組合任一者來連接。又，亦可不經過固定無線台之基地台ex107~ex110，而將各機器直接連接於電話網ex104。
攝影機ex113為數位攝影相機等可進行動畫攝影之機器。又，行動電話可以是PDC(Personal Digital Communication)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communications)方式之行動電話機，或PHS(Personal Handyphone System)等任一者皆可。
又，資料流伺服器ex103是從攝影機ex113通過基地台ex109、電話網ex104而連接，可依據使用者利用攝影機ex113所發送之業已編碼處理之資料進行實況傳遞。以攝影之資料之編碼處理可在攝影機ex113進行，亦可在進行資料發送處理之伺服器等進行。又，在攝影機ex116拍得之動畫資料亦可經由電腦ex111發送到資料流伺服器ex103。攝影機ex116是數位相機等可拍攝靜止影像、動畫之機器。這時，動畫資料之編碼在攝影機ex116或電腦ex111進行皆可。又，編碼處理是在電腦ex111或攝影機ex116所具有之LSIex117中處理。 又，動態影像編碼、解碼用之軟體亦可安裝於可以電腦ex111等讀取之記錄媒體之某種儲存媒體(CD-ROM、軟碟、硬碟等)中。更，亦可以附相機之行動電話ex115來發送動畫資料。這時的動畫資料是藉行動電話ex115所具有之LSI編碼處理之資料。
該內容供給系統ex100中，將使用者以攝影機ex113、攝影機ex116等拍攝之內容(例如拍攝音樂實況之映像等)進行與上述實施型態相同的編碼處理並發送到資料流伺服器ex103，另一方面，對資料流伺服器ex103有要求之客戶進行上述內容資料之資料流傳遞。客戶有可將上述業經編碼處理之資料解碼之電腦ex111、PDAex112、攝影機ex113、行動電話ex114等。藉由如此，內容供給系統ex100成為可將被編碼之資料在客戶被接收並播放，更藉由在客戶即時接收並解碼、播放，而可實現個人播放之系統。
構成該系統之各機器之編碼、解碼只要使用上述各實施型態中所示之動態影像編碼裝置或動態影像解碼裝置即可。
就行動電話作為一例來說明。
第14圖是顯示使用上述實施型態中所說明之動態影像預測方法、動態影像編碼裝置及動態影像解碼裝置之行動電話ex115之圖。行動電話ex115具有：用以與基地台ex110間發送接收電波之天線ex201、可攝影CCD攝影機等之映像、靜止畫像之攝影部ex203、顯示出攝影部ex203攝影之映像、天線ex201接收之映像等已解碼之資料之液晶顯示器等之顯示部ex202、由操作按鍵ex204群構成之本體部、用以輸出音聲之揚聲器等之音聲輸出部ex208、用以輸入音聲之麥克風等之音聲輸入部ex205、用以儲存攝影之動畫或靜止影像之資料、接收之郵件之資料、動畫資料或靜止影像之資料等已編碼之資料 或已解碼之資料之記錄媒體ex207、用以將記錄媒體ex207裝於行動電話ex115之槽部ex206。記錄媒體ex207是在SD卡等塑膠殼體內收藏有可進行電性改寫或消去之不揮發性記憶體之EEPROM(Electrically Erasable and Programmable Read Only Memery)之一種之快閃記憶體元件者。
更進一步利用第15圖說明行動電話ex115。行動電話ex115係對統括地控制具有顯示部ex202及操作按鍵ex204之本體部之各部之主控制部ex311，電源線路部ex310、操作輸入控制部ex304、影像編碼部ex312、攝影機介面部ex303、LCD(Liquid Crystal Display)控制部ex302、影像解碼部ex309、多重分離部ex308、記錄播放部ex307、調變解調線路部ex306及音聲處理部ex305經由同步匯流排ex313而相互連接。
電源線路部ex310係一旦暫線及電源按鍵藉使用者之操作而成為啟動狀態，則藉由從電池組對各部供給電力，使附攝影機之數位行動電話ex115啟動為可動作狀態。
行動電話ex115依據CPU、ROM及RAM等主控制部ex311之控制，藉音聲處理部ex305將在音聲通話模式時以音聲輸入部ex205集音之音聲訊號變換為數位音聲資料，將之在調變解調線路部ex306進行頻譜擴散處理，在發送接收線路部ex301施以數位類比變換處理及頻率變換處理後，經由天線ex201發送。又，行動電話機ex115將音聲通話模式時由天線ex201接收之接收資料增幅，施以頻率變換處理及類比數位變換處理，再以調變解調線路部ex306進行頻譜逆擴散處理，藉音聲處理部ex305變換為類比音聲資料後，經由音聲輸出部ex208輸出。
更，在資料通訊模式下發送電子郵件時，藉操作本體部之操作按鍵ex204 而輸入之電子郵件之正文資料，是經由操作輸入控制部ex304送出到主控制部ex311。主控制部ex311係由調變解調線路部ex306將正文資料進行頻譜擴散處理，由發送接收線路部ex301施以數位類比變換處理及頻率變換處理後，經由天線ex201朝基地台ex110發送。
在資料通訊模式下發送影像資料時，由攝影部ex203攝得之影像資料經由攝影機介面部ex303供給影像編碼部ex312。又，未發送影像資料時，由攝影部ex203攝得之影像資料亦可經由攝影機介面部ex303及LCD控制部ex302而直接顯示於顯示部ex202。
影像編碼部ex312是具有本申請發明中所說明之動態影像編碼裝置之構成，藉在上述實施型態中顯示之動態影像編碼裝置所使用之編碼方法將攝影部ex203供給之影像資料壓縮編碼，藉此變換為編碼影像資料，再將之送到多重分離部ex308。又，在此同時，行動電話機ex115係將當攝影部ex203在攝影中時由音聲輸入部ex205集音之音聲經由音聲處理部ex305作為數位之音聲資料發送到多重分離部ex308。
多重分離部ex308係以預定方式將由影像編碼部ex312供給之編碼影像資料及由音聲處理部ex305供給之音聲資料多重化，結果得到之多重化資料由調變解調線路部ex306進行頻譜擴散處理，在發送接收線路部ex301施以數位類比變換處理及頻率變換處理後經由天線ex201發送。
在資料通訊模式下接收到連接到網頁等之動畫像檔案之資料時，係將經由天線ex201從基地台ex110接收之接收資料在調變解調線路部ex306做頻譜逆擴散處理，將結果得到之多重化資料送到多重分離部ex308。
又，要解碼經由天線ex201接收到之多重化資料，多重分離部ex308係藉 分離多重化資料，分為影像資料之位元流與音聲資料之位元流，經由同步匯流排ex313將該編碼影像資料供給於影像解碼部ex309，同時將該音聲資料供給音聲處理部ex305。
接著，影像解碼部ex309是具有本申請發明中所說明之動態影像解碼裝置之構成，以對應於上述實施型態中所示之編碼方法之解碼方法來解碼影像資料之位元流，藉此生成播放動態影像資料，並將之經由LCD控制部ex302供給於顯示部ex202，藉此，顯示出例如鏈接於網頁之動態影像檔案中所含之動畫資料。這時，音聲處理部ex305同時將音聲資料變換為類比音聲資料，然後將之供給於音聲輸出部ex208，藉此，可播放例如鏈接於網頁之動態影像檔案中所含之音聲資料。
又，不限於上述系統之例子，最近藉衛星、地面電波之數位廣播成為話題，如第16圖所示的，數位廣播用系統中可安裝上述實施型態之動態影像編碼裝置或動態影像解碼裝置之至少任一者。具體來說，在廣播局ex409，映像資訊之位元流經由電波通訊或傳送到廣播衛星ex410。接收到該位元流之廣播衛星ex410發送廣播用電波，該電波由具有衛星廣播接收設備之家庭之天線ex406接收，藉電視(接收機)ex401或轉頻器(STB)ex407等裝置解碼位元流而將之播放。又，讀取記錄媒體之CD或DVD等儲存媒體ex402中記錄之位元流並解碼之播放裝置ex403上也可安裝上述實施型態中所示之動態影像解碼裝置。這時，被播放之映像訊號顯示於顯示器ex404。又，在連接於有線電視用之電纜ex405或衛星/地面電波廣播之天線ex406之轉頻器ex407內安裝動態影像解碼裝置，將之在電視之顯示器ex408上播放之構成亦可。 這時，亦可將動態影像解碼裝置安裝於電視內而不是轉頻器。又，亦可在 具有天線ex411之車子ex412從衛星ex410或基地台ex107等接收訊號，於車子ex412所具有之導航系統ex413等之顯示裝置播放動畫。
更，亦可在上述實施型態中所示之動態影像編碼裝置將影像訊號編碼、記錄於記錄媒體。具體例有記錄影像訊號於DVD碟ex421之DVD記錄器、或記錄於硬碟之磁碟記錄器等之記錄器ex420。更可記錄於SD卡ex422。記錄器ex420若具備上述實施型態中所示之動態影像解碼裝置，則可播放記錄於DVD碟ex421或SD卡ex422之影像訊號，並顯示於顯示器ex408。
又，汽車導航系統ex413之構成可以是例如第15圖所示之構成中，除去攝影部ex203、攝影機介面部ex303及影像編碼部ex312之構成，同樣的構成也可用於電腦ex111或電視(接收機)ex401等中。
又，上述行動電話ex114等之端末，除了具有編碼器、解碼器兩者之發送接收型之端末之外，還可考慮僅編碼器之發送端末、僅解碼器之接收端末等3種安裝形式。
像這樣，可將上述實施型態中所示之動態影像預測方法、動態影像編碼裝置及動態影像解碼裝置用於上述任一機器、系統，如此，即可得到上述實施型態中說明之效果。
以上，依據實施型態說明了有關本發明之動態影像預測方法、動態影像編碼裝置及動態影像解碼裝置，然而本發明並不限定於該實施型態。
例如，第7圖中之判斷(是否需要生成因應T,T1,T0之預測值之判斷；步驟S70)、及第9圖中之判斷(可否因應T,T1,T0，以預定之有效位元數生成預測值之判斷；步驟S90)，不僅限於上述式1及式2中所示之算出加權係數W0及W1之式之除數(分母之值)之值，亦可藉被除數(分子之值)之值或加 權係數W0及W1之值來判斷。更可藉由乘以這些加權係數W0及W1之值來判斷。
產業上之可利用性
如上所述，有關本發明之動態影像預測方法、動態影像編碼方法及動態影像解碼方法，可在例如行動電話、DVD裝置、及個人電腦等，作為用以生成預測像素值、將構成動態影像之各圖像編碼生成編碼列、將已生成之編碼列解碼之方法而善加利用。

Claims (2)

  1. 一種解碼方法，是將以預定的編碼方法編碼輸入圖像所產生之編碼圖像解碼的解碼方法，前述預定的編碼方法包含有下述步驟：算出對應於編碼對象的前述輸入圖像與前述輸入圖像所參考的第1參考圖像間之間隔的第1參數；算出對應於前述第1參考圖像與前述輸入圖像所參考的第2參考圖像間之間隔的第2參數；判斷依據前述第1參數及前述第2參數的比例算出之第3參數之值是否包含於預先設定的預定範圍；當前述第3參數之值包含於前述預定範圍時，使用藉前述第1和第2參數所算出之加權係數，對前述第1及第2參考圖像之像素值進行定標，藉此算出前述輸入圖像之預測像素值，當前述第3參數之值不包含於前述預定範圍時，使用預定值之加權係數，對前述第1及第2參考圖像之像素值進行定標，藉此算出前述輸入圖像之預測像素值；及使用前述算出的預測像素值，編碼前述輸入圖像；前述解碼方法包含有：算出對應於前述編碼圖像與前述編碼圖像所參考的第1參考圖像間之間隔的前述第1參數；算出對應於前述第1參考圖像與前述編碼圖像所參考的第2參考圖像間之間隔的前述第2參數；判斷依據前述第1參數及前述第2參數的比例算出之第3參數之值是否包含於預先設定的預定範圍；當前述第3參數之值包含於前述預定範圍時，使用藉前述第1和第2參數所算出之加權係數，對前述第1及第2參考圖像之像素值進行定標，藉此算出前述編碼圖像之預測像素值，當前述第3參數之值不包含於前述預定範圍時，使用預定值之加權係數，對前述第1及第2參考圖像之像素值進行定標，藉此算出前述編 碼圖像之預測像素值；及使用前述算出之預測像素值，將前述編碼圖像予以解碼。
  2. 如請求項1之解碼方法，其中前述間隔為時間間隔。
TW103102719A 2002-11-20 2003-09-16 解碼裝置與解碼方法 TWI519134B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002336294 2002-11-20
JP2002340391 2002-11-25

Publications (2)

Publication Number Publication Date
TW201419875A TW201419875A (zh) 2014-05-16
TWI519134B true TWI519134B (zh) 2016-01-21

Family

ID=32328329

Family Applications (8)

Application Number Title Priority Date Filing Date
TW103102719A TWI519134B (zh) 2002-11-20 2003-09-16 解碼裝置與解碼方法
TW95133824A TWI328969B (en) 2002-11-20 2003-09-16 Picture coding method and apparatus, and data storage media
TW105120817A TWI575938B (zh) 2002-11-20 2003-09-16 影像解碼方法與影像解碼裝置
TW99109131A TWI430666B (zh) 2002-11-20 2003-09-16 積體電路、解碼方法、轉頻器、接收裝置及接收方法
TW92125516A TWI283134B (en) 2002-11-20 2003-09-16 Picture decoding method, picture decoding apparatus, and data storage media
TW104141329A TWI547147B (zh) 2002-11-20 2003-09-16 影像解碼方法與影像解碼裝置
TW104141327A TWI559741B (zh) 2002-11-20 2003-09-16 圖像編碼解碼系統
TW104141332A TWI562602B (en) 2002-11-20 2003-09-16 Picture coding and decoding system

Family Applications After (7)

Application Number Title Priority Date Filing Date
TW95133824A TWI328969B (en) 2002-11-20 2003-09-16 Picture coding method and apparatus, and data storage media
TW105120817A TWI575938B (zh) 2002-11-20 2003-09-16 影像解碼方法與影像解碼裝置
TW99109131A TWI430666B (zh) 2002-11-20 2003-09-16 積體電路、解碼方法、轉頻器、接收裝置及接收方法
TW92125516A TWI283134B (en) 2002-11-20 2003-09-16 Picture decoding method, picture decoding apparatus, and data storage media
TW104141329A TWI547147B (zh) 2002-11-20 2003-09-16 影像解碼方法與影像解碼裝置
TW104141327A TWI559741B (zh) 2002-11-20 2003-09-16 圖像編碼解碼系統
TW104141332A TWI562602B (en) 2002-11-20 2003-09-16 Picture coding and decoding system

Country Status (12)

Country Link
US (12) US7542510B2 (zh)
EP (2) EP2309758B1 (zh)
JP (5) JP5249253B2 (zh)
KR (2) KR100961312B1 (zh)
CN (2) CN101304536B (zh)
AU (1) AU2003261923C1 (zh)
BR (2) BR0306987A (zh)
CA (1) CA2473767C (zh)
MX (1) MXPA04006643A (zh)
MY (1) MY139301A (zh)
TW (8) TWI519134B (zh)
WO (1) WO2004047453A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956910B1 (ko) * 2002-07-02 2010-05-11 파나소닉 주식회사 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법
AU2003261923C1 (en) * 2002-11-20 2009-07-16 Godo Kaisha Ip Bridge 1 Moving image predicting method, moving image encoding method and device, and moving image decoding method and device
WO2006072992A1 (ja) * 2005-01-07 2006-07-13 Fujitsu Limited 圧縮符号化装置、伸張復号化装置
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
JP2011151683A (ja) * 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
CN107071409A (zh) * 2010-05-13 2017-08-18 夏普株式会社 预测图像生成装置
CN106878742B (zh) 2011-01-12 2020-01-07 太阳专利托管公司 动态图像编解码装置
JP6108309B2 (ja) * 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
KR101953522B1 (ko) * 2011-06-17 2019-02-28 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 및 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
CN103621087B (zh) * 2011-06-23 2016-12-07 Jvc建伍株式会社 图像解码装置及图像解码方法
JP5706264B2 (ja) 2011-08-01 2015-04-22 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP5320525B1 (ja) * 2011-10-27 2013-10-23 パナソニック株式会社 予測動きベクトル導出方法および予測動きベクトル導出装置
MX2013012223A (es) 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
WO2013061549A1 (ja) 2011-10-28 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
TWI679876B (zh) * 2011-10-31 2019-12-11 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置及動態影像解碼方法
TWI618401B (zh) * 2011-12-28 2018-03-11 Jvc Kenwood Corp Motion picture coding device, motion picture coding method and memory medium
US10805627B2 (en) 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
CN114793279A (zh) * 2016-02-03 2022-07-26 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
JP6737253B2 (ja) * 2017-09-05 2020-08-05 株式会社デンソー 画像処理装置
WO2021036977A1 (en) 2019-08-23 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Clipping in reference picture resampling
KR20220080107A (ko) 2019-10-23 2022-06-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 참조 픽처 리샘플링을 위한 시그널링
EP4035379A4 (en) * 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2530217B2 (ja) * 1989-01-20 1996-09-04 日本ビクター株式会社 フレ―ム間予測符号化装置及び復号装置
GB9001468D0 (en) * 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JP2839358B2 (ja) 1990-11-13 1998-12-16 松下電器産業株式会社 符号化装置及びその方法
JPH04268892A (ja) 1991-02-22 1992-09-24 Mitsubishi Electric Corp フレーム間適応予測符号化方式
JPH05236454A (ja) * 1992-02-24 1993-09-10 G C Technol Kk 画像符号化における動ベクトル検出方法と装置
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5619501A (en) 1994-04-22 1997-04-08 Thomson Consumer Electronics, Inc. Conditional access filter as for a packet video signal inverse transport system
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US5767911A (en) 1994-12-20 1998-06-16 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
US5959672A (en) 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US5960116A (en) * 1995-11-02 1999-09-28 Canon Kabushiki Kaisha Image processing apparatus and method for performing prediction data encoding
JPH09163376A (ja) * 1995-12-05 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 動画像のフレーム間符号化・復号方法および装置
EP0840510B1 (en) * 1996-05-17 2003-01-29 Matsushita Electric Industrial Co., Ltd. Picture decoder
CN100361536C (zh) * 1996-05-28 2008-01-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US6028963A (en) * 1996-06-17 2000-02-22 Canon Kabushiki Kaisha Image encoding based on judgement on prediction error
TW366669B (en) * 1996-10-30 1999-08-11 Matsushita Electric Ind Co Ltd Picture encoding device and picture encoding method, picture decoding device and picture decoding method, and data recording media
KR19980042023A (ko) 1996-11-01 1998-08-17 윌리엄비.켐플러 오디오 영상 시스템용 집적 회로
JPH10224795A (ja) * 1997-01-31 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器および復号器
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
GB2325595B (en) 1997-05-21 2002-06-19 Sony Uk Ltd Demultiplexer
DE69817460T2 (de) 1997-06-09 2004-06-09 Hitachi, Ltd. Bildsequenzdekodierungsverfahren
US6574371B2 (en) 1997-06-09 2003-06-03 Hitachi, Ltd. Image decoding method
US6353683B1 (en) * 1997-12-10 2002-03-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus of image processing, and data storage media
JPH11239352A (ja) * 1997-12-10 1999-08-31 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置、並びにデータ記憶媒体
JPH11289519A (ja) * 1998-04-02 1999-10-19 Sony Corp 再生装置
JP4053668B2 (ja) 1998-09-16 2008-02-27 パイオニア株式会社 情報記録装置及び情報記録方法
US6377713B1 (en) 1999-01-27 2002-04-23 General Instrument Corporation Synchronous DRAM bandwidth optimization for display downsizing of an MPEG-2 image
JP3745160B2 (ja) * 1999-04-12 2006-02-15 三菱電機株式会社 符号化装置、復号化装置、符号化方法並びに復号化方法
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
US6577679B1 (en) 1999-09-30 2003-06-10 Hewlett-Packard Development Company Lp Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding
US9668011B2 (en) 2001-02-05 2017-05-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Single chip set-top box system
CN1168320C (zh) 2000-02-01 2004-09-22 皇家菲利浦电子有限公司 对图像预测编码的方法及视频编码器
US6404814B1 (en) 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
JP2002232881A (ja) * 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
KR100956910B1 (ko) * 2002-07-02 2010-05-11 파나소닉 주식회사 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법
CN101867823B (zh) * 2002-08-08 2012-05-02 松下电器产业株式会社 解码方法及解码装置
AU2003261923C1 (en) * 2002-11-20 2009-07-16 Godo Kaisha Ip Bridge 1 Moving image predicting method, moving image encoding method and device, and moving image decoding method and device
JP4178088B2 (ja) * 2002-11-20 2008-11-12 松下電器産業株式会社 動画像復号化方法及び装置並びにデータ記憶媒体
JP2007535191A (ja) * 2004-01-30 2007-11-29 松下電器産業株式会社 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム
JP4268892B2 (ja) 2004-03-03 2009-05-27 三菱電機株式会社 光ファイバカプラの製造方法および光ファイバカプラの製造装置

Also Published As

Publication number Publication date
KR100961313B1 (ko) 2010-06-04
JP5631478B2 (ja) 2014-11-26
JP2010148128A (ja) 2010-07-01
US20160080758A1 (en) 2016-03-17
JP5485430B2 (ja) 2014-05-07
US20120287996A1 (en) 2012-11-15
TW201703521A (zh) 2017-01-16
TW201615015A (en) 2016-04-16
TW201036446A (en) 2010-10-01
US8553770B2 (en) 2013-10-08
AU2003261923A1 (en) 2004-06-15
US20150036746A1 (en) 2015-02-05
US7848411B2 (en) 2010-12-07
TW200409549A (en) 2004-06-01
US9723320B2 (en) 2017-08-01
CN1615655A (zh) 2005-05-11
TWI328969B (en) 2010-08-11
US9232220B2 (en) 2016-01-05
US20050047506A1 (en) 2005-03-03
US20090110072A1 (en) 2009-04-30
TWI562602B (en) 2016-12-11
BRPI0306987B1 (pt) 2018-04-03
EP2309758B1 (en) 2014-07-30
TWI430666B (zh) 2014-03-11
US8885713B2 (en) 2014-11-11
KR20050071363A (ko) 2005-07-07
JP2014099881A (ja) 2014-05-29
TW201615014A (en) 2016-04-16
TW201615013A (en) 2016-04-16
TWI547147B (zh) 2016-08-21
EP1566970A1 (en) 2005-08-24
JP2014099882A (ja) 2014-05-29
US20170289564A1 (en) 2017-10-05
CA2473767C (en) 2012-10-23
US20170289565A1 (en) 2017-10-05
JP2013102518A (ja) 2013-05-23
US20180234696A1 (en) 2018-08-16
US8204119B2 (en) 2012-06-19
CN101304536B (zh) 2011-11-02
TW201419875A (zh) 2014-05-16
JP5631479B2 (ja) 2014-11-26
JP5249253B2 (ja) 2013-07-31
EP1566970A4 (en) 2008-12-03
US9451276B2 (en) 2016-09-20
US20160360222A1 (en) 2016-12-08
US9967584B2 (en) 2018-05-08
KR100961312B1 (ko) 2010-06-04
MXPA04006643A (es) 2004-10-04
CN100401781C (zh) 2008-07-09
TW200708114A (en) 2007-02-16
TWI575938B (zh) 2017-03-21
MY139301A (en) 2009-09-30
JP4722232B2 (ja) 2011-07-13
BR0306987A (pt) 2004-12-14
AU2003261923C1 (en) 2009-07-16
WO2004047453A1 (ja) 2004-06-03
CN101304536A (zh) 2008-11-12
CA2473767A1 (en) 2004-06-03
KR20080073783A (ko) 2008-08-11
EP2309758A3 (en) 2012-02-01
US7542510B2 (en) 2009-06-02
TWI283134B (en) 2007-06-21
US20100266011A1 (en) 2010-10-21
AU2003261923B2 (en) 2008-12-11
US20140010298A1 (en) 2014-01-09
EP2309758A2 (en) 2011-04-13
TWI559741B (zh) 2016-11-21
US9973773B2 (en) 2018-05-15
US9729894B2 (en) 2017-08-08
US20160360221A1 (en) 2016-12-08
JP2011125068A (ja) 2011-06-23

Similar Documents

Publication Publication Date Title
TWI519134B (zh) 解碼裝置與解碼方法
KR100967237B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR100956910B1 (ko) 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법
EP1631089A1 (en) Video coding apparatus and decoding apparatus
EP1850600A2 (en) Moving picture encoding method and moving picture encoding apparatus
JP4481968B2 (ja) 画像符号化方法、画像符号化装置及びデータ記憶媒体
JP4178088B2 (ja) 動画像復号化方法及び装置並びにデータ記憶媒体
JP3824268B2 (ja) 動きベクトル導出方法、および動きベクトル導出装置

Legal Events

Date Code Title Description
MK4A Expiration of patent term of an invention patent