TWI280058B - Decoding method and decoding apparatus - Google Patents

Decoding method and decoding apparatus Download PDF

Info

Publication number
TWI280058B
TWI280058B TW92118870A TW92118870A TWI280058B TW I280058 B TWI280058 B TW I280058B TW 92118870 A TW92118870 A TW 92118870A TW 92118870 A TW92118870 A TW 92118870A TW I280058 B TWI280058 B TW I280058B
Authority
TW
Taiwan
Prior art keywords
image
decoded
memory
display
decoding
Prior art date
Application number
TW92118870A
Other languages
English (en)
Other versions
TW200401568A (en
Inventor
Chong-Soon Lim
Teck-Wee Foo
Sheng-Mei Shen
Shinya Kadono
Satoshi Kondo
Original Assignee
Matsushita Electric Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd filed Critical Matsushita Electric Ind Co Ltd
Publication of TW200401568A publication Critical patent/TW200401568A/zh
Application granted granted Critical
Publication of TWI280058B publication Critical patent/TWI280058B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Color Television Systems (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

1280058 ρΜΓ-ι ^ …--1 玖、發明說明： · 【發明戶斤屬之技術領域1 發明領域 本發明係有關於可效率良好地壓縮動態影像之影像編 5碼方法及將此編碼予以正確地解碼而顯示之影像解碼方 法。 【先前技術3 發明背景 近年來，正迎接著將統合性地處理聲音、影像、其他 10像素値之多媒體時代，從習知化之資訊媒體，即將新聞、 雜誌、電視、收音機、電話等資訊傳達給人的手段以被作 爲多媒體對象而提出。一般所謂多媒體乃指不僅是文字， 而係將圖形、聲音、特別是影像等予以同時賦予相關而表 示者，將上述習知資訊媒體作爲多媒體對象上，將該資訊 15作成數位形式而表示的情形爲必須條件。 將上述各資訊媒體所擁有之資訊量作爲數位資訊量來 評估的話，相對於文字的情形係每1文字之資訊量爲1〜2位 元，聲音的情形爲每1秒64Kbits(電話品質），至於動態影像 則每1秒必要有lOOMbits(目前電視接收品質)以上的資訊 20量，以上述資訊媒體將該龐大的資訊以數位形式原原本本 地處理乃非實際。例如數位電話係依據具有64Kbit/s〜 1.5Mbit/s之傳送速度之整體服務數位網路(ISDN:Integrated Services Digital Network)而已實用化，惟，以ISDN原原本 本地傳送攝影機之影像乃不可能。因此，必要的技術爲資 1280058 訊的壓縮技術，例如爲影像電話的情形，可使用以ITU-T(國 際電氣通信聯合-電氣通信標準化部分門）國際標準化之 H. 261或H.263規格之動態影像壓縮技術。又，依據MPEG-1 規格之資訊壓縮技術的話，也可能於一般音樂用 5 CD(compact disk)將聲音資訊與影像資訊一同輸入。 所謂MPEG(Moving Picture Experts Group)係動態影像 信號壓縮的國際規格，MPEG-1係將動態影像信號壓縮至 I. 5Mbit/s，亦即將電視信號壓縮至一百分之一的規格。又， 從以MPEG-1規格爲對象之傳送速度主要制限於約 10 1.5Mbit/s，進而更滿足要求高畫質化而規格化的MPEG-2乃 將動態影像信號壓縮至2〜15Mbit/s。而且現狀更由 MPEG-1 、MPEG-2與標準化進而以作業群 (ISO/IECJTC1/SC29/WG11)而達成更超越 MPEG-1、 MPEG-2的壓縮率，進而能以物體單位編碼、解碼、操作而 15實現多媒體時代所必要新之功能的MPEG-4的規格化。 MPEG-4係於當初以低位元率之編碼方法的標準化爲目標 而進展，然而現在已正擴展著包含交互影像之高位元率之 更廣泛的編碼。
又，近年來，MPEG-4之次世代編碼稱爲JVT。ITU-T 20與ISO/IEC共同所構成之新的影像編碼正標準化中。 第24圖表示圖像之預測構造、解碼順序與顯示順序。 所謂圖像係指框或場之其中任何之一的用語’本說明書取 代框或場而使用圖像來表示。又，影像或畫面等用語亦與 圖像爲同義語。第24圖中施予斜線之隨機編碼的圖像係其 1280058 他圖像之編碼、解碼之際被參照，因此表示保持於記憶體 的圖像。 Ϊ0係畫面內編碼圖像，P3、P6、P9係畫面間預測編碼 圖像(P圖像）。在JVT標準化案之畫面間編碼與習知之 5 ΜΡΕ(Μ/2/4不同，係能從多數編碼完圖像選擇一個任意的 圖像作爲參照圖像，並從參照圖像產生預測影像者。例如， ρ9圖像能從10、Ρ3、Ρ6之三個圖像選擇任意一個圖像而從 該圖像產生預測影像。藉此，能比習知之MPEG-1/2/4選擇 更適切的預測影像的可能性高而提昇壓縮率。Bl、Β2、Β4、 10 Β5 ' Β7、Β8係畫面間雙預測編碼圖像(Β圖像），與畫面間 預測圖像的預測不同，選擇多數(2個)圖像而從該選擇之圖 像產生預測影像並予以編碼。特別是，可得知以進行將時 間上前後二個圖像的平均値作爲預測影像之內插預測的狀 態，能大幅地提昇預測影像的精確度而大幅地提昇壓縮 15率。以下將畫面內編碼圖像設爲I、畫面間預測編碼圖像設 爲Ρ、畫面間雙預測編碼圖像設爲Β等標號賦與各圖像而區 別各圖像的編碼方法。 在Β圖像爲了以預測編碼參照以時間上前後之圖像 時，必須先使時間上在後方之圖像編碼、解碼。此稱爲圖 20像之替換排序(reordering)，可從習知之MPEG-1/2/4良好地 進行。因此，相對於編碼順序(Stream 0rder)，能將已編碼 之流(stream)予以解碼而顯示之順序(Display Order)如第24 圖之表示圖像的預測構造、解碼順序與顯示順序那般替換 排序。又，第24圖之例子中的B圖像係爲了表示將流予以解 1280058 日修(义三替換頁 _ 1 'L - 碼之瞬間而不從其他影像參照的情形下無必要儲存於記憶 體等，惟，I圖像或P圖像於解碼之後爲了將其次的B圖像予 以解碼後顯示而有必要保持於記憶體。 以下於表示圖像之預測構造、解碼順序與顯示順序之 5圖中，用語及圖像斜線之隨機編碼的意思與第24圖相同意 思而統一。 第25圖表示其他圖像之預測構造、解碼順序與顯示順 序。同圖中，與第24圖不同者在於圖像6並非P圖像而係I圖 像。 10 第26圖係用以實現習知之影像編碼方法之影像編碼裝 置的方塊圖。以下說明實現第26圖之影像編碼方法之影像 編碼裝置的動作。 圖像構造決定單元PicStruct決定各圖像之編碼型態(I 圖像、P圖像、B圖像)而對參照圖像管理單元RefPicCtrl指 15示該編碼型態及編碼可參照之圖像，又，將圖像之編碼順 序通知替換排序單元Reorder。替換排序單元Reorder將輸入 圖像Picln之順序替換排序成編碼順序，並將已替換排序之 圖像輸出至移動檢測單元ME及減法單元Sub。移動檢測單 元ME參照已保持於圖像記憶體PicMeml之圖像而導出其 20 表示適切的參照圖像與其像素位置之移動向量MV，並送出 至可變長度編碼單元VLC與圖像記憶體PicMeml與移動補 償單元MC。圖像記憶體PicMeml將對應移動向量MV之參 照圖像的像素輸出至移動補償單元MC，移動補償單元MC 從圖像記憶體PicMeml獲得之參照圖像的像素與移動向量
1280058 MV產生預測影像。 減法單元Sub計算以替換排序單元Re〇rder替換排序的 圖像與預測影像的差，以正交變換單元T將其差變換成頻率 係數，而且以量化單元Q將頻率係數予以量化而作爲量化値 5 Coef ° 反量化單兀IQ將量化値Coef予以反量化而回復至頻率 係數，而且以反正交變換單元IT從頻率係數予以反頻率變 換成像素差分値。加法單元Add將預測影像加算於像素差分 値而獲得解碼影像。 10 參照圖像管理單元RefPicCtrl因應圖像之編碼型態以 作爲參照圖像而參照而判斷是否應保存於圖像記憶體 PicMeml的解碼圖像，或是應從圖像記憶體阶⑽…開放 (開啓)(作爲參照圖像而以後不參照)的解碼影像，並將該動 作作爲記憶體管理指令MMCO而予以通知。 15 開關sw於該解碼影像依據記憶體管理指令MMCO指 示保持的情形下呈開放(ON)，該解碼影像作爲參照圖像而 保存於圖像記憶體PicMeml。又，圖像記憶體PicMeml依據 記憶體管理指令MMCO而指示應從圖像記憶體PicMeml開 放之解碼影像的情形下，開放保存著該解碼影像之領域而 20能將其他解碼影像保存於該領域。 可變長度編碼單元VLC將量化値Coef、移動向量MV、 記憶體管理指令MMCO予以編碼而輸出編碼流Str。 前已說明頻率變換與量化倂同作爲編碼之例，惟，亦 可將頻率變換不倂同量化作爲編碼(DPCM或ADPCM、線形 10
1280058 預測編碼等）。又，亦可爲頻率變換與量化爲一體化，或如 位元平面編碼於頻率變換後不倂同量化而編碼。 第27圖係記憶體管理指令MMCO之編碼例。編碼、解 碼之最初爲了在GOP之前頭將圖像記憶體予以初始化，可 5變長度編碼單元VLC將意味全部記憶體開放之，000’予以編 碼。又，將已解碼之影像保存於記憶體的情形下，可變長 度編碼單元VLC將’01’予以編碼。由於要開放保存於圖像記 憶體之圖像時，必須指示要開放之圖像號碼，因此可變長 度編碼單元VLC將’001’之其次開放之圖像號碼予以編碼。 10又’同時開放多數圖像的情形有必要將要開放之圖像號碼 予以多數次編碼，又，亦有於開放圖像之指令更加上將要 保存之圖像的指令予以編碼的情形。因此，可變長度編碼 單元VLC繼續將多數的記憶體管理指令MMCO予以編碼而 於最後將表示結束記憶體管理指令MMCO之情形的，1，予以 15編碼。如上所述記憶體管理指令MMCO被編碼成編碼流Str。 弟28圖係實現習知影像解碼方法之影像解碼裝置的方 塊圖。同圖中，對於與第26圖之實現習知影像解碼方法之 影像解碼裝置的方塊圖相同動作的機器，則賦予相同標号虎 而省略說明。 2〇 可變長度解碼單兀VLD將編碼流Str予以解碼而輸出言己 憶體管理指令MMCO、移動向量MV、量化値Coef。圖像時 刻係Time係從外部輸入而指定顯示之圖像的信號。應顯示 之圖像爲已解碼之該圖像的話，以選擇器Sd選擇加法單元 Add並送出至顯示單元Disp。應顯示之圖像係保存於圖像記 11
1280058 憶體PicMeml之圖像的話，則從圖像記憶體PivMeml讀出而 被選擇器Sel選擇並送出至顯示單元Disp。 又，如上所述圖像記憶體PicMeml將對應移動向量MV 之像素輸出至移動補償單元MC，移動補償單元MC從由圖 5像記憶體PicMeml獲得之像素與移動向量MV產生預測影 像。 又，反量化單元IQ將量化値Coef予以反量化而回復至 頻率係數，而且以反正交變換單元IT從頻率係數反頻率變 換成像素差分値。加法單元Add將預測影像加算至像素差分 10 値而作爲解碼影像。 又，圖像記憶體PicMeml依記憶體管理指令MMCO而 被指示在圖像記憶體PicMeml之應開放之解碼影像的情形 下，能將保存著該解碼影像之領域予以開放而將其他解碼 影像保存於該領域。 15 前已說明頻率變換與量化倂同作爲解碼之例，惟，亦 可將頻率變換不倂同量化作爲解碼(DPCM或ADPCM、線形 預測編碼等）。又，亦可爲反頻率變換與量化爲一體化，或 如位元平面編碼於頻率變換後不倂同量化而解碼。 藉著實現以上第28圖之習知影像解碼方法的影像解碼 20裝置，可得知第24圖及第25圖所示之圖像編碼型態的組 合，能將以第26圖之實現習知影像編碼方法之影像編碼裝 置而編碼之編碼流Str予以正確地解碼。 又，對於圖像編碼型態乃已檢討了柔軟的組合。 第1圖表示習知所無之圖像的預測構造、解碼順序與顯 12 1280058 又，對於圖像編碼型態乃已檢討了柔軟的組合。 第1圖表示習知所無之圖像的預測構造、解碼順序與顯 示順序。第1圖之圖像4之前後的B圖像的預測構造不同。 即，圖像2之B圖像係被保存而作爲圖像1及圖像3之預測影 5像被參照者。其結果各圖像之編碼順序及顯示順序如第1圖 所示。 又，圖像5與圖像6不被預測編碼參照，故爲不被保存 的B圖像。但是與第24圖的情形不同，在解碼時點爲其他圖 像的顯示時刻，而非尙未顯示之時刻。亦即，在圖像B5之 10解碼時點必須顯示圖像P4，而在圖像B6之解碼時點必須顯 示圖像B5。另一方面，由於不能保存圖像B5與圖像B6，故 不能從圖像記憶體於顯示時刻輸出圖像B5與圖像B6。因 此，在預測編碼不能參照之圖像不保存於圖像記憶體，故 習知之編碼、解碼方法無法將圖像B5與圖像B6予以解碼並 15顯示。即，如第24圖所示不能保存在預測編碼不能參照之 圖像的情形下僅能顯示圖像0、圖像1、圖像2、圖像4、圖 像7。 如此一來，在圖像編碼型態上一旦檢討更柔軟的組合 時，乃有會產生無法解碼顯示之圖像的問題。又，在顯示 2〇用另外追加圖像記憶體而將未能保存於圖像記憶體 PicMeml之圖像保存於顯示用之其他圖像記憶體的話則能 顯示，惟，此情形下乃會有必要於其他圖像記憶體有大的 多餘記憶體的缺點。 而且，導入顯示用之其他圖像記憶體亦會在由流中途 13 1280058 的再生產生新的問題。第2圖表示圖像之預測構造、解碼順 序與顯示順序。於該圖中與第25圖之不同係在圖像7之前後 預測構造完全地獨立。比Γ7以後之圖像Γ7更前時刻之圖像不 作爲編碼、解碼而參照。因此，從圖像開始解碼的話，口 5圖像以後能正確地解碼，因此，Γ7圖像具有可從流中途再 生的特徵。如此一來，可良好地進行在流中途***I圖像’ 並將能從此中途再生之構造以MPEG-2爲基準而稱爲 GOP(Group Of Picture)。 又，要從流中途再生，在從中途再生之時點必須保證 10再生影像在編碼裝置與解碼裝置之間一致，因此要將圖像 記憶體之全圖像領域予以初始化乃簡單的方法。但是，圖 像6在將圖像7予以解碼的時點尙未顯示而儲存於圖像記憶 體，因此，一旦單純地於圖像6之顯示前將全部的圖像記憶 體予以初始化的話，就無法於圖像6之顯示時刻將圖像6從 15圖像記憶體予以顯示。 爰此，本發明之目的係於圖像之編碼或解碼上考慮必 要的記憶體，且不會產生不能解碼並顯示的圖像者。 I：發明內容3 發明槪要 20 爲了達到上述目的，本發明之影像編碼方法，係一邊 參照保持於圖像緩衝區之影像而一邊將輸入影像予以預測 編碼，並將經編碼之前述輸入影像予以解碼的影像編碼方 法，包含有：對於經解碼之影像，判定是否爲參照用影像 及是否必要保持至顯示時刻之輸出用影像，依據判定結果 1280058 而使參照用影像及輸出用影像保持於前述圖像緩衝區。 前述影像編碼方法可具有以下步驟：判定經解碼之影 像是否爲參照用影像之第1判定步驟；判定經解碼之影像是 否非爲參照用且是否爲必要保持至顯示時刻之輸出用影像 5的第2判定步驟；於第1判定步驟使參照用影像與經判定之 影像保持於前述圖像緩衝區，於第2判定步驟使判定爲輸出 用影像保持於前述圖像緩衝區之管理圖像緩衝區的管理步 驟。 依據此構造，於判定解碼影像是否爲參照用影像，加 10上也判定是否爲輸出用影像，將對於參照用影像更加上於 預測編碼未被參照惟被解碼時無法同時地顯示或輸出之影 像，以作爲輸出用影像而儲存於圖像緩衝區。影像編碼之 際進行此判定及圖像緩衝區管理而檢驗著解碼動作，因 此，於解碼裝置能確實地將輸出用影像顯示於該顯示時刻 15或輸出。 前述圖像緩衝區具有一定的尺寸，前述影像編碼方法 可更具有：判定保持於圖像緩衝區之參照用影像是否參照 完之第3判定步驟；及判定保持於圖像緩衝區之輸出用影像 是否輸出完之第4判定步驟，且於前述管理步驟，依據前述 20第3及第4判定步驟中的各判定結果而再利用在前述一定尺 寸範圍內保持著圖像緩衝區中的影像。 依據此構造，於管理步驟中，在前述圖像緩衝區之一 定尺寸的範圍內再利用保持著影像之領域而儲存參照用影 像與前述輸出用影像，故能不浪費記憶體而將解碼影像圖 15 1280058 像緩衝區設於必要最小限的尺寸。 又，前述影像編碼方法，可具有於多數編碼影像所構 成之每個區段，於該區段之編碼中將表示一定之前述尺寸 之資訊予以編碼之編碼步驟。 5 依據此構造，因前述尺寸於每個區段呈一定’故能柔 軟地決定在每個區段以預測編碼而使用之影像型態。 又，於前述管理步驟中，前述圖像緩衝區中不存在可 新儲存影像之領域的情形下，在第4判定步驟中於保持著判 定爲輸出完之輸出用影像的領域，可儲存於第1判定步驟中 10判定爲參照用影像之影像及在第2判定步驟中判定爲參照 用影像之影像之其中的影像。 依據此構造，於儲存在圖像緩衝區之輸出用影像之領 域之中已輸出完之影像所儲存之領域，儲存新的影像。亦 即，再利用輸出完之影像所儲存之領域，因此’能更確實 15地顯示未輸出完之解碼影像。 又，於前述管理步驟，在前述圖像緩衝區中不存在可 新儲存影像之領域的情形下，於儲存在前述圖像緩衝區之 輸出用影像之中保持著顯示順序爲舊(早)的影像的領域，使 其保存於第1判定步驟中判定爲參照用影像之影像及在第2 2〇判定步驟中判定爲輸出用影像之影像之其中的影像。 依據此構造，由於在輸出用影像之中保持著顯示順序 爲舊的影像的領域儲存著輸出完之解碼影像的可能性高， 因此，即使非正確地判斷各個解碼影像之顯示時刻的構 造，亦能更確實地顯示未輸出完之解碼影像。 16 I28〇〇58 又，前述影像編碼方法，更可在包含多數編碼影像之 區段中途被變更輸入影像尺寸的情形下，在保持著輸出用 影像之領域之中，開放其保存持著變更尺寸前之影像且於 儲存後影像全部或一部分未被變更之影像之領域以外的領 5 域的開放步驟。 依據此構造，當有變更尺寸時，由於輸出用之解碼影 像能殘留於解碼影像圖像緩衝區’因此’變更尺寸之時點 可不刪除未輸出完之影像而盡可能地輸出。 如上所述，依據本發明的話，對於習知不可能正確地 10顯示之圖像，亦能不必要多餘的記憶體而能有效地活用經 開放之記憶體領域來顯示，其實用價値高。 又，有關本發明之影像解碼方法、影像編碼裝置、影 像解碼裝置、程式亦具有與上述同樣的構成、作用、效果。 又，本發明之影像編碼方法或影像解碼方法可作成以 15下(1)至(16)之其中任何的構成構造。 (1) 一種參照要解碼而保存於記憶體之解碼完影像，而 將影像信號予以預測編碼之影像編碼方法’包含有：從記 憶體參照前述解碼完影像而產生預測影像’將前述預測影 像與前述影像信號之差予以編碼而作成編碼流的步驟；將 20前述經編碼之前述預測影像與前述影像信號予以解碼並加 算前述預測影像以設成解碼影像’並將預定之解碼影像儲 存於前述記億體的步驟；以及開放前述記憶體之全領域而 表示是否可再利用之指示資訊包含於前述編碼流之步驟。 (2) —種影像編碼方法，係參照解碼完影像而將影像信 17 1280058 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流’將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 5影像並作爲解碼影像，用以產生預測影像而參照之影像及 不可能立即顯示之影像係將前述解碼影像儲存於前述記憶 體。 (3) —種影像編碼方法，係參照解碼完影像而將影像信 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 10前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流’將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 影像並作爲解碼影像，將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像，將前述解碼影像儲存於 15前述記憶體之際係儲存於前述記憶體內之已開放領域即保 存著顯示完影像之領域。 (4) 一種參照要解碼而保存於記憶體之解碼完影像，而 將解碼流予以預測編碼之影像解碼方法，包含有：從記憶 體參照前述解碼完影像而產生預測影像，對於將前述編碼 20流予以解碼而獲得之影像信號加算前述預測影像而作爲解 碼影像，且將預定之解碼影像儲存於記憶體的步驟；開放 將前述編碼流予以解碼而獲得之記憶體全領域，而以表示 是否可再利用之指示資訊爲基準而進行依據前述指示資訊 所示之資訊之處理的處理步驟。 18 1280058 (5) —種影像解碼方法，係參照解碼完影像而將編碼流 予以預測解碼之影像麵方法’其包含：從記彳思體爹照則 述解碼完影像而產生預測影像，將前述編碼流予以解碼而 加算前述預測影像以作爲解碼影像，將前述解碼影像儲存 5於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已 開放領域即保存著顯示完影像之領域。 (6) 一種影像編碼方法，係參照解碼完影像而將影像 號予以預測編碼之影像編碼方法，其包含：從記憶體爹照 10前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流’將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 影像並作爲解碼影像，將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像’將前述解碼影像儲存於 15前述記憶體之際係儲存於前述記憶體內之已開放領域即保 存著最舊時刻之影像的領域。 (7) —種影像解碼方法，係參照解碼完影像而將編碼流 予以預測解碼之影像解碼方法，其包含：從記憶體參照前 述解碼完影像而產生預測影像，將前述編碼流予以解碼而 20加算前述預測影像以作爲解碼影像，將前述解碼影像儲存 於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已 開放領域即保存著最舊影像之領域。 (8) —種影像編碼方法，係參照解碼完影像而將影像信 19 1280058 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流，將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 5影像並作爲解碼影像’將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像’將前述解碼影像儲存於 前述記憶體之際係儲存於前述記憶體內之最初開放之可儲 存的領域。 (9) 一種影像解碼方法，係參照解碼完影像而將編碼流 10予以預測編碼之影像解碼方法’其包含：從記憶體參照前 述解碼完影像而產生預測影像，將前述編碼流予以解碼而 加算前述預測影像並作爲解碼影像’將前述解碼影像儲存 於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最 15初開放之可儲存的領域。 (10) —種參照解碼完影像而將影像信號予以預測編碼 之影像編碼裝置，包含有··從記憶體參照解碼完影像而產 生預測影像的預測機構，將前述預測機構所預測之前述預 測影像與前述影像信號之差予以編碼而作成編碼流的編碼 2〇機構；將前述經編碼之前述預測影像與前述影像信號之差 予以解碼之解碼機構；將前述解碼機構所解碼之前述預測 影像與前述影像信號之差加算前述預測影像之加法機構； 判斷要將用以產生預測影像而參照之影像及不可能立即顯 示之影像儲存於記憶體之參照影像管理機構；以及依據前 20 1280058 述參照影像管理機構之判斷而將前述加法機構之加算結果 儲存於前述記憶體之記憶機構。 (π)—種參照解碼完影像而將影像信號予以預測編碼 之影像編碼裝置，包含有：從記憶體參照解碼完影像而產 5生預測影像的預測機構；將前述預測機構所預測之前述預 測影像與前述影像信號之差予以編碼而作成編碼流的編碼 機構；將前述經編碼之前述預測影像與前述影像信號之差 予以解碼之解碼機構；將前述解碼機構所解碼之前述預測 影像與前述影像信號之差加算前述預測影像之加法機構； 10判斷要將前述加法機構之加算結果儲存於記憶體或從記憶 體將不要的影像予以開放之參照影像管理機構；以及依據 前述參照影像管理機構之判斷而將前述加法機構之加算結 果儲存於記憶體中經開放之領域且保存著作爲解碼完影像 而輸出至外部完了之影像之領域的記憶機構。 15 (12) 一種參照解碼完影像而將編碼流予以預測編碼之 影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機 構；從記憶體參照解碼完影像而產生預測影像的預測機 構；將前述解碼機構所解碼之前述預測影像與前述影像信 號之差加算前述預測影像之加法機構；判斷要將前述加法 2〇機構之加算結果儲存於記憶體或從記憶體將不要的影像予 以開放之參照影像管理機構；以及依據前述參照影像管理 機構之判斷而將前述加法機構之加算結果儲存於記憶體中 經開放之領域且保存著作爲解碼完影像而輸出至外部完了 之影像之領域的記憶機構。 21 1280058 (13) —種參照解碼完影像而將影像信號予以預測編碼 之影像編碼裝置，包含有··從記憶體參照解碼完影像而產 生預測影像的預測機構；將前述預測機構所預測之前述預 測影像與前述影像信號之差予以編碼而作成編碼流的編碼 5機構；將前述經編碼之前述預測影像與前述影像信號之差 予以解碼之解碼機構；將前述解碼機構所解碼之前述預測 影像與前述影像信號之差加算前述預測影像之加法機構； 判斷要將前述加法機構之加算結果儲存於記憶體或從記憶 體將不要的影像予以開放之參照影像管理機構；以及依據 10前述參照影像管理機構之判斷而將前述加法機構之加算結 果儲存於記憶體中經開放之領域且保存著時刻最舊之影像 之領域的記憶機構。 (14) 一種參照解碼完影像而將編碼流予以預測編碼之 影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機 15構；從記憶體參照解碼完影像而產生預測影像的預測機 構；將前述解碼機構所解碼之前述預測影像與前述影像信 號之差加算前述預測影像之加法機構；判斷要將前述加法 機構之加算結果儲存於記憶體或從記憶體將不要的影像予 以開放之參照影像管理機構；以及依據前述參照影像管理 20機構之判斷而將前述加法機構之加算結果儲存於記憶體中 經開放之領域且時刻最舊之影像之領域的記憶機構。 (15) —種參照解碼完影像而將影像信號予以預測編碼 之影像編碼裝置，包含有：從記憶體參照解碼完影像而產 生預測影像的預測機構；將前述預測機構所預測之前述預 22 1280058 測影像與前述影像信號之差予以編碼而作成編碼流的編碼 機構；將前述經編碼之前述預測影像與前述影像信號之差 予以解碼之解碼機構；將前述解碼機構所解碼之前述預測 影像與前述影像信號之差加算前述預測影像之加法機構； 5判斷要將前述加法機構之加算結果儲存於記憶體或從記憶 體將不要的影像予以開放之參照影像管理機構；以及依據 前述參照影像管理機構之判斷而將前述加法機構之加算結 果儲存於記憶體中經開放之領域且爲開放順序最早之領域 的記憶機構。 10 (16)—種參照解碼完影像而將編碼流予以預測編碼之 影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機 構；從記憶體參照解碼完影像而產生預測影像的預測機 構；將前述解碼機構所解碼之前述預測影像與前述影像信 號之差加算前述預測影像之加法機構；判斷要將前述加法 15機構之加算結果儲存於記憶體或從記憶體將不要的影像予 以開放之參照影像管理機構；以及依據前述參照影像管理 機構之判斷而將前述加法機構之加算結果儲存於記憶體中 經開放之領域且爲開放順序最早之領域的記憶機構。 又，用以儲存使電腦執行本發明之影像編碼方法及影 20像解碼方法之程式的記憶媒體，可設成以下(17)至(23)之其 中任一^種。 (17)—種記憶媒體，係儲存有使電腦執行影像編碼方法 的程式，該影像編碼方法，係參照解碼完影像而將影像信 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 23 1280058 前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流，將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 影像並作爲解碼影像，用以產生預測影像而參照之影像及 5不可能立即顯示之影像係將前述解碼影像儲存於前述記憶 am 體。 (18) —種記憶媒體，係儲存有使電腦執行影像編碼方法 的程式，該影像編碼方法，係參照解碼完影像而將影像信 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 1〇前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流，將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 影像並作爲解碼影像，將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像’將前述解碼影像儲存於 15前述記憶體之際係儲存於前述記憶體內之已開放領域即保 存者顯不完影像之領域。 (19) 一種記憶媒體，係儲存有使電腦執行影像解碼方法 的程式，該影像解碼方法，係參照解碼完影像而將編碼流 予以預測編碼之影像解碼方法’其包含：從記憶體參照前 20述解碼完影像而產生預測影像，將前述編碼流予以解碼而 加算前述預測影像以作爲解碼影像’將前述解碼影像儲存 於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已 開放領域即保存著顯示完影像之領域。 24 1280058 (20) —種記憶媒體，係儲存有使電腦執行影像編碼方法 的程式，該影像編碼方法，係參照解碼完影像而將影像信 號予以預測編碼之影像編碼方法’其包含：從記億體參照 前述解碼完影像而產生預測影像’將前述經預測影像與前 5述影像信號之差予以編碼而作成編碼流’將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 影像並作爲解碼影像，將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像’將前述解碼影像儲存於 前述記億體之際係儲存於前述記憶體內之已開放領域即保 10 存著最舊時刻之影像的領域。 (21) —種記憶媒體，係儲存有使電腦執行影像解碼方法 的程式，該影像解碼方法，係參照解碼完影像而將編碼流 予以預測編碼之影像解碼方法’其包含：從記憶體參照前 述解碼完影像而產生預測影像’將前述編碼流予以解碼而 15加算前述預測影像以作爲解碼影像’將前述解碼影像儲存 於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已 開放領域即保存著最舊影像之領域。 (22) —種記憶媒體，係儲存有使電腦執行影像編碼方法 20的程式，該影像編碼方法，係參照解碼完影像而將影像 號予以預測編碼之影像編碼方法，其包含：從記憶體參照 前述解碼完影像而產生預測影像，將前述經預測影像與前 述影像信號之差予以編碼而作成編碼流，將前述編碼之前 述預測影像與前述影像信號之差予以解碼而加算前述預測 25 1280058 影像並作爲解碼影像，將前述解碼影像儲存於前述記憶體 或從前述記憶體開放不要的影像，將前述解碼影像儲存於 前述記憶體之際係儲存於前述記憶體內之最初開放之可儲 存的領域。 5 (23)—種記憶媒體，係儲存有使電腦執行影像解碼方法 的程式，該影像解碼方法，係參照解碼完影像而將編碼流 予以預測編碼之影像解碼方法，其包含：從記憶體參照前 述解碼完影像而產生預測影像，將前述編碼流予以解碼而 加算前述預測影像並作爲解碼影像，將前述解碼影像儲存 10於前述記憶體或從前述記憶體開放不要的影像，將前述解 碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最 初開放之可儲存的領域。 又，於本發明之影像編碼裝置，定義其對於流及影像 解碼裝置之限制記憶條件而將視訊予以編碼的方法，可設 15 成以下(A1)至(A26)之其中任一種。 (A1)—種影像編碼方法，係定義其對於流及影像解碼 裝置之限制記憶條件之影像編碼方法，包含有：決定可使 用之參照圖像之最大數的步驟；設定後方預測參照圖像之 最大數的步驟；於流之前頭加入後方預測參照圖像之前述 20最大數的步驟；產生虛擬顯示延遲緩衝區的步驟；產生顯 示計算區的步驟；對於前述參照圖像分配充分的記憶空間 的步驟；及將前述視訊予以編碼之步驟。在此說明，虛擬 顯示延遲緩衝區係對應於用以儲存於可確保於影像編碼裝 置內之記憶體的顯示領域的各顯示用圖像的虛擬性的緩衝 26 1280058 區，且保持表示該顯示用圖像所輸出之順序的資訊(圖像順 序號碼等）。顯示計算區係記憶及更新用以虛擬性地輸出至 顯示區之圖像的圖像順序號碼。又’所謂充分的記憶空間 乃指儲存參照圖像與顯示用圖像的領域。 5 (A2)如(A1)所記載之影像編碼方法，其中參照圖像之 前述最大數係因應表示解碼器之能力之位階値而決定。 (A3)如(A1)或(A2)所記載之影像編碼方法，其中參照圖 像之前述最大數係比參照圖像之前述最大數少。 (A4)如(Al)、（A2)或(A3)所記載之影像編碼方法，其中 10流整體之前述後方預測係依後方預測參照圖像之前述最大 數而限制。 (A5)如(A1)所記載之影像編碼方法，其中前述虛擬顯 示延遲緩衝區之尺寸係由後方預測參照圖像之前述最大數 減除者。 15 (A7)如(A1)或(A5)所記載之影像編碼方法，其中前述虛 擬顯示延遲緩衝區之物理記憶僅包含圖像之顯示順序資 訊。 (A7)如(A1)所記載之影像編碼方法，其中前述顯示計 算區係用於記憶從虛擬顯示延遲緩衝區去除之圖像之顯示 20順序資訊。 (A8)如(A1)所記載之影像編碼方法，其中更包含有： 使用可利用之參照圖像而預測編碼對象圖像的步驟；將前 述編碼對象圖像予以編碼的步驟；決定前述經編碼之圖像 是否使用於預測的步驟；將前述經編碼之圖像予以解碼的 27 1280058 步驟；將前述經解碼之圖像記憶於前述參照圖像緩衝區的 步驟；更新前述虛擬顯示延遲緩衝區的步驟；及更新前述 顯示計算區的步驟。 (A9)如(A1)或(A8)所記載之影像編碼方法，其中前述圖 5像之前述預測，於前述圖像被預測編碼的情形下能使用一 個或多數參照圖像。 (A10)如(A1)或(A8)所記載之影像編碼方法，其中前述 參照圖像僅使用於前述參照圖像緩衝區滿足記憶限制條件 的情形。 10 (All)如(A1)或(A8)所記載之影像編碼方法，其中前述 參照圖像於前述編碼對象圖像當作參照圖像使用的情形下 被解碼。 (A12)如(Al)、（A8戚(A10)所記載之影像編碼方法，其 中前述經解碼之圖像的記憶係包含··決定對於其次之圖像 15之參照圖像數之記憶限制條件的步驟；從前述參照圖像緩 衝區去除未使用參照圖像的步驟；及將前述經解碼之圖像 加上於前述參照圖像緩衝區的步驟。 (A13)如(Al)、（A8)、（A10)或(A12)所記載之影像編碼 方法，其中對於其次之圖像之參照圖像的前述最大數係相 2〇等於從對流之參照圖像之最大數減去前述虛擬顯示延遲緩 衝區之圖像數之數。 (A14)如(Al)、（A8)、（A10)或(A12)所記載之影像編碼 方法，其中對於前述未使用參照圖像之顯示區的顯示順序 資訊，在對於顯示區之前述顯示順序資訊比前述顯示計算： 28 1280058 區之値大的情形下，移動至虛擬顯示延遲緩衝區。 (A15)如(A1)或(A8)所記載之影像編碼方法，其中前述 虛擬顯示延遲緩衝區於前述顯示順序資訊比前述顯示計算 區之値大的情形下，記憶前述圖像之前述時間性的資訊。 5 (A16)如(Al)、（A8)或(A15)所記載之影像編碼方法，其 中前述虛擬顯示延遲緩衝區於前述顯示順序資訊在前述顯 示計算區之値以下的情形下，去除記憶前述圖像之前述顯 示順序資訊。 (A17)如(Al)、（A8)、（A10)、（A12)或(al3)所記載之影 10像編碼方法，其中前述虛擬顯不延遲緩衝區之前述圖像 數，依據存在於前述虛擬顯示延遲緩衝區之圖像之顯示順 序資訊的合計數而定義。 (A18)如(A1)或(A8)所記載之影像編碼方法，其中前述 顯示計算區之顯示順序資訊於前述虛擬顯示延遲緩衝區充 15滿時或被編碼之圖像數相等於前述參照圖像之最大數時開 始更新。 (A19)如(A1)或(A8)所記載之影像編碼方法，其中前述 顯示計算區之顯示順序資訊於前述顯示計算區開始更新 後，依據被編碼之各圖像的顯示順序資訊而更新。 20 (A2〇)如(A1)所記載之影像編碼方法，其中前述用於前 述影像編碼裝置之影像解碼裝置具有：從流前頭決定最大 後解碼緩衝區尺寸之步驟；決定必要之參照圖像之最小數 的步驟；對於參照圖像分配充分的物理記憶體空間的步 驟；將前述流予以解碼的步驟；及輸出前述流的步驟。 29 1280058 (A21)如(A1)或(A20)所記載之影像編碼方法，其中前述 最大後解碼緩衝區尺寸依據前述影像編碼裝置而設定之後 方參照圖像的最大數。 (A22)如(A1)或(A20)所記載之影像編碼方法，其中前述 5必要之參照圖像之前述最小數係對於相同能解碼該流之影 像解碼裝置之能力位階而固定。 (A23)如(A1)或(A20)所記載之影像編碼方法，其中前述 影像編碼裝置所分配之前述物理記憶體空間，係能用以記 憶參照圖像及後解碼圖像之雙方而使用。 10 (A24)如(A1)或(A20)所記載之影像編碼方法，其中參照 圖像及後解碼圖像之雙方的合計不超越前述經分配之物理 記憶體空間。 (A25)如(A1)或(A20)所記載之影像編碼方法，其中前述 解碼於經解碼之圖像數相等於從前述最大後解碼緩衝區尺 15寸減去1之數時，或是經解碼之圖像的合計數相等於參照圖 像之前述經決定之最小數時之其中較早的一方，輸出第1經 解碼的圖像。 (A26)如(A1)或(A20)所記載之影像編碼方法，其中前述 經解碼之圖像，一旦因用以輸出而送出時’從前述後解碼 20緩衝區去除。 又，於本發明之影像編碼裝置，定義其對於流及影像 解碼裝置之限制記憶條件而將流予以解碼的方法’可設成 以下(A27)至(A37)之其中任一種。 (A27)—種影像解碼方法，係依據對於流及影像解碼裝 30 1280058 置之記憶體限制條件而將流予以解碼的方法’包含有：決 定使用於流之參照圖像之最大數的步驟；決定後方預測參 照圖像之最大可能數的步驟；計算後解碼緩衝區之最小尺 寸的步驟；對於參照圖像緩衝區分配充分的物理記憶體空 5間的步驟；對於後解碼緩衝區分配充分的物理記憶體空間 的步驟；將流予以解碼的步驟；於梦照圖像緩衝區記憶經 解碼之圖像的步驟；於後解碼緩衝區記憶經解碼之圖像的 步驟；及輸出經解碼之圖像的步驟。在此說明’後解碼緩 衝區乃指影像解碼裝置內之參照圖像記憶體中的顯示用領 10 域。 (A28)如(A27)所記載之影像解碼方法，其中參照圖像 之前述最大數係因應能將流予以解碼之能力的位階並對影 像解碼裝置固定。 (A29)如(A27)所記載之影像解碼方法，其中後方參照 15圖像之前述最大可能數，係定義從參照圖像之前述最大數 減去1之數。 (A30)如(A27)所記載之影像解碼方法，其中後解碼緩 衝區之前述最小尺寸，係定義從後方參照圖像之前述最大 可能數減去1之數。 20 (A31)如(A27戚(A30)所記載之影像解碼方法，其中從 流取得後解碼緩衝區之前述最小尺寸。 (A32)如(A27戚(A31)所記載之影像解碼方法，其中後 方參照圖像之前述最大可能數，係定義於後解碼緩衝區之 前述最小數加上1之數。 31 1280058 (A33)如(A27)所記載之影像解碼方法，其中參照圖像 緩衝區之前述最小尺寸定義爲參照圖像之前述最大數。 (A34)如(A27)或(A33)所記載之影像解碼方法，其中前 述參照圖像緩衝區僅使用於記憶參照圖像。 5 (A35)如(A27)、（A3〇)或(AH)所記載之影像解碼方法， 其中前述後解碼緩衝區使用於記憶非參照圖像。 (A36)如(A27)、（A32)或(A33)所記載之影像解碼方法， 其中參照圖像被判定其爲非參照圖像時’從前述參照圖像 緩衝區去除。 10 (A37)如(A27)、（A30)、（A31)或(A35)所記載之影像解 碼方法，其中後解碼緩衝區之圖像係於其被輸出之際’從 前述參照圖像緩衝區去除。 依據以上之構成構造，對於流及影像編碼裝置之雙方 使其以相同記憶限制條件而作動的狀態，可保證能正確地 15將流予以解碼。若非如此，影像解碼裝置於解碼過程爲了 要將流予以解碼，乃會發生無法確保充分的記憶體空間的 情形。 圖式簡單說明 第1圖表示圖像之預測構造、解碼順序與顯示順序。 20 第2圖表示圖像之預測構造、解碼順序與顯示順序。 第3圖表示要實現本發明之影像編碼方法之影像編碼 装置的方塊圖（實施樣態1)。 第4圖表示本發明之參照圖像管理單元之動作的流程 圖（實施樣態1)。 32 1280058 第5圖（a)、（b)、（c)均表示輸入於記憶體之保存狀態 的狀態圖。 第6圖表示本發明之影像編碼裝置之動作的流程圖（實 施樣態2)。 5 第7圖表示本發明之影像編碼裝置之動作的流程圖（實 施樣態3)。 第8圖表示本發明之影像編碼裝置之動作的流程圖（實 施樣態4)。 第9圖表示本發明之影像編碼裝置之動作的方塊圖（實 1〇施樣態5)。 第10圖表示本發明之影像解碼裝置之動作的流程圖 (實施樣態5)。 第11圖表示本發明之影像解碼裝置之其他動作的流程 圖（實施樣態5)。 15 第12圖表示本發明之影像解碼裝置之另外其他動作的 流程圖（實施樣態5)。 第13圖表示本發明之影像解碼裝置之又另外其他動作 的流程圖（實施樣態5)。 第14圖表示影像編碼裝置之虛擬顯示延遲緩衝區之使 20用的方塊圖。 第15圖表示編碼中的後解碼緩衝區動作處理之本發明 的方塊圖。 第16圖表示解碼中的後解碼緩衝區動作處理之本發明 的方塊圖。 33 1280058 第17圖表示用以限制參照圖像之最大數而使用影像編 碼裝置之虛擬顯示延遲緩衝之一例。 第18圖表示用以決定顯示第1圖像參照之時間而使用 影像編碼裝置之虛擬顯示延遲緩衝區之一例。 5 第19圖（a)、（b)、（c)表示用以儲存以電腦系統實現上 述各實施樣態之影像編碼方法及影像解碼方法之程式的記 錄媒體的說明圖（實施樣態7)。 第20圖表示內容供給系統之整體構造的方塊圖（實施 樣態8)。 10 第21圖表示使用影像編碼方法及影像解碼方法之行動 電話之例子的外觀圖（實施樣態8)。 第22圖表示行動電話之方塊圖（實施樣態8)。 第23圖表示數位廣播用系統之例子的構造圖（實施樣 態8)。 15 第24圖表示圖像之預測構造、解碼順序與顯示順序。 第25圖表示圖像之預測構造、解碼順序與顯示順序。 第26圖表示習知要實現影像編碼方法之影像編碼裝置 的方塊圖。 第27圖表示記憶管理指令MMCO之碼例的對應圖。 2〇 第28圖表示習知要實現影像解碼方法之影像解碼裝置 的方塊圖。 I：實施方式3 較佳實施例之詳細說明 (實施樣態1) 34 1280058 第3圖表示要實現本發明之影像編碼方法之影像編碼 裝置的方塊圖。於該圖中，對於與第26圖之習知之要實現 影像編碼方法之影像編碼裝置之方塊圖進行相同動作之機 器則賦予相同標號而省略說明。 5 與第26圖之習知之要實現影像編碼方法之影像編碼裝 置之方塊圖不同者在於，第3圖追加顯示圖像管理單元 DispPicCtrl，且顯示圖像管理單元DispPicCtrl之指示輸出至 參照圖像管理單元RefpPicCtrl與圖像記憶體PicMem2。 又，於第3圖所示之影像編碼裝置100新設置圖像尺寸 10 變更單元PicSize，圖像尺寸變更單元PicSize係從外部取得 經變更之圖像尺寸，且從圖像構造決定單元PicStmct取得各 圖像之編碼型態(I圖像、P圖像、B圖像），而在I圖像之時序 將表示要變更之圖像尺寸輸出至參照圖像管理單元 RefpPicCtrl 〇 15 由於圖像記憶體PicMem2與圖像記憶體PicMeml幾乎 動作相同，因此僅說明不同的動作。 顯示圖像管理單元DispPicCtrl取得圖像時刻Time，而 判斷因不被參照而本來不被保存之圖像是否可立即顯示 (是否必要儲存於圖像記憶體至顯示時刻）。圖像時刻Time 20係從外部輸入而指定要顯示之圖像的信號。圖像時刻之取 得，係例如能以封包等傳送路徑來傳送之系統所輸出的時 刻資訊而取得圖像，或是可從用以將視訊流與音訊流予以 多路化之格式中的時刻資訊而取得圖像，或是可從視訊流 之格式中的時刻資訊而取得圖像。又，此等方式對於每一 35 1280058 時刻得知時刻的絕對時刻，或是在圖像間得知時間之前後 的相對時刻均可。而且，一般因圖像之顯示間隔爲固定’ 故亦可將圖像之顯示順序作爲該時刻。 又，所謂能立即顯示的情形係以加法器Add加算而獲得 5之圖像與以圖像時刻Time指示所顯示之圖像一致的狀態。 此情形下，於圖像記憶體PicMem2係無未顯示且無比用以 編碼而輸入之圖像更前顯示之圖像的情形。若不能立即顯 示，則顯示圖像管理單元DispPicCtrl對參照圖像管理單元 DispPicCtrl輸出指示以達到即便是不被參照之圖像亦保存 10於圖像記憶體PicMem2。其結果則不論不被即時顯示之圖 像有無參照亦一定儲存於圖像記憶體PicMem2，而能以解 碼裝置從圖像記憶體PicMem2顯示圖像。 第4圖係本發明之參照圖像管理單元DispPicCtrl之動 作的流程圖。 15 判斷該解碼影像(圖像)是否應作爲預測影像被參照而 保存(SteplO)。若是要被參照則進入Stepl2，若非被參照則 進入Stepll。 在Stepll判斷該解碼影像是否爲可立即顯示者。所謂 能立即顯示係在經解碼之時點能就如此地顯示(例如第1圖 20所示之圖像1)，所謂不能立即顯示係於之後必須顯示者(例 如第1圖所示之B5)。若是能立即顯示則結束，若非能立即 顯示則進入Stepl2。 在Stepl2從圖像記憶體PicMem2取得可保存之領域，而 由記憶體管理指令MMCO輸出拍示以使該解碼影像保存在 36 1280058
Stepl3取得之圖像記憶體2之領域。 如上所述，不立即顯示之圖像保存於圖像記憶體 PicMem2而使能在形成顯示時刻之時點從圖像記憶體 PicMem2顯示圖像。又，能不必要表示用之多餘的圖像記 5憶體，且能將用以顯示而必要保存之圖像保存於參照用之 圖像記憶體。 於上述之圖像記憶體PicMem2存在著可保存用以產生 預測圖像而參照之参照圖像的參照領域、及可保存顯示用 圖像之顯示用領域。 10 於各前述之GOP(Group Of Picture)亦可進行變更圖像 尺寸。此圖像尺寸之變更僅於將保存不要之參照圖像之記 憶體的參照用領域予以全部開放(設成可再利用的狀態)的 情形下進行。 但是，如此進行圖像尺寸之變更的情形下，如上所述， 15雖然未顯示之顯示用圖像保存於記憶體領域，惟有必要明 確地決定應如何地處理此未顯示之顯示用圖像（應消除或 是應原原本本地保存至顯示）之對應方法。 於此，階段性地說明進行圖像尺寸之變更時之輸入於 記憶體之圖像的保存狀態。 20 第5圖（a)、（b)、（c)階段性地表示輸入於記憶體之圖 像之保存狀態的狀態圖。 於第5圖（a)，圖像200a、200b、200c係用以參照保存 用而保存之參照用圖像（用以產生預測影像而參照之圖 像），圖像201a、201b、201c、201d、201e係用以顯示用而 37 1280058 保存之顯示用圖像(未顯示之圖像）。 圖像201a、201b、201c、201d、201e以此順序顯示。 於此第5圖(a)，表示保存著參照圖像200a、200b、200c 之記憶體領域設成全部開放而呈可再利用狀態。 5 於第5圖(b)表示第5圖(a)所示之狀態之後變更圖像尺 寸，且於曾保存著參照圖像2〇〇a之記憶體領域保存圖像尺 寸變大之經變更的參照圖像2〇2a，而且顯示該顯示用圖像 201a，而該記憶體領域呈開放狀態。 第5圖⑷表示第5圖⑻所示狀態之後，更開放保存著圖 10像201b之記憶體領域，且於保存著顯示用圖像201a、201b 之經開放的記憶體領域，保存著以變大影像尺寸而變更之 參照圖像202b的狀態，且殘留著小的記憶體領域203。以此 狀態，即使開笑保存著顯示用圖像2〇lc之記憶體領域亦不 能新保存參照圖像(變更使圖像尺寸變大）。 15 如此一來，一旦變更圖像尺寸’則記憶體內將混合存 在著不同圖像尺寸的圖像(變更使圖像尺寸變大的參照圖 像、及尺寸變更前之未顯示之顯示用圖像）。 爰此，記憶體會形成被片斷地使用，以致於產生不能 使用之小的記憶體領域而劣化記憶體的使用效率。又，爲 20使不片斷地使用記憶體，一旦在記憶體內進行資料之再配 置以消除產生小的記憶體領域的話，則記憶體存取時間變 得非常大而難以在該時間內之實際時間來實現編碼·解碼 動作。 因此，變更圖像尺寸的情形下，第1方法係開放(設成 38 1280058 可再利用的狀態）該保存著未顯示之顯示用圖像的顯示用 領域、及保存著參照圖像之參照用領域，而取消未顯示之 顯示用圖像的顯示。如此一來，能防止因混合存在著不同 尺寸的圖像而產生之記憶體之片斷性的使用，而能抑制記 5憶體之使用效率的劣化。 上述圖像尺寸之變更以其次之時序來進行。即，第3 圖所示之圖像尺寸變更單元PicSize接受圖像構造決定單元 PicStmct所決定之各圖像的編碼型態(I圖像、P圖像、B圖像) 與從外部輸入之要變更的圖像尺寸，以1圖像之時序將要進 10行圖像尺寸之變更的指令輸出至參照圖像管理單元 RefPicCtfl。此I圖像例如爲GOP1之最初要***之特別的I 圖像(IDR圖像）。 又，變更圖像尺寸的情形下，第2方法係切換其開放記 憶體之全領域而取消未顯示之顯示用圖像的機構、或是僅 15開放保存著參照圖像之參照用領域而藉著將編碼信號(流) 予以解碼之後述影像解碼裝置(解碼器)之判斷，而對於在變 更尺寸前之圖像未顯示之顯示用圖像設成顯示能顯示者， 且不賦予未顯示之顯示用圖像之顯示義務的機構。此時， 影像解碼裝置對於未顯示之圖像，依顯示順序將例如未損 20傷之圖像等可顯不之圖像予以顯示。 進行如此切換時，係將表示要進行開放記憶體之全領 域的方法、或是僅開放保存著參照圖像之參照用領域的方 法之其中之一方法的指示資訊(旗標)或其他可識別之資 訊，配置於包含從影像編碼裝置100輸出之流Str。 39 1280058 於影像解碼裝置進行依據配置於流之指示資訊的處 理。 作爲切換此指示資訊所示之二方法之際的判斷基準的 例子，可考慮有將該任何進行方法藉著應用而由製作內容 5者來決定，或是記憶體有餘裕的話，僅開放參照用領域而 不開放其保存著未顯示之顯示用圖像之顯示用領域(不開 放記憶體之全領域）、或是圖像尺寸變更爲小的情形下，僅 開放參照用領域而不開放其保存著未顯示之顯示用圖像之 顯示用領域(不開放記憶體之全領域）。 1〇 藉著以上的構成構造能實現可決解習知課題之影像編 碼裝置。 (實施樣態2) 說明本發明之實施樣態2。 本實施樣態，係第3圖所示之圖像管理單元DispPicCtrl 15對於圖像記憶體PicMem2，在開放之記憶體保存著圖像的 情形下，指示要於未顯示之圖像的領域不保存新的圖像。 一般而言，即使開放圖像之領域，除非於該領域保存(寫上) 新的圖像，否則能再生之前保存的圖像。因此，即使保存 著暫時未顯示之圖像的領域被開放，亦以於該記憶體領域 20不保存新的圖像而於保存著顯示完之圖像之領域保存新的 圖像的狀態，而於形成顯示時刻的時點被開放，且能顯示 尙未寫上而殘留之未顯示的圖像。而且將在此圖像記憶體 之開放領域的圖像稱爲顯示用圖像。又，所謂顯示完乃指 與對顯示裝置之輸出完實質上同義，而於解碼裝置實際顯 40 1280058 示的情形(或己對顯示裝置輸出），而且指被視爲非於編碼裝 置實際顯示(或輸出)而指定爲圖像時刻Time時顯示者(或輸 出者)而處理。 第6圖表示本實施樣態之影像編碼裝置100之動作的流 5程圖。本實施樣態以保存於開放領域之記憶體的圖像是否 顯不完而決疋圖像之保存。 首先，在Step20依據記憶體管理指令MMCO之指示而 判斷該解碼影像是否保存於圖像記憶體PicMem2者。 要保存的情形下，取得已開放之圖像領域(Step21)，並 10確認保存於經開放之圖像領域的圖像是否顯示完 (SteP22)。若是尙未顯示的話，則回復到Step21並反覆處理 至找到顯示完之保存著圖像的開放領域。 若是找到保存著顯示完之圖像的顯示領域的話，則將 解碼影像保存於該領域(Step23)。 15 如此一來，一旦未顯示之圖像爲顯示完，則保存著該 顯示完之圖像的領域可被再利用，因此未顯示之圖像不被 寫上而保存於記憶體至顯示。 又，保存於記憶體之圖像是否顯示完，乃依據管理於 顯示圖像管理單元DispPicCtrl是否已顯示的資訊而判斷。 20 又，圖像領域是否爲開放領域，乃能依據每個圖像領 域是否開放的資訊，例如將「used(可作爲參照圖像使用）」 或「mrnSed(以後不作爲參照圖像來參照）」依據記憶體管理 指令MMCO而保持於圖像記憶體PicMem2，且藉著參照此 保持著的資訊而能判斷。 1280058 藉著以上的構造可實現能解決習知課題的影像編碼裝 置。 如以上所述，可防止新的圖像寫入未顯示之圖像而從 顯示時刻時點開放完惟未寫上之領域顯示圖像。又，能不 5必要多餘的記憶體而能保存用以顯示而必要保存的圖像。 又，圖像尺寸變更情形下的動作與實施樣態相同而省 略其說明。 (實施樣態3) 說明本發明之實施樣態3。 10 第7圖表示本實施樣態3之影像編碼裝置1〇〇之動作的 流程圖。本實施樣態以開放記憶體的時刻而決定圖像之保 存。 首先，在Step30依據記憶體管理指令MMCO之指示而 判斷該解碼影像是否保存於圖像記憶體PicMem2。 15 要保存的情形下，在已開放之圖像記憶體領域之中取 得顯示時刻最舊的圖像記憶體領域(Step31)而將解碼影像 保存於該領域(Step32)。 又，亦可不將最舊時刻開放之記憶體領域設爲圖像之 保存領域，而將最舊時刻經解碼而保存圖像之記憶體領域 2〇設成圖像之保存領域。此乃因保存於此等記憶體領域之圖 像已顯示的可能性高之故。 又，此等最舊的時刻可不必要爲時刻’乃可爲最舊的 順序，當然例如可爲顯示順序爲最舊的順序。例如顯示順 序舊之圖像已顯示之可能性高而無關是否已顯示，而從保 42 1280058 存著顯示順序舊之圖像的記憶體領域依順序作爲記憶體之 保存領域再利用。而且，一般由於圖像之顯示間隔爲固定， 因此可將圖像之顯示順序視爲該時刻。 如以上所述，可防止新的圖像寫入未顯示之圖像而從 5顯示時刻時點開放完惟未寫上之領域顯示圖像。又，能不 必要多餘的記憶體而能保存用以顯示而必要保存的圖像。 又，能無關保存於圖像記憶體PicMem2之圖像是否顯示 著，而可進行處理用以顯示而應先保存之圖像的保存。又， 最舊的時刻爲顯示時刻之最舊時刻的情形下，例如以於顯 1〇示圖像管理單元DispPicCtrl管理是否已顯示之資訊的狀態 而能判斷是否爲保存在最舊時刻的圖像。 又，圖像尺寸變更情形下的動作與實施樣態相同而省 略其說明。 (實施樣態4) 15 說明本發明之實施樣態4。 第8圖表示本實施樣態之影像編碼裝置100之動作的流 程圖。本實施樣態以已開放記憶體的順序而決定圖像之保 存。 首先，在Step40依據記憶體管理指令MMCO而判斷該 20解碼影像是否爲要保存於圖像記憶體PicMem2者。 要保存的情形下，在已開放之領域之中取得最初開放 之圖像領域(Step41)而將解碼影像保存於該領域(Step42)。 由於顯示時刻之資訊係由系統來管理，因此依視訊解 碼裝置之製法而難以獲得顯示時刻。最初開放之圖像的領 43 1280058 域比之後開放之領域保存舊的顯示時刻的可能性高。即， 最初開放之圖像已顯示之可能性高。爰此，以在最初開放 之圖像的領域保存該解碼影像的狀態而對於未顯示之圖像 不寫入的可能性高。 5 又，圖像領域是否爲最初開放之圖像領域，乃能依據 每個圖像領域是否開放的資訊，例如將「used :未開放(可 作爲參照圖像使用）」或^unused :開放完(以後不作爲參照 圖像來參照）」依據記憶體管理指令MMCO而於圖像記憶體 PicMem2包含開放順序並保持，且藉著參照此保持著的資 10訊而能判斷。或是以預定的順序來固定圖像領域的使用方 法，並依該順序而判斷是否爲最初開放之圖像領域即可。 例如將圖像記憶體PicMem2，當記憶新穎內容時，則所記 憶之時刻爲舊的記憶內容會順序地廢棄，並作爲經常保存 最新一定框數(或圖像數)之影像之先入先出方式(FIF0)之 15記憶體，而判斷是否爲最初開放之圖像領域即可。如以上 所述，可防止新的圖像寫入未顯示之圖像而在顯示時刻之 時點，在顯示時刻時點從開放完惟未寫上之領域顯示圖像。 又，圖像尺寸變更之情形下的動作與實施樣態1相同而 省略其說明。 2〇 (實施樣態5) 說明本發明之實施樣態5。 第9圖表示本發明之影像編碼裝置之動作的方塊圖。於 該圖中對於與實現第3圖之本發明之影像編碼方法之影像 編碼裝置的方塊圖及實現第28圖之習知影像解碼方法之影 44 1280058 像解碼裝置之方塊圖相同動作的機器，則賦予相同標號而 省略說明。 於第9圖之影像解碼裝置150與表示習知例之第28圖的 不同點，在於第9圖新設置以從外部取得之要變更的圖似 5尺寸、及從可變長度解碼單元VLD取得之記憶體管理指令 MMCO，而以特別的 I 圖像（IDR(Instantaneous Decoding Refresh)圖像)的時序將用以變更圖像尺寸之指令輸出至圖 像記憶體PicMem2的圖像尺寸變更檢測單元PicSizeDet、及 顯示圖像管理單元DispPicCtirl。 10 顯示圖像管理單元DispPicCtrl對於圖像記憶體
PicMem2之已開放領域要保存圖像的情形下，指示於未顯 示之領域不保存新的圖像。一般即使是開放圖像之領域’ 除非於該領域不被保存(寫入)新的圖像，否則之前所保存之 圖像資料會殘留於記憶體內而再生。因此，即使保存著暫 15時未顯示之圖像的領域被開放，亦以於保存該顯示完之圖 像的領域保存新的圖像的狀態，而於形成顯示時刻的時點 被開放，能顯示於顯示時刻的時點被開放惟未寫入而殘留 之未顯示的圖像。又，所謂顯示完乃指與對顯示裝置之輸 出完實質上同義。 2〇 如此一來，一旦未顯示之僵像達到顯示完，則會再利 用保存著該顯示完之圖像的記憶體領域，而使未顯示之圖 像不被寫上而保存於記憶體至顯示。 依據以上的構造，能實現可解決習知課題之影像解碼 裝置。又，影像解碼裝置150亦可設爲將藉著實施樣態3、 45 1280058 及實施樣態4所示之影像解碼裝置100而編碼之編碼信號予 以解碼。對於該情形下圖像記憶體之利用的動作與實施樣 態3及實施樣態4所示之影像編碼裝置相同。即，對於在此 圖像記憶體開放(以後不參照)之圖像的再利用，亦可使用以 5實施樣態1至實施樣態3記載之方法新保持圖像之領域之決 定方法之其中任何之一。 說明將藉著上述實施樣態3及實施樣態4所示之影像編 碼裝置所編碼之編碼信號予以解碼時之對於記憶體的圖像 保存方法。 10 最先說明將藉著實施樣態3所示之影像編碼裝置而編 碼之編碼信號予以解碼時之對於記憶體的圖像保存方法。 首先，依據記憶體管理指令MMCO之指示而判斷從影 像解碼裝置150之加算單元Add輸出之解碼影像是否保存於 圖像記憶體PicMem2。 15 在保存的情形下，取得最舊時刻所開放之圖像記憶體 領域而將解碼影像保存於該領域。 此時，並非將最舊時刻開放之記憶體領域當作圖像之 保存領域，而可將於最舊時刻解碼圖像而保存之記憶體領 域、或是保存顯示時刻爲最舊之圖像的記憶體領域當作圖 20像的保存領域。此乃因保存於此等記憶體領域之圖像已顯 示的可能性高之故。 顯示時刻之資訊由系統管理，因此，依視訊解碼裝置 之製法而難以獲得顯示時刻。最舊時刻保存之圖像的領域 比於較新時刻保存的領域保存舊顯示時刻之圖像的可能性 46 1280058 高。由於舊顯示時刻之圖像已顯示之可能性高乃當然之 事，因此最舊時刻保存之圖像已顯示的可能性高。爰此， 以將該解碼影像保存於最舊時刻所保存之圖像之領域的狀 態，而不寫上未顯示之圖像的可能性高。又，最舊時刻係 5將圖像予以解碼之最之時刻的情形下，則例如是否於最舊 時刻被編碼乃能從圖像之預測構造·解碼順序來判斷。 又，此等最舊時刻不一定必要爲時刻，而可爲最舊順 序，當然例如顯示之順序可爲最舊的時序。例如顯示順序 爲舊的圖像已顯75之可能性筒’而不論是否已顯示，從保 1〇存著顯示順序舊之圖像的記憶體領域依序作爲記憶體之保 存領域而再利用。而且，一般由於圖像之顯示間隔爲固定， 因此可將圖像之顯示順序當作該時刻。 如上所述，能防止新的圖像寫上未顯示之圖像，而在 顯示時刻之時點從開放完惟未寫入之領域顯示圖像。又， 15不必要多餘的記憶體而能保存用以顯示而必要保存的圖 像。 又，無關保存於圖像記憶體PicMem2之圖像是否顯示 箸，能進行用以顯示而應先保存之圖像之保存的處理。又， 最舊時刻爲顯示時刻之最舊時刻的情形下，例如可藉著管 2〇理於顯示圖像管理單元DispPicCtrl是否已顯示的資訊，而 能判斷是否爲最舊時刻保存之圖像。 其次說明將實施樣態4所示之影像編碼裝置所編碼之 編碼信號予以解碼時之對於記憶體的圖像保存方法。 首先，影像解碼裝置150之藉著上述加法單元Add而輸 47 1280058 出的解碼影像，依據記憶體管理指令MMCO之指示而判斷 是否要保存於圖像記憶體PicMem2。 要保存的情形下，在開放之領域中取得最初開放的圖 像領域而將解碼影像保存於該領域。 5 顯示時刻之資訊係由系統管理，因此難以藉著視訊解 碼裝置之製法而取得顯示時刻。最初開放之圖像的領域比 之後開放之領域，其保存舊顯示時刻之圖像的可能性高。 即，最初開放之圖像已顯示之可能性高。因此，以在最初 開放之圖像領域保存該解碼影像的狀態而對於未顯示之圖 10像不寫上的可能性高。 又，圖像領域是否鳥最初開放之圖像領域，乃能依據 每個圖像領域是否開放的資訊，例如將「used :未開放(可 作爲參照圖像使用）」或「unused :開放完(以後不作爲參照 圖像來參照）」依據記憶體管理指令MMCO而於圖像記憶體 15 PicMem2包含開放順序並保持，且藉著參照此保持著的資 訊而能判斷。或是以預定的順序來固定圖像領域的使用方 法，並依該順序而判斷是否爲最初開放之圖像領域即可。 例如將圖像記憶體PicMem2，當記憶新穎內容時，則所記 憶之時刻爲舊的記憶內容會順序地廢棄，並作爲經常保存 20最新一定框數(或圖像數)之影像之先入先出方式(FIFO)之 記憶體，而判斷是否爲最初開放之圖像領域即可。 如以上所述，可防止新的圖像寫入未顯示之圖像而在 顯示時刻之時點，在顯示時刻時點從開放完惟未寫上之領 域顯示圖像。 48 1280058 又，顯示單元Disp並不具備於影像解碼裝置150之中’ 爲了從影像解碼裝置150在顯示單元Disp顯示圖像而僅送 出必要的資料，可將顯示單元Disp具備於影像解碼裝置150 的外部。 5 在此說明於變更實施樣態2所說明之圖像尺寸情形之 影像解碼裝置150的動作。又，對於實施樣態3及4之以下的 動作亦相同而省略其說明。 對應於變更實施樣態2所示之圖像尺寸之情形的第1方 法上，係影像解碼裝置150在有圖像尺寸之變更指令時，開 10放包含該保存記憶體之參照圖像的參照領域與保存顯示用 圖像之顯示用領域之全領域而進行初始化。 第10圖表示影像解碼裝置150之動作的流程圖。 判定從圖像尺寸變更檢測單元PicSizeDet輸出的信號 是否表示變更圖像尺寸的信號(SteplOO)，有變更圖像尺寸 15的情形下(SteplOO之Yes)，開放圖像記憶體PicMem2之全記 憶體領域(設成可再利用的狀態)而初始化，並結束處理。 另一方面，無變更圖像尺寸的情形下(SteplOO之No)， 判斷(SteplOl之Yes)從可變長度解碼單元VLD輸出之記憶 體管理指令MMCO是否爲開放圖像記憶體PicMem2之全記 20憶體領域(初始化），爲表示的情形下(SteplOl之Yes) ’開放 全記憶體領域(Stepl02)，非爲表示的情形下(SteplOl之 No)，僅開放保存參照圖像之參照用領域(Stepl03)而結束處 理。 如此以開放記憶體之全領域的狀態’能防止混合存在 49 1280058 尺寸不同之圖像所產生之記憶體之片斷性地使用，因此， 能抑制記憶體之使用效率的劣化。 其次說明對應變更實施樣態2所示之圖像尺寸情形下 之第2方法上，影像解碼裝置150所進行之動作。 5 已變更圖像尺寸的情形下，切換開放記憶體全領域的 方法，或是僅開放保存參照圖像之參照用領域而顯示能使 影像解碼裝置150判斷未顯示之圖像並顯示的方法。 如實施樣態2之說明，表示開放記憶體之全領域或是僅 開放參照用領域之指示資訊(旗標)乃包含於從影像解碼裝 10置150輸出之流Str之記憶體管理指令MMCO。 影像解碼裝置150依據包含於記憶體管理指令MMCO 之指示資訊而判斷是否要進行上述兩種方法之其中何者。 第11圖表示該判斷動作的流程圖。 首先，判斷指示資訊(旗標)是否將記憶體之全領域予以 15初始化之其中何者(Stepl50)，表示全領域之初始化的情形 下(Stepl50之Yes)，將包含保存著未顯示之顯示用圖像的顯 示用領域之記憶體全領域予以開放並進行初始化 (Stepl51)，若非表示全領域之初始化的情形下(SteP150之 No)，僅開放參照用領域並進行初始化(Stepl52)。 2〇 此指示資訊(旗標)表示全領域之初始化的情形下，影像 解碼裝置150進行僅開放參照用領域，且影像解碼裝置150 判斷在參照用領域以外之領域之未顯示的圖像而顯示其能 顯示者。 以流程圖來說明僅進行此參照用領域之初始化情形之 50 1280058 影像解碼裝置150的動作。 第12圖表示影像解碼裝置15〇(解碼器)之動作的流程 圖。 判定從圖像尺寸變更檢測單元PicSizeDet輸出之信號 5是否爲表示變更圖像尺寸的信號(Step2〇〇)，非變更圖像尺 寸的情形爲(Step200之N〇) ’表本應保存於顯市用領域之未 顯示的圖像爲(Step203) ° 另一方面，變更圖像尺寸的情形下(SteP200之Yes)，判 定保存於顯示用領域之顯示用圖像是否爲尺寸變更前的圖 10像(Step201)，非變更前之圖像的情形下(SteP2012No) ’表 示應顯示之未顯示的圖像(SteP203)。爲變更前之圖像的情 形下(Step201之Yes)，判斷顯不用圖像是否可顯不並顯不可 顯示的圖像(Step202)。 說明就此是否可顯示之判斷之影像解碼裝置150的動 15 作。 第13圖表示有關影像解碼裝置150之圖像之顯示的動 作的流程圖。 對於第13圖中與第12圖相同的部分則賦予相同的標 號。 20 判定用以顯示用而保存之顯示用圖像是否爲尺寸變更 前的圖像(Step201)，若非變更前之圖像的情形下(Step201 之No)，則顯示該圖像。另一方面，若爲變更前之圖像的情 形下(SteP201之Yes)，則判定於要顯示之圖像是否有損傷 (SteP211)，無損傷的情形下(Step211之No)，則其圖像作爲 51 1280058 可顯示而顯示(Step210)。有損傷的情形下(Step211之Yes)， 則不顯示該圖像而例如顯示之前的圖像。在此說明所謂無 損傷乃指例如儲存著應顯示之圖像之圖像的一部分爲了保 存新的圖像資料而未寫上的情形。以如此的狀態，影像解 5碼裝置150判定要顯示之圖像是否有損傷，且將無損傷之圖 像判斷爲可顯示而顯示。 如此一來，如第11圖、第12圖、第13圖之流程圖所說 明，影像解碼裝置150於有變更圖像尺寸時，因應表示是否 將記憶體之全領域予以初始化的指示資訊(旗標)進行對於 10未顯示之圖像的顯示。 以上述之影像解碼裝置150之影像解碼方法，即使有變 更圖像尺寸時，亦能以切換將記憶體之全領域予以初始 化，或是僅將參照用領域予以初始化而將未顯示之顯示用 圖像作爲可顯示之圖像來顯示的狀態，能適切的解碼。即， 15例如記憶體之空餘容量少時，將記憶體之全領域予以初始 化而設成可再利用，記憶體之空餘容量大時，僅將參照用 領域予以初始化的狀態而可將未顯示之圖像的顯示設成可 能而能柔軟地對應處理。 (實施樣態6) 2〇 在實施樣態6使用以下的用詞。即，參照圖像緩衝區乃 指影像編碼裝置內之圖像記憶體PicMem2中的參照領域與 顯示用領域所合倂的領域。虛擬顯示延遲緩衝區係對應於 儲存在用以確保影像解碼裝置內之圖像記憶體PicMem2之 顯示用領域之各顯示用圖像之虛擬性的緩衝區，可保持該 52 1280058 顯示用圖像之時間性的參照號碼(圖像號碼等)。參照記憶緩 衝區乃指影像解碼裝置內之圖像記憶體Picmem2中的參照 用領域。後解碼緩衝區乃指影像解碼裝置內之圖像記憶體 Picmem2中的顯示用領域。時間性的參照號碼乃指依照顯示 5時刻之順序的圖像，亦可相當於圖像時刻Time者。 首先說明影像編碼裝置。虛擬顯示延遲緩衝區係使用 於限制在影像編碼裝置之預測編碼所使用之參照圖像的最 大數。 第14圖表示決定虛擬顯示延遲緩衝區與後方參照之最 1〇大數之間的關係的處理。第14圖中的各模組表示圖像構造 決定單元PicStruct、參照圖像管理單元RefPicCtrl及顯示圖 像管理單元DispPicCtri中的功能區塊或處理步驟。如第14 圖所示，輪廓及位階之被容許之參照圖像的最大數NR以模 組401決定。此値爲各輪廓及位階所定義，編碼器將相當於 15 NR之輪廓位階之値作爲流之資訊而予以編碼，解碼器從流 之輪廓位階之値取得NR。其次，影像編碼裝置用以將該模 組402之視訊順序予以編碼而設定最適當之後方參照圖像 的最大數NB。依據此NB値能決定虛擬顯示延遲緩衝區的尺 寸。NB比2小的情形下，則不必要虛擬顯示延遲緩衝區。但 2〇 是NB爲2以上的情形下，則在模組404產生NB- 1個虛擬顯 示延遲緩衝區。儲存在虛擬顯示延遲緩衝區之圖像資訊可 確保在記憶體中或在其他暫存器中。此虛擬顯示延遲緩衝 區於影像編碼裝置不必要大的物理記憶體空間。此乃由 於，若無必要將影像解碼裝置所解碼之影像予以顯示（輸出) 53 1280058 的話，僅判斷何圖像用以顯示而儲存於虛擬顯示延遲緩衝 區即可，因此並非再構成（解碼）圖像資料整體，而係僅將 特定何再構成(解碼）圖像之參照圖像的記述（圖像號碼等） 儲存於虛擬顯示延遲緩衝區之故。於虛擬顯示延遲緩衝區 5以外，以模組405產生顯示計算區，而使該値確保於記憶體 中或是何暫存器中。此計算區使用於判斷從虛擬顯示延遲 緩衝區去除不要的圖像。依據輪廓及位階定義，影像編碼 裝置接著如模組406所示產生對應參照圖像之記憶體空間 2NR個圖像尺寸。 10 最大虛擬顯示延遲緩衝區尺寸=NB - 1 (1) 在此說明，NB<NR。 第15圖表示影像編碼裝置中的後編碼處理，即表示對 於編碼後經解碼之圖像(稱爲編碼圖像或僅稱爲圖像)進行 儲存於參照緩衝區的處理。圖中的模組表示參照圖像管理 15 單元RefPicCtrl及顯示圖像管理單元DispPicCtrl中的功能區 塊或處理步驟。一個圖像以模組501編碼之後，圖像以模組 502判定是否作爲參照圖像使用。圖像爲參照圖像的情形下 則依據式子(2)而計算可參照圖像之最大數。
Nmax = NR —Fy (2) 20 在此說明，Nmax表示可參照圖像之最大數，NR表示以 輪廓及位階定義可容許之參照圖像的最大數。Fv表示虛擬 顯示延遲緩衝區滿載，亦即虛擬顯示延遲緩衝區之尺寸(nb 一 1)之中目前使用之數。 參照圖像緩衝區之參照圖像數比Nmax小的情形下，編 54 1280058 碼圖像以模組506再構造(解碼)並以模組507記憶於參照圖 像緩衝區。當非存在充分的空餘的情形下，影像編碼裝置 如模組504所示依據從緩衝區去除某未使用之參照圖像 「unused(以下作爲參照圖像而不參照）」而於參照圖像緩衝 5區確保必要的領域。要從緩衝區去除之未使用參照圖像不 存在的情形下，編碼圖像不作爲參照圖像使用。編碼圖像 非爲參照圖像的情形下，編碼圖像之時間性的參照圖像以 模組505與顯示計算區比較。非參照圖像之時間性的參照號 碼比顯示計算區小的情形下，虛擬顯示延遲緩衝區以模組 10 508更新。在模組5〇8，將虛擬顯示延遲緩衝區去除相等於 顯示計算區的圖像，或是去除具有在此之前之時間性的參 照號碼的圖像，且將現行非參照圖像之時間性的參照號碼 加諸於緩衝區。具有比顯示計算區小之時間性的參照號碼 之虛擬緩衝區的圖像數形成緩衝區的滿載。顯示計算區於 15編碼圖像數等於nb或是虛擬顯示計算區爲滿載而其中何者 較早時’開始最初的更新動作。之後顯示計算區對於以模 組509編碼之全部的圖像，於每次編碼時被更新。 第16圖表示就影像解碼裝置之後解碼處理，即就影像 解碼裝置之經解碼之圖像(稱爲解碼圖像或僅稱爲圖像)進 20行儲存於參照圖像緩衝區的處理。圖中的模組表示顯示圖 像管理單元DispPicCtrl中的功能區塊或處理步驟。圖像以 模組601解碼。在模組6〇2，決定影像解碼裝置是否必要將 圖像作爲參照圖像而記憶。將經解碼之圖像作爲參照圖像 而記憶的情形下，以模組606記憶於參照圖像緩衝區。若非 55 1280058 如此，影像解碼裝置以模組603檢查是否將圖像予以顯示 (輸出)之時間。尙未將經解碼之圖像予以顯示(輸出)之時刻 的情形下，以模組6〇4圖像會被記憶於後解碼緩衝區至顯示 (輸出)時刻。後解碼緩衝區與參照圖像物理性地共用相同記 5憶體領域。換言之，相同記憶體之各領域可切換成作爲參 照圖像緩衝區而使用於某時刻的情形與作爲後解碼緩衝區 使用的情形。 在模組605，其次，影像解碼裝置依據此等顯示時序而 決定從參照圖像緩衝區或後解碼緩衝區顯示(輸出）的圖 1〇像。一旦顯示從後解碼緩衝區來的圖像，則從緩衝區去除。 另一方面，參照圖像係依據流而於表示今後不參照時從參 照圖像緩衝區去除或是僅移動於後解碼緩衝區。 第17圖表示用以在各圖像間隔決定參照圖像之最大數 而使用虛擬顯示延遲緩衝區之方法的一例。就此例子之可 15容許之參照圖像的最大數NR設爲4。影像解碼裝置將後方參 照圖像之最大數NB設定於3。因此，可產生二個圖像之虛擬 顯示延遲緩衝區（可確保領域）。顯示計算區係用以於記憶 及更新虛擬性地顯示（輸出）之圖像的時間性參照號碼。圖 中表示參照記憶緩衝區之空白領域爲空餘的情形、記載著 2〇號碼之領域係儲存著顯示用圖像的情形、以及以斜線作陰 影之領域爲儲存著顯示用圖像的情形。又，表示虛擬顯示 延遲緩衝區中的空白領域爲空餘的情形、記載著圖像型態 及號碼之領域爲儲存著對應參照記憶緩衝區中之顯示用圖 像之時間性參照號碼的情形、以及以斜線作陰影之領域係 56 1280058 顯示用圖像之儲存領域不存在參照記憶緩衝區的情形。對 應於參照記憶緩衝區中之經陰影化領域之同數的虛擬顯示 延遲緩衝區係保持顯示用圖像之時間性參照號碼。 如圖所示，圖像B2及B3相對於參照圖像使用，故此等 5圖像與10及P4—起被記憶在參照記憶緩衝區，且顯示計算 區於圖像B3被編碼後開始更新。於時間T6，B5不作爲參照 圖像使用，惟因該時間性參照號碼比顯示計算區大，因此 必要被虛擬顯示延遲緩衝區更新。爰此，此時之虛擬顯示 延遲緩衝區之滿載fv爲1，且可能的參照圖像之最大數Nmax 10 爲3。 同樣於時間T7藉著比顯示計算區大之該時間性參照號 碼尙不能去除B5，惟於B6必要被虛擬顯示延遲緩衝區更 新。因此，此時之Nmax爲2。參照圖像10必要藉著不充分的 記憶體而從參照記憶體緩衝區去除。因此，此時之B7能僅 I5 從P4及P8預測。 第18圖表示比顯示計算區使用虛擬顯示延遲緩衝區而 先增量的一例。此例子之NR設爲5。影像編碼裝置將多數反 方向參照圖像之最大數NB設定爲3。因此，可產生二個虛擬 顯不延遲緩衝區。 2〇 如圖所示，Bl、B2、B3及B4不使用於參照圖像，而使 用B7及B8。因此，B1及B2爲了等待顯示而於時間T3記憶於 虛擬顯示延遲緩衝區。由於虛擬顯示延遲緩衝區在時間T3 滿載，故顯示計算區在時間T3開始更新。顯示計算區在能 開始更新之前至少必要等待虛擬顯示延遲緩衝區形成滿載 57 1280058 的理由，係有必要處理在影像解碼裝置發生之B圖像的重排 序之故。 如第17圖所示，影像解碼裝置時時使用該參照圖像緩 衝區之一部分作爲後解碼緩衝區。因此依據參照圖像緩衝 5區之固定物理記憶體尺寸而使影像解碼裝置操作參照圖像 緩衝區以使該部分使用於參照圖像且剩餘部分作爲後解碼 緩衝區使用。例如在時間T3，參照圖像緩衝區整體係用以 記憶參照圖像而使用。另一方面，在時間T7僅參照圖像緩 衝區之二者使用於記憶P4及P8參照圖像。剩餘部分使用於 10 記憶後解碼圖像B5及B6。 在影像解碼裝置側使用之參照圖像的最大數以對於影 像編碼裝置之輪廓及位階定義而規定。因此，影像編碼裝 置能使用至以輪廓及位階而定義之參照圖像的最大數。因 此，爲了使影像編碼裝置於影像解碼裝置依據此限制條件 15而進行動作的情形下能實現同樣的動作(不超過定義參照 圖像數之値)而必要進行參照圖像的管理而進行編碼。 同樣地，影像解碼裝置具有與影像編碼裝置相同數的 參照圖像。而且追加記憶體空間相對於後解碼緩衝區有必 要。後解碼圖像之最大數依式子(3)而定義。 20 Np = Nr-2 (3) 在此說明，NP表示後解碼圖像之最大數，>^表示依輪 廓及位階而定義之參照圖像的最大數。 爰此，相對於對輪廓及位階適合之影像解碼裝置’此 後解碼圖像之最大數於影像解碼裝置之設計上必須考慮。 58 1280058 此後解碼圖像之最大數可由式子3計算而得或是可在輪廓 及位階定義來特定。一旦後解碼圖像之最大數以輪廓及位 階定義來特定的話，其値依據式子(4)而能導出後方預測圖 像之最大數 5 Ng= Np + 1 (4) 在此說明ΝΒ表示參照圖像緩衝區之後方預測圖像的最 大數。在本實施樣態，構成依影像解碼裝置要求之最小記 憶體要件以能將依據輪廓及位階定義之流予以解碼。 後方預測之數亦可用以削減在影像解碼裝置追加圖像 10緩衝區之追加後解碼圖像之數而限制。例如後方預測之最 大數限制於二個的情形下，此情形下有必要僅將一個後解 碼圖像追加於參照圖像緩衝區，如此能避免於影像解碼裝 置側對於後解碼圖像進行多餘的物理記憶體空間的分配。 (實施樣態7) 15 再者，可將用以實現上述各實施樣態所示之影像編碼 方法及影像解碼方法之程式，藉著記錄於可撓性碟片等記 錄媒體，而將上述各實施樣態所示之處理能在獨立的電腦 系統簡單地實施。 第19圖表示使用記錄於可撓性碟片等記錄媒體之程 20式，而藉著電腦系統來實施上述各實施樣態之影像編碼方 法及影像解碼方法的說明圖。 第19圖（b)表示從可撓性碟片之正面所觀看之外觀、斷 面構造、以及可撓性碟片，第19圖(a)表示當作記錄媒體本 體之可撓性碟片之物理格式的一例。可撓性碟片FD1內藏於 59 1280058 閘盒F內，於該碟片表面形成同心圓狀從外周朝向內周多數 的磁軌Tr，各磁軌於角度方向上分割成16個扇區Se。因此， 儲存著上述程式之可撓性碟片在上述可撓性碟片FD1上所 分配的領域記錄著上述程式。 5 又，第19圖⑷表示用以於可撓性碟片FD1進行上述程 式之記錄再生的構造。要將可實現影像編碼方法及影像解 碼方法之上述程式記錄於可撓性碟片FD1的情形下，從電腦 系統Cs藉由可撓性碟片驅動器FDD而寫入上述程式。又， 將以可撓性碟片內的程式實現影像編碼方法及影像解碼方 10 法之影像編碼方法及影像解碼方法構築於電腦系統Cs中的 情形下，乃藉著可撓性碟片驅動器FDD而從可撓性碟片讀 出程式，並轉送至電腦系統Cs。 又，上述說明乃說明了使用可撓性碟片作爲記錄媒體 的情形，惟使用光碟亦可同樣地進行。又，並不限於記錄 15媒體，1C卡、ROM閘盒等，只要能記錄程式者即同樣地能 實施。 (實施樣態8) 而且，說明上述實施樣態所示之影像編碼方法或影像 解碼方法之應用例與使用該方法之系統。 20 第20圖表示實現內容配信服務之內容供給系統exl〇〇之 整體的方塊圖。將通信服務之提供區域分割成所希望的大 小，而於各區塊內分別設置固定無線台即基地台exl〇7〜 exllO 〇 此內容供給系統exlOO例如於網際網路exi〇i藉由網際 60 1280058 網路服務供給器exl02及電話網exl04、及基地台exl07〜 exl 10 而連接於電腦 exlll、PDA(personal digital assistant)exll2、照相機exll3、行動電話exll4、附有照相機 之行動電話exll5等各種機器。 5 但是內容供給系統exlOO不僅限於第53圖的組合，亦可 組合其中任何而連接。又，各機器亦可不藉由固定無線台 的基地台exl07〜exllO而直接連接電話網exl04。 照相機exll3係數位攝影機等可變化動態圖像的機 器。又，行動電話爲PDC(Personal Digital Communications) 10 方式、CDMA(Code Division Multiple Access)方式、W — CDMA(Wideband-Code Division Multiple Access)方式、或是 GSM(Global System for Mobile Communications)方式的行動 電話、或PHS(Personal Handyphone System)等，可爲任何方 式。 15 又，訊流伺服器103從照相機exll3透過基地台exl09、 電話網exl04而連接，並使用照相機exll3而依據使用者發送 之經編碼處理的資料而能進行配送訊息。經攝影之資料的 編碼處理可藉照相機exll3進行，亦可藉進行資料之發訊處 理的伺服器等而進行。又，以照相機exll6攝影之動態圖像 20資料亦可藉由電腦exlll而發訊至訊流伺服器103。照相機 exll6係數位相機等可攝影靜止畫面、動態圖像的機器。此 情形下，動態圖像資料的編碼能以照相機exll6亦能以電腦 exlll之任何之一來進行。又，編碼處理係於具有電腦exlll 或照相機exll6之LSIexll7處理。又，亦可影像編碼·解碼 61 1280058 用軟體組裝於電腦exlll等可讀取之記錄媒體之任何儲存 媒體(CD —ROM、可撓性碟片、硬碟等）。亦能以附有照相 機之行動電話exll5發送動態圖像資料。此時之動態圖像資 料係以行動電話exll5所具有之LSI編碼處理的資料。 5 此內容供給系統exlOO，將使用者以照相機exii3、照相 機exll6所攝影之內容(例如攝影音樂實況的影像等)與上述 貫施樣態冋樣地編碼處理而發送至訊流伺服器exl03，同時 訊流伺服器exl03對於有要求之要求者配訊上述內容資 料。要求者具有可將上述經編碼處理之資料予以解碼的電 1〇腦exlll、PDAexll2、照相機exll3、行動電話exll4等。以 如此的條件能使內容供給系統exllO將經編碼之資料於要 求者接收並再生，且藉再生而能實現個人播放的系統。 構成此系統之各機器的編碼·解碼上乃以使用上述各 實施樣態所示之影像編碼裝置或影像解碼裝置即可。 15 以行動電話爲其一例來說明。 第11圖表示使用上述實施樣態所說明之影像編碼方法 與影像解碼方法的行動電話exll5。行動電話115具有用以與 基地台exllO之間發收信電波的天線ex201 ; CCD照相機等可 拍攝影像、靜止畫面的照相機部ex203 ;表示經照相機部 20 ex2〇3攝影之影像而以天線ex2〇l接收到的影像等經解碼的 資料的液晶顯示器等的顯示部ex202;由操作鍵ex204群所構 成之本體部、用以輸出聲音的擴音器等聲音輸出部ex208 ; 用以輸入聲音的播音器等聲音輸入部ex205 ;用以保存經攝 影的動態影像或靜止畫面資料、經接收之郵件資料、動態 62 1280058 影像資料或靜止影像資料等、經編碼之資料或經解碼之資 料的記錄媒體ex207 ;用以能將記錄媒體ex207裝設於行動電 話exll5的插孔部ex206。記錄媒體ex207係於SD卡等塑膠殼 內儲存有可電性地改寫或消除的非依電記憶體的 5 EEPROM(Electrically Erasable and Programmable Read Only Memory)之一種快閃記憶體的記錄媒體。 又，以第22圖說明行動電話exll5。行動電話exll5係相 對於將具有顯示部ex202及操作鍵以204之本體部的各部予 以統括性地控制而構成的主控制部ex311，藉由同步匯流排 10 ex313而相互連接著電源電路部ex310、操作輸入控制部 ex304、影像編碼部ex312、照相機介面部ex303、LCD(Liquid Crystal Display)控制部ex302、影像解碼部ex309、多路分離 部ex308、記錄再生部ex307、變調解調電路部ex306及聲音 處理部ex305。 15 電源電路部ex310經使用者的操作而呈結束對話及電 源鍵爲開放(ON)的狀態時，從電池盒對於各部供給電力而 使附有照相機之數位行動電話exll5起動在可作動的狀態。 行動電話exll5依據0?11、11(观及1^^1等主控制部以311 的控制而藉著聲音處理部ex305將聲音通話模式時以聲音 20輸入部ex205集音的聲音信號變換成數位聲音資料’並以變 調解調電路部ex306將此數位聲音資料予以頻譜擴散處 理，並在發收信電路部ex301進行數位對比變換處理及頻率 變換處理後，藉由天線ex201而發送。又’行動電話exll5 於聲音通話模式時將天線ex201所接收到的接收資料予以 63 1280058 放大而進行頻率變換處理及數位對比變換處理’以變調解 調電路部ex306進行頻譜反擴散處理，以聲音處理部ex305 變換成對比聲音後，藉由聲音輸出部ex208而輸出此對比聲 音。 5 再者，於資料通信模式時發送電子郵件的情形下’藉 本體部的操作鍵ex204的操作而輸入的電子郵件的本文資 料(text data)藉由操作輸入控制部ex304而送出至主控制部 ex311。主控制部ex311以變調解調電路部ex306將本文資料 進行頻譜擴散處理，並灰發收信電路部ex301進行數位對比 10變換處理及頻率變換處理後，藉由天線ex201而發送至基地 台exllO 〇 於資料通信模式時發送影像資料的情形下，藉由照相 機介面部ex303而將照相機部ex203所拍攝之影像資料供給 至影像編碼部ex312。又，不發送影像資料的情形下，亦可 15藉由照相機介面部ex303及LCD控制部ex302而將照相機部 ex203所拍攝之影像資料予以直接顯示於顯示部ex202。 影像編碼部ex312係具有本發明所說明之影像編碼裝 置的構成，藉使用於上述實施樣態所示之影像編碼裝置的 編碼方法而將照相機部ex203所供給之影像資料予以壓縮 20編碼，藉此變換成編碼影像資料，且將此編碼影像資料送 出至多路分離部ex308。又，於此時同時行動電話exll5藉由 聲音處理部ex305而將照相機部ex203於攝影中以聲音輸入 部ex205集音的聲音作爲數位聲音資料而送出至多路分離 部ex308 。 64 1280058 多路分離部ex308以預定的方式將從影像編碼部ex312 供給之編碼影像資料與從聲音處理部ex305供給之聲音資 料予以多路化，其結果所獲得之多路化資料以變調解調電 路部ex306進行頻譜擴散處理，於發收信電路部ex301進行數 5 位對比變換處理及頻率變換處理後，藉由天線ex201而發 送。 於資料通信模式時接收鏈結於首頁(home page)之動態 影像檔資料的情形下，藉由天線ex201而以變調解調電路部 ex306將從基地台exllO所接收的接收資料予以頻譜反擴散 ίο處理，並將其結果所獲得之多路化資料送出至多路分離部 ex308 〇 又，有關將藉由天線ex201而接收的多路化資料予以解 碼，多路分離部ex308藉分離多路化資料而區分爲圖像資料 的位元流與聲音資料的位元流，藉由同步匯流排ex313而將 15該編碼影像資料供給至影像解碼部ex309之同時將該聲音 資料供給至聲音處理部ex305。 其次，影像解碼部ex309係具有本發明所說明之影像解 碼裝置的構成，影像資料之位元流以對應上述實施樣態所 示之編碼方法的解碼方法而解碼，藉此產生再生動態影像 20 資料，並藉由LCD控制部ex302而將此再生動態影像資料供 給至顯示部ex202，如此一來，可顯示例如包含於鏈接於首 頁之再生動態影像檔的再生動態影像資料。在此同時聲音 處理部ex305將聲音資料變換成對比聲音資料後，將此對比 聲音資料供給至聲音輸出部ex208，藉此，可再生例如包含 65 1280058 於鏈接於首頁之再生動態影像檔的聲音資料。 又，不僅限於上述系統的例子，近來以衛星、地面波 所構成之廣播成爲話題，如第56圖所示在數位廣播用系統 上亦可組裝上述實施樣態之至少影像編碼裝置或影像解碼 5裝置之其中任何之一。具體而言，廣播電台ex409之影像資 訊的位元流藉由電波而傳送至通信衛星或廣播衛星 ex410。接收到此位元流之廣播衛星ex410會發送廣播用的電 波而以具有衛星廣播接收設備之家庭的天線以4〇6接收此 電波，並藉電視(接收器)ex401或隨選視訊盒(STB)ex407等裝 1〇置而將位元流予以解碼並予以再生。又，亦可讀取已記錄 於記錄媒體之CD或DVD等儲存媒體ex402的位元流而將上 述實施樣態所示之影像解碼裝置安裝於要解碼之再生裝置 ex403。此情形下所再生之影像信號會顯示於監視器ex404。 又，亦可於連接有線電視用之纜線ex405或衛星/地面波廣 15 播的天線ex406的隨選視訊盒ex407內安裝影像解碼裝置，並 構成以電視之螢幕ex408再生的情形。此時亦可非將影像解 碼裝置組裝於隨選視訊盒，而係將影像解碼裝置組裝於電 視內。又，具有天線ex411之車輛ex412接收從衛星ex410來 的信號或是從基地台exl07來的信號，而能於車輛ex412具有 2〇 的車上衛星導航裝置ex413等的顯示裝置再生動態影像。 又，亦能以上述實施樣態所示之影像編碼裝置將影像 信號予以編碼而記錄於記錄媒體。具體例子如將影像信號 記錄於DVD碟片ex421的DVD記錄器，或是記錄於硬碟之碟 片記錄器等記錄器ex420。而且能記錄於SD卡ex422。記錄 66 1280058 器ex420具有上述實施樣態所示之影像解碼裝置的話，能將 記錄於DVD碟片ex421或SD卡ex422的圖像信號予以再生而 以螢幕ex408顯示。 又，車上衛星導航ex413的構成係可得知例如於第55圖 5所示之構成中除外照相機部ex203與照相機介面部^3〇3、影 像編碼部ex312的構成，同樣的情形亦可得知電腦exlll或電 視(接收器)ex401等。 又，上述行動電話exll4等之終端，除了具有編碼器· 解碼器雙方的發訊收訊型的終端之外，可得知亦有僅編碼 10器之發訊終端、僅解碼器之收訊終端等三種安裝形式。 如上所述，可將上述實施樣態所示之影像編碼方法或 影像解碼方法使用於上述任何機器、系統，如此一來能獲 得上述實施樣態所說明的效果。 又，本發明不僅限於上述實施樣態，只要不脫離本發 15明之範圍的情形下，可作各種各樣的型態變化與修正。 又，於本實施樣態，在本實施上將要顯示之順序以替 換排序輸出圖像之順序的情形來表現。即，表現將解碼影 像輸出至顯示裝置之處理予以顯示，可得知例如以其他記 錄機器來記錄而輸出解碼影像的動作亦爲此顯示之特殊的 20情形。又，顯示裝置具有影像記憶體的情形下，亦可將解 碼影像比實際顯示時刻更快地傳送至顯示裝置。 產業上的利用性： 本發明係利用於可參照保存於解碼影像緩衝區之解碼 完影像，同時藉著預測編碼而將影像予以編碼，並將經編 67 1280058 碼之影像予以解碼而將該解碼影像儲存於前述解碼影像緩 衝區的影像編碼裝置、及利用於可參照保存於解碼影像緩 衝區之解碼完影像，同時藉著預測編碼而將經編碼之影像 予以解碼，並將該解碼影像儲存於前述解碼影像緩衝區的 影像解碼裝置。 c圖式簡單說明3 第1圖表示圖像之預測構造、解碼順序與顯示順序。 第2圖表示圖像之預測構造、解碼順序與顯示順序。 第3圖表示要實現本發明之影像編碼方法之影像編碼 10裝置的方塊圖（實施樣態1)。 第4圖表示本發明之參照圖像管理單元之動作的流程 圖（實施樣態1)。 第511(a)、（b)、（c)均表示輸入於記憶體之保存狀態 的狀態圖。 15 第6圖表示本發明之影像編碼裝置之動作的流程圖（實 施樣態2)。 第7圖表示本發明之影像編碼裝置之動作的流程圖（實 施樣態3)。 第8圖表示本發明之影像編碼裝置之動作的流程圖（實 20施樣態4)。 第9圖表示本發明之影像編碼裝置之動作的方塊圖（實 施樣態5)。 第10圖表示本發明之影像解碼裝置之動作的流程圖 (實施樣態5)。 1280058 第li圖表示本發明之影像解碼裝置之其他動作的流程 圖（實施樣態5)。 第12圖表示本發明之影像解碼裝置之另外其他動作的 流程圖（實施樣態5)。 5 第13圖表示本發明之影像解碼裝置之又另外其他動作 的流程圖（實施樣態5)。 第14圖表示影像編碼裝置之虛擬顯示延遲緩衝區之使 用的方塊圖。 第15圖表示編碼中的後解碼緩衝區動作處理之本發明 10 的方塊圖。 第16圖表示解碼中的後解碼緩衝區動作處理之本發明 的方塊圖。 第17圖表示用以限制參照圖像之最大數而使用影像編 碼裝置之虛擬顯示延遲緩衝區之一例。 15 第18圖表示用以決定顯示第1圖像參照之時間而使用 影像編碼裝置之虛擬顯示延遲緩衝區之一例。 第19圖（a)、（b)、（c)表示用以儲存以電腦系統實現上 述各實施樣態之影像編碼方法及影像解碼方法之程式的記 錄媒體的說明圖（實施樣態7)。 20 第20圖表示內容供給系統之整體構造的方塊圖（實施 樣態8)。 第21圖表示使用影像編碼方法及影像解碼方法之行動 電話之例子的外觀圖（實施樣態8)。 第22圖表示行動電話之方塊圖（實施樣態8)。 1280058 第23圖表示數位廣播用系統之例子的構造圖（實施樣 態8)。 第24圖表示圖像之預測構造、解碼順序與顯示順序。 第25圖表示圖像之預測構造、解碼順序與顯示順序。 5 第26圖表示習知要實現影像編碼方法之影像編碼裝置 的方塊圖。 第27圖表示記憶管理指令MMCO之碼例的對應圖。 第28圖表示習知要實現影像解碼方法之影像解碼裝置 的方塊圖。 10 【圖式之主要元件代表符號表】 I 畫面內編碼圖像 _ P 畫面間預測編碼圖像 . B 畫面間雙預測編碼圖像 100 影像編碼裝置
PicSize圖像尺寸變更單元
PkStnict圖像構造決定單元
Re f pPi cCt r 1參照圖像管理單元
DispPicCtrl顯示圖像管理單元 籲
PicMeml 圖像記憶體 P i cMem2 圖像記憶體
Time 圖像時刻
Add 加法器 ·
Reorder 替換排序單元
Picln 輸入圖像 ME 移動檢測單元
Sub 減法單元 MV 移動向量 VLC 可變長度編碼單元 70 1280058 嚴 - δ \ k- -- ....................—.....— .- τ 正交變換單元 IT 反正交變換單元 Q 量化單元
Coef 量化値 IQ 反量化單元 MMC◦記憶體管理指令 SW 開關
Str 編碼流
Sel 選擇器
Disp 顯示單元 200a、200b、200c、202a、202b 參照用圖像 201a、201b、201c、201d、201e 顯示用圖像 203 記憶體領域 150 影像解碼裝置
PicSizeDet 圖像尺寸變更檢測單元 401〜406 模組 501〜509 模組 601〜606 模組 T 時間 FD1可撓性碟片 F 閘盒
Tr 磁軌
Se 扇區
Cs 電腦系統 FDD可撓性碟片驅動器 exlOO內容供給系統 exlOl網際網路 exl02網際網路服務供給器 exl03訊流伺服器 exl04電話網 exl07〜exllO基地台 71
1280058 exlll 電腦 exll2 PDA exll3 照相機 exll4 行動電話 exll5 附有照相機的行動電話 exll6 照相機 exll7 LSI ex201 天線 ex202 顯示部 ex203 照相機部 ex204 操作鍵 ex205 聲音輸入部 ex206 .插孔部 ex207 記錄媒體 ex208 聲音輸出部 ex301 發收信電路部 ex302 lcd mm ex303 照相機介面部 ex304 操作輸入控制部 ex305 聲音處理部 ex306 變調解調電路部 ex307 記錄再生部 ex308 多路分離部 ex309 影像解碼部 ex310 電源電路部 ex311 主控制部 ex312 影像編碼部 ex313 同步匯流排 ex401 電視 ex403 再生裝置 ex404 監視器 72 1280058 %
〜修(~正替換頁I ex405纜線 ex406天線 ex407隨選視訊盒(STB) ex408螢幕 ex409廣播電台 ex410廣播衛星 ex411天線 ex412車輛
ex413車上衛星導航裝置 ex420記錄器 ex421 DVD 碟片 ex422 SD 73

Claims (1)

  1. 拾、申請專利範圍： 第92118870號申請案申請專利範圍修正本劃線版 95年11月〇6日 1280058 1. 一種解碼方法，用來解碼由多個圖像組成之一動畫的一 預先編碼圖像信號，該編碼圖像信號包括交由一先前圖 5 像以用於顯示該等經解碼圖像之一預定顯示順序來預 先編碼的一經編碼圖像，該方法包含下列步驟： 解碼該經編碼圖像信號以獲得一經解碼圖像， 根據該經編碼圖像信號裁決該經解碼圖像是爲一 參考圖像或一非參考圖像，一參考圖像是爲交由另一圖 10 像預先編碼之一圖像，而一非參考圖像是爲未交由另一 圖像預先編碼之另一圖像，以及 在該經解碼圖像是爲一參考圖像之情況時，儲存該 經解碼圖像於一緩衝器中，其特徵在於： 在該經解碼圖像是爲一非參考圖像之情況時，依據 15 該預定顯示順序，在現存於該緩衝器中之所有經解碼圖 像前判斷該經解碼非參考圖像是否可被顯示，以及 在該經解碼非參考圖像無法被顯示之情況時，依據 該預定顯示順序，在現存於該緩衝器中之所有經解碼圖 像前，儲存該經解碼非參考圖像於該緩衝器中而不輸出 20 該經解碼非參考圖像。 2. —種解碼裝置，組配來解碼由多個圖像組成之一動畫信 號的一預先編碼圖像信號，該編碼圖像信號包括交由一 先前圖像以用於顯示該等經解碼圖像之一預定顯示順 序來預先編碼的一經編碼圖像，該解碼裝置包含： 74 可操作以解碼該經編碼圖像信號以獲得一經解碼 圖像之一解碼單元(VLD)， 一裁決單元(DispPicCtrl)可操作以根據該經編碼圖 像信號來裁決該經解碼圖像是爲一參考圖像或一非參 考圖像，一參考圖像是爲交由另一圖像預先編碼之一圖 像’而一非參考圖像是爲未交由另一^圖像預先編碼之一 圖像， 可操作以儲存該經解碼圖像之一緩衝器 (PicMem2)， 在該經解碼圖像是爲一參考圖像之情況時，可操作 以儲存該經解碼圖像於該緩衝器中之一儲存單元 (PicMem2)， 其特徵在於： 在該經解碼圖像是爲一非參考圖像之情況時，一判 斷單元(DispPicCtrl)可操作以依據該預定顯示順序，在所 有現存於該緩衝器中之經解碼圖像前，判斷該經解碼非 參考圖像是否可被顯示，以及 在該經解碼非參考圖像無法被顯示之情況時，該儲 存單元(PicMem2)可進一步操作以依據該預定顯示順 序’在所有現存於該緩衝器中之經解碼圖像前，儲存該 經解碼非爹考圖像於該緩衝器中而不輸出該經解碼非 參考圖像。 1280058 3 第 月日修(^)正替換頁 ΟΞ L.4-JS 不
    ^:¾¾¾ 25® 3/28 1280058
    r /< ^ _ f-乂 ： :¾.¾ 9 第
    3Λ 9/28 1280058 ¥ τ丄 Vi -CV- 圖 2 2第
    22/28 1280058 6 2 第 8NW
    tJnJ-Msuld 26/28 1280058 8 2 第
    OUNW αΊ> \A......·ο ' i3s 28/28
    1280058 柒、指定代表圖： (一） 本案指定代表圖為：第（3 )圖。 (二) 本代表圖之元件代表符號簡單說明： 100 影像編碼裝置 MV 移動向量 PicSize圖像尺寸變更單元 VLC 可變長度編碼單元 P1CStnict圖像構造決定單元 MC 移動補償單元 Re f pP i cC t r 1參照圖像管理單元 T 正交變換單元 Di spPi cCu 1顯示圖像管理單元 IT 反正交變換單元 PicMeml 圖像記憶體 Q 量化單元 PicMem2 圖像記憶體 Coef 量化値 Time 圖像時刻 IQ 反量化單元 Add 加法器 MMCO 記憶體管理指令 Reorder 替換排序單元 SW 開關 Picln 輸入圖像 Str 編碼流 ME 移動檢測單元 Sel 選擇器 Sub 減法單元 Disp 顯示單元 捌、本案若有化學式時，請揭示最能顯示發明特徵的化學式：
TW92118870A 2002-07-11 2003-07-10 Decoding method and decoding apparatus TWI280058B (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002202781 2002-07-11
JP2002207681 2002-07-17
JP2003006198 2003-01-14

Publications (2)

Publication Number Publication Date
TW200401568A TW200401568A (en) 2004-01-16
TWI280058B true TWI280058B (en) 2007-04-21

Family

ID=30118918

Family Applications (10)

Application Number Title Priority Date Filing Date
TW92118870A TWI280058B (en) 2002-07-11 2003-07-10 Decoding method and decoding apparatus
TW106101249A TWI638565B (zh) 2002-07-11 2003-07-10 影像解碼方法
TW104117443A TWI575946B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW99128648A TWI414187B (zh) 2002-07-11 2003-07-10 後解碼方法與電腦程式產品
TW102134575A TWI492636B (zh) 2002-07-11 2003-07-10 影像解碼方法與影像解碼裝置
TW95140993A TWI320664B (en) 2002-07-11 2003-07-10 Decoding method and decoding apparatus
TW95140990A TWI379595B (en) 2002-07-11 2003-07-10 Memory management method and decoding apparatus
TW104117448A TWI573447B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW104117185A TWI573442B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW104117188A TWI573446B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置

Family Applications After (9)

Application Number Title Priority Date Filing Date
TW106101249A TWI638565B (zh) 2002-07-11 2003-07-10 影像解碼方法
TW104117443A TWI575946B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW99128648A TWI414187B (zh) 2002-07-11 2003-07-10 後解碼方法與電腦程式產品
TW102134575A TWI492636B (zh) 2002-07-11 2003-07-10 影像解碼方法與影像解碼裝置
TW95140993A TWI320664B (en) 2002-07-11 2003-07-10 Decoding method and decoding apparatus
TW95140990A TWI379595B (en) 2002-07-11 2003-07-10 Memory management method and decoding apparatus
TW104117448A TWI573447B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW104117185A TWI573442B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置
TW104117188A TWI573446B (zh) 2002-07-11 2003-07-10 影像編碼解碼方法與影像編碼解碼裝置

Country Status (18)

Country Link
US (12) US7206347B2 (zh)
EP (5) EP2053863B1 (zh)
JP (8) JP4651685B2 (zh)
KR (3) KR100959969B1 (zh)
CN (2) CN100361535C (zh)
AT (4) ATE413067T1 (zh)
AU (1) AU2003281129B2 (zh)
BR (2) BR0305432A (zh)
CA (1) CA2460471C (zh)
DE (3) DE60329427D1 (zh)
DK (3) DK1406451T3 (zh)
ES (4) ES2420583T3 (zh)
MX (1) MXPA04001979A (zh)
MY (1) MY135048A (zh)
PT (2) PT2278816E (zh)
SI (2) SI1742479T1 (zh)
TW (10) TWI280058B (zh)
WO (1) WO2004008774A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339955B2 (en) * 2000-09-25 2008-03-04 Pulse-Link, Inc. TDMA communication method and apparatus using cyclic spreading codes
CN1484922A (zh) 2001-11-06 2004-03-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
EP2053863B1 (en) * 2002-07-11 2012-03-07 Panasonic Corporation Video decoder display buffer reusing previous picture upon picture resizing.
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
JP4902358B2 (ja) * 2004-12-02 2012-03-21 ソニー株式会社 符号化装置および方法、並びにプログラム
WO2006078594A1 (en) * 2005-01-19 2006-07-27 Thomson Licensing Method and apparatus for real time parallel encoding
US8498340B2 (en) * 2006-04-04 2013-07-30 Himax Technologies Limited Method and device for decoding and displaying video frames
US7949054B2 (en) 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102118537B (zh) * 2009-12-31 2015-04-15 深圳富泰宏精密工业有限公司 图片错误隐藏***及方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9451285B2 (en) * 2010-04-16 2016-09-20 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP5919564B2 (ja) * 2011-03-10 2016-05-18 パナソニックＩｐマネジメント株式会社 映像処理装置及びそれを用いた映像表示装置、並びに同期信号出力方法
ES2714756T3 (es) 2011-06-30 2019-05-29 Ericsson Telefon Ab L M Señalización de imágenes de referencia
PL4009641T3 (pl) * 2011-09-09 2024-02-26 Lg Electronics Inc. Sposób dekodowania obrazu, sposób kodowania obrazu, sposób przesyłania danych dla informacji obrazu, odczytywalny komputerowo nośnik przechowujący strumień bitów obejmujący zakodowane informacje obrazu
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10200708B2 (en) 2011-11-30 2019-02-05 Qualcomm Incorporated Sequence level information for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR102574868B1 (ko) 2012-04-23 2023-09-06 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN103389879B (zh) 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
WO2014002899A1 (ja) 2012-06-29 2014-01-03 ソニー株式会社 符号化装置および符号化方法
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
WO2015180139A1 (zh) * 2014-05-30 2015-12-03 富士通株式会社 图像编码方法、装置以及图像处理设备
WO2017033361A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 ロボットシステム及びその運転方法
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6230376A (ja) 1985-07-31 1987-02-09 Fujitsu Ltd 薄膜トランジスタの製造方法
JP2969782B2 (ja) 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
JP3189257B2 (ja) * 1992-05-21 2001-07-16 ソニー株式会社 画像符号器
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5892882A (en) * 1994-03-23 1999-04-06 Pioneer Electronic Corporation Moving picture decoding device having a compressed picture data memory
US6009231A (en) * 1994-09-05 1999-12-28 Sony Corporation Reproduction of information using a ring buffer with read and write pointers separated from each other by substantially half of the total ring buffer capacity
TW330263B (en) * 1994-10-12 1998-04-21 Winbond Electronics Corp Digital video decoding system and method
JP3694912B2 (ja) * 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
TW257848B (en) * 1995-04-19 1995-09-21 Silicon Integrated Sys Corp Adaptive display memory management system and method thereof
WO1997004598A1 (en) * 1995-07-21 1997-02-06 Hitachi, Ltd. Device for decoding encoded video signal and storing and decoding device using it
US5936670A (en) * 1995-09-20 1999-08-10 U.S. Philips Corporation Method and device for decoding coded digital video signals
US5764921A (en) * 1995-10-26 1998-06-09 Motorola Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
AU1041097A (en) * 1996-03-19 1997-10-10 Mitsubishi Denki Kabushiki Kaisha Encoder, decoder and methods used therefor
JPH1013841A (ja) 1996-06-20 1998-01-16 Oki Electric Ind Co Ltd 画像復号方法および画像復号装置
JPH1013791A (ja) 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6104752A (en) * 1996-10-01 2000-08-15 Victor Company Of Japan, Ltd. Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6002438A (en) * 1996-10-25 1999-12-14 Texas Instruments Incorporated Method and apparatus for storing decoded video information
JP3599942B2 (ja) 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JPH10257499A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 動画像符号化装置および方法
JPH10322643A (ja) 1997-03-19 1998-12-04 Fujitsu Ltd 画像データ処理方法及び装置
JP3373130B2 (ja) 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE19727542A1 (de) * 1997-06-28 1999-01-07 Thomson Brandt Gmbh Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens
JPH1141605A (ja) 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号装置
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
JP2000050272A (ja) * 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
FR2782437B1 (fr) 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
JP2000059794A (ja) 1998-08-14 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データ作成方法，そのプログラム記憶媒体，画像符号化データ作成装置，画像通信方法および画像通信システム
US6243140B1 (en) * 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US6490324B1 (en) * 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
JP2000232649A (ja) 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP2000324484A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像データ処理装置
JP2001094941A (ja) * 1999-09-27 2001-04-06 Matsushita Electric Ind Co Ltd 圧縮画像処理装置及び圧縮画像処理方法
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
US6697426B1 (en) 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
EP1156674A1 (en) * 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
US20030012284A1 (en) 2000-12-20 2003-01-16 Masahiro Kazayama Method and apparatus for decoding motion video game
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
JP2003274412A (ja) * 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
EP2053863B1 (en) * 2002-07-11 2012-03-07 Panasonic Corporation Video decoder display buffer reusing previous picture upon picture resizing.
US7822120B2 (en) * 2002-07-26 2010-10-26 Panasonic Corporation Moving picture encoding method, moving picture decoding method, and recording medium
JP3554729B2 (ja) * 2002-07-30 2004-08-18 沖電気工業株式会社 画像処理装置
KR100543453B1 (ko) * 2003-04-24 2006-01-23 삼성전자주식회사 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP4281720B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP5328329B2 (ja) 2008-12-10 2013-10-30 キヤノン株式会社 インクジェット記録装置

Also Published As

Publication number Publication date
EP1742480A3 (en) 2007-02-28
US9094666B2 (en) 2015-07-28
SI1742479T1 (sl) 2009-12-31
US20120213287A1 (en) 2012-08-23
KR100959969B1 (ko) 2010-05-27
TW201536033A (zh) 2015-09-16
CN100361535C (zh) 2008-01-09
ATE548856T1 (de) 2012-03-15
MY135048A (en) 2008-01-31
EP1742479A3 (en) 2007-03-14
KR100961037B1 (ko) 2010-06-01
CA2460471A1 (en) 2004-01-22
US20080056379A1 (en) 2008-03-06
KR20050018795A (ko) 2005-02-28
US7995658B2 (en) 2011-08-09
EP2278816A3 (en) 2011-09-21
JP2008172821A (ja) 2008-07-24
JP5412538B2 (ja) 2014-02-12
KR100961036B1 (ko) 2010-06-01
US8155206B2 (en) 2012-04-10
CN101179733A (zh) 2008-05-14
CN1557097A (zh) 2004-12-22
EP2278816B1 (en) 2013-04-24
EP1406451A1 (en) 2004-04-07
TWI573446B (zh) 2017-03-01
US9088783B2 (en) 2015-07-21
JP2014014143A (ja) 2014-01-23
US20140133577A1 (en) 2014-05-15
US9088782B2 (en) 2015-07-21
JP5647718B2 (ja) 2015-01-07
US20140133572A1 (en) 2014-05-15
US20140133578A1 (en) 2014-05-15
ATE350861T1 (de) 2007-01-15
US9390512B2 (en) 2016-07-12
EP1742479A2 (en) 2007-01-10
EP1406451B1 (en) 2007-01-03
US20070076801A1 (en) 2007-04-05
TWI320664B (en) 2010-02-11
DE60310842T2 (de) 2007-10-11
US20050058206A1 (en) 2005-03-17
EP1742480A2 (en) 2007-01-10
JP4914459B2 (ja) 2012-04-11
EP1742480B1 (en) 2008-10-29
TWI414187B (zh) 2013-11-01
KR20080073367A (ko) 2008-08-08
TWI575946B (zh) 2017-03-21
DE60329427D1 (de) 2009-11-05
KR20080073781A (ko) 2008-08-11
JP2009153175A (ja) 2009-07-09
SI1406451T1 (sl) 2007-04-30
TW201534110A (zh) 2015-09-01
JP4914515B2 (ja) 2012-04-11
US20150262377A1 (en) 2015-09-17
TWI638565B (zh) 2018-10-11
EP2278816A2 (en) 2011-01-26
EP1742479B1 (en) 2009-09-23
EP1406451A4 (en) 2004-07-07
TW200723890A (en) 2007-06-16
DE60324480D1 (de) 2008-12-11
ES2277092T3 (es) 2007-07-01
JP4651685B2 (ja) 2011-03-16
WO2004008774A1 (ja) 2004-01-22
TWI379595B (en) 2012-12-11
JP2010283878A (ja) 2010-12-16
JP5647719B2 (ja) 2015-01-07
CN101179733B (zh) 2011-11-02
PT1742479E (pt) 2009-11-17
TW201534111A (zh) 2015-09-01
CA2460471C (en) 2012-02-07
TW200723891A (en) 2007-06-16
US9412177B2 (en) 2016-08-09
TW201105146A (en) 2011-02-01
AU2003281129A1 (en) 2004-02-02
JP5602294B2 (ja) 2014-10-08
BR0305432A (pt) 2004-09-28
ATE443972T1 (de) 2009-10-15
PT2278816E (pt) 2013-05-10
US20140133561A1 (en) 2014-05-15
US20150262324A1 (en) 2015-09-17
DK1742479T3 (da) 2009-12-14
US8660192B2 (en) 2014-02-25
TW201534112A (zh) 2015-09-01
DE60310842D1 (de) 2007-02-15
MXPA04001979A (es) 2004-08-02
ATE413067T1 (de) 2008-11-15
US8073059B2 (en) 2011-12-06
ES2330555T3 (es) 2009-12-11
DK1406451T3 (da) 2007-02-05
ES2317444T3 (es) 2009-04-16
US9088781B2 (en) 2015-07-21
US20080056378A1 (en) 2008-03-06
ES2420583T3 (es) 2013-08-26
JP5037657B2 (ja) 2012-10-03
JP2014014142A (ja) 2014-01-23
AU2003281129B2 (en) 2007-12-06
US7206347B2 (en) 2007-04-17
TW201404181A (zh) 2014-01-16
JP2012124949A (ja) 2012-06-28
BRPI0305432B1 (pt) 2018-07-03
JP2014014144A (ja) 2014-01-23
TWI573442B (zh) 2017-03-01
US20080056380A1 (en) 2008-03-06
TWI492636B (zh) 2015-07-11
TW200401568A (en) 2004-01-16
TWI573447B (zh) 2017-03-01
DK2278816T3 (da) 2013-05-21
US8189680B2 (en) 2012-05-29
EP2053863B1 (en) 2012-03-07
JP2010283880A (ja) 2010-12-16
TW201720167A (zh) 2017-06-01
EP2053863A1 (en) 2009-04-29

Similar Documents

Publication Publication Date Title
TWI280058B (en) Decoding method and decoding apparatus
AU2004218397B2 (en) Picture coding method and picture decoding method
JP4562999B2 (ja) 画像復号化方法および画像復号化装置
CN101483772B (zh) 图像编码方法及图像编码装置

Legal Events

Date Code Title Description
MK4A Expiration of patent term of an invention patent