TWI566580B - An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus - Google Patents

An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus Download PDF

Info

Publication number
TWI566580B
TWI566580B TW101128417A TW101128417A TWI566580B TW I566580 B TWI566580 B TW I566580B TW 101128417 A TW101128417 A TW 101128417A TW 101128417 A TW101128417 A TW 101128417A TW I566580 B TWI566580 B TW I566580B
Authority
TW
Taiwan
Prior art keywords
image
data
encoding
tile
decoding
Prior art date
Application number
TW101128417A
Other languages
English (en)
Other versions
TW201316779A (zh
Inventor
Daisaku Komiya
Takahiro Nishi
Youji Shibahara
Hisao Sasai
Toshiyasu Sugio
Kyoko Tanikawa
Toru Matsunobu
Original Assignee
Sun Patent Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust filed Critical Sun Patent Trust
Publication of TW201316779A publication Critical patent/TW201316779A/zh
Application granted granted Critical
Publication of TWI566580B publication Critical patent/TWI566580B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置 技術領域
本發明係有關於一種圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、及圖像編碼解碼裝置。
背景技術
作為已標準化之圖像編碼方式，H.264係廣為人知。在上述圖像編碼方式中使用切片作為分割並編碼圖片之技術。藉由使用切片可獨立並解碼包含於圖片之各切片。
又，近年提案有一稱為圖塊(tile)之編碼技術作為分割並編碼圖片之新技術(例如參照非專利文獻1)。
先行技術文獻 非專利文獻
【非專利文獻1】「Tiles」(JCTVC-F335) Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22July, 2011
【非專利文獻2】「New results for parallel decoding for Tiles」 (JCTVC-F594) Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting:Torino, IT, 14-22 July, 2011
利用上述圖像編碼方法與圖像解碼方法可尋求減低處理負荷與提升編碼效率。
因此，本發明之目的在於提供一種可減低處理負荷或提升編碼效率之圖像編碼方法或圖像解碼方法。
本發明一態樣中圖像編碼方法，係包含有：分割步驟，係將圖片分割成複數圖塊(tile)；編碼步驟，係藉由將前述複數圖塊之各個圖塊編碼來產生分別與前述複數圖塊之各個圖塊對應之複數編碼資料；及位元流產生步驟，係產生包含前述複數編碼資料之位元流；又，前述編碼步驟包含有：編碼列產生步驟，係將前述複數圖塊之一的第1圖塊在不參照用於其他圖塊之編碼之編碼資訊的情況下編碼，藉此產生第1編碼列；及校準步驟，係藉由於前述第1編碼列之後追加位元列，將前述複數編碼資料之一的第1編碼資料的位元長設為預定之N(N為2以上之整數)位元的倍數。
而，這些概括或具體之態樣可利用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。
本發明係可提供一種可減低處理負荷或提升編碼效率之圖像編碼方法或圖像解碼方法。
圖式簡單說明
第1圖係本發明實施形態1中圖像編碼裝置之方塊圖。
第2圖係本發明中實施形態1中圖片分割處理之流程圖。
第3A圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第3B圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第3C圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第4A圖係顯示本發明實施形態1中圖塊邊界獨立資訊之一例之圖。
第4B圖係顯示本發明實施形態1中圖塊邊界獨立資訊之一例之圖。
第5圖係本發明實施形態1中圖像解碼裝置之方塊圖。
第6圖係本發明實施形態2中圖像編碼裝置之方塊圖。
第7A圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7B圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7C圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7D圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第8圖係本發明實施形態2中圖像解碼裝置之方塊圖。
第9圖係本發明實施形態3中圖像編碼裝置之方塊圖。
第10圖係本發明實施形態3中標記***處理之流程圖。
第11圖係本發明實施形態3中圖像解碼裝置之方塊圖。
第12圖係本發明實施形態4中圖像編碼裝置之方塊圖。
第13A圖係本發明實施形態4中圖像編碼方法之流程圖。
第13B圖係本發明實施形態4中編碼處理之流程圖。
第14圖係顯示本發明實施形態4中位元校準處理之圖。
第15圖係本發明實施形態4中圖像解碼裝置之方塊圖。
第16A圖係本發明實施形態4中圖像解碼方法之流程圖。
第16B圖係本發明實施形態4中解碼處理之流程圖。
第17A圖係顯示圖塊分割模式之一例之圖。
第17B圖係顯示包含於圖塊之區塊之處理順序的圖。
第18圖係實現內容發送服務之內容供給系統之全體構成圖。
第19圖係數位廣播用系統之全體構成圖。
第20圖係顯示電視構成例之方塊圖。
第21圖係顯示在光碟之記錄媒體進行讀寫資訊之再生/記錄部之構成例的方塊圖。
第22圖係顯示光碟之記錄媒體之構造例的圖。
第23A圖係顯示行動電話之一例之圖。
第23B圖係顯示行動電話之構成例之方塊圖。
第24圖係顯示多工資料之構成之圖。
第25圖係示意地顯示在多工資料中是如何多工各串流 之圖。
第26圖係更詳細地顯示在PES封包列是如何儲存視訊流之圖。
第27圖係顯示多工資料中TS封包與來源封包之構造之圖。
第28圖係顯示PMT之資料構造之圖。
第29圖係顯示多工資料資訊之內部構成之圖。
第30圖係顯示串流屬性資訊之內部構成之圖。
第31圖係顯示識別影像資料之步驟之圖。
第32圖係顯示實現各實施形態之動態圖像編碼方法與動態圖像解碼方法之積體電路之構成例的方塊圖。
第33圖係顯示切換區動頻率之構成之圖。
第34圖係顯示識別影像資料並切換驅動頻率之步驟之圖。
第35圖係顯示對應影像資料之規格與驅動頻率之查閱表之一例的圖。
第36A圖係顯示共有化訊號處理部之模組之構成之一例的圖。
第36B圖係顯示共有化訊號處理部之模組之構成之其他例的圖。
用以實施發明之形態
(形成本發明基礎之知識)
首先，針對圖塊使用第17A圖與第17B圖來說明。
將圖片分割成任意數之欄(Column)與行(Row)。且用邊界線所圍成之各領域則稱為圖塊。
第17A圖係顯示將圖片分割成3欄與3行之例。分割之結果係於圖片內存在從T1到T9之9個圖塊。欄之寬度係以LCU(Largest Coding Unit)作為單位，對每一欄設定為不同值。又，亦可設定使所有欄之寬度為相同。同樣地行之高度(圖塊垂直方向之寬度)以LCU作為單位，可對每一行設定為不同值。又，亦可設定所有行之高度為相同。
在編碼圖片時，在圖片中用逐行掃描順序處理圖塊。即，從左上之圖塊T1開始處理T2、T3，到右下之T9按順序來處理。
第17B圖係顯示包含於各圖塊之LCU之例。各個圖塊包含一個以上之LCU。例如圖塊T1包含有從1號到15號之16個LCU。在編碼圖片時，在圖塊內用逐行掃描順序來處理LCU。如上所述，由於在圖片內用逐行掃描順序來處理圖塊，因此如第17B圖所示用從1號到53號之順序來處理複數LCU。
如上所述，將圖片分割成複數圖塊之情況，相對於不分割圖片之情況，會有LCU之處理順序改變的情形。另一方面，在將圖片分割成複數切片的情況，相對於不分割圖片之情況，LCU之處理順序則不變。如上所述，由於可藉由使用圖塊來任意分割並將處理順序作最適當的設定，因此與使用切片之情況相比，更可改善編碼效率。
又，在編碼處理對象之LCU時，通常會利用位於處理 對象之LCU其周邊之LCU編碼資訊。例如面內預測或移動向量預測中，參照位於處理對象之LCU周邊之LCU資訊，將該資訊使用於處理對象之編碼。亦即是，處理對象之LCU變成相依周邊之LCU。一般而言，可用於參照之LCU是愈多愈可提高預測之精度。藉此來提升編碼效率。然而，相依其他LCU之LCU與被相依之LCU分離就無法解碼。
又，設置有顯示在圖塊邊界之編碼之相依關係的旗標(圖塊邊界獨立旗標：tile_boundary_independence_idc)該圖塊邊界獨立旗標配置有1位元。且，在包含於序列參數集(SPS)或圖片參數集(PPS)之狀態下將該圖塊邊界獨立旗標送至圖像解碼裝置。
在圖塊邊界獨立旗標開啟時，各圖塊會獨立。即，在編碼圖塊內之LCU時，不參照跨越圖塊邊界之LCU之編碼資訊，只利用圖塊內之LCU之編碼資訊於預測。相反地，在圖塊邊界獨立旗標關閉時，各圖塊具有相依關係。亦即是，可將處理對象之LCU所包含之圖塊，以及包含於其他圖塊並有可利用之關係之所有LCU的資訊利用於編碼。
而，圖塊可包含有1個以上之切片，切片亦可包含有1個以上之圖塊。但，在切片包含有1個以上之圖塊時，屬於同一切片之LCU會跨越複數LCU而存在。其結果無法保持圖塊間之編碼獨立性，圖塊邊界獨立旗標必須設定為關閉。
利用上述圖像編碼方法與圖像解碼方法可尋求減低處理負荷與提升編碼效率。
因此，在本實施形態針對可減低處理負荷或提升編碼 效率之圖像編碼方法、圖像解碼方法、圖像編碼裝置、及圖像解碼裝置來說明。
為了解決上述課題，本發明一態樣中圖像編碼方法，係包含有：分割步驟，係將圖片分割成複數圖塊；編碼步驟，係藉由將前述複數圖塊之各個圖塊編碼來產生分別與前述複數圖塊之各個圖塊對應之複數編碼資料；及位元流產生步驟，係產生包含前述複數編碼資料之位元流；又，前述編碼步驟包含有：編碼列產生步驟，係將前述複數圖塊之一的第1圖塊在不參照其他圖塊之編碼所用之編碼資訊的情況下編碼，藉此產生第1編碼列；及校準步驟，係藉由於前述第1編碼列之後追加位元列，將前述複數編碼資料之一的第1編碼資料的位元長設為預定之N(N為2以上之整數)位元的倍數。
藉此，各圖塊之編碼資料會成為預定位元數之倍數。因此，圖像解碼裝置中編碼資料之處理變得容易。又，圖像解碼裝置可容易地特定圖塊之編碼資料的前頭位置。如上所述，該圖像編碼方法可減低圖像解碼裝置之處理負荷。
例如，前述編碼列產生步驟包含利用算術編碼來產生前述第1編碼列之算術編碼步驟，且，在前述算術編碼步驟，進行使前述第1編碼列完結之終止處理。
藉此，圖像解碼裝置可獨立並處理各圖塊之編碼資料。
例如，在前述分割步驟，進而將前述複數圖塊之圖塊間之邊界分別分類成第1邊界與第2邊界；在前述編碼步驟，對於前述複數圖塊之各個圖塊，與該圖塊鄰接之已編 碼圖塊中，參照跨越前述第1邊界之圖塊的編碼資訊，且，在不參照跨越前述第2邊界之圖塊之編碼資訊的情況下編碼該圖塊；在前述位元流產生步驟，產生包含圖塊邊界獨立資訊的前述位元流，該圖塊邊界獨立資訊係顯示前述複數圖塊之圖塊間之邊界的各個邊界為第1邊界還是第2邊界。
藉此，可設定每一圖塊邊界之相依關係。因此，例如與利用圖片單位來設定圖塊間之相依關係時相比，更能改善編碼效率。
例如，前述圖塊邊界獨立資訊可包含於前述位元流包含之圖片參數集或序列參數集。
例如，亦可在前述分割步驟進而決定前述複數圖塊之編碼順序；在前述編碼步驟用已決定之編碼順序來編碼前述複數圖塊；在前述位元流產生步驟產生包含顯示前述編碼順序之圖塊處理順序資訊之前述位元流。
藉此，可在圖像解碼裝置中任意地設定圖塊之解碼處理順序。因此，例如包含於圖片之複數區域的圖像中，可將優先度較高區域之圖像在圖像解碼裝置中較優先解碼。
例如，前述圖塊處理順序資訊包含於前述位元流包含之圖片參數集或序列參數集。
例如，可在前述位元流產生步驟，前述複數編碼資料之資料邊界中，只對與包夾該資料邊界之2個編碼資料對應之2個圖塊間之邊界為第2邊界之資料邊界，***用以特定該資料邊界之標記。
藉此，該圖像編碼方法與對所有圖塊邊界***標記時相比，更可改善編碼效率。
又，本發明之一態樣中圖像解碼方法，係包含有：取得步驟，係取得複數編碼資料，該複數編碼資料係包含於位元流並藉由將已分割圖片之複數圖塊的各個圖塊編碼來產生者；解碼步驟，係藉由將前述複數編碼資料之各個編碼資料解碼來產生前述複數圖塊之圖像資料；又，前述解碼步驟包含有：第1圖像產生步驟，係將前述複數編碼資料之一的第1編碼資料包含之第1編碼列在不參照其他圖塊之解碼所用之解碼資訊的情況下解碼，藉此產生前述複數圖塊之一的第1圖塊之圖像資料；跳過步驟，係跳過包含於前述第1編碼資料並位於前述第1編碼列之後的預定位元列。
藉此，該圖像解碼方法可容易地特定圖塊之編碼資料之前頭位置。如上所述，該圖像解碼方法可減低圖像解碼裝置之處理負荷。
例如，前述第1圖像產生步驟包含將前述第1編碼列算術解碼之算術解碼步驟；前述算術解碼步驟包含終止處理步驟，該終止處理步驟係在前述跳過步驟之前，進行將針對前述第1編碼列之算術解碼處理完結之終止處理。
藉此，圖像解碼裝置可獨立並處理各圖塊之編碼資料。
例如，前述解碼步驟更可包含第2圖像資料產生步驟，該第2圖像資料產生步驟係將包含於前述複數編碼資料且位於前述第1編碼資料之後的第2編碼資料包含之第2編碼列解碼，藉此產生前述複數圖塊之一的第2圖塊圖像資料。
又，本發明一態樣中圖像編碼裝置，係包含有：分割部，係將圖片分割成複數圖塊者；編碼部，係藉由將前述複數圖塊之各個圖塊編碼來產生分別與前述複數圖塊之各個圖塊對應之複數編碼資料者；位元流產生部，係產生包含前述複數編碼資料之位元流者；又，前述編碼部藉由將前述複數圖塊之一的第1圖塊在不參照其他圖塊之編碼所用之編碼資訊的情況下編碼來產生第1編碼列，並藉由於前述第1編碼列之後追加位元列，將前述複數編碼資料之一的第1編碼資料的位元長設為預定之N(N為2以上之整數)位元的倍數。
藉此，各圖塊之編碼資料會成為預定位元數之倍數。因此，圖像解碼裝置中編碼資料之處理變得容易。又，圖像解碼裝置可容易地特定圖塊之編碼資料的前頭位置。如上所述，該圖像編碼方法可減低圖像解碼裝置之處理負荷。
又，本發明一態樣中圖像解碼裝置，係包含有：解析部，係取得複數編碼資料，該複數編碼資料係包含於位元流並藉由將已分割圖片之複數圖塊的各個圖塊編碼來產生者；解碼部，係藉由將前述複數編碼資料之各個編碼資料解碼來產生前述複數圖塊之圖像資料者；又，前述解碼部係將前述複數編碼資料之一的第1編碼資料包含之第1編碼列在不參照其他圖塊之解碼所用之解碼資訊的情況下解碼，藉此產生前述複數圖塊之一的第1圖塊之圖像資料，並跳過包含於前述第1編碼資料且位於前述第1編碼列之後的預定位元列。
藉此，該圖像解碼方法可容易地特定圖塊之編碼資料之前頭位置。如上所述，該圖像解碼方法可減低圖像解碼裝置之處理負荷。
又，本發明一態樣中圖像編碼解碼裝置，係包含有：前述圖像編碼裝置及前述圖像編碼裝置。
而，這些概括或具體之態樣可利用系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等之記錄媒體來實現，亦可利用系統、方法、積體電路、電腦程式及記錄媒體之任意組合來實現。
以下關於本發明之實施形態，一面參照圖式一面說明。
而，以下所說明之實施形態任一者皆為顯示概括或具體之例者。以下實施形態所示之數值、形狀、材料、構成元件、構成元件之配置、及連接形態、步驟、步驟之順序等僅為一例，並非限定本發明之主旨。又，在以下實施形態構成元件中，針對未記載於顯示最上位概念之獨立請求項的構成元件，則作為任意之構成元件來說明。
(實施形態1)
如上所述，利用圖片單位來設定圖塊間之相依關係時，根據該設定會斷絕圖片內所有圖塊間之相依關係。藉此，本發明者發現會有編碼效率低落的課題。
針對於此，本發明之實施形態中圖像編碼裝置係用圖塊邊界單位來設定圖塊間之相依關係。藉此，該圖像編碼裝置與用圖片單位來設定圖塊間之相依關係時相比，更可提升編碼效率。
第1圖係顯示使用本實施形態中圖像編碼方法之圖像編碼裝置100之構成的方塊圖。
第1圖所示之圖像編碼裝置100藉由編碼輸入圖像訊號120來產生位元流134。該圖像編碼裝置100具有：編碼部115、圖片分割控制部112、多工部114。又，編碼部115包含有：減法器101、直交轉換部102、量化部103、反量化部104、逆直交轉換部105、加法器106、區塊記憶體107、圖框記憶體108、面內預測部109、內部預測部110、圖片類型決定部111、可變長編碼部113。
圖片分割控制部112為分割部之一例，分割圖片成1個以上之圖塊並決定各圖塊中圖塊間之相依關係。且，圖片分割控制部112將關於該圖塊之分割資訊之圖片分割資訊135發送至多工部114。具體而言，圖片分割資訊135顯示圖片之分割模式與圖塊間之相依關係。
又，圖片分割控制部112將該圖片分割資訊135作為序列參數集(SPS：Sequence Parameter Set)或圖片參數集(PPS：Picture Parameter Set)的一部分，發送至多工部114。圖片參數集相當於圖片之標頭之參數集。序列參數集相當於可共通地使用於1張以上圖片之標頭的參數集。圖片參數集包含有：可變長編碼之類型、量化步驟之初始值、及參照圖片數等。序列參數集包含有：可參照之最大圖片數、圖像尺寸、及視訊可用資訊(VUI：Video Usability Information)等。
又，圖片分割控制部112根據圖片分割之模式與圖塊間 之相依關係，產生用以控制面內預測部109、內部預測部110及可變長編碼部113之分割控制訊號132。
編碼部115藉由編碼輸入圖像訊號120來產生編碼資料133。
減法器101藉由算出後述之處理部所產生之預測圖像資料131與輸入圖像訊號120的差分來產生預測誤差資料121。直交轉換部102藉由將預測誤差資料121從圖像區域轉換至頻率區域來產生轉換係數122。量化部103藉由量化轉換係數122來產生量化係數123。
反量化部104藉由反量化量化係數123來產生轉換係數124。逆直交轉換部105藉由將轉換係數124從頻率區域轉換至圖像區域來產生預測誤差資料125。加法器106藉由將預測圖像資料131與預測誤差資料125相加來產生解碼圖像資料126。區塊記憶體107將解碼圖像資料126利用區塊單位作為解碼圖像資料127來保存。圖框記憶體108將解碼圖像資料126利用圖框單位作為解碼圖像資料128來保存。
面內預測部109藉由使用保存於區塊記憶體107之區塊單位之解碼圖像資料127進行面內預測，來產生編碼對象區塊之預測圖像資料129。又，面內預測部109根據從圖片分割控制部112送出之分割控制訊號132來檢出圖塊間之相依關係。且，面內預測部109在不使用包含於與處理對象之圖塊斷絕相依關係之區塊的像素資訊的情況下進行面內預測。
內部預測部110藉由使用保存於圖框記憶體108之圖框 單位之解碼圖像資料128進行內部預測來產生編碼對象區塊之預測圖像資料130。又，內部預測部110根據從圖片分割控制部112送出之分割控制訊號132來檢出圖塊間之相依關係。且，內部預測部110在不使用包含於與處理對象之圖塊斷絕相依關係之區塊的移動向量資訊的情況下進行移動向量預測。
可變長編碼部113藉由可變長編碼量化係數123來產生編碼資料133。又、可變長編碼部113根據從圖片分割控制部112送出之分割控制訊號132來檢出圖塊間之相依關係。且，可變長編碼部113在斷絕相依關係之圖塊邊界重設熵編碼處理。
多工部114為位元流產生部之一例，取得含有圖片分割資訊135之圖片參數集或序列參數集，並藉由對編碼資料133多工這些參數來產生位元流134。
以下針對根據圖片分割控制部112之分割圖片成複數圖塊之處理來說明。第2圖係本實施形態中根據圖片分割控制部112之圖片分割處理的流程圖。
首先，圖片分割控制部112決定欄數(複數圖塊之欄數)(S101)。接著，圖片分割控制部112決定行數(複數圖塊之行數)(S102)。接下來，圖片分割控制部112判定是否已決定之欄數與行數兩方均為1(S103)。亦即是，圖片分割控制部112判定是否分割圖片成複數之圖塊。欄數與行數均為1時(在S103為Yes)，即未分割圖片成複數圖塊時，圖片分割控制部112就結束處理。
另一方面，欄數與行數至少有一方為2以上時(在S103為No)，亦即是，圖片分割成複數圖塊時，圖片分割控制部112決定圖塊邊界中編碼之相依關係，產生顯示決定之相依關係之圖塊邊界獨立資訊(S104)。
接下來，圖片分割控制部112將LCU(Largest Coding Unit：最大編碼單位)作為單位使用，來決定各欄之寬度(圖片之水平方向之寬度)。具體而言，首先圖片分割控制部112決定是否將包含於圖片之所有欄之寬度設為相同(S105)。所有欄之寬度為相同時(在S105為Yes)，圖片分割控制部112將欄寬度均等旗標設定為「1」(S106)。另一方面，複數欄之寬度在圖片內不同時(在S105為No)，圖片分割控制部112將欄寬度均等旗標設定為「0」(S107)，決定各欄之寬度(S108)。
接下來，圖片分割控制部112將LCU作為單位使用來決定各行之高度。具體而言，首先圖片分割控制部112決定是否將包含於圖片之所有行之高度設為相同(S109)。所有行之高度為相同時(在S109為Yes)，圖片分割控制部112將行高度均等旗標設定為「1」(S110)。另一方面，複數行之高度在圖片內不同時(在S109為No)，圖片分割控制部112將行高度均等旗標設定為「0」(S111)，決定各行之高度(S112)。
如上所述，圖片分割控制部112分割圖片成複數圖塊。且，圖片分割控制部112產生包含顯示圖片分割模式之資訊與圖塊邊界獨立資訊的圖片分割資訊135，並將產生之圖片分割資訊135作為序列參數集(SPS)或圖片參數集(PPS)之一 部分，發送至多工部114。在此，顯示圖片分割模式之資訊包含有例如：欄數、行數、欄寬度均等旗標、及行高度均等旗標等。又，該資訊視需要會包含欄之寬度與行之高度。
第3A圖~第3C圖係顯示將圖片分割為圖塊之模式之一例的圖。第3A圖~第3C圖所示之虛線顯示其邊界兩端之圖塊為相依關係，而實線則顯示其邊界兩端之圖塊為互相獨立，即顯示為斷絕相依關係。具體而言，2個圖塊有相依關係時，圖像編碼裝置100將一方圖塊參照另一方圖塊之編碼資訊來編碼。又，2個圖塊為互相獨立時，圖像編碼裝置100在將一方圖塊不參照另一方圖塊之編碼資訊之情況下來編碼。在此，所謂的編碼資訊係用於編碼之資訊，具體而言，係面內預測中像素資訊(像素值)與內部預測中移動向量資訊。而，以下之說明中將2個圖塊有相依關係時稱為2個圖塊(圖塊間)為相依，將斷絕2個圖塊之相依關係時稱為2個圖塊(圖塊間)為獨立。又，其邊界之兩端之圖塊為相依時，則稱為該邊界為相依，其邊界之兩端之圖塊為獨立時，則稱為該邊界為獨立。
在第3A圖在垂直方向之圖塊間(例如T1與T4之間)圖塊為相依，在水平方向之圖塊間(例如T1與T2之間)為獨立。又，利用配置有2位元之圖塊邊界獨立資訊來顯示圖塊邊界之相依關係。例如，第1位元顯示水平方向之圖塊間的相依關係，第2位元顯示垂直方向圖塊間之相依關係。在圖塊為獨立時設定位元為「1」，在圖塊為相依時設定位元為「0」。此時第3A圖中圖塊邊界獨立資訊為「0b10」。
在第3B圖在水平方向之圖塊間圖塊為相依，在垂直方向之圖塊間為獨立。因此，圖塊邊界獨立資訊為「0b01」。而，在所有圖塊間為獨立時，圖塊邊界獨立資訊為「0x11」在所有圖塊間為相依時，圖塊邊界獨立資訊為「0b00」。
在第3C圖圖塊間之相依關係依每一圖塊邊界而不同。即使為垂直方向之圖塊間，圖塊T1與圖塊T4為獨立，圖塊T2與T5為相依。而，第3C圖僅為一例，對每一鄰接圖塊之邊界可任意地設定編碼或解碼中圖塊間之相依關係。
第4A圖與第4B圖係顯示對每一圖塊邊界設定圖塊間之相依關係時之圖塊邊界獨立資訊的圖。第4A所示之圖塊邊界獨立資訊140包含有：顯示全部圖塊間之相依關係之1位元的全體相依資訊141、顯示水平方向圖塊間之相依關係之複數位元((欄數-1)×行數)的水平相依資訊142、及顯示垂直方向圖塊間之相依關係之複數位元(欄數×(行數-1))的垂直相依資訊143。又，第4A圖與第4B圖為在第3C圖所示之相依關係時之圖塊邊界獨立資訊的範例。
包含於水平相依資訊142之各位元從前頭按順序地顯示：T1與T2間之相依關係、T2與T3間之相依關係、T4與T5間之相依關係、T5與T6間之相依關係、T7與T8間之相依關係、T8與T9間之相依關係。又，包含於垂直相依資訊143之各位元從前頭按順序地顯示：T1與T4間之相依關係、T2與T5間之相依關係、T3與T6間之相依關係、T4與T7間之相依關係、T5與T8間之相依關係、T6與T9間之相依關係。
由於在第3C圖所示之例，T2與T5、及T5與T8為相依， 因此在第4A圖所示之圖塊邊界獨立資訊140，從垂直相依資訊143之前頭將第2位元與第5位元設定為「0」。而，所有圖塊間為獨立時，將前頭之1位元之全體相依資訊141設定為「1」，並省略水平相依資訊142與垂直相依資訊143。
第4B圖係顯示圖塊邊界獨立資訊之其他例之圖。在第4B圖所示之圖塊邊界獨立資訊145包含有：顯示圖塊間之相依關係之2位元之全體相依資訊146、顯示水平方向圖塊間之相依關係之複數位元((欄數-1)×行數)的水平相依資訊142(在第4B圖省略)、及顯示垂直方向圖塊間之相依關係之複數位元(欄數×(行數-1))的垂直相依資訊143。在此，前頭2位元之全體相依資訊146係第3A圖與第3B圖所使用之圖塊邊界獨立資訊者。即，全體相依資訊146之第1位元顯示水平方向圖塊間之相依關係，第2位元顯示垂直方向圖塊間之相依關係。而，水平相依資訊142與垂直相依資訊143與第4A圖所說明者相同。在第3C圖之例，在水平方向圖塊間圖塊為獨立。因此，全體相依資訊146為「0b10」。又，由於在水平方向圖塊間圖塊為獨立，因此可省略水平相依資訊142。亦即是，在第4B圖所示之圖塊邊界獨立資訊145中水平方向所有圖塊間之相依關係為獨立時，可省略水平相依資訊142。又，在垂直方向所有圖塊間之相依關係為獨立時，可省略垂直相依資訊143。藉此可削減圖塊邊界獨立資訊145之位元數。
在此，分割圖片之益處之一為可並列處理。例如在第3A圖~第3C圖中分割圖片成9個圖塊，只要所有圖塊為獨 立，圖像編碼裝置與圖像解碼裝置即可將9個圖塊並列且編碼或解碼處理。超越高畫質之解像度的超級高畫質(Super Hi-Vision)及稱為UHDTV(Ultra High Definition Television)之高解像度的圖像編碼與解碼處理，演算負荷較高且即時處理困難。因此，在編碼與解碼高解像度之圖像時，特別地高度需要並列處理。另一方面，編碼時若是愈斷絕圖塊間相依關係，則預測精度愈下降。如此一來，編碼效率低落。因此，從編碼效率之觀點並不希望斷絕必要以上之圖塊間的相依關係。
例如，假設圖像編碼裝置與圖像解碼裝置可利用至3個處理器，可進行3並列處理。在此情形下，如第3A圖~第3C圖所示，即使在將圖塊9分割時，獨立之圖塊群(含有1個以上圖塊之群體稱為圖塊群)只要是相當於可並列處理之處理器數量之3，即為充足。分割圖片而使獨立之圖塊群超過3個，會連帶使編碼效率低於所需。亦即是，依每一圖片設定圖塊間之相依關係(要使圖塊間為相依、還是獨立)時，即使圖像編碼裝置或圖像解碼裝置只能作到3並列處理時，還是斷絕圖片內所有圖塊間之相依關係。因此會導致編碼效率之低落。
另一方面，根據本實施形態可依每一邊界設定圖塊間相依關係。藉此，例如可使圖像編碼裝置或圖像解碼裝置配合可並列處理之並列數量，產生獨立之圖塊群。因此，本實施形態中圖像編碼裝置100可控制編碼效率之低落並進行任意之並列數量之並列處理。如上所述，本實施形態 中圖像編碼裝置100可提升編碼效率。
如上所述，本實施形態中圖像編碼裝置100中圖片分割控制部112分割圖片成複數圖塊。編碼部115藉由編碼複数圖塊之各個圖塊來產生與複数圖塊之各個圖塊對應之複數編碼資料133。多工部114則產生包含複數編碼資料133之位元流。
再者，圖片分割控制112將複數圖塊之圖塊間邊界之各個邊界分類成第1邊界(相依)與第2邊界(獨立)。編碼部115對於複數圖塊之各個圖塊，鄰接於該圖塊之已編碼之圖塊中，參照跨越第1邊界之圖塊的編碼資訊，且，在不參照跨越第2邊界之圖塊之編碼資訊的情況下，編碼該圖塊。又，多工化部114產生包含圖塊邊界獨立資訊的位元流134，該圖塊邊界獨立資訊係顯示複數圖塊之圖塊間之邊界的各個邊界為第1邊界還是第2邊界
藉此，對每一圖塊間之邊界設定圖塊之相依關係。因此，例如以圖片單位來設定圖塊之相依關係時相比，更可改善編碼效率。
以下針對本實施型態中圖像解碼裝置來說明。
第5圖係使用本發明實施形態中圖像解碼方法之圖像解碼裝置200之方塊圖。
第5圖所示之圖像編碼裝置200藉由解碼位元流234來產生解碼資料226。該圖像解碼裝置200具有：解碼部215、解析部201、及圖片分割控制部212。又，解碼部215包含有：反量化部204、逆直交轉換部205、加法器206、區塊記憶體 207、圖框記憶體208、面內預測部209、內部預測部210、圖片類型決定部211、可變長編碼部213。
在此，位元流234對應於由上述圖像編碼裝置100所產生之位元流134。
解析部201藉由解析位元流234，取得包含於編碼資訊233與位元流234之序列參數集或圖片參數集的圖片分割資訊235。圖片分割資訊235對應於上述圖片分割資訊135，並顯示圖片分割之模式與圖塊之相依關係。
圖片分割控制部212根據圖片分割資訊235所示之圖片分割之模式與圖塊間之相依關係，產生用以控制面內預測部209、內部預測部210及可變長編碼部213之分割控制訊號232。
解碼部215藉由解碼編碼資訊233來產生解碼資料226。
可變長解碼部213藉由可變長解碼編碼資訊233來產生量化係數223。。
反量化部204藉由反量化量化係數223來產生轉換係數224。逆直交轉換部205藉由將轉換係數224從頻率區域轉換至圖像區域來產生預測誤差資料225。加法器206藉由將預測畫像資料231與預測誤差資料225相加來產生解碼圖像資料226。區塊記憶體207將解碼圖像資料226以區塊單位作為解碼圖像資料227來保存。圖框記憶體208將解碼圖像資料226以圖框單位作為解碼圖像資料228來保存。
面內預測部209藉由使用保存於區塊記憶體207之區塊單位的解碼圖像資料227進行面內預測，來產生解碼對象區 塊之預測圖像資料229。又，面內預測部209根據從圖片分割控制部212送出之分割控制訊號232檢出圖塊間之相依關係。且，面內預測部209在不使用包含於與處理對象之圖塊斷絕相依關係之區塊的像素資訊的情況下進行面內預測。
內部預測部210藉由使用保存於圖框記憶體208之圖框單位之解碼圖像資料228進行內部預測，來產生解碼對象區塊之預測圖像資料230。又，內部預測部210根據從圖片分割控制部212送出之分割控制訊號232來檢出圖塊間之相依關係。且，內部預測部210在不使用包含於與處理對象之圖塊斷絕相依關係之區塊的移動向量資訊的情況下進行移動向量預測。
藉由以上之構成，本實施形態中圖像解碼裝置200可解碼由上述圖像編碼裝置100所產生之位元流。
(實施形態2)
在本實施形態針對上述實施形態1中圖像編碼裝置100之變形例來說明。而，以下主要說明與實施形態1不同處，省略重複之說明。
第6圖係顯示使用本實施形態中圖像編碼方法之圖像編碼裝置之構成的方塊圖。而，對與第1圖相同元件賦予相同之編號。
第6圖所示之圖像編碼裝置100A除了第1圖所示之圖像編碼裝置100之構成，更具有輸入圖像控制部150。又，圖片分割控制部112A之功能與圖片分割控制部112不同。
具體而言，圖片分割控制部112A係分割部之一例，除 了如同實施形態1所說明地將圖片分割成圖塊之功能，並決定編碼及解碼處理圖塊之順序，產生包含顯示已決定順序之圖塊處理順序資訊的圖片分割資訊135A。又，圖片分割控制部112A將包含圖塊處理順序資訊之圖片分割資訊135A作為序列參數集(SPS)或圖片參數集(PPS)之一部分，發送至多工部114。
又，圖片分割控制部112A根據圖片之分割模式、圖塊間之相依關係、及編碼處理之順序，來產生用以控制面內預測部109、內部預測部110、可變長編碼部113、圖框記憶體108、及輸入圖像控制部150之分割控制訊號132A。而，根據圖片分割資訊135A之面內預測部109、內部預測部110、及可變長編碼部113之動作則與實施形態1相同。
輸入圖像控制部150將輸入圖像訊號120以區塊單位排序成預定之順序，並將排序後之圖像訊號160輸入編碼部。在分割圖片成圖塊時，輸入圖像控制部150依據從圖片分割控制部112發送之分割控制訊號132A所示之編碼處理的順序，來決定區塊之順序。
圖框記憶體108根據分割控制訊號132A來辨識處理圖塊之順序，於適當之記憶體區域保存解碼圖像資料128。
接著，針對顯示處理(掃瞄)圖塊之順序之圖塊處理順序資訊來說明。藉由使用圖塊處理順序資訊，圖像編碼裝置與圖像解碼裝置可特定圖塊之掃瞄方向與欄或行之掃瞄順序，並可特定圖片內之圖塊編碼或解碼處理之順序為唯一？。
第7A圖~第7D圖係顯示分割成9個圖塊之圖片中處理(掃瞄)圖塊之順序的圖。而，圖塊依照T1~T9之順序來處理。
第7A圖係顯示逐行掃瞄之情況。即，選擇上方之行(row：行)，從在選擇之行左方之圖塊朝水平方向(右方)依序地選擇圖塊。當選擇一行所有圖塊後，就選擇向下一行，同樣地從在選擇之行左方之圖塊朝右方依序選擇圖塊。
在第7B圖選擇左方列，並從在選擇之列(column：欄)上方圖塊朝垂直方向(下方)依序選擇圖塊。當選擇一列所有圖塊後，就選擇向左一列，同樣地從在選擇之列上方之圖塊朝下方依序地選擇圖塊。即，朝垂直方向掃瞄圖塊。
如上所述，掃瞄方向大致分別為水平方向與垂直方向。接著，針對行之掃瞄順序來說明。在第7A圖朝水平方向掃瞄圖塊，從上向下(用第1行、第2行、第3行之順序)掃瞄行。相對於此，在第7C圖與第7A圖相同地朝水平方向掃瞄圖塊，但用中央、上、下(第2行、第1行、第3行)之順序來掃瞄行。而，雖未圖示，但亦可用中央、下、上(第2行、第3行、第1行)、或是從下向上(第3行、第2行、第1行目)之順序來掃瞄行。
又，行之掃瞄順序分配有預定之ID，且圖像編碼裝置與圖像解碼裝置共有該資訊。例如，第7A圖之順序分配有「1」作為行掃瞄ID，第7C圖之順序分配有「2」作為行掃瞄ID。且，從圖像編碼裝置朝圖像解碼裝置傳送該行掃瞄ID。藉此，使用行掃瞄ID，圖像解碼裝置可特定行之掃瞄順序。
針對欄之掃瞄順序係亦與行之掃瞄順序相同。在第7B圖，依垂直方向掃瞄圖塊，從左向右(用第1列、第2列、第3列之順序)掃瞄欄。相對於此，在第7D圖相同地朝垂直方向掃瞄，但以中央、左、右(第2列、第1列、第3列)之順序來掃瞄欄。而，雖未圖示，亦可用中央、右、左(第2列目、第3列、第1列)，或是從右向左(第3列、第2列目、第1列)之順序來掃瞄欄。欄之掃瞄順序分配有預定之ID，圖像編碼裝置與圖像解碼裝置共有該資訊。
圖塊處理順序資訊係包含有：圖塊之掃瞄方向(水平方向或是垂直方向)與欄或行之掃瞄ID。藉由使用該圖塊處理順序資訊，圖像解碼裝置可特定圖片內之圖塊解碼處理之順序為唯一？。而，在第7A圖~第7D圖顯示有分割圖片為9個圖塊之例，但圖塊之分割方法(欄數及行數)亦可為此以外。
如上所述，本實施形態中之圖像編碼裝置100A可變更圖片內圖塊之處理順序。藉由控制上述圖塊之處理順序，可視通訊情況及應用，只發送前頭之圖塊群。例如，在電視會議中，可最先編碼拍攝有人物之中央欄的圖塊群。
如上所述，本實施形態中之圖像編碼裝置100A中分割控制部112A決定複數圖塊之編碼順序。編碼部115利用112A所決定複數圖塊之編碼順序來編碼複數圖塊。多工部114則產生包含顯示已決定編碼順序之圖塊處理順序資訊的位元流134。
藉此，可任意地設定圖像解碼裝置中圖塊之解碼處理 順序。因此，例如包含於圖片之複數區域之圖像中，可在圖像解碼裝置中先解碼優先度較高區域的圖像。
以下針對本實施形態中圖像解碼裝置來說明。
第8圖係顯示使用本實施形態中圖像解碼方法之圖像解碼裝置之購成的方塊圖。而，對與第5圖相同之元件賦予相同之標號。
在此，位元流234對應於由上述圖像編碼裝置100A所產生之位元流134。
第8圖所示之圖像解碼裝置200A除了第5圖所示之圖像解碼裝置200之構成，更具有輸出圖像控制部250。又，解析部201A及圖片分割控制部212A之功能與解析部201及圖片分割控制部212不同。
具體而言，解析部201A藉由解析位元流234，取得編碼資訊233與圖片分割資訊235A。圖片分割資訊235A對應於上述圖片分割資訊135A，包含顯示解碼圖塊之順序的圖塊處理順序資訊。
圖片分割控制部212A根據圖片分割資訊235A所示之圖片分割之模式、圖塊間之相依關係、及解碼處理之順序，產生用以控制面內預測部209、內部預測部210、可變長編碼部213、圖框記憶體208、及輸出圖像控制部250之分割控制訊號232A。而，根據圖片分割資訊135A之面內預測部209、內部預測部210、及可變長解碼部213之動作與實施形態1相同。
輸出圖像控制部250將解碼圖像資料226以區塊單位排 序成預定之順序，並將排序後之圖像訊號260朝外部輸出。在分割圖片成圖塊時，輸出圖像控制部250係依據從圖片分割控制部212發送之分割控制訊號232A所示之解碼處理的順序，來決定區塊之順序。
圖框記憶體208根據分割控制訊號232A來辨認處理圖塊之順序，並於適當之記憶體區域保存解碼圖像資訊228。
利用以上之構成，本施實形態中圖像解碼裝置200A可解碼由上述圖像編碼裝置100A所產生之位元流。
(實施形態3)
在本實施形態針對上述實施形態1中圖像編碼裝置100之變形例來說明。而，在以下主要說明與實施形態1不同處，省略重複之說明。
如實施形態1所述，超越高畫質之解像度之超級高畫質及稱為UHDTV之高解像度之圖像的解碼處理，演算負荷較高且即時處理困難。因此在解碼高解像度之圖像時，圖像解碼裝置需要將位元流並列處理。藉由斷絕圖塊間之相依關係，圖像解碼裝置可獨立於其他圖塊，並解碼圖塊。
然而，圖像解碼裝置在解碼時必須可檢出在位元流內圖塊之前頭位置(entry point)，才可實現並列處理。解決此問題之方法已廣為人知(例如參照非專利文獻2)。依據該方法，圖像編碼裝置將圖塊標記***位元流內之圖塊的前頭位置。圖像解碼裝置藉由掃瞄位元流並檢出圖塊標記，可得知位元流內之圖塊的前頭位置(entry point)。
然而，將圖塊標記***位元流內所有圖塊之前頭位置 (圖塊邊界)會導致編碼效率低落。在圖塊邊界，可變長編碼部所輸出之位元流未經位元校準處理。因此為了將圖塊標記***圖塊之前頭位置，必須重設依據可變長編碼部之熵編碼(例如CABAC)處理。且，重設熵處理會連帶使編碼效率降低。
相對於此，本實施形態中之圖像編碼裝置會判定是否對位元流之各圖塊邊界***圖塊標記，並只對一部分之圖塊邊界***圖塊標記。藉此，由於該圖像編碼裝置減少熵處理之重設次數，因此可提升編碼效率。
第9圖係顯示使用本實施形態中圖像編碼方法之圖像編碼裝置100B之構成的方塊圖。而，對與第1圖相同之元件賦予相同之標號。
第9圖所示之圖像解碼裝置100B係除了第1圖所示之圖像解碼裝置100之構成，更具有標記***部151。又，可變長編碼部113B與多工部114B之功能與可變長編碼部113及多工部114不同。
標記***部151根據從圖片分割控制部112發送之分割控制訊號132，對複數編碼資料133之圖塊邊界***用以識別圖塊邊界之圖塊標記161。具體而言，標記***部151藉由將獨立之圖塊邊界通知可變長編碼部113B，來控制可變長編碼部113B而使在獨立之圖塊邊界可重設熵編碼(CABAC)處理。又，標記***部151在獨立之圖塊邊界對多工部114B發送圖塊標記161。
可變長編碼部113B依據來自標記***部151之通知，在 所指示之圖塊邊界重設熵編碼(CABAC)處理。
多工部114B藉由將由標記***部151發送之圖塊標記161***複數編碼資料133所指定之圖塊邊界來產生位元流134。
第10圖係本實施形態中根據標記***部151之標記***處理之流程圖。
首先，標記***部151從圖片分割控制部112接收分割控制訊號132(S121)。該分割控制訊號132顯示有關圖塊之分割的資訊。而，標記***部151亦可取代分割控制訊號132接收圖片分割資訊135。而有關圖片內所有圖塊之分割的資訊不需一次接收，可在處理代表圖像編碼裝置100B之圖塊的時機，只接受有關該圖塊之資訊。
接著，標記***部151取得包含於分割控制訊号132之正在處理的圖塊與接著要處理之圖塊之邊界的相依關係(S122)，來判定正在處理之圖塊與接著要處理之圖塊之邊界的相依關係(S123)。
圖塊為相依時(在S123為Yes)，標記***部151則結束處理。另一方面，圖塊非相依，即為獨立時(在S123為No)，標記***部151則控制可變長編碼部113B而使熵編碼(CABAC)處理可重設(S124)。藉此，可變長編碼部113B在正在處理之圖塊之最後重設熵編碼(CABAC)處理，進行位元校準。且，可變長編碼部113B將正在處理之圖塊之編碼資料133發送至多工部114B。
接著，標記***部151則將圖塊標記161發送至多工部 114B。多工部114B對正在處理之圖塊之位元流的正後方，即、接著要處理之圖塊之位元流的前頭，***圖塊標記161(S125)。
如上所述，標記***部151根據圖塊邊界之相依關係，來切換是否對位元流之圖塊邊界***圖塊標記161。
而，在步驟S121接收之分割控制訊號132中顯示圖片內所有圖塊邊界為相依時，標記***部151針對該圖片可省略步驟S122~S125之處理。
如此一來，本實施形態中圖像編碼裝置100B藉由控制朝位元流之各圖塊邊界***圖塊標記，可減少熵編碼(CABAC)處理之重設次數。藉此，圖像編碼裝置100B可提升編碼效率。
如上所述，本實施形態中圖像編碼裝置100B中，標記***部151在複數編碼資料133之資料邊界中，只對與包夾該資料邊界之2個編碼資料對應之2個圖塊間之邊界為第2邊界(獨立)之資料邊界，***用以特定該資料邊界之標記。
藉此，該圖像編碼裝置100B與對所有圖塊邊界***標記時相比，更可改善編碼效率。
以下針對本實施形態中圖像解碼裝置來說明。
第11圖係顯示使用本實施形態中圖像解碼方法之圖像解碼裝置之構成的方塊圖。而，對與第5圖相同之元件賦予相同之標號。
在此，位元流234對應於由上述圖像編碼裝置100B所產生之位元流134。
第11圖所示之圖像解碼裝置200A中，解析部201B之功能與解析部201不同。
具體而言，解析部201B藉由解析位元流234來取得編碼資料233與圖片分割資訊235。又，解析部201B會檢出對圖塊邊界***之圖塊標記161，並辨識檢出之位置為圖塊邊界。又，解析部201B將檢出之圖塊邊界通知可變長解碼部213。
又，解碼部215在進行並列處理時，解析部201B根據圖塊邊界將與各圖塊對應之編碼資料233從位元流234抽出，傳送至解碼部215。
根據以上之構成，本實施形態中圖像解碼裝置200B可解碼由上述圖像編碼裝置100B所產生之位元流。
(實施形態4)
在本實施形態針對在圖塊邊界進行位元校準處理之圖像編碼裝置與圖像解碼裝置來說明。
第12圖係顯示本實施形態中圖像編碼裝置100C之構成的方塊圖。而，對與第1圖相同之元件賦予相同之編號。
第12圖所示之圖像編碼裝置100C相對於第1圖所示之圖像編碼裝置100之構成，圖片分割控制部112C與可變長編碼部113C之功能與圖片分割控制部112與可變長編碼部113不同。
圖片分割控制部112C為分割部之一例，分割圖片成複數圖塊。又，在上述實施形態1，圖片分割控制部112會依每一圖塊邊界切換圖塊之相依關係，但圖片分割控制部 112C當成所有圖塊為獨立。又，圖片分割控制部112C產生顯示圖片分割模式之圖片分割資訊135C。在此，顯示圖片分割模式之資訊包含有例如上述之：欄數、行數、欄寬度均等旗標、行高度均等旗標、欄之寬度、及行之高度。
而，以下敘述圖片分割控制部112C當成所有圖塊為獨立之例，但與上述實施形態1相同，圖片分割控制部112C亦可依每一圖塊邊界來切換圖塊之相依關係。
且，圖片分割控制部112C將產生之圖片分割資訊135C作為序列參數集或圖片參數集之一部分，發送至多工部114。
又，圖片分割部112C根據圖片之分割模式，產生用以控制面內預測部109、內部預測部110與可變長編碼部113C之分割控制訊號132C。而，根據圖片分割資訊135C之面內預測部109及內部預測部110的動作與實施形態1中圖塊獨立時之動作相同。
可變長編碼部113C進行在圖塊邊界重設熵編碼之處理與位元校準處理。
以下說明本實施形態中圖像編碼裝置100C之動作之流程。
第13A圖係本實施形態中根據圖像編碼裝置100C之圖像編碼方法之流程圖。
首先，圖片分割控制部112C分割圖片成複數圖塊(S201)。又，圖片分割控制112C產生顯示圖片之分割模式之圖片分割資訊135C。
接著，編碼部115藉由編碼複數圖塊之各個圖塊來產生與複數圖塊之各個圖塊對應之複數編碼資料133(S202)。
接著，多工部114產生包含複數編碼資料133與圖片分割資訊135C之位元流134(S203)。
第13B圖係根據編碼部115之編碼處理(S202)之流程圖。
首先，編碼部115藉由編碼複數圖塊之一之處理對象的圖塊來產生編碼列(S211)。而，根據編碼部115之編碼處理之具體方法，例如與上述之實施形態1相同。又，編碼部115在不參照其他圖塊之編碼所用之編碼資訊的情況下編碼處理對象之圖塊。
在此，該編碼處理包含可變長編碼部113C利用熵編碼(算術編碼)產生編碼列之處理。
又，可變長編碼部113C在處理對象之圖塊的編碼處理結束後，重設熵編碼(算術編碼)(S212)。在此，所謂的重設包含算術編碼中終止處理(亦稱為清除處理)。所謂的終止處理係使處理對象之圖塊之編碼列從其他圖塊之編碼列獨立之處理。換言之，所謂的終止處理係使處理對象之圖塊之編碼列完結之處理。具體而言，利用終止處理，所有處理圖中之編碼列獨立並在可解碼之狀態下來輸出。
接著，可變長編碼部113C對處理對象之編碼列進行位元校準處理(S213)。在此，所謂的位元校準處理係藉由於處理對象之編碼列之後追加預定之位元列來產生位元單位之編碼資料133的處理。換言之，所謂的位元校準處理係調整 處理對象之編碼列的位元數而使編碼資料133變成位元單位之處理。
第14圖係顯示位元校準處理之一例之圖。如第14圖所示，可變長編碼部113C藉由於處理對象之編碼列281後方追加位元列282來產生位元單位之編碼資料133。例如，位元列282係最初為「1」，之後接續為「0」之位元列。
而，在此敘述了可變長編碼部113C進行校準處理而使編碼資料133變成位元單位之例，但該校準處理只要為將編碼資料133調整成預定之N(N為2以上之整数)位元之倍数的處理即可。例如，可變長編碼部113C亦可進行校準處理而使編碼資料133變成字元單位。
又，在此敘述了執行算術編碼(例如CABAC)作為熵編碼時進行校準處理之例，但亦可在執行算術編碼以外之熵編碼時同樣地進行校準處理。
又，圖片分割控制部112C亦可產生包含顯示編碼資料133之前頭位置之資訊情報的圖片分割資訊135C。再者，顯示該前頭位置之資訊亦可為以位元單位顯示位置(或是與校準處理為相同單位)之資訊。
根據上述，本實施形態中圖像編碼裝置100C進行在圖塊邊界位元校準處理。藉此，各圖塊之編碼資料133變成位元單位。因此，圖像解碼裝置中編碼資料之處理會變得容易。又，圖像編碼裝置可容易地特定圖塊之編碼資料之前頭位置。如上所述，該圖像編碼裝置100C可減低圖像解碼裝置之處理負荷。
又，該圖像編碼裝置100C會重設圖塊邊界中熵編碼。藉此，圖像解碼裝置可將各圖塊之編碼資料133獨立並處理。
以下針對本實施形態中圖像解碼裝置來說明。
第15圖係顯示使用本實施形態中圖像解碼方法之圖像解碼裝置之構成的方塊圖。而，對與第5圖相同之元件賦予相同之編號。
在此，位元流234對應於由上述圖像編碼裝置100C所產生之位元流134。
第15圖所示之圖像解碼裝置200C相對於第5圖所示之圖像解碼裝置200，解析部201C、圖片分割控制部212C、及可變長解碼213C之功能與解析部201、圖片分割控制部212、及可變長解碼部213不同。
具體而言，解析部201C藉由解析位元流234來取得編碼資料233與圖片分割資訊235C。圖片分割資訊235C與上述圖片分割資訊135C對應，顯示圖片之分割模式。
圖片分割部212C根據圖片分割資訊235C所示之圖片之分割模式來產生用以控制面內預測209、內部預測210、及可變長解碼部213C之分割控制訊號232C。而，根據圖片分割資訊135C之面內預測部209與內部預測部210之動作與實施形態1中圖塊獨立時之動作相同。
可變長解碼部213C係跳過包含於編碼資料233並位於編碼列後方之預定之位元列。亦即是，可變長解碼部213C跳過在圖塊邊界利用校準處理所***之位元列。
以下說明本實施形態中圖像解碼裝置200C之動作之流程。
第16A圖係根據本實施形態中圖像解碼裝置200C之圖像解碼方法之流程圖。
首先，解析部201C取得包含於位元流234並藉由編碼複數圖塊之各個圖塊而產生之複數編碼資料233與圖片分割資訊235C(S221)。
接著，解碼部215藉由解碼複數編碼資料233之各個資料來產生複數圖塊之圖像資料之解碼圖像資料226(S222)。
第16B圖係根據解碼部215之解碼處理(S222)之流程圖。又，第16B圖顯示對於一個處理對象之編碼資料233之解碼處理。
首先，解碼部215藉由解碼包含於複數圖塊中之一之處理對象編碼資料233的編碼列，來產生處理對象之解碼圖像資料226(S231)。而，根據解碼部215之解碼處理之具體方法，例如與上述實施形態1相同。又，解碼部215在不參照其他圖塊之解碼所用之解碼資訊的情形下解碼處理對象之圖塊。
在此，該解碼處理包含可變長解碼部213C利用熵解碼(算術解碼)所產生編碼列(量化係數223)之處理。
又，可變長解碼部213C在處理對象之圖塊之解碼處理結束後，重設熵解碼(算術解碼)(S232)。在此，所謂的重設係包含算術解碼中終止處理(亦稱為清除處理)。所謂的終止處理係將對處理對象之編碼列的算術解碼處理完結之處 理。
接著，可變長解碼部213C跳過包含於處理對象之編碼資料233且位於處理對象之編碼列之後的預定位元列(S233)。該位元列對應於根據圖像編碼裝置100C在位元校準處理所***之位元列282。
依據每一與各圖塊對應之編碼資料233來進行以上之處理。亦即是，可變長解碼部213C藉由解碼包含於複數編碼資料233之一之第1編碼資料的第1編碼列，來產生第1圖塊之圖像資料，並跳過包含於第1編碼資料且位於第1編碼列後方之預定的位元列，解碼包含於位於第1編碼列後方之第2編碼資料之第2編碼列，藉此來產生第2圖塊之圖像資料。
依據上述處理，可變長解碼部213C可忽視根據圖像編碼裝置100C在位元校準處理對位元邊界所***之位元列，並只解碼必要之資料。換言之，可變長解碼部213C可跳過上述位元列並從下一個編碼資料233之前頭進行解碼處理。
依據以上之構成，本實施形態中圖像解碼裝置200C可解碼由上述圖像編碼裝置100C所產生之位元流。
而，在上述說明敘述了圖像解碼裝置200C將與各圖塊對應之編碼資料233依時序地解碼之例，但圖像解碼裝置200C亦可將複數編碼資料233並列地解碼。此時，圖像解碼裝置200C藉由參照顯示包含於圖片分割資訊235C之編碼資料233前頭位置的資訊，掌握各編碼資料233之前頭位置。又，顯示該前頭位置之資訊亦可為以位元單位顯示位 置之資訊。
以上已針對本發明之實施形態中圖像編碼裝置與圖像解碼裝置來說明，但本發明不限於該實施形態者。
又，上述實施形態中圖像編碼裝置與圖像解碼裝置包含之各處理部典型地可以積體電路之LSI來實現。可將這些個別地單晶片化，亦可包含一部分或全部來單晶片化。
又，積體電路不限於LSI，亦可用專用電路或通用處理器來實現。亦可利用在LSI製造後可程式之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路單元之連接或設定的可重組態處理器。
上述各實施形態中各構成元件係用專用之硬體來構成，但亦可藉由執行適合各構成元件之軟體程式來實現。各構成元件亦可藉由CPU或處理器等之程式執行部讀出並執行硬碟或半導體記憶體等記錄媒體所記錄之軟體程式來實現。
再者，本發明可為上述軟體程式，亦可為上述程式所記錄之非暫時性之電腦可讀取的記錄媒體。又，更不用說，亦可透過網際網路等傳送媒體使上述程式流通。
又，上述所使用之數字，全為了具體地說明本發明而舉例者，本發明並不限於舉例之數字。
又，方塊圖中功能區塊之分割僅為一例，亦可將複數功能區塊作為一個功能區塊來實現，或將一個功能區塊分割成複數，或是將一部分之功能移至其他功能區塊。又，亦可以單一之硬體或軟體並列或分時地處理有類似功能之 複數功能區塊的功能。
又，執行上述圖像編碼方法或圖像解碼方法包含之步驟的順序係用以具體說明本發明而舉例者，亦可為上述以外之順序。又，上述步驟之一部分亦可與其他步驟同時(並列)地來執行。
(實施形態5)
藉由記錄用以實現上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之構成的程式至記錄媒體，可在獨立之電腦系統中檢單地實施上述各實施形態所示之處理。記憶媒體有：磁碟、光碟、光磁碟、IC卡、半導體記憶體等只要為可記錄程式者即可。
進而在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例與使用其之系統。該系統特徵在於包含有一使用圖像編碼方法之圖像編碼裝置與使用圖像解碼方法之圖像解碼裝置所構成之圖像編碼解碼裝置。針對系統中其他之構成可視情況適切地變更。
第18圖係顯示實現內容發送服務之內容供給系統ex100之全體構成的圖。將通訊服務之提供區域分割成希望之大小，並在各區域內分別設置固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100係透過網路服務提供者ex102及電話網ex104、及基地台ex106到ex110，於網際網路ex101 連接電腦ex111、PDA(Personal Digital Assistant)ex112、攝像機ex113、行動電話ex114、遊戲機ex115等各機器。
然而，內容供給系統ex100係不限於如第18圖之構成，亦可組合任一元件來連接。又，亦可不透過固定無線台之基地台ex106到ex110，各機器直接連接於電話網ex104。又，各機器亦可透過進巨離無線等直接相互連接。
攝像機ex113係數位攝影機等之可拍攝動畫之機器，而攝像機ex116則係數位相機等之可拍攝靜止畫、動畫之機器。又，行動電話ex114為GSM(登錄熵標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或是LTE(Long term Evolution)方式、HSPA(High Speed Packet Access)之行動電話機，或PHS(Personal Handyphone System)等任一者皆可。
內容供給系統ex100中攝像機ex113等藉由透過基地台ex109、電話網ex104連接至串流伺服器ex103，而可實況發送。實況發送中，對於使用者以攝像機ex113攝影之內容(例如音樂實況之影像)進行如上述各實施形態所說明之編碼處理(即，作為本發明其中一態樣的圖像編碼裝置作用)，且傳送至串流伺服器ex103。另一方面，串流伺服器ex103係對有要求之用戶，串流發送已傳送之內容資料。用戶係有可將上述已編碼處理之資料解碼的：電腦ex111、PDAex112、攝像機ex113、行動電話ex114、遊戲機ex115等。收到所發送之資料之各機器會將收到之資料解碼處理 並再生(即，作為本發明其中一態樣的圖像解碼裝置作用)
而，攝影之資料的編碼處理可由攝像機ex113進行，亦可由做資料之傳送處理的串流伺服器ex103進行，亦可互相分擔進行。同樣地所發送之資料的解碼處理可由用戶進行，亦可由串流伺服器ex103進行，亦可互相分擔進行。又，不限於攝像機ex113，亦可將攝像機ex116所攝影之靜止圖像及/或動態圖像資料透過電腦ex111傳送至串流伺服器ex103。此時之編碼處理可由攝像機ex116、電腦ex111、串流伺服器ex103之任一者進行，亦可互相分擔進行。
又，該等編碼、解碼處理一般而言在電腦ex111或各機器所具有之LSIex500中處理。LSIex500係可構造成由單晶片或複數晶片組成。而，將動態圖像編碼、解碼用之軟體裝入電腦ex111等可讀取之任一記錄媒體(CD-ROM、軟碟、硬碟等)，且可使用該軟體進行編碼、解碼處理。進而，行動電話ex114附有攝像機時，亦可傳送用該攝像機取得之動畫資料。此時之動畫資料係利用行動電話ex114具有之LSIex500已編碼處理之資料。
又，串流伺服器ex103亦可為複數伺服器或複數電腦，將資料分散處理或記錄來發送。
如上所述，內容供給系統ex100中，用戶可將已編碼資料接收且再生。如此，內容供給系統ex100中，用戶可即時將使用者已傳送之資訊接收、解碼且再生，即使是無特別權利或設備之使用者亦可實現個人廣播。
而，如第19圖所示，不限於內容供給系統ex100之例， 數位廣播用系統ex200亦可裝入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)的任一者。具體而言，在廣播台ex201將影像資料中已多工音樂資料等之多工資料透過電波通訊，或是傳送至衛星ex202。該影像資料係藉由上述各實施形態所說明之動態圖像編碼方法所編碼之資料。(即，依據本發明其中一態樣之圖像編碼裝置所編碼之資料)。接收此之廣播衛星ex202發送廣播用之電波，而可接收衛星廣播之家庭天線ex204接收該電波。電視(接收機)ex300或機上盒(STB)ex217等裝置將接收之多工資料解碼且再生(即，作為本發明其中一態樣的圖像解碼裝置作用)。
又，讀取解碼記錄於DVD、BD等之記錄媒體ex215之多工資料，或編碼影像訊號、進而依情況與音樂訊號多工且寫入記錄媒體ex215之讀取器/記錄器ex218亦可裝設上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置。此時，再生之影像訊號可顯示於螢幕ex219，且可利用記錄有多工資料之記錄媒體ex215在其他裝置或系統中再生影像訊號。又，亦可於連接於有線電視用之纜線ex203或衛星/地面電波廣播之天線ex204的機上盒ex217內裝設動態圖像解碼裝置，並將此用電視之螢幕ex219來顯示。此時亦可不將動態圖像解碼裝置裝入機上盒，而是裝入電視內。
第20圖係顯示使用上述各實施形態所說明之動態圖像解碼方法以及動態圖像編碼方法之電視(接收機)ex300的圖。電視ex300係具有：調諧器ex301，係透過接收上述廣 播之天線ex204或纜線ex203等取得或輸出已於影像資料中多工聲音資料之多工資料者；調變/解調部ex302，係將已接收之多工資料解調，或調變為要傳送至外部之多工資料者；多工/解多工部ex303，係對已解調之多工資料解多工為影像資料及聲音資料，或將訊號處理部ex306所編碼之影像資料、聲音資料多工者。
又，電視ex300係具有：訊號處理部ex306，係具有將聲音資料、影像資料分別解碼、或將分別之資訊編碼的聲音訊號處理部ex304、影像訊號處理部ex305(作為本發明之一態樣的圖像編碼裝置或圖像解碼裝置作用)者；揚聲器ex307，係將已解碼之聲音訊號輸出者；輸出部ex309，係具有顯示已解碼之影像訊號之顯示器等之顯示部ex308者。再者，電視ex300更包含具有接收使用者操作之輸入之操作輸入部ex312的介面部ex317。再者，電視ex300更具有：控制部ex310，係概括地控制各部者；電源電路部ex311，係供給電力至各部者。介面部ex317亦可除了操作輸入部ex312以外，具有：橋接器ex313，係可連接讀取器/記錄器ex218等外部機器者；插槽部ex314，係用以可裝設SD卡等記錄媒體ex216者；驅動器ex315，係用以連接硬碟等之外部記錄媒體者；數據機ex316，係與電話網連接者等。而記錄媒體ex216係可利用儲存之非依電性/依電性之半導體記憶體元件來電性記錄資訊。電視ex300之各部係透過同步匯流排來相互連接著。
首先，說明針對電視ex300將已利用天線ex204等從外 部取得之多工資訊解碼且再生的構成。電視ex300係接收來自遙控器ex220等之使用者操作，根據具有CPU等之控制部ex310的控制，將已用調變/解調部ex302解調之多工資料用多工/解多工部ex303來解多工。再者，電視ex300係用聲音訊號處理部ex304將已解多工之聲音資料解碼，並利用影像訊號處理部ex305將已解多工之影像資料使用上述各實施形態所說明之解碼方法來解碼。已解碼之聲音訊號、影像訊號係分別從輸出部ex309朝外部輸出。輸出時可在緩衝器ex318、ex319等暫時儲存該等訊號而使聲音訊號、影像訊號同步且再生。又，電視ex300可不從廣播等，亦可從磁/光碟片、SD卡等記憶媒體ex215、ex216讀出多工資料。接著，說明電視ex300將聲音訊號或影像訊號編碼，傳送至外部或寫入記錄媒體等之構成。電視ex300係接收來自遙控器ex220等之使用者操作，根據控制部ex310之控制，用聲音訊號處理部ex304將聲音訊號編碼，且用影像訊號處理部ex305將影像訊號使用上述各實施形態所說明之編碼方法來編碼。已編碼之聲音訊號、影像訊號利用多工/解多工部ex303來多工且輸出至外部。在多工時，可在緩衝器ex320、ex321等暫時儲存該等訊號而使聲音訊號、影像訊號同步。而，緩衝器ex318、ex319、ex320、ex321係可如圖示具有複數個，亦可構造成共有1個以上之緩衝器。再者，在圖示以外，例如調變/解調部ex302或多工/解多工部ex303之間等亦可於緩衝器儲存資料來作為避免系統之溢位、欠位的緩衝材料。
又，電視ex300係除了從廣播等或記錄媒體取得聲音資料、影像資料以外，亦可具有接受麥克風或攝像機等AV輸入之構成，對已從該等取得之資料進行編碼處理。而，在此雖已說明電視ex300係構造成可進行上述編碼處理、多工、及外部輸出，但亦可構造成無法進行該等處理，而只可進行上述接收、解碼處理、外部輸出。
又，在用讀取器/記錄器ex218從記錄媒體讀出多工資料、或寫入時，上述解碼處理或編碼處理係可由電視ex300與讀取器/記錄器ex218之任一者進行，亦可由電視ex300與讀取器/記錄器ex218相互分擔進行。
而作為一例，將從光碟讀入或寫入資料時之資訊再生/記錄部ex400的構成顯示於第21圖。資訊再生/記錄部ex400係具有以下說明之要素：ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學頭ex401係對為光碟之記錄媒體ex215之記錄面照射雷射光點來寫入資訊，而將來自記錄媒體ex215之記錄面的反射光檢出來讀取資訊。調變記錄部ex402係電性驅動光學頭ex401所內藏之半導體雷射，並根據記錄資料來進行雷射光之調變。再生解調部ex403，係將再生資訊放大，而該再生資訊係藉由光學頭ex401所內藏之光偵測器將來自記錄面之反射光電性檢出者，且將記錄媒體ex215所記錄之訊號成分解多工並解調，再生必要之資訊。緩衝器ex404係將用以記錄在記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊暫時性地保持。碟片馬達ex405係使記錄媒體ex215旋轉。伺服控制部ex406係邊控制 碟片馬達ex405之旋轉驅動，邊使光學頭ex401朝預定資訊軌移動，進行雷射光點之追蹤處理。系統控制部ex407係進行資訊再生/記錄部ex400全體的控制。上述讀出或寫入之處理，係系統控制部ex407利用緩衝器ex404所保持之各種資訊，或視需要進行新資訊之產生、追加，並邊使調變記錄部ex402、再生解調部ex403、伺服控制部ex406協調動作，邊透過光學頭ex401進行資訊之記錄再生而實現。系統控制部ex407例如由微處理器構成，利用實行讀出寫入之程式來實行該等處理。
以上雖已說明光學頭ex401照射雷射光點，但亦可構造成使用近場光線進行更高密度之記錄。
第22圖顯示光碟之記錄媒體ex215的示意圖。記錄媒體ex215之記錄面形成有呈螺旋狀之導溝(groove)，而資訊軌ex230係預先記錄有依據導溝形狀之變化來顯示碟片上絕對位置的位址資訊。該位址資訊係包含有用以特定記錄區塊ex231(記錄資料之單位)之位置的情報，可在進行記錄或再生之裝置中藉由將資訊軌ex230再生且讀取位址資訊來特定記錄區塊。又，記錄媒體ex215包含有資料記錄區域ex233、內周區域ex232、外周區域ex234。用於記錄使用者資料之區域係資料記錄區域ex233，而配置於資料記錄區域ex233內周或外周之內周區域ex232與外周區域ex234係使用於使用者資訊之記錄以外的特定用途。資訊再生/記錄部ex400係對上述記錄媒體ex215的資料記錄區域ex233，進行已編碼之聲音資料、影像資料、或已將該等資料多工之多 工資料之讀寫。
以上雖以1層之DVD、BD等光碟為例來說明，但不限此，亦可為多層構造而表面以外亦可記錄之光碟。又，亦可為於碟片之相同處使用各種不同波長之顏色光來記錄資訊，或從各種角度記錄不同資訊之層等，進行多次元之記錄/再生之構造的光碟。
又，在數位再生用之系統ex200中，可利用具有天線ex205之車ex210從衛星ex202接收資料，而於車ex210所具有之車用導航ex211等顯示裝置再生動畫。而，車用導航ex211之構成可考慮於例如第20圖所示之構成中加上GPS接收部之構造，而同樣情況在電腦ex111或行動電話ex114等也可考慮。
第23A圖係顯示使用上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114的圖。行動電話ex114係具有：天線ex350，係用以傳送接收來自與基地台ex110之間的電波者；攝像機部ex365，係可拍攝影像、靜止畫面者；及，液晶顯示器等顯示部ex358，係顯示已將攝像機部ex365所拍攝之影像、天線ex350所接收之影像解碼之資料者。行動電話ex114係進而更具有：具有操作鍵部ex366之本體部；聲音輸出部ex357，係用以輸出聲音之揚聲器等；聲音輸入部ex356，係用以輸入聲音之麥克風等；記憶體部ex367，係將已拍攝之影像、靜止畫面、已錄音之聲音、或已接收之影像、靜止畫面、郵件等已編碼資料或解碼資料加以保存；或插槽部ex364，係與同樣保存資料之 記錄媒體間之介面部。
進而，使用第23B圖來說明行動電話ex114之構成例。行動電話ex114係對統括地控制具有顯示部ex358及操作鍵部ex366之本體部之各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像訊號處理部ex355、攝像機介面部ex363、LCD(Liquid Crystal Display：液晶顯示器)控制部ex359、調變/解調部ex352、多工/解多工部ex353、聲音訊號處理部ex354、插槽部ex364、記憶體部ex367透過匯流排ex370相互連接著。
電源電路部ex361當利用使用者之操作在結束通話及電源鍵開啟時，從電池組對各部供給電力來將行動電話ex114啟動至可動作之狀態。
行動電話ex114係根據具有CPU、ROM、RAM等之主控制部ex360的控制，將在聲音通話模式時用聲音輸入部ex356所收音之聲音訊號利用聲音訊號處理部ex354來轉換成數位聲音訊號，將其用調變/解調部ex352光譜擴散處理，並在用傳送/接收部ex351實施數位類比轉換處理及頻率轉換處理後，透過天線ex350加以傳送。又，行動電話ex114係將在聲音通話時透過天線ex350所接收之接收資料放大來實施頻率轉換處理及類比數位轉換處理，用調變/解調部ex352光譜擴散處理，並在用聲音訊號處理部ex354轉換成類比聲音訊號後，將其從聲音輸出部ex357輸出。
進而在資料通訊模式時，在傳送電子郵件傳送之際，藉由本體部之操作鍵部ex366等之操作所輸入之電子郵件 的字元資料，係透過操作輸入部ex362送出至主控制部ex360。主控制部ex360用調變/解調部ex352將字元資料光譜擴散處理，並在用傳送/接收部ex351實施數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送至基地台ex110。在接收電子郵件時，對已接收之資料進行大略與此相反之處理，輸出至顯示部ex358。
在資料通訊模式時，在傳送影像、靜止畫面、或影像與聲音之際，影像訊號處理部ex355係將從攝像機部ex365所供給之影像訊號依據上述各實施形態所示之動態圖像編碼方法加以壓縮編碼(即，使其作為本發明其中一態樣的圖像編碼裝置作用)，且將已編碼之影像資料送出至多工/解多工部ex353。又，聲音訊號處理部ex354係將在用攝像機部ex365拍攝影像、靜止畫面中利用聲音輸入部ex356所收音之聲音訊號加以編碼，且將已編碼之聲音訊號資料送出至多工/解多工部ex353。
多工/解多工部ex353係用預定方式將從影像訊號處理部ex355所供給之已編碼的影像資料與從聲音訊號處理部ex354所供給之已編碼的聲音資料多工，其結果將所得之多工資料利用調變/解調部(調變/解調電路部)ex352光譜擴散處理，並在用傳送/接收部ex351實施數位類比轉換處理及頻率轉換處理後，透過天線ex350傳送。
在資料通訊模式時，在接收網頁等所連結之動態圖像檔案資料之際，或是接收附加有影像或/及聲音之電子郵件之際，為了將透過天線ex350所接收之多工資料解碼，多工 /解多工部ex353係藉由將多工資料解多工，分開成影像資料之位元流與聲音資料之位元流，透過同步匯流排ex370將已編碼之影像資料供給至影像訊號處理部ex355，並將已編碼之聲音資料供給至聲音訊號處理部ex354。影像訊號處理部ex355係依據與上述各實施形態所示之動態圖像編碼方法對應之動態圖像解碼方法來解碼，藉此將影像訊號解碼(即，使其作為本發明其中一態樣的圖像解碼裝置作用)，且透過LCD控制部ex359，從顯示部ex358顯示例如網頁所連結之動態圖像檔案包含之影像、靜止畫面。又，聲音訊號處理部ex354係將聲音訊號解碼，從聲音輸出部ex357輸出聲音。
又，上述行動電話ex114等之終端係與電視ex300相同地除了具有編碼器、解碼器二者之傳送接收型終端外，可考慮僅編碼器之傳送終端、僅解碼器之接收終端等3種之裝設形式。進而，數位廣播用系統ex200中，雖已說明傳送接收影像資料中多工有音樂資料等之多工資料，但除了聲音資料以外，亦可為多工有與影像關聯之文字資料等之資料，亦可非多工資料而為影像資料本身。
如上所述，可將上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法使用於上述之任一者之機器或系統，如此一來，可得到上述各實施形態所說明之效果。
又，本發明係不限於上述實施形態，在不脫離本發明範圍下，可有各種變形或修正。
(實施形態6)
將上述各實施形態所示之動態圖像編碼方法或裝置、與依據MPEG-2、MPEG4-AVC、VC-1等不同規格之動態圖像編碼方法或裝置視需要適宜地加以切換，藉此亦可產生影像資料。
在此，在產生分別依據不同規格之複數影像資料的情況下，當解碼時，必須選擇與個別規格對應之解碼方法。然而，由於無法識別解碼之影像資料是依據何種規格，因此會產生無法選擇適合的解碼方法之課題。
為了解決該課題，影像資料中多工有聲音資料等之多工資料係構造成含有顯示影像資料是依據何種規格之識別資訊。以下說明包含依據上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料之多工資料的具體構成。多工資料為MPEG-2傳輸流形式之數位流。
第24圖係顯示多工資料之構成的圖。如第24圖所示，多工資料係可從視訊流、音訊流、演示圖形串流(PG)、互動圖形串流當中，將1個以上多工來獲得。視訊流係顯示電影之主影像與副影像，音訊流(IG)係顯示電影之主聲道與跟該主聲道混合之副聲道，演示圖形串流係顯示電影之字幕。在此主影像係表示顯示於畫面之通常影像，副影像係在主畫面中用小畫面顯示之影像。又，互動圖形串流係表示藉由在畫面上配置GUI零件來作成之對話畫面。視訊流係利用上述各實施形態所示之動態圖像編碼方法或裝置、根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之動態圖像編碼方法或裝置來編碼。音訊流係利用杜比AC-3、 Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等方式來編碼。
多工資料包含之各串流係依據PID來識別。例如，對利用至電影之影像的視訊流配置0×1011，對音訊流配置從0×1100到0×111F，對演示圖形串流配置從0×1200到0×121F，對互動圖形串流配置從0×1400到0×141F，而對利用至電影之副影像的視訊流則配置從0×1B00到0×1B1F，對利用至與主聲道混合之副聲道的音訊流則配置從0×1A00到0×1A1F。
第25圖係示意地顯示多工資料如何多工之圖。首先，將複數視訊圖框所構成之視訊流ex235、複數音訊訊框所構成之音訊流ex238分別轉換成PES封包列ex236與ex239、TS封包ex237與ex240。同樣地將演示圖形串流ex241與互動圖形串流ex244之資料分別轉換成PES封包列ex242與ex245，進而轉換成TS封包ex243與ex246。多工資料ex247係藉由將這些TS封包多工成1條串流來構成。
第26圖係更詳細地顯示位元流如何儲存於PES封包列。第26圖中第1段係顯示視訊流之視訊圖框列。第2段則顯示PES封包列。如第26圖之箭頭yy1、yy2、yy3、yy4所示，視訊流中複數Video Presentation Unit之I圖片、B圖片、P圖片係依每一圖片分割，儲存於PES封包之酬載。各PES封包係具有PES標頭，且PES標頭係儲存代表圖片之顯示時刻的PTS(Presentation Time-Stamp)或代表圖片之解碼時刻的DTS(Decoding Time-Stamp)。
第27圖係顯示有對多工資料最後寫入之TS封包的形式。TS封包係188Byte固定長度的封包，其係由具有識別串流之PID等資訊的4Byte之TS標頭與儲存資料的184Byte之TS酬載所構成，而上述PES封包係被分割，儲存於TS酬載。而BD-ROM的情況，則對TS封包，賦予4Byte之TP_Extra_Header，構成192Byte之來源封包，寫於多工資料。TP_Extra_Header係記載ATS(Arrival_Time_Stamp)等資訊。而ATS係顯示該TS封包傳到解碼器之PID檔案的傳送開始時刻。如第27圖下段所示，多工資料內會排列來源封包，從多工資料之前頭遞增之編號稱為SPN(來源封包編號：Source Packet Number)。
又，包含於多工資料之TS封包係除了影像、聲音、字幕等各串流以外，還有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT係顯示在多工資料所利用之PMT的PID為何，而PAT自身之PID則用0來登錄。PMT係具有多工資料中包含之影像、聲音、字幕等之各串流的PID及與各PID對應之串流的屬性資訊，或具有關於多工資料之各種描述符。描述符係有指示許可或不許可多工資料之複製之複製控制資訊等。PCR係為了取得代表ATS時間軸之ATC(Arrival Time Clock)與代表PTS/DTS時間軸的STC(System Time Clock)之同步，乃具有與其PCR封包傳送至解碼器之ATS對應之STC時間的資訊。
第28圖係詳細說明PMT之資料構造的圖。PMT之前頭 係配置記錄有該PMT包含之資料長度等的PMT標頭。其後則複數配置關於多工資料之描述符。上述複製控制資訊等則作為描述符來記載。描述符之後則複數配置有關於多工資料包含之各串流之串流資訊。為了識別串流之壓縮編碼器，串流資訊係由串流類型、串流之PID、記載有串流之屬性資訊(圖框更新率、影像顯示比例等)之串流描述符來構成。串流描述符只存在多工資料中存在之串流的數量。
記錄於記錄媒體等時，上述多工資料係與多工資料資訊檔案一同記錄。
如第29圖所示，多工資料檔案係多工資料之管理資訊，與多工資料1對1對應，由多工資料資訊、串流屬性資訊、登錄表(Entry map)來構成。
如第29圖所示，多工資料資訊係由系統頻率、再生開始時刻、再生結束時刻來構成。系統頻率係顯示多工資料傳到後述系統目標解碼器之PID濾過器之最大傳送頻率。多工資料中包含之ATS的間隔設定成低於系統頻率。再生開始時刻為多工資料之前頭之視訊圖框的PTS，而再生結束時刻則可設定為對多工資料之終端之視訊圖框的PTS加上1圖框份之再生間隔者。
如第30圖所示，串流屬性資訊係將關於多工資料包含之各串流的屬性資訊登錄於每一PID。屬性資訊係於每一視訊流、音訊流、演示圖形串流、互動圖形串流具有不同資訊。視訊流屬性資訊係具有：該視訊流用何種壓縮編碼器來壓縮、構成視訊流之各個圖片資料之解析度為多少、影 像顯示比例為多少、圖框頻率為多少等之資訊。音訊流屬性資訊具有：該音訊流用何種壓縮編碼器來壓縮、該音訊流包含之頻道數為何、與哪種語言對應、取樣頻率為多少等之資訊。該等資訊係利用於播放器再生前之解碼器的初始化等。
本實施形態係從上述多工資料中利用PMT包含之串流類型。又，在記錄媒體記錄有多工資料時，則利用多工資料資訊包含之視訊流屬性資訊。具體而言，於上述各實施形態所示之動態圖像編碼方法或裝置中，設置一對PMT包含之串流類型或視訊流屬性資訊設定固有資訊之步驟或裝置，而該固有資訊係顯示依據上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料者。藉由該構成，可識別上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料與根據其他規格之影像資料。
又，將本實施形態之動態圖像解碼方法之步驟顯示於第31圖。步驟exS100中，從多工資料取得PMT包含之串流類型，或多工資料資訊包含之視訊流屬性資訊。接著，步驟exS101中，判斷是否顯示串流類型或視訊流屬性資訊為依據上述各實施形態所示之動態圖像編碼方法或裝置所產生之多工資料。且，當已判斷串流類型或視訊流屬性資訊為依據上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，在步驟exS102中，利用上述各實施形態所示之動態圖像解碼方法來進行解碼。又，當顯示串流類型或視訊流屬性資訊為根據習知之MPEG-2、MPEG4-AVC、VC -1等規格者時，在步驟exS103中，則利用根據習知之規格之解碼方法來進行解碼。
如上所述，藉由對串流類型或視訊流屬性資訊設定新的固有值，在解碼時，可判斷是否可用上述各實施形態所示之動態圖像解碼方法或裝置來解碼。因此，即使輸入了根據不同規格之多工資料時，由於可選擇適切之解碼方法或裝置，因此可在不會產生錯誤的情況下解碼。又，可將本實施形態所示之動態圖像編碼方法或裝置、或是動態圖像解碼方法或裝置，用於上述之任一機器或系統。
(實施形態7)
上述各實施形態所示之動態圖像編碼方法與裝置、動態圖像解碼方法與裝置，典型地可用積體電路之LSI實現。作為一例，於第32圖顯示已單晶片化之LSIex500的構成。LSIex500係具有以下說明之要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，而各要素透過匯流排ex510連接著。電源電路部ex505在電源開啟狀態時，藉由對各部供給電力而啟動成可動作之狀態。
例如在進行編碼處理時，LSIex500係根據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501的控制，利用AV I/Oex509從麥克風ex117或攝像機ex113等輸入AV訊號。已輸入之AV訊號則暫時儲存於SDRAM等之外部記憶體ex511。根據控制部ex501之控制，已儲存之資料會對應處理量或處理速度適宜地分成複數次等來傳送至訊號處理部 ex507，而在訊號處理部ex507中進行聲音訊號之編碼及/或影像訊號之編碼。在此影像訊號之編碼處理為上述各實施形態所說明之編碼處理。訊號處理部ex507係進而依情況進行將已編碼之聲音資料與已編碼之影像資料多工等之處理，且從串流I/Oex506輸出至外部。該已輸出之多工資料係朝基地台ex107傳送，或是寫入至記錄媒體ex215。而，可暫時將資料儲存於緩衝器ex508而可在多工時同步。
而，如上所述，雖已說明記憶體ex511為LSIex500之外部構成，但亦可為包含於LSIex500內部之構成。緩衝器ex508亦不限於1個，亦可具有複數緩衝器。又，LSIex500可單晶片化，亦可複數晶片化。
又，如上所述，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，但控制部ex501之構成係不限於該構成。例如，訊號處理部ex507亦可進而為具有CPU之構成。藉由訊號處理部ex507之內部亦設有CPU，可更提升處理速度。又，作為其他例，CPUex502亦可構造成具有訊號處理部ex507或訊號處理部ex507之一部分(例如聲音訊號處理部)。在此情況下，控制部ex501會構造成包含有訊號處理部ex507或具有其一部分之CPUex502。
而，在此雖為LSI，但依據集積度之不同，亦稱為IC、系統LSI、超級LSI、終極LSI。
又，積體電路化之手法不限LSI，亦可利用專用電路或通用處理器來實現。在LSI製造後，亦可利用可程式之 FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路單元之連接或設定的可重組態處理器。
進而，若因半導體技術之進步或衍生之別種技術取代LSI之積體電路化的技術登場，當然亦可使用該技術來進行功能區塊之集積化。作為生物技術之應用等也有可能性。
(實施形態8)
將依據上述實施形態所示之動態圖像編碼方法或裝置產生之影像資料解碼時，與將根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼時相比，可得知處理量增加。因此，LSIex500中，必須設定為較將根據習知規格之影像資料解碼時之CPUex502的驅動頻率高的驅動頻率。然而，驅動頻率一提高，會產生消費電力變高之課題。
為了解決該課題，電視ex300、LSIex500等之動態圖像解碼裝置係構造成識別影像資料根據何種規格，且對應規格來切換驅動頻率。第33圖係顯示本實施形態之構成ex800。驅動頻率切換部ex803係在影像資料為依據上述各實施形態所示之動態圖像編碼方法或裝置所產生者時，將驅動頻率設定的較高。接著，指示實行上述各實施形態所示之動態圖像編碼方法之解碼處理部ex801將影像資料解碼。另一方面，影像資料為根據習知規格之影像資料時，與影像資料為依據上述各實施形態所示之動態圖像編碼方法或裝置所產生者相比，將驅動頻率設定的較低。接著，指示根據習知規格之解碼處理部ex802將影像資料解碼。
更具體而言，驅動頻率切換部ex803係由第32圖之CPUex502與驅動頻率控制部ex512來構成。又，實行上述各實施形態所示之動態圖像編碼方法的解碼處理部ex801與根據習知規格之解碼處理部ex802係相當於第32圖之訊號處理部ex507。CPUex502係識別影像資料為根據何種規格。且，根據來自CPUex502之訊號，驅動頻率控制部ex512設定驅動頻率。又，根據來自CPUex502之訊號，訊號處理部ex507進行影像資料之解碼。在此，對影像資料之識別，例如可考慮利用實施形態6所記載之識別資訊。而關於識別資訊，不限實施形態6所記載者，只要是可識別影像資料係根據何種規格者即可。例如可根據識別影像資料為利用於電視者或是利用於碟片者之外部訊號，識別影像資料為根據何種規格時，可根據上述外部訊號來識別。又，CPUex502中驅動頻率之選擇係可考慮根據例如第35圖之使影像資料的規格與驅動頻率對應之查閱表來進行。查閱表係可預先儲存於緩衝器ex508或LSI之內部記憶體，而CPUex502參考該查閱表，藉此來選擇驅動頻率。
第34圖係顯示實施本實施形態之方法的步驟。首先，在步驟exS200，訊號處理部ex507中從多工資料取得識別資訊。接著，在步驟exS201，CPUex502中根據識別資訊識別影像資料是否為上述各實施形態所示之編碼方法或裝置所產生者。影像資料為上述各實施形態所示之編碼方法或裝置所產生者時，在步驟exS202，CPUex502將把驅動頻率設定的較高之訊號傳送至驅動頻率控制部ex512。且，驅動頻 率控制部ex512中設定為高驅動頻率。另一方面，在顯示為根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，在步驟exS203，CPUex502將把驅動頻率設定的較低之訊號傳送至驅動頻率控制部ex512。且，驅動頻率控制部ex512中，與影像資料為上述各實施形態所示之編碼方法或裝置所產生者時相比，可設定為低驅動頻率。
進而，可與驅動頻率之切換連動，藉由變更給予至LSIex500或包含LSIex500之裝置的電壓，可更提高省電力效果。例如，在將驅動頻率設定的較低時，隨此，與將驅動頻率設定的較高時相比，可考慮將給予至LSIex500或包含LSIex500之裝置的電壓設定的較低。
又，驅動頻率之設定方法只要在解碼時之處理量大的情況，將驅動頻率設定的較高，而在解碼時之處理量小的情況，設定的較驅動頻率設定的較低即可，不限於上述設定方法。例如，將根據MPEG4-AVC規格之影像資料加以解碼之處理量，比將依據上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料加以解碼之處理量要大時，可考慮採用上述情況之相反來設定驅動頻率。
再者，驅動頻率之設定方法不限於將驅動頻率降低之構成。例如，在識別資訊顯示為上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，可考慮將給予至LSIex500或包含LSIex500之裝置的電壓設定的較高，而在顯示為根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，將給予至LSIex500或包含LSIex500 之裝置的電壓設定的較低。又，作為其他例，可考慮在識別資訊顯示為上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，不使CPUex502之驅動停止，而在顯示為根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，由於處理還有餘力，因此可使CPUex502之驅動暫時停止。即使在識別資訊顯示為上述各實施形態所示之動態圖像編碼方法或裝置所產生之影像資料時，只要處理還有餘力，亦可使CPUex502之驅動暫時停止。而此時，與顯示為根據習知之MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時相比，可考慮將停止時間設定的較短。
如上所述，與影像資料所根據之規格對應來切換驅動頻率，藉此可謀求省電化。又，在使用電池來驅動LSIex500或包含LSIex500之裝置時，可隨著省電化來延長電池之壽命。
(實施形態9)
有時會對電視或行動電話等上述機器或系統輸入根據不同規格之複數影像資料。如此，為了在輸入根據不同規格之複數影像資料時亦可解碼，LSIex500之訊號處理部ex507必須與複數規格對應。然而，當個別使用與各自規格對應之訊號處理部ex507時，會產生LSIex500之電路規模變大，且成本增加的課題。
為了解決該課題，將實行上述各實施形態所示之動態圖像解碼方法的解碼處理部，與根據習知之MPEG-2、 MPEG4-AVC、VC-1等規格之解碼處理部構造成一部分共有化。將該構成例顯示於第36A圖之ex900。例如，上述各實施形態所示之動態圖像解碼方法與根據MPEG4-AVC規格之動態圖像解碼方法，係在熵編碼、反量化、解塊濾過、移動補償等處理中，處理內容為一部分共通。而針對共通之處理內容，可考慮構造成共有與MPEG4-AVC規格對應之解碼處理部ex902，而針對不與MPEG4-AVC規格對應之本發明其中一態樣之特有的其他處理內容，則使用專用之解碼處理部ex901。特別是由於本發明之一態樣之特徵在於熵解碼，因此可考慮例如針對熵解碼使用專用之解碼處理部ex901，並針對其以外之反量化、解塊濾過、移動補償之任一者，或是所有之處理，來共有解碼處理部。關於解碼處理部之共有化，亦可構造成針對共通之處理內容，共有用以實行上述各實施形態所示之動態圖像解碼方法之解碼處理部，而針對MPEG4-AVC規格中特有之處理內容，則使用專用之解碼處理部。
又，將一部共有化之處理之其他例顯示於第36B圖之ex1000。該例中，係構造成使用：專用之解碼處理部ex1001，係與本發明其中一態樣中特有之處理內容對應者；專用處理部ex1002，係與其他習知規格中特有之處理內容對應者；共用之解碼處理部ex1003，係與本發明其中一態樣之動態圖像解碼方法跟其他習知規格之動態圖像解碼方法中共通的處理內容對應者。在此，專用之解碼處理部ex1001、ex1002不一定為本發明其中一態樣或特殊化成 其他習知規格特有之處理內容者，亦可為實行其他通用處理者。又，可在LSIex500安裝本實施形態之構成。
如上所述，針對在本發明其中一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法中共通之處理內容，藉由共有解碼處理部，可縮小LSI之電路規模，且減低成本。
以上已針對複数態樣其中圖像編碼裝置與圖像解碼裝置根據實施形態來說明，但本發明非限於該實施形態者。只要不脫離本發明之趣旨，亦可將該業者所想出之各種變形施行於本實施形態者、或組合並構築不同實施形態中構成元件之形態包含於一個或是複數態樣之範圍內。
產業上之可利用性
本發明可適用於圖像編碼方法、圖像解碼方法、圖像編碼裝置、及圖像解碼裝置。又，本發明可利用於具有圖像編碼裝置之：電視、數位錄影機、車用導航、行動電話、數位相機、及數位攝影機等之高解析度的資訊顯示機器或攝像機器。
100、100A、100B、100C‧‧‧圖像編碼裝置
101‧‧‧減法器
102‧‧‧直交轉換部
103‧‧‧量化部
104、204‧‧‧反量化部
105、205‧‧‧逆直交轉換部
106、206‧‧‧加法器
107、207‧‧‧區塊記憶體
108、208‧‧‧圖框記憶體
109、209‧‧‧面內預測部
110、210‧‧‧內部預測部
111、211‧‧‧圖片決定部
112、112A、112C、212、212A、212C‧‧‧圖片分割控制部
113、113B、113C‧‧‧可變長編碼部
114、114B‧‧‧多工部
115‧‧‧編碼部
120‧‧‧輸入圖像訊號
121、125、225‧‧‧預測誤差資料
122、124、224‧‧‧轉換係數
123、223‧‧‧量化係數
126、127、128、226、227、228‧‧‧解碼圖像資料
129、130、131、229、230、231‧‧‧預測圖像資料
132、132A、132C、232、232A、232C‧‧‧分割控制訊號
133、233‧‧‧編碼資料
134、234‧‧‧位元流
135、135A、135C、235、235A、235C‧‧‧圖片分割資訊
140、145‧‧‧圖塊邊界獨立資訊
141、146‧‧‧全體相依資訊
142‧‧‧水平相依資訊
143‧‧‧垂直相依資訊
150‧‧‧輸入圖像控制部
151‧‧‧標記***部
160、260‧‧‧圖像訊號
161‧‧‧圖塊標記
200、200A、200B、200C‧‧‧圖像解碼裝置
201、201A、201B、201C‧‧‧解析部
213、213C‧‧‧可變長解碼部
215‧‧‧解碼部
250‧‧‧輸出圖像控制部
281‧‧‧編碼列
282‧‧‧位元列
ex101‧‧‧網際網路
ex102‧‧‧網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧電話網
ex106~ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧PDA
ex113‧‧‧攝像機
ex114‧‧‧行動電話
ex115‧‧‧遊戲機
ex116‧‧‧攝像機
ex200‧‧‧數位廣播用系統
ex201‧‧‧廣播台
ex202‧‧‧衛星
ex203‧‧‧纜線
ex204、ex205‧‧‧天線
ex210‧‧‧車
ex211‧‧‧車用導航
ex212‧‧‧再生裝置
ex213‧‧‧螢幕
ex214~216‧‧‧記錄媒體(光碟)
ex217‧‧‧機上盒
ex218‧‧‧讀取器/紀錄器
ex219‧‧‧螢幕
ex230‧‧‧資訊軌
ex231‧‧‧記錄區塊
ex232‧‧‧內周區域
ex233‧‧‧資料記錄區域
ex234‧‧‧外周區域
ex235‧‧‧視訊流
ex236、ex239‧‧‧PES封包列
ex238‧‧‧音訊流
ex237、ex240、ex243、ex246‧‧‧TS封包
ex241‧‧‧演示圖形串流
ex244‧‧‧互動圖形串流
ex242、ex245‧‧‧PES封包列
ex247‧‧‧多工資料
ex300‧‧‧電視
ex301‧‧‧調諧器
ex302‧‧‧調變/解調部
ex303‧‧‧多工/解多工部
ex304‧‧‧聲音訊號處理部
ex305‧‧‧影像訊號處理部
ex306‧‧‧訊號處理部
ex307‧‧‧揚聲器
ex308‧‧‧顯示部
ex309‧‧‧輸出部
ex310‧‧‧控制部
ex311‧‧‧電源電路部
ex312‧‧‧操作輸入部
ex313‧‧‧橋接器
ex314‧‧‧插槽部
ex315‧‧‧驅動器
ex316‧‧‧數據機
ex317‧‧‧操作輸入部
ex318~ex321‧‧‧緩衝器
ex350‧‧‧天線
ex351‧‧‧傳送/接收部
ex352‧‧‧調變/解碼部
ex353‧‧‧多工/解多工部
ex354‧‧‧聲音訊號處理部
ex355‧‧‧影像訊號處理部
ex356‧‧‧聲音輸入部
ex357‧‧‧聲音輸出部
ex358‧‧‧顯示部
ex359‧‧‧LCD控制部
ex360‧‧‧主控制部
ex361‧‧‧電源電路部
ex362‧‧‧操作輸入控制部
ex363‧‧‧攝像機I/F部
ex364‧‧‧插槽部
ex365‧‧‧攝像機部
ex366‧‧‧操作鍵部
ex367‧‧‧記憶體部
ex370‧‧‧匯流排
ex400‧‧‧資訊再生/記錄部
ex401‧‧‧光學頭
ex402‧‧‧調變記錄部
ex403‧‧‧再生解調部
ex404‧‧‧緩衝器
ex405‧‧‧碟片馬達
ex406‧‧‧伺服控制部
ex407‧‧‧系統控制部
ex500‧‧‧LSI
ex501‧‧‧控制部
ex502‧‧‧CPU
ex503‧‧‧記憶體控制器
ex504‧‧‧串流控制器
ex505‧‧‧電源電路部
ex506‧‧‧串流I/O
ex507‧‧‧訊號處理部
ex508‧‧‧緩衝器
ex509‧‧‧AV I/O
ex510‧‧‧匯流排
ex511‧‧‧外部記憶體
ex512‧‧‧驅動頻率控制部
ex800‧‧‧實施形態8之構成
ex801‧‧‧本發明之解碼處理部
ex802‧‧‧根據習知規格之解碼處理部
ex803‧‧‧驅動頻率切換部
ex900‧‧‧解碼處理部構成例
ex901‧‧‧對本發明專用之解碼處理部
ex902‧‧‧對本發明與習知規格共有之解碼處理部
ex1000‧‧‧其他共有化之例
ex1001‧‧‧專用之解碼處理部
ex1002‧‧‧專用之解碼處理部
ex1003‧‧‧共有之解碼處理部
S101-112、S121-125、S201-203、S211-213、S221-222、S231-233、exS100-103、exS200-203‧‧‧步驟
第1圖係本發明實施形態1中圖像編碼裝置之方塊圖。
第2圖係本發明中實施形態1中圖片分割處理之流程圖。
第3A圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第3B圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第3C圖係顯示本發明實施形態1中圖塊分割模式之一例之圖。
第4A圖係顯示本發明實施形態1中圖塊邊界獨立資訊之一例之圖。
第4B圖係顯示本發明實施形態1中圖塊邊界獨立資訊之一例之圖。
第5圖係本發明實施形態1中圖像解碼裝置之方塊圖。
第6圖係本發明實施形態2中圖像編碼裝置之方塊圖。
第7A圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7B圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7C圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第7D圖係顯示本發明實施形態2中圖塊掃描順序之一例之圖。
第8圖係本發明實施形態2中圖像解碼裝置之方塊圖。
第9圖係本發明實施形態3中圖像編碼裝置之方塊圖。
第10圖係本發明實施形態3中標記***處理之流程圖。
第11圖係本發明實施形態3中圖像解碼裝置之方塊圖。
第12圖係本發明實施形態4中圖像編碼裝置之方塊圖。
第13A圖係本發明實施形態4中圖像編碼方法之流程圖。
第13B圖係本發明實施形態4中編碼處理之流程圖。
第14圖係顯示本發明實施形態4中位元校準處理之圖。
第15圖係本發明實施形態4中圖像解碼裝置之方塊圖。
第16A圖係本發明實施形態4中圖像解碼方法之流程圖。
第16B圖係本發明實施形態4中解碼處理之流程圖。
第17A圖係顯示圖塊分割模式之一例之圖。
第17B圖係顯示包含於圖塊之區塊之處理順序的圖。
第18圖係實現內容發送服務之內容供給系統之全體構成圖。
第19圖係數位廣播用系統之全體構成圖。
第20圖係顯示電視構成例之方塊圖。
第21圖係顯示在光碟之記錄媒體進行讀寫資訊之再生/記錄部之構成例的方塊圖。
第22圖係顯示光碟之記錄媒體之構造例的圖。
第23A圖係顯示行動電話之一例之圖。
第23B圖係顯示行動電話之構成例之方塊圖。
第24圖係顯示多工資料之構成之圖。
第25圖係示意地顯示在多工資料中是如何多工各串流之圖。
第26圖係更詳細地顯示在PES封包列是如何儲存視訊流之圖。
第27圖係顯示多工資料中TS封包與來源封包之構造之圖。
第28圖係顯示PMT之資料構造之圖。
第29圖係顯示多工資料資訊之內部構成之圖。
第30圖係顯示串流屬性資訊之內部構成之圖。
第31圖係顯示識別影像資料之步驟之圖。
第32圖係顯示實現各實施形態之動態圖像編碼方法與動態圖像解碼方法之積體電路之構成例的方塊圖。
第33圖係顯示切換區動頻率之構成之圖。
第34圖係顯示識別影像資料並切換驅動頻率之步驟之圖。
第35圖係顯示對應影像資料之規格與驅動頻率之查閱表之一例的圖。
第36A圖係顯示共有化訊號處理部之模組之構成之一例的圖。
第36B圖係顯示共有化訊號處理部之模組之構成之其他例的圖。
S211、S212、S213‧‧‧步驟

Claims (13)

  1. 一種圖像編碼方法，包含有：分割步驟，係將圖片分割成複數圖塊(tile)；編碼步驟，係藉由將前述複數圖塊之各個圖塊編碼來產生分別與前述複數圖塊之各個圖塊對應之複數編碼資料；及位元流產生步驟，係產生包含前述複數編碼資料之位元流；又，前述編碼步驟包含有：編碼列產生步驟，係將前述複數圖塊之一的第1圖塊在不參照用於其他圖塊之編碼之編碼資訊的情況下編碼，藉此產生第1編碼列；及校準步驟，係藉由於前述第1編碼列之後追加位元列，將前述複數編碼資料之一的第1編碼資料的位元長設為預定之N(N為2以上之整數)位元的倍數。
  2. 如申請專利範圍第1項之圖像編碼方法，其中前述編碼列產生步驟包含利用算術編碼來產生前述第1編碼列之算術編碼步驟，且，在前述算術編碼步驟，進行使前述第1編碼列完結之終止處理。
  3. 如申請專利範圍第1項之圖像編碼方法，其中在前述分割步驟，進而將前述複數圖塊之圖塊間之邊界分別分類成第1邊界與第2邊界；在前述編碼步驟，對於前述複數圖塊之各個圖塊， 與該圖塊鄰接之已編碼圖塊中，參照跨越前述第1邊界之圖塊的編碼資訊，且，在不參照跨越前述第2邊界之圖塊之編碼資訊的情況下編碼該圖塊；在前述位元流產生步驟，產生包含圖塊邊界獨立資訊的前述位元流，該圖塊邊界獨立資訊係顯示前述複數圖塊之圖塊間之邊界的各個邊界為第1邊界還是第2邊界。
  4. 如申請專利範圍第3項之圖像編碼方法，其中前述圖塊邊界獨立資訊包含於前述位元流包含之圖片參數集或序列參數集。
  5. 如申請專利範圍第1項之圖像編碼方法，其中在前述分割步驟進而決定前述複數圖塊之編碼順序；在前述編碼步驟用已決定之編碼順序來編碼前述複數圖塊；在前述位元流產生步驟產生包含顯示前述編碼順序之圖塊處理順序資訊之前述位元流。
  6. 如申請專利範圍第5項之圖像編碼方法，其中前述圖塊處理順序資訊包含於前述位元流包含之圖片參數集或序列參數集。
  7. 如申請專利範圍第3項之圖像編碼方法，其中在前述位元流產生步驟，前述複數編碼資料之資料邊界中，只對與包夾該資料邊界之2個編碼資料對應之2個圖塊間之邊界為第2邊界之資料邊界，***用以特定該資料邊界之標記。
  8. 一種圖像解碼方法，包含有：取得步驟，係取得複數編碼資料，該複數編碼資料係包含於位元流並藉由將已分割圖片之複數圖塊的各個圖塊編碼來產生者；解碼步驟，係藉由將前述複數編碼資料之各個編碼資料解碼來產生前述複數圖塊之圖像資料；又，前述解碼步驟包含有：第1圖像產生步驟，係將前述複數編碼資料之一的第1編碼資料包含之第1編碼列在不參照用於其他圖塊之解碼之解碼資訊的情況下解碼，藉此產生前述複數圖塊之一的第1圖塊之圖像資料；跳過步驟，係跳過包含於前述第1編碼資料並位於前述第1編碼列之後的預定位元列。
  9. 如申請專利範圍第8項之圖像解碼方法，其中前述第1圖像產生步驟包含將前述第1編碼列算術解碼之算術解碼步驟；前述算術解碼步驟包含終止處理步驟，該終止處理步驟係在前述跳過步驟之前，進行將針對前述第1編碼列之算術解碼處理完結之終止處理。
  10. 如申請專利範圍第8項之圖像解碼方法，其中在前述解碼步驟更包含第2圖像資料產生步驟，該第2圖像資料產生步驟係將包含於前述複數編碼資料且位於前述第1編碼資料之後的第2編碼資料包含之第2編碼列解碼，藉此產生前述複數圖塊之一的第2圖塊圖像資料。
  11. 一種圖像編碼裝置，包含有：分割部，係將圖片分割成複數圖塊者；編碼部，係藉由將前述複數圖塊之各個圖塊編碼來產生分別與前述複數圖塊之各個圖塊對應之複數編碼資料者；位元流產生部，係產生包含前述複數編碼資料之位元流者；又，前述編碼部藉由將前述複數圖塊之一的第1圖塊在不參照用於其他圖塊之編碼之編碼資訊的情況下編碼來產生第1編碼列，並藉由於前述第1編碼列之後追加位元列，將前述複數編碼資料之一的第1編碼資料的位元長設為預定之N(N為2以上之整數)位元的倍數。
  12. 一種圖像解碼裝置，包含有：解析部，係取得複數編碼資料，該複數編碼資料係包含於位元流並藉由將已分割圖片之複數圖塊的各個圖塊編碼來產生者；解碼部，係藉由將前述複數編碼資料之各個編碼資料解碼來產生前述複數圖塊之圖像資料者；又，前述解碼部係將前述複數編碼資料之一的第1編碼資料包含之第1編碼列在不參照用於其他圖塊之解碼之解碼資訊的情況下解碼，藉此產生前述複數圖塊之一的第1圖塊之圖像資料，並跳過包含於前述第1編碼資料且位於前述第1編碼列之後的預定位元列。
  13. 一種圖像編碼解碼裝置，係包含有： 申請專利範圍第11項之圖像編碼裝置；及申請專利範圍第12項之圖像編碼裝置。
TW101128417A 2011-08-11 2012-08-07 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus TWI566580B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161522382P 2011-08-11 2011-08-11

Publications (2)

Publication Number Publication Date
TW201316779A TW201316779A (zh) 2013-04-16
TWI566580B true TWI566580B (zh) 2017-01-11

Family

ID=47668156

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101128417A TWI566580B (zh) 2011-08-11 2012-08-07 An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus

Country Status (14)

Country Link
US (10) US8620097B2 (zh)
EP (1) EP2744202B1 (zh)
JP (2) JP5362150B2 (zh)
KR (1) KR101815727B1 (zh)
CN (2) CN103718553B (zh)
AU (1) AU2012294053B2 (zh)
CA (1) CA2827849C (zh)
ES (1) ES2805313T3 (zh)
MX (1) MX2013010003A (zh)
MY (1) MY167857A (zh)
PL (1) PL2744202T3 (zh)
RU (1) RU2595626C2 (zh)
TW (1) TWI566580B (zh)
WO (1) WO2013021619A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013011640A1 (ja) 2011-07-18 2013-01-24 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
MX2013010003A (es) * 2011-08-11 2013-12-06 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
AU2012327672B2 (en) * 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN107257490B (zh) 2012-01-27 2019-12-17 太阳专利托管公司 图像编码方法及图像编码装置
CN108419076B (zh) 2012-09-29 2022-04-29 华为技术有限公司 视频编码及解码方法、装置及***
US9788002B2 (en) * 2012-11-29 2017-10-10 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20200045012A (ko) 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
EP3202145B1 (en) * 2014-09-30 2018-12-12 Telefonaktiebolaget LM Ericsson (publ) Encoding and decoding a video frame in separate processing units
US10506244B2 (en) 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
JP6642573B2 (ja) 2015-06-24 2020-02-05 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
CN113115036A (zh) * 2015-11-24 2021-07-13 三星电子株式会社 视频解码方法和设备及其编码方法和设备
CN106851323B (zh) * 2015-12-07 2019-07-19 腾讯科技（深圳）有限公司 解码方法及解码装置
CN107046370B (zh) * 2016-02-09 2020-05-26 松下知识产权经营株式会社 变换器、电力传输***及控制器
JP2019514308A (ja) 2016-05-10 2019-05-30 サムスン エレクトロニクス カンパニー リミテッド 映像を符号化／復号する方法及びその装置
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US10418002B2 (en) * 2016-10-18 2019-09-17 Mediatek Inc. Merged access units in frame buffer compression
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
CN116320399A (zh) * 2017-07-03 2023-06-23 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
KR102484387B1 (ko) 2017-07-19 2023-01-03 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
WO2019240539A1 (ko) 2018-06-15 2019-12-19 엘지전자 주식회사 Cabac에 기반한 엔트로피 코딩 방법 및 그 장치
JP7437374B2 (ja) 2018-07-02 2024-02-22 ノキア テクノロジーズ オーユー ビデオコーディングでのタイル関連アドレス指定のための方法および装置
US10841602B2 (en) 2018-07-16 2020-11-17 Tencent America LLC Hierarchical tiles
CN113767624A (zh) * 2019-03-08 2021-12-07 瑞典爱立信有限公司 提供相关/独立分区编码/解码的方法和有关装置
WO2020185813A1 (en) 2019-03-11 2020-09-17 Tencent America LLC Tile and sub-picture partitioning
AU2020407461B2 (en) * 2019-12-19 2024-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Picture segment ordering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050196060A1 (en) * 2004-03-03 2005-09-08 Demin Wang Curved wavelet transform for image and video compression
US20060269151A1 (en) * 2005-05-25 2006-11-30 Hiroyuki Sakuyama Encoding method and encoding apparatus
US20080019438A1 (en) * 2004-06-10 2008-01-24 Sony Computer Entertainment Encoder Apparatus, Encoding Method, Decoder Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Playback Apparatus
US20090087111A1 (en) * 2006-03-30 2009-04-02 Reiko Noda Image encoding apparatus and method for the same and image decoding apparatus and method for the same

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1000960A (en) 1910-09-22 1911-08-15 Arthur Bell Box-lid.
US6370273B1 (en) * 1998-04-10 2002-04-09 Flashpoint Technology, Inc. Method and system for tiled image data decompression
JP4124910B2 (ja) 1999-05-18 2008-07-23 キヤノン株式会社 画像データの復号化方法及びその装置
US6792153B1 (en) * 1999-11-11 2004-09-14 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
US7428338B2 (en) * 2002-01-10 2008-09-23 Ricoh Co., Ltd. Header-based processing of images compressed using multi-scale transforms
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
MXPA05008404A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de codificacion de imagen.
JP2004297321A (ja) * 2003-03-26 2004-10-21 Minolta Co Ltd 画像処理システム
US7949054B2 (en) * 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
US7460725B2 (en) 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
JP4763853B2 (ja) 2008-03-31 2011-08-31 パナソニック株式会社 可変長符号復号化装置及びその方法
JP5340091B2 (ja) * 2008-12-19 2013-11-13 キヤノン株式会社 画像符号化装置及びその制御方法
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
US8990435B2 (en) * 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
US9325999B2 (en) 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
JP5865366B2 (ja) 2011-05-27 2016-02-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
PL2717579T3 (pl) 2011-05-31 2020-07-27 Sun Patent Trust Sposób dekodowania obrazu i urządzenie do dekodowania obrazu
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
MX2013010003A (es) * 2011-08-11 2013-12-06 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
EP2775715A4 (en) * 2011-10-31 2015-09-23 Mitsubishi Electric Corp DEVICES AND METHODS FOR ENCODING AND DECODING MOVING IMAGES
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9077998B2 (en) * 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method
CN116347068A (zh) * 2013-01-04 2023-06-27 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9578328B2 (en) * 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR20200045012A (ko) * 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050196060A1 (en) * 2004-03-03 2005-09-08 Demin Wang Curved wavelet transform for image and video compression
US20080019438A1 (en) * 2004-06-10 2008-01-24 Sony Computer Entertainment Encoder Apparatus, Encoding Method, Decoder Apparatus, Decoding Method, Program, Program Recording Medium, Data Recording Medium, Data Structure, and Playback Apparatus
US20060269151A1 (en) * 2005-05-25 2006-11-30 Hiroyuki Sakuyama Encoding method and encoding apparatus
US20090087111A1 (en) * 2006-03-30 2009-04-02 Reiko Noda Image encoding apparatus and method for the same and image decoding apparatus and method for the same

Also Published As

Publication number Publication date
AU2012294053B2 (en) 2016-07-07
US20150010063A1 (en) 2015-01-08
US10715808B2 (en) 2020-07-14
US20220094934A1 (en) 2022-03-24
US20190356920A1 (en) 2019-11-21
WO2013021619A1 (ja) 2013-02-14
US10412389B2 (en) 2019-09-10
US8879860B2 (en) 2014-11-04
JP2013219806A (ja) 2013-10-24
TW201316779A (zh) 2013-04-16
JP5362150B2 (ja) 2013-12-11
PL2744202T3 (pl) 2020-12-28
US20170201750A1 (en) 2017-07-13
JPWO2013021619A1 (ja) 2015-03-05
US11228765B2 (en) 2022-01-18
JP6074743B2 (ja) 2017-02-08
KR101815727B1 (ko) 2018-01-05
CA2827849C (en) 2018-01-16
US11706416B2 (en) 2023-07-18
US20130039593A1 (en) 2013-02-14
CN103718553B (zh) 2017-03-01
US20140079331A1 (en) 2014-03-20
ES2805313T3 (es) 2021-02-11
AU2012294053A1 (en) 2013-09-05
KR20140057188A (ko) 2014-05-12
US9648328B2 (en) 2017-05-09
MY167857A (en) 2018-09-26
US20200304793A1 (en) 2020-09-24
EP2744202A1 (en) 2014-06-18
CN106878732A (zh) 2017-06-20
CN106878732B (zh) 2019-09-17
CN103718553A (zh) 2014-04-09
US20180278935A1 (en) 2018-09-27
MX2013010003A (es) 2013-12-06
US20160249052A1 (en) 2016-08-25
US9355467B2 (en) 2016-05-31
EP2744202A4 (en) 2015-03-04
RU2013138222A (ru) 2015-09-20
US10009609B2 (en) 2018-06-26
RU2595626C2 (ru) 2016-08-27
US8620097B2 (en) 2013-12-31
CA2827849A1 (en) 2013-02-14
US20230345002A1 (en) 2023-10-26
EP2744202B1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
TWI566580B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI556628B (zh) Image decoding method and image decoding apparatus
KR101912485B1 (ko) 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
TWI556609B (zh) A reproducing method, a moving picture encoding method, a reproducing apparatus, a moving picture coding apparatus, and a moving picture encoding and decoding apparatus
CA2771433C (en) Coding and decoding of stereoscopic images with base and enhancement layers
CN107094258B (zh) 图像解码方法及图像解码装置
TWI580265B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, and an image coding / decoding apparatus
TWI559738B (zh) An image coding method, an image decoding method, an image coding apparatus, an image decoding apparatus, an image coding / decoding apparatus, and a program
TWI546778B (zh) An image coding method, an image decoding method, an image coding apparatus, and an image decoding apparatus
CA2876567A1 (en) Image coding and decoding of slice boundaries wherein loop filtering of top and left slice boundaries is controlled by a boundary control flag
RU2658174C1 (ru) Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
JP7073553B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
TW201347550A (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及圖像編碼解碼裝置
WO2013164903A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
WO2013014884A1 (ja) 動画像符号化方法、動画像符号化装置、動画像復号化方法、および動画像復号化装置
RU2799562C1 (ru) Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений