TWI407796B - An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program - Google Patents

An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program Download PDF

Info

Publication number
TWI407796B
TWI407796B TW99109239A TW99109239A TWI407796B TW I407796 B TWI407796 B TW I407796B TW 99109239 A TW99109239 A TW 99109239A TW 99109239 A TW99109239 A TW 99109239A TW I407796 B TWI407796 B TW I407796B
Authority
TW
Taiwan
Prior art keywords
image
bit stream
encoded
viewpoints
encoding
Prior art date
Application number
TW99109239A
Other languages
English (en)
Other versions
TW201041402A (en
Inventor
Teruhiko Suzuki
Shinobu Hattori
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201041402A publication Critical patent/TW201041402A/zh
Application granted granted Critical
Publication of TWI407796B publication Critical patent/TWI407796B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

圖像信號解碼裝置、圖像信號解碼方法、圖像信號編碼裝置、圖像信號編碼方法、及程式
本發明係關於一種圖像信號解碼裝置、圖像信號解碼方法、圖像信號編碼裝置、圖像信號編碼方法、及程式,本發明特別是關於一種可容易地檢測Dependent stream(依存串流)之畫面之位元串流上之邊界的圖像信號解碼裝置、圖像信號解碼方法、圖像信號編碼裝置、圖像信號編碼方法、及程式。
近年來,以高效之資訊傳輸、儲存為目的,利用圖像資訊特有之冗餘性,且依據藉由離散餘弦轉換等正交轉換及運動補償而壓縮的MPEG(Motion Picture Experts Group,動畫專家群)等方式之裝置,正於廣播站等之資訊發送、及普通家庭中之資訊接收此兩者中不斷普及。
尤其是,MPEG2(ISO/IEC(International Standardization Organization/Electrotechnical Commission,國際標準化組織/國際電工委員會) 13818-2)係作為通用圖像編碼方式而定義,其係包含交錯掃描圖像及順序掃描圖像此兩者、以及標準解像度圖像及高清晰度圖像之標準規格。目前係廣泛用於專業用途及消費者用途之大範圍的應用中。
藉由使用MPEG2,例如,只要為具有720×480像素之標準解像度之交錯掃描圖像,則可藉由分配4~8 Mbps之碼量(位元率)而實現高壓縮率與良好的畫質。又,只要為具有1920×1088像素之高解像度之交錯掃描圖像,則可藉由分配18~22 Mbps之碼量而實現高壓縮率與良好的畫質。
MPEG2主要將適合放送用之高畫質編碼作為對象,並不對應於碼量低於MPEG1,即壓縮率更高之編碼方式。
因手機終端之普及,今後此種編碼方式之需求將變大,對應於此而進行MPEG4編碼方式之標準化。關於圖像編碼方式,其規格係於1998年12月作為ISO/IEC 14496-2而被認可為國際標準。
進而,進行H.264/AVC(Advanced Video Coding,高級視訊編碼)(MPEG-4 part 10、ISO/IEC 14496-10|ITU(International Telecommunication Union,國際電信聯盟)-T H.264)之標準之規格化。於ITU-T與ISO/IEC之間設立共同進行視訊編碼之標準化之稱為JVT(Joint Video Team,聯合視訊組)的團體,並由該團體來推進規格化。
已知與MPEG2或MPEG4等先前之編碼方式相比,H.264/AVC雖然其編碼、解碼要求更多之運算量,但可實現更高之編碼效率。
[H.264/AVC]
圖1係表示藉由離散餘弦轉換或卡忽南-拉維(Karhunen-Loeve)轉換等正交轉換與運動補償而實現圖像壓縮之圖像資訊編碼裝置之構成例的方塊圖。
1為A/D(analog/digital,類比/數位)轉換部,2為畫面重排序緩衝器,3為加算部,4為正交轉換部,5為量化部,6為可逆編碼部,7為儲存緩衝器,8為逆量化部、9為逆正交轉換部,10為訊框記憶體,11為運動預測‧補償部、12為速率控制部。
首先,於A/D轉換部1中,將作為輸入之圖像信號轉換為數位信號。
其次,根據作為輸出之圖像壓縮資訊之GOP(Group of Pictures,圖群)結構,而於畫面重排序緩衝器2中進行訊框之重排序。
關於進行框內編碼之圖像,係將訊框整體之圖像資訊輸入至正交轉換部4,並於此處實施離散餘弦轉換、卡忽南-拉維轉換等正交轉換。
於量化部5中,對作為正交轉換係數4之輸出之轉換係數實施量化處理。
將作為量化部5之輸出之經量化的轉換係數輸入至可逆編碼部6,於此處實施可變長度編碼、算術編碼等可逆編碼後,將其儲存至儲存緩衝器7中,並作為圖像壓縮資訊而輸出。量化部5之行為係由速率控制部12而控制。
同時,將作為量化部5之輸出之經量化的轉換係數輸入至逆量化部8,進而,於逆正交轉換部9中實施逆正交轉換處理,而形成解碼圖像資訊,並將該資訊儲存至訊框記憶體10中。
關於進行框間編碼之圖像,首先,係自畫面重排序緩衝器2輸入至運動預測‧補償部11。
同時,自訊框記憶體10中取出作為參照之圖像資訊,並實施運動預測‧補償處理,而生成參照圖像資訊。
將參照圖像資訊傳送至加算部3,並於此處轉換為與該圖像資訊之差分信號。
運動補償‧預測部11同時將運動向量資訊輸出至可逆編碼部6。對運動向量資訊實施可變長度編碼、算術編碼等可逆編碼處理,並將其***至圖像壓縮資訊之標頭部。其他處理係與實施框內編碼之圖像壓縮資訊相同。
圖2係表示圖像資訊解碼裝置之構成例之方塊圖。
21為儲存緩衝器,22為可逆編碼解碼部,23為逆量化部,24為逆正交轉換部,25為加算部,26為畫面重排序緩衝器,27為D/A(digital/analog,數位/類比)轉換部,28為訊框記憶體、29為運動預測‧補償部。
首先,將作為輸入之圖像壓縮資訊(位元串流)儲存於儲存緩衝器21中,其後,傳輸至可逆編碼解碼部22。
於可逆編碼解碼部22中,根據規定之圖像壓縮資訊之格式而進行可變長度解碼、算術解碼等處理。
同時,當該訊框係經框間編碼者時,於可逆編碼解碼部22中,亦對圖像壓縮資訊之標頭部所儲存之運動向量資訊進行解碼,並將該經解碼之資訊輸出至運動預測‧補償部29。
將作為可逆編碼解碼部22之輸出之經量化的轉換係數輸入至逆量化部23,並於此處作為轉換係數而輸出。
於逆正交轉換部24中,根據規定之圖像壓縮資訊之格式,而對轉換係數實施逆離散餘弦轉換、逆卡忽南-拉維轉換等逆正交轉換。
當該訊框係經框內編碼者時,將實施了逆正交轉換處理之圖像資訊儲存於畫面重排序緩衝器26中,並於D/A轉換處理之後加以輸出。
當該訊框係經框間編碼者時,根據實施了可逆解碼處理之運動向量資訊、及訊框記憶體28中所儲存之圖像資訊而生成參照圖像。於加算部25中將該參照圖像與逆正交轉換部24之輸出加以合成。其他處理與經框內編碼之訊框相同。
與MPEG2或MPEG4同樣地,之前敍述之由JVT而規格化之AVC係包含運動補償及離散餘弦轉換之混合編碼方式。
離散餘弦轉換亦可為與實數之離散餘弦轉換近似的整數轉換。離散餘弦轉換之轉換方法係使用4×4塊大小之整數係數者,有時運動補償時之塊大小可變等,詳細方式雖不同,但基本方式係與利用圖1之構成所實現之編碼方式相同。
然而,近年來,由於立體圖像之拍攝、顯示技術之進步,使H.264/AVC向立體圖像信號之編碼擴展之研究不斷推進。
對利用複數個攝像裝置拍攝之多視點的圖像進行編碼之MVC(Multiview Video Coding,多視角視訊編碼)之標準化不斷推進。
將假設2個視點之拍攝、顯示之圖像稱為立體圖像。裸眼立體顯示器可對應於多視點之顯示。
以下,主要對2個視點之立體圖像之例進行說明,同樣地亦可適用於3個視點以上之多視點之圖像。
[MVC]
圖3係表示多視點編碼裝置之圖。
於多視點編碼裝置41中,對自2個攝像裝置、即攝像裝置31與攝像裝置32所供給之視訊信號進行編碼,並輸出藉由編碼而生成之位元串流。包含2個視點之圖像之資料的位元串流可多工於1條串流而輸出,亦可作為2個或2個以上之位元串流而輸出。
圖4係表示圖3之多視點編碼裝置41之構成例的方塊圖。
於多視點編碼裝置41中,將多視點之圖像中的1個視點之圖像作為基本串流(Base stream)而編碼,將其他圖像作為Dependent stream(依存串流)而編碼。
於立體圖像之情形時,將L圖像(左視點圖像)與R圖像(右視點圖像)中之任一圖像作為Base stream而編碼,將另一圖像作為Dependent stream而編碼。
Base stream係藉由H.264 AVC/High Profile等所編碼之與現有AVC相同的位元串流。因此,Base stream成為可藉由與H.264 AVC/High Profile相對應之現有AVC之解碼器而解碼的串流。
將作為Base stream而解碼之圖像輸入至重排序緩衝器51,以適當的順序重排序從而將其編碼為I畫面(Intra picture,節點畫面)、P畫面(Predicted picture,預測畫面)、B畫面(Bi-predictive picture,前後預測畫面)。將重排序後之圖像輸出至視訊編碼部52。
視訊編碼部52具有與圖1之圖像資訊編碼裝置相同之構成。於視訊編碼部52中,例如依據H.264 AVC/High Profile而進行編碼,並將所得之位元串流輸出至多工部57。又,將局部解碼圖像保存於訊框記憶體53中,並用作下一畫面或Dependent stream之畫面編碼時之參照圖像。
另一方面,將作為Dependent stream而編碼之圖像輸入至重排序緩衝器54,並以適當的順序重排序從而將其編碼為I畫面、P畫面、B畫面。將重排序後之圖像輸出至依存串流編碼部55。
於依存串流編碼部55中,在通常之AVC之編碼中,追加進行將訊框記憶體53中所記憶之Base stream之局部解碼圖像用作參照圖像的編碼,並將位元串流輸出至多工部57。又,將局部解碼圖像保存於訊框記憶體56中,並用作下一畫面編碼時之參照圖像。
於多工部57中,將Base stream及Dependent stream多工於1條位元串流並輸出。亦可將Base stream與Dependent stream分別作為不同的位元串流而輸出。
圖5係表示MVC之參照圖像之例的圖。
與通常之AVC同樣地,Base stream僅執行時間方向之預測而進行編碼。
Dependent stream在與通常之AVC相同之同一視點圖像內之時間方向之預測中,追加進行將同時刻的Base stream之圖像作為參照圖像之預測而進行編碼。即便在無法適當地進行時間方向之預測時,亦可藉由設為可參照同時刻之其他視點的圖像,而改善編碼效率。
圖6係表示生成Base stream之圖4之視訊編碼部52之構成與訊框記憶體53的方塊圖。
圖6所示之構成除了依存串流編碼部55參照訊框記憶體53中所保存之圖像方面以外,與圖1之圖像資訊編碼裝置之構成相同。
圖7係表示生成Dependent stream之圖4之依存串流編碼部55之構成與訊框記憶體56的方塊圖。
圖7所示之構成除了可參照訊框記憶體53中所保存之圖像方面以外,與圖1之圖像資訊編碼裝置之構成相同。將自訊框記憶體53讀出之參照圖像輸入至運動預測‧補償部90,用於運動預測、運動補償。
圖8係表示多視點解碼裝置101之構成例之方塊圖。
將經由網路或記錄媒體而自多視點編碼裝置41供給之Base stream輸入至緩衝器111,將Dependent stream輸入至緩衝器114。當多工於1條串流而進行供給時,係將其分離為Base stream與Dependent stream,而分別輸入至緩衝器111與緩衝器114。
將在緩衝器111中延遲特定時間之Base stream輸出至視訊解碼部112。
於視訊解碼部112中,依據AVC而進行Base stream之解碼,並將所得之解碼圖像保存於訊框記憶體113中。將訊框記憶體113中所保存之解碼圖像用作下一畫面或Dependent stream之畫面解碼時之參照圖像。
以特定之時序,將藉由視訊解碼部112所獲得之解碼圖像作為視訊信號而輸出至3D(three-dimension,三維)顯示器102。
另一方面,將在緩衝器114中延遲特定時間之Dependent stream輸出至依存串流解碼部115。
於依存串流解碼部115中,進行Dependent stream之解碼,並將所得之解碼圖像保存於訊框記憶體116中。將訊框記憶體116中所保存之解碼圖像用作下一畫面解碼時之參照圖像。
於依存串流解碼部115中,適當地根據位元串流中之資訊(旗標等)而將訊框記憶體113中所保存之圖像用作參照圖像。
以特定之時序,將藉由依存串流解碼部115所獲得之解碼圖像作為視訊信號而輸出至3D顯示器102。
於3D顯示器102中,根據自視訊解碼部112所供給之視訊信號、及自依存串流解碼部115所供給之視訊信號,而進行立體圖像之顯示。
圖9係表示進行Base stream之解碼之圖8之視訊解碼部112之構成與訊框記憶體113的圖。
圖9所示之構成除了依存串流解碼部115參照訊框記憶體113中所保存之圖像方面以外,與圖2之圖像資訊解碼裝置之構成相同。
圖10係表示對Dependent stream進行解碼之圖8之依存串流解碼部115之構成與訊框記憶體116的方塊圖。
圖10所示之構成除了可參照訊框記憶體113中所保存之圖像方面以外,與圖2之圖像資訊解碼裝置之構成相同。
將自訊框記憶體113讀出之參照圖像輸入至運動預測‧補償部148,用於運動預測、運動補償。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2007-208917號公報
於AVC及MVC中,為防止緩衝器溢流、下溢,而定義模仿解碼裝置側之緩衝器之動作的虛擬緩衝器模型。
於編碼裝置側,以不使虛擬緩衝器溢流、下溢之方式而進行編碼。只要係以此方式而編碼之位元串流,則解碼裝置可不使緩衝器出現故障而進行解碼。
對虛擬緩衝器模型進行說明。
圖11係表示虛擬緩衝器模型之例的圖。
將輸入之位元串流首先供給至緩衝器151。利用被稱為AU((Access Unite,存取單元)之單元而自緩衝器151瞬時地讀出位元串流,並將其供給至視訊解碼部152。
於視訊解碼部152中,瞬時地對自緩衝器151讀出之資料進行解碼,並生成解碼圖像。此種假定係於虛擬緩衝器模型中完成。
再者,圖11之緩衝器151係與圖8之多視點解碼裝置101中的緩衝器111及緩衝器114相對應。又,圖11之視訊解碼部152係與圖8之多視點解碼裝置101中的視訊解碼部112及依存串流解碼部115相對應。
於AVC之情形時,1個AU中儲存有1個畫面之資料。
於MVC之情形時,1個AU中儲存有同一時刻之所有view(Base stream及Dependent stream)之資料。此處,所謂view係指各視點之圖像。
圖12表示此種虛擬緩衝器模型中之緩衝器151之動作。
圖12之縱軸表示緩衝器佔有量,橫軸表示時刻。
如圖12所示,以特定的位元率向緩衝器151中供給位元串流。又,於各AU之讀出時刻,自緩衝器151抽出該AU中所儲存之位元串流。時刻t1 、t2 、t3 ,...分別係自緩衝器151之讀出時刻。
圖13係表示利用MVC而編碼之位元串流之AU之構成的圖。
於圖13之上段表示有AU#1、#2、#3。
AU#1包含作為同一時刻的畫面之Base stream之畫面P1 與Dependent stream之畫面P2 (儲存有畫面之資料)。
AU#2包含作為同一時刻的畫面之Base stream之畫面P3 與Dependent stream之畫面P4
AU#3包含作為同一時刻的畫面之Base stream之畫面P5 與Dependent stream之畫面P6
於圖13之下段表示位元串流之構成。
圖13之位元串流係對Base stream與Dependent stream進行多工而構成之1條串流。於各AU之頭部***有被稱為AD(AU Delimiter,存取單元定界符)之NAL unit(Network Abstraction Layer unit,網路提取層單元)。AD係某個固有之資料行。
AD表示同時刻之Base stream之畫面與Dependent stream之畫面的資料之開始位置。
如圖13所示,於位元串流上,AU#1包含AD#1、畫面P1 、及畫面P2
AU#2包含AD#2、畫面P3 、及畫面P4
AU#3包含AD#3、畫面P5 、及畫面P6
藉由檢索AD,可找出AU之頭部,而容易地進行對特定的畫面之存取。
圖14係表示位元串流之結構之例的圖。
圖14之A表示將Base stream與Dependent stream多工於1條位元串流時之結構。圖14之A之位元串流的結構與圖13之位元串流的結構相同。
圖14之B係表示Base stream與Dependent stream分別包含於不同之合計2條位元串流中時的結構。對與圖14之A所示之部分相對應之部分附上相同之符號。
如圖14之B所示,Base stream係藉由依序配置AD#1、畫面P1 、AD#2、畫面P3 、AD#3、及畫面P5 而構成。
另一方面,Dependent stream係藉由依序配置畫面P2 、畫面P4 、及畫面P6 而構成。
使用圖11之構成,對以圖14之位元串流作為對象之解碼處理進行說明。
例如,於供給圖14之A之位元串流時,圖11之視訊解碼部152在檢測出AD#1之後,依序讀出Base stream之畫面P1 、Dependent stream之畫面P2 ,並分別進行解碼。
又,於供給圖14之B之位元串流時,視訊解碼部152針對Base stream之第1個AU而檢測AD#1,讀出畫面P1 並進行解碼。又,視訊解碼部152針對第2個AU檢測AD#2,讀出畫面P3 並進行解碼。
由於Dependent stream中不存在AD,故而在讀出各畫面時,必須解析位元串流中之語法,並判定畫面P2 、P4 、P6 之邊界。因此,處理變得非常複雜。
此處,為了可容易地檢測畫面之頭部,而考慮與Base stream同樣地,在Dependent stream之各畫面之頭部單純地追加AD的情形。
於此情形時,例如將Base stream與Dependent stream多工於1條位元串流時,視訊解碼部152會將Base stream之AU與Dependent stream之AU認作為其他AU。由此,無法準確地再現虛擬緩衝器模型之動作。
本發明係鑒於上述情況研究而成者,其可容易地檢測Dependent stream之畫面之於位元串流上之邊界。
本發明之一型態之圖像信號解碼裝置,其對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼,且其包括如下解碼機構:對1個視點之圖像中所編碼之、表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始;對其他視點之圖像之編碼位元串流之頭部分別編碼之、表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
上述複數個視點之圖像信號係2個視點之圖像信號,其可作為1條位元串流而構成。
複數個視點之圖像信號係2個視點之圖像信號,其可作為2條位元串流而構成。
於上述解碼機構中,可對一個視點之圖像中所編碼之、表示上述特定時刻之所有視點之圖像編碼位元串流開始的上述第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始,對另一個視點之圖像之編碼位元串流之頭部所編碼之、表示上述特定時刻之上述另一個視點之圖像編碼位元串流開始的上述第2固有資料行進行解碼,並識別上述另一個視點之圖像信號之編碼資料之開始,從而使位元串流解碼。
於對可準確地開始解碼之位置進行存取時,上述解碼機構可對1個視點之圖像中所編碼之、表示上述特定時刻之所有視點之圖像編碼位元串流開始的上述第1固有資料行進行解碼,並識別上述1個視點之上述特定時刻之編碼資料之開始,對上述其他視點之圖像之編碼位元串流之頭部分別編碼之、表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的上述第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而自識別出之開始位置起使位元串流解碼。
本發明之一型態之圖像信號解碼方法,其對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼,且其包含如下步驟:對1個視點之圖像中所編碼之、表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始;對其他視點之圖像之編碼位元串流之頭部分別編碼之、表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
本發明之一型態之程式使電腦執行對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼之處理,其使電腦執行包含如下步驟之處理:對1個視點之圖像中所編碼之、表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始;對其他視點之圖像之編碼位元串流之頭部分別編碼之、表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
本發明之另一型態之圖像信號編碼裝置,其對包含複數個視點之圖像信號的立體圖像信號進行編碼,且其包括如下編碼機構:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼,並對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
於上述編碼機構中,可將所有視點之編碼資料多工於1條位元串流中。
於上述編碼機構中,可使所有視點之編碼資料分別包含於2條位元串流中。
可使上述複數個視點之圖像信號為2個視點之圖像信號。
本發明之另一型態之圖像信號編碼方法,其對包含複數個視點之圖像信號的立體圖像信號進行編碼,且其包含如下步驟:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始進行第1固有資料行,並對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始分別進行編碼。
本發明之另一型態之程式使電腦執行對包含複數個視點之圖像信號的立體圖像信號進行編碼之處理,且其使電腦執行包含如下步驟之處理:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼,並對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
於本發明之一型態中,對1個視點之圖像中所編碼之、表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始。又,對其他視點之圖像之編碼位元串流之頭部分別編碼之、表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而將位元串流解碼。
於本發明之另一型態中,對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼,並對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
根據本發明之一型態,可容易地檢測Dependent stream之於畫面之位元串流上的邊界。
[多視點編碼裝置之構成]
圖15係表示作為本發明之一實施形態之多視點編碼裝置的一部分,即依存串流編碼部之構成例的方塊圖。
於本發明之一實施形態之多視點編碼裝置中,對Base stream中表示AU之邊界的資訊進行編碼,對Dependent stream中表示Dependent stream之畫面間之邊界的資訊進行編碼。
藉此,多視點解碼裝置於對立體圖像之位元串流進行解碼時,可藉由簡單之處理而判定AU之邊界等,且可根據虛擬緩衝器模型而進行解碼動作。
多視點編碼裝置具有與圖4之構成相同之構成。圖15表示圖4之依存串流編碼部55之構成例。本發明之一實施形態之多視點編碼裝置41之視訊編碼部52,係具有與圖6之構成相同的構成。對相同之構成附上相同之符號。
除了設有DD編碼部201之方面、以及將DD編碼部201之輸出供給至可逆編碼部86之方面以外,圖15所示之依存串流編碼部55之構成係與圖7之構成為相同之構成。
DD編碼部201於Dependent stream之各畫面之頭部***被稱為DD(Dependent delimiter,依存定界符)(View and dependency representation delimiter NAL unit)之NAL unit。DD與AD同樣為固有資料行,但具有與AD不同之值。
可逆編碼部86將藉由DD編碼部201而生成之DD之NAL unit***至各畫面之頭部後進行編碼,並輸出***有DD之Dependent stream。
圖16係表示藉由包含圖15之依存串流編碼部55之多視點編碼裝置41而生成之位元串流之結構之例的圖。
圖16之A表示將Base stream與Dependent stream多工於1條位元串流時之結構之例。
圖16之B表示使Base stream與Dependent stream分別包含於不同之合計2條位元串流中時之結構之例。對與圖16之A所示部分相對應的部分附上相同之符號。
生成圖16之A之位元串流時,多視點編碼裝置41於對AD#1進行編碼之後,對Base stream之畫面P1 進行編碼。其次,多視點編碼裝置41於對Dependent stream之畫面進行編碼之前對DD#1進行編碼,其後對Dependent stream之畫面P2 進行編碼。
將處理對象切換為下一AU時,多視點編碼裝置41對AD#2進行編碼,並對Base stream之畫面P3 進行編碼。其次,多視點編碼裝置41於對Dependent stream之畫面進行編碼之前對DD#2進行編碼,其後對Dependent stream之畫面P4 進行編碼。
同樣地,多視點編碼裝置41於對Dependent stream之畫面進行編碼之前對DD進行編碼,並於DD之後立即配置Dependent stream之畫面。
於該例中,亦於AU之頭部配置AD。第1個AU包含AD#1、畫面P1 、DD#1、及畫面P2 ,第2個AU包含AD#2、畫面P3 、DD#2、及畫面P4 。第3個AU包含AD#3、畫面P5 、DD#3、及畫面P6
生成圖16之B之位元串流時,多視點編碼裝置41針對Base stream而對AD#1進行編碼之後,對Base stream之畫面P1 進行編碼。將處理對象切換為下一AU時,多視點編碼裝置41對AD#2進行編碼,並對Base stream之畫面P3 進行編碼。
又,多視點編碼裝置41針對Dependent stream而對DD#1進行編碼之後,對Dependent stream之畫面P2 進行編碼。將處理對象切換為下一AU時,多視點編碼裝置41對DD#2進行編碼,並對Dependent stream之畫面P4 進行編碼。
同樣地,多視點編碼裝置41於對Dependent stream之畫面進行編碼之前對DD進行編碼,並於DD之後立即配置Dependent stream之畫面。
如圖16之B所示,Base stream係藉由依序配置AD#1、畫面P1 、AD#2、畫面P3 、AD#3、及畫面P5 而構成。
另一方面,Dependent stream係藉由依序配置DD#1、畫面P2 、DD#2、畫面P4 、DD#3、及畫面P6 而構成。
於圖16之B之例中,亦為第1個AU包含AD#1、畫面P1 、DD#1、及畫面P2 ,第2個AU包含AD#2、畫面P3 、DD#2、及畫面P4 。第3個AU包含AD#3、畫面P5 、DD#3、及畫面P6
AD表示同時刻之Base stream之畫面與Dependent stream之畫面的資料之開始位置,即特定時刻之所有視點之圖像編碼位元串流的開始位置。又,DD表示Dependent stream之畫面之資料的邊界位置,即Dependent stream之圖像編碼位元串流之開始位置。
[關於語法]
對DD之語法進行說明。
包含AD或各畫面之所有編碼資料係儲存於被稱為NAL unit之單元中,並依特定的順序重排序而構成位元串流。詳細內容係記載於ISO/IEC 14496-10∣ITU-T H.264中。
DD亦儲存於NAL unit中。
圖17係表示NAL unit之構成例的圖。
以位元組單位來處理編碼資料或標頭。NAL_BytesInNALunit係以位元組單位來表示其NAL unit之尺寸之參數,且於識別NAL unit之邊界時為必需者。
作為識別NAL unit之邊界之一個方法,存在對起動碼進行檢索之方法。除此以外之情形時,任何方法均必須對解碼器傳輸NAL unit之尺寸。rbsp_byte[]係NAL unit中所儲存之編碼資料或標頭。
圖18係表示NAL unit之語法的圖。
forbidden_zero_bit為1位元之資料,且始終為0。
nal_ref_idc為2位元之資料,其值為0以外之值時,表示其他NAL unit參照該NAL unit之資料。當nal_ref_idc之值為0時,其他NAL unit並不進行參照。
nal_unit_type為5位元之資料,且表示該NAL unit之內容為何者。
forbidden_zero_bit、nal_ref_idc、nal_unit_type構成圖17之標頭(Header)。
圖19及圖20係表示nal_unit_type之定義的圖。
如圖19所示,nal_unit_type=9表示該NAL unit之內容為AD。
如圖20所示,nal_unit_type=18表示該NAL unit之內容為DD。
若簡化圖18之NAL unit之語法,則成為如圖21所示者。
NAL unit根據圖22所示之語法,附加起動碼,構成被稱為位元組串流之串流。該位元組串流相當於上述位元串流。
圖22之3 byte(0x000001)之startcode_prefix(start_code_prefix_one_3bytes)係附加於NAL unit之頭部之起動碼。startcode_prefix為固有碼,於位元組串流中不可出現於其他部位。
藉由檢索位元組串流中之startcode_prefix,而可檢測NAL unit之頭部。又,對檢測出頭部之NAL unit之標頭中之nal_unit_type進行檢查,藉此可對所需之NAL unit進行存取。
若簡化圖22之語法,則成為如圖23所示者。
如此一來,無論Dependent stream是與Base stream一併多工於1條位元串流時,還是包含於不同的位元串流時,於Dependent stream之各畫面之邊界處均配置有DD。
於儲存DD之NAL unit之頭部附加起動碼,設定表示內容為DD之值之18來作為該nal_unit_type之值。
多視點解碼裝置可藉由檢測起動碼而檢測NAL unit之頭部。又,檢查所檢測出頭部之nal_unit_type之值為18,藉此可檢測DD即Dependent stream之畫面之邊界(頭部)。
[多視點解碼裝置]
圖24係表示作為本發明之一實施形態之多視點解碼裝置的一部分之依存串流解碼部之構成例的方塊圖。
本發明之一實施形態之多視點解碼裝置具有與圖8之構成相同之構成。圖24表示圖8之依存串流解碼部115之構成例。本發明之一實施形態之多視點解碼裝置101之視訊解碼部112具有與圖9之構成相同之構成。
圖24所示之依存串流解碼部115之構成除了自可逆編碼解碼部142輸出DD方面以外,與圖10之構成為相同之構成。
可逆編碼解碼部142對Dependent stream中所含之DD進行解碼,並將其輸出。根據所輸出之DD,藉由上位之應用程式等,而確定隨機存取時之解碼之開始位置等。
對MVC之虛擬緩衝器模型進行說明。
圖25係表示MVC之位元串流係由Base stream與Dependent stream此2條而構成之情形時之虛擬緩衝器模型之例的圖。
將所輸入之Base stream儲存於緩衝器151A中,將Dependent stream儲存於緩衝器151B中。利用AU單元自緩衝器151A、151B瞬時地讀出位元串流,於視訊解碼裝置152中瞬時地進行解碼。
再者,圖25之緩衝器151A係與圖8之多視點解碼裝置101中之緩衝器111相對應,圖25之緩衝器151B係與圖8之多視點解碼裝置101中之緩衝器114相對應。又,圖25之視訊解碼部152係與圖8之多視點解碼裝置101中之視訊解碼部112及依存串流解碼部115相對應。
例如,於圖16之B之Base stream儲存於緩衝器151A中,且Dependent stream儲存於緩衝器151B中之情形時,於某個時序中,根據AD#1而自緩衝器151A讀出畫面P1 ,根據DD#1而自緩衝器151B讀出畫面P2 。所讀出之畫面係藉由視訊解碼部152而進行解碼。
又,於下一時序中,根據AD#2而自緩衝器151A讀出畫面P3 ,根據DD#2而自緩衝器151B讀出畫面P4
MVC之位元串流由Base stream與Dependent stream之1條而構成之情形時之虛擬緩衝器模型與圖11所示者相同。
例如,於圖16之A之位元串流儲存於圖11之緩衝器151中時,於某個時序中,根據AD#1而自緩衝器151讀出畫面P1 與P2
又,於下一時序中,根據AD#2而自緩衝器151讀出畫面P3 與P4
其次,參照圖26,對隨機存取時或產生錯誤時等對特定之AU之頭部進行存取之方法的例子進行說明。
首先,將所輸入之位元串流供給至緩衝器211,暫時記憶後供給至起動碼檢測部212與解碼器214。
起動碼檢測部212對具有固有資料行之起動碼進行檢測。於檢測出起動碼時,起動碼檢測部212將其後續資料輸出至語法解析部213。
語法解析部213對自起動碼檢測部212所供給之資料進行解析。由於係起動碼後續之資料,故而自起動碼檢測部212所供給之資料為NAL unit之資料。
於語法解析部213藉由進行NAL unit之標頭等之解析而識別出AU之開始位置時,對解碼器214與緩衝器211輸出表示其係AU之開始位置之信號。
於AD存在時(供給NAL unit之資料時),語法解析部213檢查是否nal_unit_type=9。於nal_unit_type=9時,其NAL unit之內容如上所述為AD,藉此而檢測出其係AU之頭部。
同樣地,於AD存在時,語法解析部213檢查是否nal_unit_type=18。於nal_unit_type=18時,其NAL unit之內容如上所述為DD,藉此檢測出其係Dependent stream之畫面之頭部。
解碼器214與緩衝器211根據來自語法解析部213之信號,之後利用AU單元如通常般進行各畫面之解碼。
參照圖27之流程圖,對檢測Dependent stream之畫面之頭部的動作進行說明。
此處,如圖16之B所示,Base stream與Dependent stream分別構成不同之位元串流,於Dependent stream中編碼有DD。
於步驟S1中,起動碼檢測部212進行起動碼之檢索。
檢測出起動碼之後,於步驟S2中,語法解析部213檢查是否nal_unit_type=18。
於步驟S2中判定為nal_unit_type=18時,於步驟S3中,語法解析部213檢測附加有所檢測出之起動碼之NAL unit係儲存DD之單元,且係Dependent stream之畫面之頭部。
圖28表示如圖14之B所示由2條位元串流而構成、且如先前之MVC般於Dependent stream中不存在DD之情形時的動作。
如圖28所示,於Dependent stream中不存在DD時,可解碼至條帶頭(slice header)為止,經由多個條件判定,而最終於步驟S23中檢測出其係AU之頭部(畫面之頭部)。
於圖28中,直至步驟S23為止之各判定中所使用之值係儲存於NAL unit之RBSP(Raw Byte Sequence Payload,原始位元組序列負載)(圖17)中之條帶頭所記述之資訊。由於其如上述nal_unit_type=18般,並非為NAL unit之標頭中所記述之資訊,因此解析處理變得複雜。
[3個視點之位元串流]
對3個視點之位元串流進行說明。
圖29係表示利用MVC對3個視點之影像進行編碼而獲得之AU之構成的圖。
如上所述,於MVC之情形時,1個AU中儲存同一時刻之所有view之資料。視點之數量為3時亦相同。
圖29之AU#11包含Base stream之畫面P11 、Dependent stream1之畫面P12 、及Dependent stream2之畫面P13
AU#12包含Base stream之畫面P14 、Dependent stream1之畫面P15 、及Dependent stream2之畫面P16
AU#13包含Base stream之畫面P17 、Dependent stream1之畫面P18 、及Dependent stream2之畫面P19
圖30係表示位元串流之結構之例的圖。
於圖30所示之位元串流中並不包含DD。
圖30之A表示將Base stream、Dependent stream1與Dependent stream2多工於1條位元串流時之結構之例。
圖30之B表示使Base stream、Dependent stream1與Dependent stream2分別包含於不同之合計3條位元串流中時之結構之例。對與圖30之A所示之部分相對應的部分附上相同之符號。
例如,於圖30之A之供給有位元串流之情形時,視訊解碼部152檢測出AD#11之後,依序讀出Base stream之畫面P11 、Dependent stream1之畫面P12 、Dependent stream2之畫面P13 ,並分別進行解碼。
又,於圖30之B之供給有位元串流之情形時,視訊解碼部152針對Base stream之第1個AU而檢測AD#11,讀出畫面P11 並進行解碼。又,視訊解碼部152針對第2個AU而檢測AD#12,讀出畫面P14 並進行解碼。
於Dependent stream1、2中並不存在DD。因此,讀出各畫面時,必須依據圖28之處理而解析位元串流中之語法,以檢測畫面P12 、P13 、P15 、P16 、P18 、P19 之邊界。
圖31係表示藉由本發明之一實施形態之多視點編碼裝置101而生成之位元串流之結構之例的圖。
圖31之A表示將Base stream、Dependent stream1與Dependent stream2多工於1條位元串流時之結構之例。
圖31之B表示使Base stream、Dependent stream1與Dependent stream2分別包含於不同之合計3條位元串流中時之結構之例。
於圖31之A之供給有位元串流之情形時,視訊解碼部152檢測出AD#11之後,依序讀出Base stream之畫面P11 、Dependent streaml之畫面P12 、Dependent stream2之畫面P13 ,並分別進行解碼。
於圖31之B之供給有位元串流之情形時,視訊解碼部152針對Base stream之第1個AU而檢測出AD#11之後,對畫面P11 進行解碼。視訊解碼部152針對第2個AU而檢測出AD#12之後,對畫面P14 進行解碼。
又,視訊解碼部152針對Dependent stream1而檢測出DD#11之後,對畫面P12 進行解碼。又,視訊解碼部152檢測出DD#12之後,對畫面P15 進行解碼。
進而,視訊解碼部152針對Dependent stream2而檢測出DD#21之後,對畫面P13 進行解碼。又,視訊解碼部152檢測出DD#22之後,對畫面P16 進行解碼。
如此,於多視點解碼裝置101中,根據作為表示AU之邊界的資訊之AD、及作為表示Dependent stream之畫面間之邊界的資訊之DD,而檢測所需之AU並進行解碼,從而顯示立體圖像。
於檢測Dependent stream之某個畫面之開始位置時,無需進行條帶頭之解析,故可實現高速之隨機存取。
上述一系列處理可藉由硬體而執行,亦可藉由軟體而執行。於藉由軟體而執行一系列處理時,構成該軟體之程式係自程式記錄媒體而安裝至專用硬體中組裝之電腦、或通用之個人電腦等中。
圖32係表示藉由程式而執行上述一系列處理之電腦的硬體之構成例的方塊圖。
CPU(Central Processing Unit,中央處理單元)301、ROM(Read Only Memory,唯讀記憶體)302、RAM(Random Access Memory,隨機存取記憶體)303係藉由匯流排304而相互連接。
匯流排304上進而連接有輸入輸出介面305。輸入輸出介面305上連接有包括鍵盤、滑鼠等之輸入部306,及包括顯示器、揚聲器等之輸出部307。又,匯流排304上連接有包括硬碟或非揮發性記憶體等之記憶部308、包括網路介面等之通信部309、及驅動可移動媒體311的驅動器310。
於以如上所述之方式而構成之電腦中,CPU301例如將記憶部308中所記憶之程式經由輸入輸出介面305及匯流排304而加載至RAM303並執行,藉此進行上述一系列處理。
CPU301執行之程式例如記錄於可移動媒體311中,或者經由區域網路、網際網路、數位廣播等有線或無線之傳輸媒體而提供,並被安裝於記憶部308中。
再者,電腦執行之程式可為按照本說明書中說明之順序而時間序列地進行處理之程式,亦可為並列地、或以進行調用時等之必要的時序而進行處理之程式。
本發明之實施形態並不限定於上述實施形態,可於不脫離本發明之主旨之範圍內進行各種變更。
41...多視點編碼裝置
51...重排序緩衝器
52...視訊編碼部
53...訊框記憶體
54...重排序緩衝器
55...依存串流編碼部
56...訊框記憶體
57...多工部
101...多視點解碼裝置
102...3D顯示器
111...緩衝器
112...視訊解碼部
113...訊框記憶體
114...緩衝器
115...依存串流解碼部
116...訊框記憶體
201...DD編碼部
圖1係表示圖像資訊編碼裝置之構成例之方塊圖。
圖2係表示圖像資訊解碼裝置之構成例之方塊圖。
圖3係表示多視點編碼裝置之圖。
圖4係表示圖3之多視點編碼裝置之構成例之方塊圖。
圖5係表示MVC之參照圖像之例之圖。
圖6係表示圖4之視訊編碼部之構成與訊框記憶體的方塊圖。
圖7係表示圖4之依存串流編碼部之構成與訊框記憶體的方塊圖。
圖8係表示多視點解碼裝置之構成例之方塊圖。
圖9係表示圖8之視訊解碼部之構成與訊框記憶體的圖。
圖10係表示圖8之依存串流解碼部之構成與訊框記憶體的方塊圖。
圖11係表示虛擬緩衝器模型之例之圖。
圖12係表示圖11之緩衝器之動作之圖。
圖13係表示利用MVC而編碼之位元串流之AU之構成的圖。
圖14A、圖14B係表示位元串流之結構之例的圖。
圖15係表示作為本發明之一實施形態之多視點編碼裝置的一部分之依存串流編碼部之構成例的方塊圖。
圖16A、圖16B係表示位元串流之結構之例之圖。
圖17係表示NAL unit之構成例之圖。
圖18係表示NAL unit之語法之圖。
圖19係表示nal_unit_type之定義之圖。
圖20係表示nal_unit_type之定義之圖。
圖21係簡化表示NAL unit之語法之圖。
圖22係表示包含NAL unit之語法之圖。
圖23係簡化表示圖22之語法之圖。
圖24係表示作為本發明之一實施形態之多視點解碼裝置的一部分之依存串流解碼部之構成例的方塊圖。
圖25係表示虛擬緩衝器模型之例之圖。
圖26係表示對AU之頭部進行存取之方法之例的圖。
圖27係對語法解析部之動作進行說明之流程圖。
圖28係對先前之解析處理進行說明之流程圖。
圖29係表示利用MVC編碼3個視點之影像而獲得之位元串流之AU之構成的圖。
圖30A、圖30B係表示位元串流之結構之例的圖。
圖31A、圖31B係表示位元串流之結構之例的圖。
圖32係表示電腦之構成例之方塊圖。
(無元件符號說明)

Claims (13)

  1. 一種圖像信號解碼裝置,其對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼,且其包括如下解碼機構:對1個視點之圖像中所編碼之表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始;對其他視點之圖像之編碼位元串流之頭部分別編碼之表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
  2. 如請求項1之圖像信號解碼裝置,其中上述複數個視點之圖像信號係2個視點之圖像信號,且作為1條位元串流而構成。
  3. 如請求項1之圖像信號解碼裝置,其中複數個視點之圖像信號係2個視點之圖像信號,且作為2條位元串流而構成。
  4. 如請求項3之圖像信號解碼裝置,其中上述解碼機構對一個視點之圖像中所編碼之表示上述特定時刻之所有視點之圖像編碼位元串流開始的上述第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始,且對另一個視點之圖像之編碼位元串流之頭部所編碼之表示上述特定時刻之上述另一個視點之圖像編碼位元串流開始的上述第2固有資料行進行解碼,並識別上述另一個視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
  5. 如請求項1之圖像信號解碼裝置,其中於可準確地開始解碼之位置進行存取之情形時,上述解碼機構對1個視點之圖像中所編碼之表示上述特定時刻之所有視點之圖像編碼位元串流開始的上述第1固有資料行進行解碼,並識別上述1個視點之上述特定時刻之編碼資料之開始,且對上述其他視點之圖像之編碼位元串流之頭部分別編碼之表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的上述第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而自所識別到之開始位置起對位元串流進行解碼。
  6. 一種圖像信號解碼方法,其對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼,且其包含如下步驟:對1個視點之圖像中所編碼之表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始;對其他視點之圖像之編碼位元串流之頭部分別編碼之表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
  7. 一種使電腦執行對包含複數個視點之圖像信號的立體圖像信號經編碼而成之位元串流進行解碼之處理之程式,其使電腦執行包含如下步驟之處理:對1個視點之圖像中所編碼之表示特定時刻之所有視點之圖像編碼位元串流開始的第1固有資料行進行解碼,並識別上述特定時刻之編碼資料之開始,且對其他視點之圖像之編碼位元串流之頭部分別編碼之表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行進行解碼,並識別上述其他視點之圖像信號之編碼資料之開始,從而對位元串流進行解碼。
  8. 一種圖像信號編碼裝置,其對包含複數個視點之圖像信號的立體圖像信號進行編碼,且其包括如下編碼機構:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼;對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
  9. 如請求項8之圖像信號編碼裝置,其中上述編碼機構將所有視點之編碼資料多工於1條位元串流中。
  10. 如請求項8之圖像信號編碼裝置,其中上述編碼機構使所有視點之編碼資料分別包含於2條位元串流中。
  11. 如請求項8之圖像信號編碼裝置,其中上述複數個視點之圖像信號係2個視點之圖像信號。
  12. 一種圖像信號編碼方法,其對包含複數個視點之圖像信號的立體圖像信號進行編碼,且其包含如下步驟:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼;對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
  13. 一種使電腦執行對包含複數個視點之圖像信號的立體圖像信號進行編碼之處理之程式,其使電腦執行包含如下步驟之處理:對1個視點之圖像中表示特定時刻之所有視點之圖像編碼位元串流開始之第1固有資料行進行編碼;對其他視點之圖像之編碼位元串流之頭部表示上述特定時刻之上述其他視點之圖像編碼位元串流開始的第2固有資料行分別進行編碼。
TW99109239A 2009-04-03 2010-03-26 An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program TWI407796B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009091245A JP4947389B2 (ja) 2009-04-03 2009-04-03 画像信号復号装置、画像信号復号方法、および画像信号符号化方法

Publications (2)

Publication Number Publication Date
TW201041402A TW201041402A (en) 2010-11-16
TWI407796B true TWI407796B (zh) 2013-09-01

Family

ID=42828063

Family Applications (3)

Application Number Title Priority Date Filing Date
TW102127234A TWI514893B (zh) 2009-04-03 2010-03-26 解碼方法及解碼裝置
TW99109239A TWI407796B (zh) 2009-04-03 2010-03-26 An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program
TW102127237A TWI517720B (zh) 2009-04-03 2010-03-26 編碼方法及編碼裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102127234A TWI514893B (zh) 2009-04-03 2010-03-26 解碼方法及解碼裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102127237A TWI517720B (zh) 2009-04-03 2010-03-26 編碼方法及編碼裝置

Country Status (15)

Country Link
US (5) US8472731B2 (zh)
EP (4) EP2416577B1 (zh)
JP (1) JP4947389B2 (zh)
KR (2) KR101610614B1 (zh)
CN (4) CN103220531B (zh)
AU (1) AU2010231805B2 (zh)
BR (1) BRPI1001267A2 (zh)
CA (3) CA2805900C (zh)
HK (1) HK1166906A1 (zh)
MX (1) MX2010012930A (zh)
MY (3) MY184370A (zh)
PL (1) PL2416577T3 (zh)
RU (3) RU2511595C2 (zh)
TW (3) TWI514893B (zh)
WO (1) WO2010113770A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
TWI403423B (zh) * 2010-12-02 2013-08-01 Cal Comp Electronics & Comm Co 功能選項設定方法與應用其之多功能事務機
JP5355606B2 (ja) * 2011-03-03 2013-11-27 日本電信電話株式会社 ステレオ動画像符号化方法、装置およびプログラム
TWI552575B (zh) * 2011-08-09 2016-10-01 三星電子股份有限公司 多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP5928118B2 (ja) * 2012-04-16 2016-06-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
DK3471419T3 (da) * 2012-06-25 2023-06-06 Huawei Tech Co Ltd Billeder med gradvis temporal lagadgang i videokompression
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US10178400B2 (en) 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
EP2923488B1 (en) * 2012-11-21 2021-05-26 Dolby International AB Signaling scalability information in a parameter set
US9135723B1 (en) * 2012-12-19 2015-09-15 Marvell International Ltd. Efficient visually lossless compression
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US9819945B2 (en) * 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
JP2017060004A (ja) * 2015-09-16 2017-03-23 株式会社東芝 エンコード装置、デコード装置、エンコードプログラム、デコードプログラム及びストリーミングシステム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000025312A1 (fr) * 1998-10-27 2000-05-04 Hitachi Maxell, Ltd. Procede et systeme d'enregistrement d'informations, systeme de compression/decompression d'images, procede de commande de ces systemes, et systeme de controle comprenant une partie ou la totalite des systemes precedents
WO2002025925A2 (en) * 2000-09-22 2002-03-28 Koninklijke Philips Electronics Nv Hybrid temporal-snr fine granular scalability video coding
TW200822758A (en) * 2006-07-11 2008-05-16 Nokia Corp Scalable video coding and decoding
TW200906125A (en) * 2007-07-25 2009-02-01 Silicon Image Inc Streaming data content in a network

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750855A (ja) * 1993-08-06 1995-02-21 Sharp Corp 画像伝送装置
JP3351645B2 (ja) * 1995-01-31 2002-12-03 松下電器産業株式会社 動画像信号の符号化方法
DE69736062T2 (de) * 1996-02-28 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Optische Platte mit verschachtelt aufgezeichneten Digitalvideo-Datenströmen, sowie Vorrichtungen und Verfahren zur Aufzeichnung auf und Wiedergabe von der optischen Platte
JP3593227B2 (ja) * 1996-10-31 2004-11-24 株式会社リコー 立体カメラおよび立体写真撮影アタッチメント
US6873630B1 (en) * 1999-05-19 2005-03-29 Sun Microsystems, Inc. Method and apparatus for a multi-gigabit ethernet architecture
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP2002142192A (ja) * 2000-11-01 2002-05-17 Sony Corp 信号処理装置および方法、ならびに、記録装置および方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
EP1501317A4 (en) 2002-04-25 2006-06-21 Sharp Kk Image data generation device, image data reproduction device and image data recording medium
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004140575A (ja) * 2002-10-17 2004-05-13 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
JP4251864B2 (ja) * 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
CN100568964C (zh) * 2003-02-18 2009-12-09 诺基亚有限公司 图像解码方法
JP4265527B2 (ja) * 2003-12-19 2009-05-20 ソニー株式会社 再生装置及び再生方法、並びにコンテンツ記録方法
JP4044069B2 (ja) * 2004-04-23 2008-02-06 株式会社ソニー・コンピュータエンタテインメント テクスチャ処理装置、テクスチャ処理方法および画像処理装置
JP4361435B2 (ja) * 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US20090168866A1 (en) * 2004-12-02 2009-07-02 Sony Corporation Encoding device, method, and program
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP2007010779A (ja) * 2005-06-28 2007-01-18 Kyocera Corp 光学モジュール及び携帯端末
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
EP1928184B1 (en) * 2005-09-20 2017-09-27 Mitsubishi Electric Corporation Image encoding apparatus, image encoding method
JP4731343B2 (ja) 2006-02-06 2011-07-20 富士通東芝モバイルコミュニケーションズ株式会社 復号装置
KR100966569B1 (ko) 2006-03-30 2010-06-30 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
CN101569197B (zh) * 2006-12-21 2013-07-10 汤姆森许可贸易公司 针对多视点视频编码和解码使用高级语法进行改进信号通知的方法和装置
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2d 영상 미디어 표준을 기반으로 3d 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP5351146B2 (ja) * 2008-05-01 2013-11-27 パナソニック株式会社 再生装置、光ディスク再生システム、プログラム、集積回路
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN102224737B (zh) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 组合三维视频和辅助数据
PL2362672T3 (pl) 2008-12-01 2016-10-31 Urządzenie do odtwarzania treści, sposób odtwarzania, program i nośnik zapisu
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
JP4714307B2 (ja) * 2009-05-19 2011-06-29 パナソニック株式会社 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000025312A1 (fr) * 1998-10-27 2000-05-04 Hitachi Maxell, Ltd. Procede et systeme d'enregistrement d'informations, systeme de compression/decompression d'images, procede de commande de ces systemes, et systeme de controle comprenant une partie ou la totalite des systemes precedents
WO2002025925A2 (en) * 2000-09-22 2002-03-28 Koninklijke Philips Electronics Nv Hybrid temporal-snr fine granular scalability video coding
TW200822758A (en) * 2006-07-11 2008-05-16 Nokia Corp Scalable video coding and decoding
TW200906125A (en) * 2007-07-25 2009-02-01 Silicon Image Inc Streaming data content in a network

Also Published As

Publication number Publication date
EP2624570B1 (en) 2019-08-14
MY159386A (en) 2016-12-30
EP2416577B1 (en) 2014-09-17
HK1166906A1 (zh) 2012-11-09
KR20160013253A (ko) 2016-02-03
US20130089267A1 (en) 2013-04-11
US9036930B2 (en) 2015-05-19
CN103237218B (zh) 2016-03-23
US8503804B2 (en) 2013-08-06
MX2010012930A (es) 2011-01-25
WO2010113770A1 (ja) 2010-10-07
CA2724872A1 (en) 2010-10-07
RU2014101355A (ru) 2015-07-27
US8538181B2 (en) 2013-09-17
CN102388616B (zh) 2014-04-09
CN103220531A (zh) 2013-07-24
US20110064322A1 (en) 2011-03-17
TWI514893B (zh) 2015-12-21
TW201352006A (zh) 2013-12-16
AU2010231805B2 (en) 2015-05-21
EP2618583A1 (en) 2013-07-24
JP4947389B2 (ja) 2012-06-06
CA2805813A1 (en) 2010-10-07
CA2805900A1 (en) 2010-10-07
RU2014101346A (ru) 2015-07-27
RU2511595C2 (ru) 2014-04-10
CN103281529B (zh) 2016-05-25
US20130089155A1 (en) 2013-04-11
CA2805900C (en) 2014-09-30
EP2416577A4 (en) 2013-02-27
EP2624570A1 (en) 2013-08-07
US20150195550A1 (en) 2015-07-09
EP2618583B1 (en) 2017-05-24
CN103237218A (zh) 2013-08-07
US8472731B2 (en) 2013-06-25
RU2010148466A (ru) 2012-06-10
CA2724872C (en) 2013-09-24
MY184370A (en) 2021-04-01
KR20120003796A (ko) 2012-01-11
RU2573778C2 (ru) 2016-01-27
CN103281529A (zh) 2013-09-04
BRPI1001267A2 (pt) 2016-02-16
JP2010245766A (ja) 2010-10-28
EP2615836A1 (en) 2013-07-17
US20130279601A1 (en) 2013-10-24
CN103220531B (zh) 2016-03-23
US9426480B2 (en) 2016-08-23
CA2805813C (en) 2013-09-24
MY176875A (en) 2020-08-25
EP2615836B1 (en) 2018-07-04
TW201041402A (en) 2010-11-16
EP2416577A1 (en) 2012-02-08
AU2010231805A1 (en) 2010-10-07
TW201347555A (zh) 2013-11-16
TWI517720B (zh) 2016-01-11
CN102388616A (zh) 2012-03-21
KR101610614B1 (ko) 2016-04-07
KR101610419B1 (ko) 2016-04-07
PL2416577T3 (pl) 2015-02-27
RU2573257C2 (ru) 2016-01-20

Similar Documents

Publication Publication Date Title
TWI407796B (zh) An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
CN101878649A (zh) 扩展avc标准以与视频并行地对高分辨率数字静止图片编码
KR100780844B1 (ko) 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
AU2015202063B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees