TWI278241B - Image encoding method and device, and image decoding method and device - Google Patents

Image encoding method and device, and image decoding method and device Download PDF

Info

Publication number
TWI278241B
TWI278241B TW94137599A TW94137599A TWI278241B TW I278241 B TWI278241 B TW I278241B TW 94137599 A TW94137599 A TW 94137599A TW 94137599 A TW94137599 A TW 94137599A TW I278241 B TWI278241 B TW I278241B
Authority
TW
Taiwan
Prior art keywords
image
region
information
interest
area
Prior art date
Application number
TW94137599A
Other languages
English (en)
Other versions
TW200623891A (en
Inventor
Kazuhiko Taketa
Shigeyuki Okada
Original Assignee
Sanyo Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co filed Critical Sanyo Electric Co
Publication of TW200623891A publication Critical patent/TW200623891A/zh
Application granted granted Critical
Publication of TWI278241B publication Critical patent/TWI278241B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

1278241 1 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種晝像編碼技術、晝像解碼技術,尤 其是關於一種為了可將畫像之一部分區域予以優先解碼而 進行編碼的方法及裝置、將其予以解碼的方法及裝置。 【先前技術】 於 ISO (International Standard Organization,國際標 準組織)/ ITU-T ( International Telecommunications Union • Telecommunication Standardization Sector,國際電信聯盟 標準化部門)中,繼作為靜止畫像之壓縮編碼標準技術之 JPEG ( Joint Photographic Expert Group,聯合照相專家群) 之後,採用離散小波轉換 (Discrete Wavelet Transformation,DWT )的 JPEG2000 已經標準化。在 JPEG2000中,自低位元率(bit rate )編碼至無失真 (lossless )壓縮為止,可以高性能將廣範圍的晝質予以編 φ碼,而且慢慢提高晝質之可調整性(scalability )功能亦易 於實現。此外,JPEG2000係備有在以往的jpeg標準中所 沒有的多樣功能。 以JPEG2000之功能之一而言,將晝像的感興趣區域 (Region of Interest,ROI)比其他區域優先進行編碼並進 行傳送之ROI編碼已受到規格化。藉由r〇I編碼,當編碼 率有上限時,除了可優先使感興趣區域之再生畫質高品質 化之外,當依序將編碼流解碼時,可早期以高品質將感興 趣區域再生。 5 317570 1278241 . 圍的:::二:種操作者所指定的重要範 (專利文獻。曰:::二=二:技術。 f發明内容】 34琥公報 <:發明所欲解決之課題) 2而,上述專利文獻〗由於將所指定的 1 :: 亥晝質限制,而難以以各種解析度來進行解碼。 本現例如僅再生所指定之範園的再生處理。 每月係有鑑於前述課題所研創者 一種當在晝像之一部分指定區域時 1於七供 區域所引起之編碼量的增加, =、舌=指定 方法及裝置。)旦像柄方法及裝置,及晝像解碼 (用以解決課題之手段) 為%'決上述課題’本發明之一能;查>/多μ 將用以特定在圭傻mm w 旦像編碼方法係 越圖框間而產:的差分興=域的資訊,作為跨 夕绝, 貝來進仃編碼。亦可在包含晝像 /「碼貝、料的編碼流内記述用以特定該感興趣區域的資 =差分貧訊」亦可用圖框間的變化量來表示感興趣 大小及形狀之至少一者。此外,亦可為表示各圖 _勺感興趣區域的位置、大小及形狀的值的至少一個平 均值與編碼對象之圖框之該等所對應的值的差分。或者, 亦可為表示感興趣區域之位置、大小及形狀之值的至少—
317570 6 1278241 们圖框間之茭化I的平均值與編碼對象 所對應之值的變化量的差人£4《圖框間 曰 又儿里的差刀。再者,亦可為圖框間的變化 置的平均值與表示各圖框中之感興趣區域之位置、大 形狀的值之至少一柄呈八 等係在感興趣區域擴大或 η…較為有效。亦可將「用以特定在書像上所 疋義之感興趣區域的資訊」作為對於時間的函數而予以編 =在感興趣區域具有-定規則性而改變時較為有 =内設定有複數個感興趣區域時,二 =—!訊」中亦可包含其優先度。該「優先度::; 以圮述该貧訊的順序來表示。 根據該態樣,當名蚩庶u — $丄 以特定該感興趣區二;=感興趣區域時,將用 資訊來進行編碼,且戈二:口;圖框間而產生的差分 的編碼量。 己过在、、扁碼流内’藉此可降低該資訊 將用態樣亦為一種晝像編碼方法。該方法係 == 差分資訊來進行編碼。亦可在包含書像 之編碼 料的編碼流内 一像 嗖定之㈣★ 特定該形狀的資訊。「所 〇又疋之區域」亦可為物件(object)。 變時根當在晝像上所定義之區域的形狀發生改 错由作為跨越圖框間而產生的差分h來進行= 碼,可降低用以特定形狀之資訊的編碼量。、 、'扁 本發明之另一其他態樣係一種書 係具備··在晝像上定M、一像、、扁碼衣置。该I置 我J /、趣區域的感興趣區域設定部; 317570 7 1278241 將旦像進行編碼之書傻 一象、、扁馬邛,將用以特定感興趣區域的 貝4作為跨越圖桓間而產生次“ 趣區:¾資1 @ 刀貝成來進行編碼的感興 匕4貝戒編碼部;以及包含細 編碼之感興趣區域的資訊,^扁碼的晝像與用以特定經 部。「$ Μ 4 —、 生編碼流的編碼流產生 /感興趣區域設定部」亦可藉由使用 自動辨識,等,而在晝像上定義感興趣區域。疋切由 以特定'^:才取,虽在畫像上定義有感興趣區域時,將用 ,分資訊來逸…為跨越圖框間而產生的差 、L不進订編碼,且記述 、、六 朴 訊以及包含哕資1夕絍 ’、、机,稭此可降低該資 μ貝Λ之編碼流的編碼量。 置係ΐί明:f:其:態樣亦為—種晝像編碼裝置。該裝 編碼I金像編二上=義區域的區域設定部;將晝像進行 越圖框間而產生的差分資訊來進上 =?訊作為跨 訊,而產生編碼流的編碼一馬之形狀的資 根據該態樣,當在畫像上戶、 變時,藉由作為跨__@ ^域^形狀發生改 碼,可降低形狀資訊以及包含該形訊來進行編 量。 心狀貝讯之編碼流的編碼 本發明之另一其他態樣係一種畫 ,將作為跨越圖框間而產生的差分資訊而經編碼 疋在晝像上所定義的感興趣區域的資訊和”、^寺 該資訊’根據已將晝像編碼之編碼流來對 317570 8 1278241 =區域進仃解碼。「包含感興趣區域的區域」亦可 區域、包含感興趣區域與其 ::,、趣 的區域。 u a 或晝像全體 —根據該態樣,可參照記述於編碼流 貫現有關感興趣區域之各種處理。此時, 7,來 :越圖框間而產生的差分資訊來進作: 碼,可實現降低編碼量之編碼流。 戒進仃解 本發明之另-其他態樣亦為一種畫像 法係將作為跨越圖框間而產生的差分資訊而經編 = ί =域之形狀資訊進行解碼,J•參照該資訊旦 義之區域的區域進行解碼。 木對“别迷所定 根據該態樣,可參照記述 實現有關所設定之區域的各種處理。二=將來 為跨越圖框間而產生的差分資訊來進行編碼將: ,碼,可實現降低編碼量之編碼流。.貝5fl進仃解 本發明之另-其他態樣係一種晝像解碼 係具備:將作為跨越圖框間而產 ^置 用以往中户+你 、, 7產刀貝祝而經編碼之 、 旦象上所定義的感興趣區域的資訊逸f妒泛 感興趣區域資訊解碼邱· ^ 、σ仃解碼的 入乂、十、壹你解碼^,以及茶照經解碼的資訊,根據包 =遂:像之編碼資料的編碼流來對包含感興 域進仃%碼的晝像解碼部。 -區 根據該態樣,可參照包含於編碼流内之 提供-種實現有_興趣區域的各種處理㈣置。'此時^
317570 1278241 =由對於將作為跨越圖框間而產生的差分#訊來進 貝=行解碼’可實現降低編碼量之編碼流。 ' 詈孫ίΓ月之另一其他態樣亦為一種晝像解碼農置。該農 2 .將作為跨越圖框間而產生的差分資訊# 二碼流來對包含所定義之區域的區域進 提供可^^包含於編碼流内之前述資訊’來 時,藉由對於將作為跨越圖框間而產生的差分資2此 編碼的資訊進行解碼,可實現降低編瑪量之編=進灯 此外,以上構成要素之任意組合或在方法、裝置 二;=一媒體等之間轉換本發明之 二 有效作為本發明之態樣。 (發明的效果) 根據本發明,當在部公查# 刹田杜— 田在口p刀畫像指定區域時,得以一面抑 、=;!域所引起之編碼量的增加,-面實現在解碼側 活用所指定之區域的各種處理。 【實施方式】 實施形錐 H f 1圖係第1實施形態之畫像編碼褒置100之構成 圖。畫像編碼裝置100的構成在硬體上係可藉由··任音ί 腦特U、記㈣及其他LSi〇ai_aleint^^ 317570 10 ^ 1278241 型積體電路)予以實現,在軟體上則可藉由戴有記憶體且 具有編碼功能的程式等予以實現,惟在此係描緣出^ 結=等構件而予以實現的功能方塊。因此,該等功^方塊 可错由僅有硬體、僅有軟體或該等硬體與軟體的組人,而 以各種形式予以實現,而這乃是熟習該項技術者所二理 的。 晝像編碼裝置100係以所輸入的原畫像為—例,藉由 籲JPEG2000方式進行壓縮編碼。被輸入至晝像編碼 的原晝像係動態晝像的圖框(frame)。畫像編碼褒置1〇〇 =,_方式將動態畫像的各圖框連續編碼,而 產生動恶晝像的編碼流(stream )。 (Γ皮二部:?將所輸入的原晝像進行次頻帶 產生r:二广,'异各次頻帶畫像的小波轉換係數,而 ==的小波轉換係數。具體而言,小波轉換部1〇 ^原旦像的X、4個方向,使用低通遽波器Ο㈣卿 高通濾波器(high pass fiher ),分割成4個頻率 ^員:後進行小波轉換。該等次頻帶係為:於個 低周波成分,且在另一方向且有 :”方向具有 ^ 有回周波成分的IiL·及 ^頻;^以兩個方向具有高周波成分的HH次頻帶。 各-人射的縱横像素數係處理前之晝像的各Yu & 的濾波(filtering),可得解析度 : 的次頻帶晝像。 旦像大小為1/4 小波轉換部1〇係對於如上所得的次頻帶㈣IX次頻
317570
II 1278241 :再度進行濾波處理,再將其分割^ ll、hl、⑶、冊 個次頻帶後進行小波轉換。小波轉換部1。係進行預定 二!慮ΐ,將原晝像階層化為次頻帶晝像,且輸出各次 頻f的小波轉換係盤。旦 輸出的小波轉換係數以;定的1==Μ㈣部10 奶她)來進行量子^預疋的里子化1度(_w 後的i(^Tpy)編碼部14係將由量子化部12進行量子化 • 進行熵編碼。例如,-面由上位位元平面⑽
Plane)依序掃描(s ^ U 的編碼對象為原晝像 查如此’熵編碼部14 - 且作為旦像編碼部來發揮作用。 域晝像的-部分區域設定⑽區 形狀可為固定 部分與周邊部分使R0I=V 亦… + > 〇 £域的形狀改變。此外,ROI F代 亦可在-張晝像中設定複數個。 R01^ ,可由使用者以手動方式&μ 系統自動辨識動態的區區域,亦可由 系統係將⑽區域的位言,使用者或 的優先順位等作為初始值而設二個時 =者==广)時,統進行自心 兀了由016又疋部20將包含該物件的預定笳鬥“ / 在ROI區域。當為動態書傻日卞 、 力设定 m ^ ^ rot f ^ 〜旦$,使用者或系統可按每一圄 框汉疋ROI區域,亦可一開始先母圖 ROI區域跟從該R〇I F $ 區域,然後再使 &域内的物件的動向。此可藉由檢測 317570 12 1278241 物件的動態向量而予以實現。 ROI設定部20係將R0I區域的開始位置、大小等用 以特定R〇I區域的資訊(以下稱為⑽資訊)輸出至⑽ =:料22。當進行上述跟從處理時,亦可輪出根據物 件的動悲向罝而設定的RCH區域的動態向量。 細預測處理部22係對於⑽f訊進行圖框間預測 =。⑽預測處理部22係具備用以儲存⑽資訊的記 • W,例如,將作為基準的圖框的膽資訊儲存在該記憶 體’且計算出與目前圖框的差分資訊。 第2圖係表示R()I區域遷移之—例圖。第2圖⑷係表 不在晝像内設定R0I區域R的狀態。該R〇i區域r由於 為長方形,因此可以左上的頂點座標、水平方向的大小、 以及垂直方向的大小來表現。在此係將其標記為座標(A, B)、大小(X’ γ)。首先’⑽預測處理部22係將該等資 訊作為ROI資訊’且輸出至R〇I資訊編碼部24,同時, 儲存,上边記憶體。該圖框係成為對於下一圖框的基準。 -第2圖⑻係表示第:圖⑷所示之圖才匡的下一圖框赘表 示⑽區域R的移動狀態。在此,於晝像内,⑽區域r 向右移請晝素份。將該R〇I區域汉的⑽資訊以盥上 述相同的方法表現時,即標記為座標(a+m卜b)、大小 (X,γ)。關於這點,R0I預測處理部22係利用儲存在上 迷記憶體的前圖框的R0I資訊,而可以該差分來表現目前 圖框的⑽資訊。例如,當從在目前圖框内產生的⑽ 貢訊減去前-圖框之R0I資訊時,可表現為座標△ (mi, 317570 13 1278241 0)、大小△ (ο ’ 〇)。ROI預測處理部22係將該R0I資訊 再度輸出至ROI資訊編碼部24,同時儲存在上述記憶體。 _第2圖(c)係表示第2圖(b)所示之圖框的下一圖框,表 不ROI區域R移動,| R0I區域R本身的形狀發生改變 的狀態。在此,於晝像内,R〇I區域R向下移動N2畫素 份,且ROI區域R於水平方向增加⑽晝素份。腿預測 處理部22係利用儲存在上述記憶體的前—圖框的⑽資 而以與上述相同的方法來表現目前圖框的⑽資訊 日守’可表現為座標△ (G’_N2)、大小△ (M2,g)〇r〇i =處理部22係將該⑽資訊再度輸出至細資訊編碼 4 24,同時儲存在上述記憶體。 如此,當利用圖框間預測處理時,0及其附近的值的 出現頻率變高,而可使⑽資訊擁有統計上的偏差。若以 細資訊編碼部24將該⑽f訊進行燏編碼,即 ^咸其,瑪量。熵編碼係當出現頻率的偏差愈大,越可 丨則減編碼量。 其中’圖框間預測處理並非侷限於如上述之單純 =-圖㈣的差分的處理,亦可使用例如動態補償預測 2。動怨補償預測處理係可求取表示R〇I區域r的移動 方向或距離的動態向量,且將 一 . 且將以该動怨向量表示的位置資 汛與目前圖框的差分設為R()I資 、 R „ ^ , 勹…貝汛。尤其是對於ROI區域 R的移動較大的動態晝像, 箱盎, J杬π 0及其附近的值的出現 為、!们°上所述’作為圖框間預測之對象的圖框並非侷限 為1個之前的圖框’亦可為1個之後的後來的圖框。:二 317570 14 1278241 ==後"_,而利用 均值的處理等亦得以實現。 再利用其千 當然,未使用圖框間預翊 r〇1資訊。此時,可減少記,體容4::ί圖框内產生 用者亦可按照動態晝像的特:二1 °因此’使 測處理。尤、、 來遥擇疋否利用圖框間預 ρη 、 疋在私動較快的動態畫像中,即便利用圖士「 間預測處理,雖铁運曾| θ王 _ 、運#里增加,亦會有不太能減少編碼量 > R〇?m亦可單純地按每-圖框產生⑽資訊 R〇i資24係將由⑽預測處理部22輸入的 ⑽碼。例如進行滴編碼。接 貝Λ輸出至編碼流產生部16。 編巧ΐΠΐ:16係根據由熵編碼部14輸入的畫像的 =科、:⑽資訊編碼部24輸入的R0I資訊的編碼 辦 碼流。接著,將所產生的編碼流輸出至 7媒體或網路(network)。在此’可使SDRAM (Synchronous Dynamic Random Access Memory # . 態隨機存取記憶體)或快閃硬碟驅動器等來作為記錄媒體。 R〇i資訊的編碼資料係記述於標頭(header)。在 雖亦存在各種層級(level),但亦可記述在任一層級^ 可在例如:資料流標頭(stream header )、序列標頭(叫此⑽ header )、G0P ( Gr〇up 〇f picture)標頭、圖框標頭、圖像 標頭(picture header )、以區域單位標註的標頭等記述尺⑺ 資訊。 上述所謂以區域單位標註的標頭係指以下所述的標 317570 15 1278241 頭。例如在1張圖框或圖像設定有複數個R〇I區域時,依 R〇i區域1的晝像資料—R0I區域2的晝像資料—周 邊區域的晝像資料的順序排列圖框或圖像。上述所謂標頭 係指此時按每一 ROI區域!的晝像資料或R〇I區域2的書 像資料標註的標頭。 1 第3圖係表示編碼流之一例圖。在此係以在 (Moving Picture Experts Gr〇up,動晝專家群)所使用之 鲁稱為序列(sequence)的用語來表示編碼流。在MpEG中, 係將1個視頻程式整體的編碼信號稱為序列。序列係如第 3圖所示般以序列標頭(sequenee )開始,以序列標 尾(seqUence end)結束,且在其間記述複數個G〇p。G〇p 係記述GOP標頭與複數個圖像。在第3圖的例中,係在$ G〇P標頭記述複數個⑽資訊。在⑽標頭係記述有 碼條件等解碼所需的各種參數。在本實施形態中,亦在 GOP標頭記述有rOI資訊。 上述之ROI資訊係表示頂點座標與大小的資訊。關於 此點:R〇I資訊並非侷限於上述資訊,亦可包含各種資訊: 且可藉由該資訊來特定R()I f訊。以下列舉其例。 首先’需要有基本座標。如上所述,相當於頂點座標、 中心點座標、重心座標笔太、丄 ’、
、 ^寻在廷些座標内,可使用適於R〇I 區域之形狀的座標。例如’ # R〇I區域為圓形時,中心點 座標即成為最適座標。接著,當以各圖框内的資訊來特定 R〇i資訊時,則i:晷古的I , 寸又 了貝J而要有關大小的資訊。例如需要水平方向 的大小、垂直方向的大小。接著,當使用圖框間預測處理 317570 16 •1278241 時’可使用與前一圖框的差分資料、使用動態向量後之與 後一圖框的差分資料、仿射(Affine )轉換係數等各種函 數的係數等。 ^ -接著’當在1張晝像設定複數個ROI區域時,亦可在 _ ROI資訊中包含其優先度。例如,不僅包含其優先順位, 亦可包含是否必須顯示該R〇I區域的資訊。此外,亦可藉 由ROI資訊的排列順序來表現該優先順位。亦即,優先順 位越高的ROI區域的資訊,越可使用之前記述的方法。此 外,亦可包含各ROI區域的資訊量。例如其R〇I區域的編 碼量或壓縮率、運算量等。此外,亦可在每一 R〇i區域包 含晝質或與R〇I區域以外之區域的晝質比。 再者,亦可包含該11〇1區域是否可獨立解碼的資訊。 例如,在JPEG2000方式中,係使用s程序(咖收· propagation pass,有意義點判斷程序)、R程序(卽加心 refinement pass,數值增量點判斷程序)、c程序(⑽up # pass’清除程序)# 3種處理程序(pass)來作為位元平 面内的各係數位元。纟s程序中係對於重要係數 (significant coefficient )存在周圍的非重要係數進行解 碼’在R程序中係對於重要係數進行解碼,在c程序中則 係對於剩餘的係數進行解碼。s程序、R程序、c程序等 各處理程序,係依上述順序對於晝像的畫質貢獻度較大。 各處理程序係依此順序執行,各係數的上下文(c她xt) 係在考慮附近係數的資訊的情況下而予以決定。因此,按 母一程序獨立編碼時,亦可在中途中斷可變長度的解碼。 317570 1278241 上述資訊係有益於解碼側的資訊。其他 益於解碼時的資訊,亦 為了利用為有 包含在R〇I資訊。i中:列中所列舉的其他資訊 加以說明,但亦可纪过在蚀將01貧訊記述在標頭之例 根據以上說明的第Λ者可自由使用的使用者區域。 需或有益於解碼的資訊作:=,將咖區域之解碼所 貝Α作為R〇I貧訊而明示人 广藉此可實現在解竭側活用該 扁 在快速播放等時,可取出⑽ 二處^如’ 區域,而輕易將其再生顯示。飞匕3其周邊數像素的 此外,利用圖框間預測處理將R〇 此可削減⑽資訊的編碼量。例如,二進蝴’猎 於係將晝像作為靜止書 G2_中,由 ⑽區域的編碼時,轉 ,在進行 此,當對於未移動的01資訊。因 畫像資料附加完全相同的R〇1時’會對連續的各 多餘的碼(code)。此0士…田 產生對整體而言為 會發揮效果。此外,/由減:框間預測處理的態樣尤其 且可減少消耗電力。碼量,可使處理高速化, 圖。:第4 2圖二第二實:形態之畫像解碼裝置2。。之構成 實施形像解碼裳置⑽係對心 、’ 〃、、〇、扁碼流進行解碼。、^ ^ 輸入_編嶋馨物碼,=再= 317570
】8 Ϊ278241 、R〇1貧訊解碼部40係將記述於編碼流内的R0][資訊 進行解碼,且輪出至R〇I預測處理部42。ROI資訊係記述 於編碼流内之任一層級(level)的標頭。 ROI預測處理部42係對於經解碼的R〇I資訊進行圖 2間預測處理。⑽預測處理部42係具備用以儲存R〇I 貝的屺fe肢’例如,將作為基準的圖框的r⑴資訊儲存 在口亥.己f思體。將以差分資訊所提供的目前圖框的⑽資 •訊、與_在記憶體的R〇I資訊進行加算,藉此將目前圖 框的ROI資訊還原為原始的資料形式。 例如,當作為基準之圖框的R0I區域為長方形時,可 將其⑽區域以左上的頂點座標(a,b)、水平方向的大 小及垂直方向的大小(χ,γ)來表現。首先,⑽預測處 =4?將該.等資訊作為R〇1資訊,而輸出至⑽、區域 :圖框的基^儲存於上述記憶體。該圖框係成為對於下 ,使用第1實施形態的方法使⑽資訊編 -圖框使該⑽輯向右移動M1㈣份 = (組’〇)、大小△(〇,〇)與⑽資訊作為 ROI預測處理部42係、將該差分資訊加算在:貝Λ。 憶體的前一圖框的R0I資訊,藉此可求子;上述記 座標(A+M卜B)、大小(χ,γ)。 則圖框之絕對 ⑽預測處理部42藉此方式 前,將下-晝面的⑽資訊進行解瑪且取^心丁知碼之 可進行關於ROI區域的各種處理。Α 卞稭此方式, ” ’當使用其他圖框 317570 19 1278241 間預測編碼時,係使用與其相對應的還原方法。 R〇i區域控制部44係根據使用者或系統的要求來設 疋關於ROI區域的久綠淖 的書俊,* θ 例如,可進行僅有⑽區域 、旦 5 X包含其周邊像素的區域的再生處理。嗲月、真 :素的二定/法容後敘述。此外,使用心 的二V场景(scene)時,亦可進行僅以r〇1區域内 兮牛2象的檢索處理。任一者均可高速處理。在進行 二:處:’二參照R01資訊中所包含的優先順位資訊, 的ROlin不:广’顯不非為必須’或者使優先順位較低 域不顯不,亦可從檢索對象中去除。 指定其二,1區域控制部44係可藉由基於R01資訊的 ^者或系統的要求,來設定R01區域的晝質或盥 編:㈣:㈣3。係從所輸入的編碼流中抽 ;t?「:亦會有由⑽區域控制部44僅抽出所 疋的區域的編碼資料的情形。熵解碼部32係、按每—位元 出的編碼資料進行解碼,而取得經解碼 換係數。逆量子化部34係, 小波轉㈣料行逆轉換,再將所得的解瑪畫像輸出化的 接著’況明以R〇I區域控制部44決定包含⑽ 與其周邊區域之區域的座標與大小的方法。第5圖係^ 小波轉換係數之各分割層級中的ROI區域的示意圖。第5 圖⑷係表示在分割層級。之原晝像80上設定⑽區二: 317570 20 1278241 。弟5圖(b)係表示將原晝像80藉由僅1次的小、、皮 轉換所得之分判芦幼! ΑΑ μ ; ^ 金 D θ、、及1的轉換晝像82。分割層級工的轉換 係由4個次頻帶LU、HL1、LH1、則所構成、。 -域控制部44係於分割層級1的各次頻帶山、 • 、f月而LH1、HH1中特定為了將原晝像8〇的R〇1區域90 =而所需之分割層級1的轉換晝像82上的⑽區域91 圖⑷係表示進一步將第5圖⑻之轉換晝像82的 =頻率成分的次頻帶LL1進行小波轉換所得之分¥ 、:二的轉換晝像84。分割層級2的轉換畫像84如圖所示曰, 割層級1的3個次頻帶HL1、則、則之外, 』層級2的4個次頻帶LL2、HL2、LH2、HH2。 部44係於各次頻帶ll2、hl2、lh2、hH2 層級1的轉換晝像82的次頻帶山中 °°域91通原而所需之分割層級2的轉換書像84上 φ的ROI區域95至98_。 传供旦傢Μ上 庫於Γ=:於各分割層級中’僅以小波轉換的次數將對 應於原旦像80的⑽區域⑼的⑽區域以 ==彳層級的轉換晝像中,可特定所有為了還原 ROI £域90而所需之R〇I轉換區域。 腿區域控制部44係為了不會在原晝㈣上所設定 :〇=域:周邊區域產生雜訊(*)即可連原畫像 亦進讀碼,而在各分割層級的各次頻帶内,決定應進 行解碼的小波轉換係數的對象區域的開始位置與大小Γ將 317570 21 1278241 其設定在編碼資料抽出部3 〇。 將原晝像8G t的ROI區域開始的χ或座 R〇I區域的…方向的大小設為,時,在各上;為級; 的解碼對象區域的開始座標及大小係如下所示。 分割層級1···開始座標Ρ/2_α,大小Q/2+冷 分割層級2···開始座標(P/2-α ) /2-α、大小·(〇 /2+^)/2+/3 ^ 分割層級3···開始座標{(Ρ/2_α ) /2-α } /2_α、 大小 KQ/2+yS ) /2+/3 } /2+/5 分割層級J···開始座標〔…〕/2-α,大小〔…Ί / 2+β 」/ ,由對於x&y進行上述計算,可求出在各分割層紹 中的解碼對象區域的開始座標及大小。在㈣座標中,告 在減去最後的α之前的值產生小數點以下時,即將其^
::-方面,關於大小,當在加上最後的石之前的值彦 ^數點以下時’即將其進位。α、㈣值雖可由設計者 設定,但是亦可設定為例如㈣十2或^2、卜心 虽在細區域的上下左右對稱設置周邊區域時1的值是 :二:二該值係依存於所使用的濾、波器。濾波次數愈多’ 'J取好取較多的周邊區域的像素。 产的tr以明的第2實施形g,將明示性記述於編碼 理⑴胃訊連行解碼’以可活用該資訊而實現各種處 .ιΓ二:抽出R01區域或包含其周邊像素的區域,以
〜、再生—。此外亦可分別以所希望的晝質將R0I 317570 22 1278241 區域以及該R0I區域以外的區域予以再生。 _以上係根據實施形態來說明本發明。實施形態僅 不,對於該等之各構成要素或各處理程序的組合可能有各 種變形例,此外,該等變形例亦在本發明之範圍内,^ 热習该項技術者所能理解。以下表示該等變形例。’’’、 在上述實施形態中,R〇1區域亦可為僅有物件(object) 的區域。此時,系統可將作為R〇I資訊的用以特定物件的 於標頭等。與實施形態同樣地,利用圖框間預測 關該物件之形狀變化的資訊等加以記述,藉此可 減 > 该負汛的編碼量。 碼的ί 施形態中,雖係將以赃⑽⑼方式連續編 =動㈣像的編瑪流進行解碼,但是並不限於脏G2_ =間言之,只要是將動態晝像的編碼流進行解碼的方 式即可。
形態中’以供晝像編碼之用的空間遽波而 泛,對於小波轉換加以說明,Y 率轉換。例如,亦可使J二二2用其他的空間頻 弦轉換。 g用在JPEG“準中所使用的離散餘 (產業利用可能性) 本發明係可㈣在將畫像進行編碼 行解碼的裝置。 1乂肘旦傢進 【圖式簡單說明】 第1圖係為第1實施形能夕查# ^ 笛2FU、… 像編碼裳置的構成圖。 弟2圖⑻至(c)係表示⑽區域遷移之一例圖。 317570 23 1278241 ' 第3圖係表示編碼流之_______ :4圖係為第2實施形態之畫像解碼裝置 區域之示意圖。 【主要 元件符號說明】 10 小波轉換部 14 熵編碼部 2〇 • ROI設定冑 24 ROI資訊編碼部 32 滴解碼部 36 小波逆轉換部 42 ROI預刪處理部 80 原畫像 90、91 至94、95至% 100 晝像編碼裝置 第5圖(&)至〇)係表示各分割層級(level)中^ y甲之Ren 12 量子化部 16 編碼流產生部 22 R〇i預測處理部 30 編碼資料抽出部 34 逆量子化部 40 ROI資訊解碼部 44 ROI區域控制部 82 轉換晝像 R 01區士或 200 晝像解碼裝置 317570 24

Claims (1)

1278241 、 十、申請專利範圍: 1 · 一種晝像編碼方法,並胜外θ时m 1乃凌具特铽疋將用以特定在書 義的感興趣區域的資訊,作為跨越圖框間而產生的差: 資訊來進行編碼。 座生的差为 2 · —種晝像編碼方法苴胜 義的區域之形狀的資;用以特定在畫像上所定 資訊來進行^ 作為跨越圖框間而產生的差分 3 ·如申請專利範圍第 J 1中,在包含前述晝像之晝像編碼方法’其 編碼之上述用於特定的資訊…、編碼流内,記述業已 4. 一種晝像編㈣置,其特徵是具備: 義感興趣區域的感興趣區域設定部; 、u象進行編碼的晝像編碼部; 將用以特定前述感座一 間而產生的差分資訊來進^的貧訊作為跨越圖框 >碼部,·以及 、以&丁編碼的感興趣區域資訊編 經編碼的晝像與用以特 5 生編碼流的編碼流產生部 種旦像編碼裳置,其特徵是具備: 二義區域的區域設定部; 蔣田進仃編媽的晝像編碼部; 將用以特定箭;+、 間而產生的差分資^^ i之形狀的貧訊作為跨越圖框 及 刀貝现來進行編碼的形狀資訊編碼部;以 317570 25 1278241 士巴"經編碼的晝像與用以特定 ▲,而產生編碼流的編碼流產生部。 6. —種晝像解碼方法,宜^ 的差分資訊而經編心爾 跨越圖框間而產生 興趣區域的資二二之用以特定在晝像上所定義的感 述書像予^扁^仃解碼,且參照該資訊,根據已將前 U象予以、、扁碼之編碼流來對 區域進行解碼。 、4,、趣區域的
7. Π晝Ϊ解碼方法,其特徵係將作為跨越圖框間而產生 的差刀負訊而經繞石民 的資m 像上所定義的區域之形狀 仃碼,且參照該資訊,根據包含前述畫像之 、、扁石馬資料的編碼流來對 ~ 進行解碼。4對包^相定義之區域的區域 種晝像解碼裝置,係具備·· 、將=為跨越圖框間而產生的差分資訊而經編碼之 心特t在t像上所定義的感興趣區域的資訊進行解 碼的感興趣區域資訊解碼部;以及 、么参照經解碼的資訊,根據包含前述晝像之編碼資料 的編碼流來對包含前述感興趣區域的區域進行解碼的 晝像解碼部。 一種晝像解碼裝置,係具備: 將作為跨越圖框間而產生的差分資訊而經編瑪之 用以特定在晝像上所定義的區域形狀的資訊進行解石馬 的形狀資訊解碼部;以及 、 參照經解碼的資訊,根據包含前述畫像之編碼資料 317570 26 1278241 的編碼流來對包含所定義之區域的區域進行解碼的畫 像解碼部。
27 317570
TW94137599A 2004-10-29 2005-10-27 Image encoding method and device, and image decoding method and device TWI278241B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004316734A JP2006129248A (ja) 2004-10-29 2004-10-29 画像符号化方法および装置、ならびに画像復号方法および装置

Publications (2)

Publication Number Publication Date
TW200623891A TW200623891A (en) 2006-07-01
TWI278241B true TWI278241B (en) 2007-04-01

Family

ID=36227790

Family Applications (1)

Application Number Title Priority Date Filing Date
TW94137599A TWI278241B (en) 2004-10-29 2005-10-27 Image encoding method and device, and image decoding method and device

Country Status (4)

Country Link
US (1) US20090208122A1 (zh)
JP (1) JP2006129248A (zh)
TW (1) TWI278241B (zh)
WO (1) WO2006046550A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460725B2 (en) * 2006-11-09 2008-12-02 Calista Technologies, Inc. System and method for effectively encoding and decoding electronic information
CN102349304B (zh) * 2009-03-30 2015-05-06 日本电气株式会社 图像显示装置、图像生成装置、图像显示方法、图像生成方法和存储程序的非暂时计算机可读介质
JP2013172323A (ja) 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US9131913B2 (en) * 2012-06-14 2015-09-15 Carestream Health, Inc. Region-selective fluoroscopic image compression
WO2014000278A1 (zh) * 2012-06-29 2014-01-03 华为技术有限公司 视频数据传输方法及装置
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
KR102661955B1 (ko) * 2018-12-12 2024-04-29 삼성전자주식회사 영상 처리 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
US5978514A (en) * 1994-11-10 1999-11-02 Kabushiki Kaisha Toshiba Image data coding and decoding system for efficiently compressing information using the shape and position of the image content
US5799109A (en) * 1994-12-29 1998-08-25 Hyundai Electronics Industries Co., Ltd. Object-by shape information compression apparatus and method and coding method between motion picture compensation frames
JP3038143B2 (ja) * 1994-12-29 2000-05-08 現代電子産業株式会社 映像機器の物体別形状情報の減縮装置及びその減縮方法並びに多角近似化方法
JPH0918876A (ja) * 1995-06-27 1997-01-17 Sharp Corp 動画像符号化装置及び動画像復号装置
ATE224121T1 (de) * 1996-07-31 2002-09-15 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur bilddekodierung
JP3466058B2 (ja) * 1996-07-31 2003-11-10 松下電器産業株式会社 画像復号化装置、及び画像復号化方法
US5978034A (en) * 1997-02-20 1999-11-02 Sony Corporation Moving picture encoding method and apparatus, moving picture decoding method and apparatus and recording medium
JPH10271510A (ja) * 1997-03-26 1998-10-09 Sharp Corp 画像データの符号化/復号方法及び符号化装置/復号装置
US6801665B1 (en) * 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
CN1175373C (zh) * 1998-03-20 2004-11-10 三菱电机株式会社 有损失/无损失感兴趣区域图像编码的方法和***
SE9803454L (sv) * 1998-10-09 2000-04-10 Ericsson Telefon Ab L M Förfarande och system för kodning av ROI
US6457030B1 (en) * 1999-01-29 2002-09-24 International Business Machines Corporation Systems, methods and computer program products for modifying web content for display via pervasive computing devices
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP2002064709A (ja) * 2000-06-06 2002-02-28 Canon Inc 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
JP4701448B2 (ja) * 2000-09-19 2011-06-15 株式会社メガチップス 関心領域符号化方法
TW567728B (en) * 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
KR100586100B1 (ko) * 2003-05-12 2006-06-07 엘지전자 주식회사 동영상 코딩 방법

Also Published As

Publication number Publication date
US20090208122A1 (en) 2009-08-20
WO2006046550A1 (ja) 2006-05-04
JP2006129248A (ja) 2006-05-18
TW200623891A (en) 2006-07-01

Similar Documents

Publication Publication Date Title
TWI669939B (zh) 用於立方體面圖框的選擇性濾波的方法和裝置
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
TWI278241B (en) Image encoding method and device, and image decoding method and device
TWI436286B (zh) 畫像解碼方法及裝置
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
TWI324481B (en) Method and apparatus for encoding/decoding video signal using reference pictures
US7706622B2 (en) Image coding apparatus and image coding method
TWI324886B (en) Method for scalably encoding and decoding video signal
TW293227B (zh)
TW200843509A (en) Information processing apparatus and method
JP2004242271A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
JP5689291B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
JP5396559B1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体
JP2007511938A (ja) ビデオ信号の符号化方法
JP4749508B2 (ja) 画像復号方法
JP2006510275A5 (zh)
JP4667424B2 (ja) 画像復号装置
JP4667423B2 (ja) 画像復号装置
Gao et al. Occupancy-assisted attribute artifact reduction for video-based point cloud compression
JP3944564B2 (ja) 動画像符号化装置
程正雪 Image Compression and Quality Assessment based on Deep Learning
JP2004165800A (ja) 画像処理装置
JP2004242250A (ja) 画像再生装置
JP2004056575A (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees