TWI498006B - 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式 - Google Patents

圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式 Download PDF

Info

Publication number
TWI498006B
TWI498006B TW100134544A TW100134544A TWI498006B TW I498006 B TWI498006 B TW I498006B TW 100134544 A TW100134544 A TW 100134544A TW 100134544 A TW100134544 A TW 100134544A TW I498006 B TWI498006 B TW I498006B
Authority
TW
Taiwan
Prior art keywords
subject
image
pixel value
subjects
pixel
Prior art date
Application number
TW100134544A
Other languages
English (en)
Other versions
TW201220855A (en
Inventor
Shinya Shimizu
Norihiko Matsuura
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201220855A publication Critical patent/TW201220855A/zh
Application granted granted Critical
Publication of TWI498006B publication Critical patent/TWI498006B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
本發明係關於圖像之編碼及解碼技術，尤其關於適於距離圖像之類的圖像的編碼之圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置以及其程式。
本申請案根據2010年9月29日申請之日本特願2010-218037號申請案主張優先權，在此援用其內容。
所謂距離圖像，係指將攝影機(camera)到被攝體之距離表現成像素值而成之圖像。因為攝影機到被攝體之距離亦可說成是景(scene)的深度(depth)，所以亦有將距離圖像稱為深度圖像者。此外，還有因深度(depth)而將之稱為深度圖(depth map)者。在電腦繪圖領域，因為深度係為儲存到Z緩衝器(匯集圖框全體的深度而加以保存之記憶體區域)中之資訊，所以也將距離圖像稱為Z圖像或Z圖(Z map)。另外，除了從攝影機到被攝體之距離以外，作為表現對象者，還有將對應於設在空間中的三維座標系的Z軸之座標值用作為距離(depth)者。
由於一般上係對應於拍攝出來的圖像，以水平方向作為X軸，以垂直方向作為Y軸，因此Z軸係與攝影機面對的方向一致，然而在針對複數個攝影機使用共通的座標系之情況等，也會有Z軸並不與攝影機面對的方向一致之情形。
以下，不做所謂的距離、深度、Z值(深度資訊)之區別，都將之稱為距離資訊，且將利用像素值來表現距離資訊而作成的圖像稱為距離圖像。
將距離資訊表示成像素值之際，所採用的方法有：直接以與物理量對應之值作為像素值之方法、使用將最大值與最小值的差距量化為某數而得到的值之方法、以及使用以某步幅將與最小值的差予以量化而得到的值之方法。在想要表現的範圍受限之情況，則使用最小值等之附加資訊之作法較能高精度地表現距離資訊。
另外，在等間隔地進行量化之際，所採用的方法有：直接將物理量予以量化之方法以及將物理量的倒數予以量化之方法。一般而言，距離資訊的倒數係為與視差成比例之值，因此在必須高精度地表現距離資訊之情況，大多使用前者，在必須高精度地表現視差資訊之情況，大多使用後者。
以下，不管距離資訊的像素值化的方法及量化的方法為何都沒關係，只要是將距離資訊表現為圖像者都將之稱為距離圖像。
作為距離圖像的利用用途之中，有一個係為立體圖像。一般的立體圖像之表現，有由觀測者的右眼用的圖像及左眼用的圖像所構成之立體影像(stereo image)者，但亦可利用某一攝影機所攝的圖像及其距離圖像來表現立體圖像(詳細技術請參照非專利文獻1)。
將如此之利用一視點所見的影像及距離圖像來表現而得到的立體影像予以編碼之方式，可使用MPEG-C Part. 3(ISO/IEC 23002-3)中提出的方法(詳細內容請參照非專利文獻2)。
另外，針對複數個視點取得各視點所見的影像及距離圖像，就可表現具有比可在單視點的情況表現的立體影像還大的視差之立體影像(詳細內容請參照非專利文獻3)。
除了以上所述的用來表現立體影像之用途以外，距離圖像也使用來作為產生鑑賞者可不用在意拍攝的攝影機的配置而自由地移動視點之自由視點影像所需的資料之一。如此之假設從與拍攝的攝影機不同的攝影機來看景(scene)時所合成的合成圖像，被稱為假想視點圖像，且在圖像式繪圖(Image-based Rendering)領域做了很多關於其生成法之研究。從多視點的影像及距離圖像來產生假想視點影像之代表性的手法，有非專利文獻4中記載的手法。
因為距離圖像係由一個色成分(component)所構成，因此可視為是灰階圖像(gray scale image)。而且，因為被攝體在實際空間中為連續地存在，不能瞬間移動到分離開來的位置，所以距離圖像可說是與圖像訊號一樣具有空間的相關性及時間的相關性。因此，可藉由通常之將圖像訊號或影像訊號予以編碼時所採用的圖像編碼方式或動態影像編碼方式，來將距離的靜態圖像或距離的動態影像的空間冗餘性及時間冗餘性去除掉而有效率地進行編碼。實際上，MPEG-C Part. 3就是採用已有的動態影像編碼方式來進行編碼。
在此，針對習知的一般的影像訊號的編碼方式進行說明。
一般而言，被攝體在實際空間中具有空間及時間的連續性，所以其觀看方式在空間上及時間上具有很高的相關性。影像訊號之編碼，係利用如此之相關性來達成高編碼效率。
具體而言，係從已編碼完成的影像訊號來預測編碼對象區塊(block)的影像訊號，然後藉由只對其預測殘差進行編碼，來減少進行編碼所必需的資訊的量，以達成高編碼效率。
代表性的影像訊號的預測的手法，有：從鄰接的區塊來做空間性的預測而生成預測訊號之圖框內預測、從在不同時刻拍攝到的已編碼圖框(frame)來推估被攝體的移動而做時間性的預測而生成預測訊號之移動補償預測。
另外，稱為預測殘差訊號之預測的誤差也是，為了利用空間的相關及人的視覺特性，而利用DCT(離散餘弦變換)等將預測殘差訊號變換為在頻率空間中之資料，且使殘差訊號的能量集中在低頻區域，藉此來進行有效率的編碼。
各手法的詳細內容請參照動態影像編碼國際標準規格之MPEG-2或H.264/MPEG-4 AVC(非專利文獻5)。
(先前技術文獻) 〔非專利文獻〕
(非專利文獻1) C. Fehn, P. Kauff, M. Op de Beeck, F. Emst, W. IJsselsteijn, M. Pollefeys, L. Van Gool, E. Ofek and I. Sexton, “An Evolutionary and Optimised Approach on 3D-TV”,Proceedings of International Broadcast Conference,pp. 357-365,Amsterdam,The Netherlands,September 2002.
(非專利文獻2)W.H.A. Bruls,C. Varekamp,R. Klein Gunnewiek,B. Barenbrug and A. Bourge,“Enabling Introduction of Stereoscopic(3D)Video: Formats and Compression Standards”,Proceedings of IEEE International Conference on Image Processing,pp. I-89-I-92,San Antonio,USA,September 2007.
(非專利文獻3)A. Smolic,K. Mueller,P. Merkle,N. Atzpadin,C. Fehn,M. Mueller,O. Schreer,R. Tanger,P. Kauff and T. Wiegand,“Multi-view video plus depth(MVD)format for advanced 3D video systems”,Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q. 6,Doc. JVT-W100,San Jose,USA,April 2007.
(非專利文獻4)C. L. Zitnick,S. B. Kang,M. Uyttendaele,S. A. J. Winder,and R. Szeliski,“High-quality Video View Interpolation Using a Layered Representation”,ACM Transactions on Graphics,vol. 23,no. 3,pp. 600-608,August 2004.
(非專利文獻5)Recommendation ITU-T H. 264,“Advanced video coding for generic audiovisual srvices”,March 2009.
被攝體因為在實際空間中為連續的所以具有很高的空間相關性，而且因為不可能瞬間移動到分離開來的位置所以具有很高的時間相關性。因此，藉由採用既有的利用空間相關性及時間相關性之動態影像編碼方式，就可有效率地將表示成灰階圖像之距離圖像予以編碼。
然而，距離資訊在被攝體內部很少變化，在被攝體間則有非常大的不同，所以空間的或時間的預測的結果，會為：可達成正確的預測使得預測殘差非常小、或是完全無法有效地預測導致預測殘差變得非常大之任一者。換言之，會有很強的邊緣(edge)在預測殘差訊號中生成。如此之很強的邊緣經利用DCT等將之變換為在頻率空間中之資料，就無法使殘差訊號的能量集中在低頻區域，而會產生很多的高頻成分。結果，就無法有效率地將殘差訊號予以編碼。
第30圖中顯示某一個距離圖像之9×9像素的區塊之一例。此區塊中有兩個被攝體存在，一個被攝體的像素值在50前後，另一個被攝體的像素值則在200前後。
空間性的預測，係利用此區塊的第一行及第一列之資訊來預測其餘的8×8像素。預測的方法有很多種，此處顯示的是H. 264中採用的代表性的兩個預測方法，亦即水平預測及垂直預測這兩個方法之例。
如圖中右側所示，預測殘差中大致的區分只存在有-150前後、0前後、150前後這三種類的值，亦即產生了相當大的邊緣。
第31A、31B圖中顯示對於第30圖所示的預測殘差施加8×8之二維DCT後的結果。直流(DC)成分係在圖的最內側，距離內側越遠表示越高頻。
如圖所清楚顯示的：不論是哪一種情況，都在多數高頻區域產生很大的訊號，由此可知殘差訊號的縮小(compact)化並不成功。
雖然亦可不進行預測而只利用DCT等的變換來進行編碼，但並無法去除掉與別的區塊之空間相關性，而會導致編碼效率之更加惡化。
再者，雖然亦可不進行DCT等的變換而進行編碼，但在此情況便無法利用區塊內的局部的相關性，而無法達成有效率的編碼。
另外，一般認為高頻區域的成分並不會對於主觀品質產生很大的影響，所以就算是如上述之訊號，對於高頻區域的成分施加很大的量化等，也可能使碼量減少。不過，若將如同此例之有很強邊緣之部份的高頻成分予以量化，就會在邊緣的周邊發生稱為蚊狀雜訊(mosquito noise)之失真，使圖像的品質顯著降低。
本發明係鑑於以上的現況而完成者，其目的在提供有效率地將距離圖像之類的其像素值與物體(object)大幅相依之圖像予以編碼之圖像編碼技術、以及將經過編碼的位元流(bit stream)予以解碼之圖像解碼技術。
本發明係為了解決上述課題，而在傳送或儲存圖像之際，在將圖像圖框(frame)分割為預定大小的處理區域(以下，亦將之稱為區塊(block))，然後針對各區塊一邊預測各像素的像素值一邊進行編碼之圖像編碼中，假設區塊內存在固定數目的被攝體或假設各區塊存在可變數目的被攝體，且以「代表各被攝體之像素值(以下，將之稱為被攝體像素值)」、「各像素的被攝體識別資訊」之資訊來表現各區塊的圖像。
亦即，給區塊內的一個像素分配一個表示是哪一個被攝體之被攝體識別資訊，且使一個被攝體像素值對應於一個被攝體識別資訊。
因為按照此資訊來分配最類似的值給各像素，所以可產生仍然保持有複雜的邊緣形狀之預測圖像。而且，因為將區塊內包含的被攝體的數目限定在至多數個，所以其資訊的量係受到限制。
尤其，本發明係利用與編碼對象區塊周邊的已編碼完成的像素相對應之圖像訊號來預測編碼對象區塊的被攝體數或被攝體像素值、或者該兩者。如此，利用與已編碼完成的像素相對應之圖像訊號來進行預測，就可在解碼側共有與編碼側相同的資訊，而可削減用於預測圖像的生成中之附加資訊的碼量。
此處所謂的被攝體，並非表示被拍攝的各個物體或人物本身，而是要接受資訊的賦與之對象，為例如具有類似的圖像訊號(亮度、色彩、深度等)之區域。換言之，就算是單一物體，若因為場所不同而具有不同的顏色時，也將之視為複數個被攝體。
而且，並不將不須進行圖像訊號的編碼之物體或物體的一部份視為被攝體。亦即，被攝體與圖框內之實際物體(被攝體)並無關係，並不接受資訊的賦與之實際物體，並非本發明中所謂的“被攝體”。此外，在賦與一個實際物體兩個資訊之情況，係將之當作是兩個不同的被攝體來加以處理。
接著說明在本發明及其實施形態的說明中使用的用語。以下，代表性地將處理區域當作是區塊來進行說明。
「被攝體數」：被攝體數係存在於區塊內之“被攝體”的數目，係要賦與資訊給它之對象的個數。被攝體數可藉由解析區塊內的像素值來生成。
例如，可利用像素值及位置等資訊來使區塊內的像素分群(clustering)，然後將各群集(cluster)的評估值(例如像素值之分散度)在一定值以下之群集數的最大值設定為被攝體數。另外，亦可根據經驗等而從外部來給定被攝體數，或者使用預定的值來作為被攝體數。
此被攝體數，係為了表現作為附加資訊之一之被攝體像素值的個數而使用者。另外，也係為了表現在被攝體圖(map)中登場的被攝體識別子的最大值而使用者。
「被攝體像素值」：被攝體像素值係針對各個“被攝體”分別定義出一個之值，係代表該“被攝體”之像素值。作為像素值者，可使用亮度值、色差值、R值等。此外，亦有使用RGB值等之複數個色成分值的集合來作為像素值者。
被攝體像素值，係藉由解析區塊內的像素值來生成。具體而言，係利用像素值及位置等資訊來使區塊內的像素分成一個個“被攝體數”的群集，然後針對各群集，計算其中所含的像素的像素值的平均值或中央值而得到者。
對於區塊內的各像素，將與該像素之“被攝體”對應之被攝體像素值分配給各像素，以利用被攝體像素值來產生該區塊的預測圖像。
「被攝體圖(map)」：被攝體圖係表示區塊內的各像素上存在的是哪個“被攝體”者。具體而言，係以用來讓各像素與“被攝體”(被攝體像素值)相對應之被攝體識別子來加以表現者。最單純的表現方式可將之表現成二維資訊，但亦可用樹狀結構(tree structure)來加以表現。被攝體圖，係藉由對區塊內的各像素，將與最接近該像素的像素值之被攝體像素值相對應之被攝體識別子分配給該像素來生成。
此外，亦有：不僅基於像素值和被攝體像素值之類似度，也鑒於在被攝體圖本身的表現上所必需的位元數來生成被攝體圖之作法。被攝體圖係在生成預測圖像之際，為了表示應將哪個被攝體像素值分配給區塊內的各像素而使用者。
「附加資訊」：本發明中將進行處理對象圖框的圖像(影像)訊號之預測所需用到的資訊稱為附加資訊。附加資訊係以進行處理之區塊單位為單位而生成。附加資訊基本上係由被攝體數、被攝體像素值、被攝體圖這三個資訊所構成。
「預測附加資訊」：預測附加資訊係為附加資訊的預測值。具體而言，預測附加資訊係由被攝體數的預測值及被攝體像素值的預測值所構成。
被攝體數的預測值，可藉由解析與處理區塊周邊的已處理完成的像素群相對應之像素值來生成。例如，可利用像素值及位置等之資訊來使處理區塊周邊的已處理完成的像素群的像素分群，然後將各群集的評估值(例如像素值的分散度)在一定值以下之群集數的最小值設為被攝體數的預測值。
被攝體像素值的預測值，係藉由解析與處理區塊周邊的已處理完成的像素群相對應之像素值來生成。具體而言，可利用像素值及位置等之資訊來使處理區塊周邊的已處理完成的像素群的像素分成一個個「被攝體數」的群集，然後針對各群集，計算其中所含的像素的像素值的平均值或中央值，並將計算得到的值用作為被攝體像素值的預測值。
此外，亦有使處理區塊周邊的已處理完成的像素群的像素分成與「被攝體數的預測值」相同數目的群集，然後針對各群集，計算其中所含的像素的像素值的平均值或中央值，並將計算得到的值用作為被攝體像素值的預測值之方法。
另外，還有使用以下述方式生成的值來作為被攝體像素值的預測值之方法，亦即利用將以如上述的方法算出的值依序排列然後將分配到比其序號還要小的號碼的被攝體識別子之被攝體像素值的值、以及以上述方法得到的值來生成之值。
預測附加資訊，係用作為進行附加資訊的編碼/解碼之際之預測值。換言之，在將被攝體圖以外的附加資訊予以編碼之際，計算出附加資訊內的值與預測附加資訊內的值之差分，然後將該差分值予以編碼。
在將被攝體圖以外的附加資訊予以解碼之際，則是將從編碼資料(coded data)解碼得到的值加上預測附加資訊內的值，藉此來生成附加資訊之值。
此外，亦有不將一部份或全部的差分值予以編碼，而直接將預測附加資訊的值用作為附加資訊的值之方法。
本發明之圖像編碼，典型的係進行以下的處理。
(1)將存在於處理對象區塊內之被攝體的數目設定作為被攝體數。此被攝體數之設定，有設定為預定的被攝體數之情況、解析區塊內的像素值而進行設定之情況、以及設定為從區塊周邊的已編碼的圖像資訊預測得到的被攝體數之情況。
(2)假設區塊內只有被攝體數之被攝體存在，而針對各被攝體，使一個像素值與用來識別被攝體之被攝體識別子相對應並將之設定為被攝體像素值。此被攝體像素值之設定，有解析區塊內的像素值而進行設定之情況、以及從區塊周邊的已編碼的圖像資訊來預測而設定被攝體像素值之情況。
(3)從區塊內的各像素的像素值與被攝體像素值，來產生以被攝體識別子表示區塊內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖。
(4)按照被攝體圖來將被攝體像素值的值分配給各像素，藉此來產生與該區塊相對應的預測圖像。
(5)將被攝體圖予以編碼。
(6)使用預測圖像來進行與該區塊相對應的圖像訊號之預測編碼。
(7)關於被攝體數，有加以編碼之情況、以及不加以編碼之情況。
在上述(1)之設定被攝體數的步驟中，在設定為預定的被攝體數之情況、以及設定為從區塊周邊的已編碼的圖像資訊預測得出的被攝體數之情況，因為在解碼側可從已解碼的圖像資訊得到相同的資訊，所以不將被攝體數予以編碼。至於被攝體數係解析區塊內的像素值而設定出來之情況，則為了使被攝體數的碼量減少，而對被攝體數進行預測編碼。亦即，將實際的被攝體數、與從區塊周邊的已編碼的圖像資訊預測得出的被攝體數之差分值予以編碼。
(8)關於被攝體像素值也一樣，有加以編碼之情況、以及不加以編碼之情況。
在上述(2)之設定被攝體像素值的步驟中，在設定為從區塊周邊的已編碼的圖像資訊預測得出的被攝體像素值之情況，因為在解碼側可從已解碼的圖像資訊得到相同的資訊，所以不將被攝體像素值予以編碼。至於被攝體像素值係解析區塊內的像素值而設定出來之情況，則為了使被攝體像素值的碼量減少，而對被攝體像素值進行預測編碼。亦即，將預測圖像的生成中所使用的被攝體像素值、與從區塊周邊的已編碼的圖像資訊預測得出的被攝體像素值之差分值予以編碼。另外，在例如被攝體像素值以遞升順序排列之情況，亦可只對從前一個被攝體像素值增加的部份之資訊進行編碼。
(9)將以上的被攝體圖的編碼資料、圖像訊號的編碼資料、及對被攝體數進行了編碼之情況之被攝體數的編碼資料、以及對被攝體像素值進行了編碼之情況之被攝體像素值的編碼資料，予以多工(multiplexing)然後加以輸出。
如以上所述，本發明為了產生預測圖像，係使用了本質為被攝體的代表性的像素值之被攝體像素值、以及就各個像素表示究竟是使用哪一個被攝體像素值來產生預測圖像之被攝體圖這兩個附加資訊。此兩個附加資訊係依據被攝體數而決定。
與在預測圖像之產生中使用稱為「預測方向」的資訊之先前技術相比較，本發明雖然會使附加資訊的碼量增加，但藉由產生正確的預測圖像，可使預測殘差的編碼所需的碼量大幅減少，整體而言可削減每個區塊所需的碼量。
此外，在附加資訊方面也可藉由預測而削減碼量。亦即，即使在隨著區塊之不同所攝的被攝體的數目也不同之圖像中，也可藉由使用預測被攝體數來削減在表現被攝體數上所需的碼量。
所謂的隨著區塊之不同所攝的被攝體的數目也不同之情況，可設想為以下的兩種情況：某一被攝體存在於鄰接區域，但不存在於現在的區塊之情況；以及某一被攝體不存在於鄰接區域，而存在於現在的區塊之情況。換言之，可說成：現在的區塊的被攝體數，以鄰接區域的被攝體的數目為基準而增加或減少。
因此，在對現在的區塊的被攝體數進行編碼時，不用直接將被攝體數予以編碼，可藉由將「被攝體數的增減」之資訊予以編碼來削減必需的碼量。
而且，即使在所攝的被攝體的種類(色彩等)會隨著區塊之不同而變化之圖像中，也可藉由使用預測被攝體像素值來削減在表現用來代表各被攝體之被攝體像素值上所需的碼量。
所謂的所攝的被攝體的色彩會隨著區塊之不同而變化之情況，可設想為以下的兩種情況：(a)雖為與鄰接區域相同的被攝體，但照明效果不同之情況；以及(b)被攝體並不存在於鄰接區域中之情況。
(a)之照明效果之情況，因為為相同被攝體的色彩，所以其色彩之差異可說是以鄰接區域之被攝體的色彩為基準而變化者。因此，在對現在的區塊的被攝體像素值進行編碼時，不用直接將被攝體像素值予以編碼，可藉由將「被攝體像素值的變化」之資訊予以編碼來削減必需的碼量。
(b)之新的被攝體之情況，雖然因為該被攝體並不存在於鄰接區域中而不能說「預測被攝體像素值」為有效的預測，但在對於以遞升順序排列的方式對被攝體像素值進行編碼之情況，不用直接對被攝體像素值進行編碼，可只對從前一個經編碼的被攝體像素值增加的部份之資訊進行編碼來削減必需的碼量。
本發明之圖像解碼，典型的係進行以下的處理。
(1)將存在於處理對象區塊內之被攝體的數目設定作為被攝體數。此被攝體數之設定，有設定為預定的被攝體數之情況、設定為從區塊周邊的已解碼的圖像資訊預測得出的被攝體數之情況、以及設定為將編碼資料予以解碼而得到的被攝體數之情況。在從編碼資料將被攝體數解碼出來之情況，係使用從區塊周邊的已解碼的圖像資訊預測出來的被攝體數來進行解碼。
(2)設定與各被攝體識別子相對應之被攝體像素值。此被攝體像素值之設定，有設定為從區塊周邊的已解碼的圖像資訊預測得出的被攝體像素值之情況、以及設定為將編碼資料予以解碼而得到的被攝體像素值之情況。在從編碼資料將被攝體像素值解碼之情況，係使用從區塊周邊的已解碼的圖像資訊預測出來的被攝體像素值或才剛解碼出來的被攝體像素值來進行解碼。
(3)從編碼資料將被攝體圖解碼出來。
(4)按照被攝體圖來將被攝體像素值的值分配給各像素，藉此來產生與該區塊相對應的預測圖像。
(5)使用預測圖像來從編碼資料將與該區塊相對應的圖像訊號解碼出來。
如此，就可將經上述圖像編碼加以編碼過的圖像予以解碼。
依據本發明，在對於距離圖像之類的其像素值與被攝體大幅相依，且局部只存在有限數目的被攝體這樣的圖像，將圖像全體予以分割而對各個區域以不同的方法進行圖像訊號的預測而進行圖像的預測編碼之情況，利用被攝體之存在的空間的連續性，來預測被攝體數及各被攝體的代表性的像素值。藉此，就可削減使用到各被攝體的代表像素值及被攝體識別資訊之圖像訊號預測所必要的附加資訊之表現上必需的碼量，而實現有效率的圖像編碼。
本發明係在將圖像全體予以分割然後針對各個區域以不同的方法一邊預測圖像訊號一邊進行圖像的預測編碼之情況，利用被攝體(object)之存在的空間的連續性，而使用處理區域的周邊之已處理完成的區域的解碼像素值來預測被攝體數及各被攝體的代表性的像素值。
藉此，就可減少：使用代表處理區域內的各被攝體之像素值、及用來識別處理區域內的各像素的被攝體之資訊來進行應付任意的被攝體形狀之高精度的圖像訊號預測之際必要的「處理區域內的被攝體數」及「代表處理區域內的各被攝體之像素值」之編碼所需的碼量，實現有效率的圖像編碼。
此外，藉由使用在編碼側及解碼側為相同的資訊之已處理完成的周邊區域中之像素的解碼像素值，就如H. 264一般，即使在針對各個區域從多數個圖像訊號預測模式之中選擇一個而進行編碼之情況，也可適切地進行預測。
以下，參照圖式來說明本發明之一實施形態。
[第一實施形態：圖像編碼裝置]
首先，針對第一實施形態進行說明。
第1圖係顯示本發明第一實施形態之圖像編碼裝置的構成例之方塊圖。
如第1圖所示，圖像編碼裝置100係具備有：編碼對象圖框(frame)輸入部101、編碼對象圖框記憶體102、被攝體數設定部103、被攝體像素值設定部104、被攝體圖產生部105、被攝體圖編碼部106、預測圖像產生部107、圖像訊號編碼部108、圖像訊號解碼部109、解碼圖像記憶體110、以及多工部(multiplexing part)111。
編碼對象圖框輸入部101係將作為編碼對象之圖像圖框予以輸入。
編碼對象圖框記憶體102將輸進來的編碼對象圖框儲存起來。
被攝體數設定部103係用來設定在預定大小的處理區域中包含的被攝體數。
被攝體像素值設定部104係假設處理區域中有給定數目的被攝體存在，而使用處理區域的周邊的解碼圖像來針對各被攝體設定出代表被攝體之像素值。在此，將針對處理區域的各被攝體而產生之代表被攝體之像素值稱為被攝體像素值。
被攝體圖產生部105係產生出使得用來識別處理區域內的各像素上拍攝的被攝體之資訊表現於圖中而作成的被攝體圖。
被攝體圖編碼部106係將被攝體圖予以編碼。
預測圖像產生部107係從針對處理區域而產生的被攝體像素值及被攝體圖，來產生對應於處理區域之預測圖像。
圖像訊號編碼部108係針對各處理區域使用預測圖像來將編碼對象圖框的圖像訊號予以編碼。
圖像訊號解碼部109係針對各處理區域使用預測圖像來將編碼對象圖框的圖像訊號的編碼資料予以解碼。
解碼圖像記憶體110將解碼出來的圖像訊號儲存起來。
多工部111係將被攝體圖的編碼資料、及編碼對象圖框的圖像訊號的編碼資料予以多工然後加以輸出。
第2圖係用來說明第一實施形態之圖像編碼裝置100的動作之流程圖。以下，依照此流程圖來詳細說明圖像編碼裝置100所進行的處理。
首先，透過編碼對象圖框輸入部101將編碼對象圖框予以輸入，並將之儲存至編碼對象圖框記憶體102(步驟S101)。
編碼對象圖框之儲存完成後，就將編碼對象圖框予以分割，然後針對各個分割出來的區域將編碼對象圖框的圖像訊號予以編碼(步驟S102至S112)。
亦即，以blk來表示編碼對象區塊指標，以numBlks來表示總編碼對象區塊數的話，係先將blk設為0而加以初始化(步驟S102)，然後在逐次使blk加1(步驟S111)直到blk變為numBlks為止(步驟S112)的過程中，重複進行以下之處理(步驟S103至S110)。
重複對各編碼對象區塊進行之處理，係首先在被攝體數設定部103，使用解碼圖像記憶體110中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來設定出區塊blk中所包含的被攝體的數目numObjs(步驟S103)。
在此，將解碼圖像記憶體110中儲存之區塊blk的周邊像素的集合稱為第一參考像素。關於此第一參考像素的選擇方法以及從與第一參考像素相對應的像素值來設定被攝體數numObjs之方法，只要進行的是與解碼側相同的處理即可，可使用任何方法。
第一參考像素的選擇方法，可為例如：選取存在有預定的位置關係之像素群之方法；或者將選擇的資訊(亦即表示以圖框、區塊群等為單位進行選取的方法之資訊)加以編碼後傳送到解碼側之方法。
被攝體數numObjs之決定方法，則有例如：對於參考像素施用k-means法或Affinity Propagation等之分群演算(clustering)手法，然後將各群集內的像素值分散度在預先就全部的群集而決定的值以下之分群結果之中，最小的群集數設定作為numObjs之方法。至於分群演算法中所用的尺度，則可只使用像素值，或使用由像素值及像素位置所構成之值。
第3A、3B圖中顯示設定被攝體數之處理(第2圖中之步驟S103)的詳細的流程圖。
設定被攝體數之處理係如第3A圖所示，首先設定出解碼圖像記憶體110中儲存之區塊blk的周邊像素的集合，亦即第一參考像素(步驟S1031)。
然後，解析第一參考像素中包含的像素之資訊(位置及像素值)來決定出被攝體數(步驟S1032)。
此步驟S1032的詳細的流程的一個例子係顯示於第3B圖中。
首先，先將被攝體數numObjs設為1而加以初始化(步驟S10321)，然後將第一參考像素中包含的像素群分割為numObjs個群集(步驟S10322)，並針對各個群集計算出群集內的像素的像素值的分散值var，且將其最大值設定為maxVar(步驟S10323至S10328)。
若maxVar比預定的閾值th小(步驟S10329)，則將現在的numObjs採用作為被攝體數，然後結束處理。
若為相反的情況，則將numObjs加1(步驟S10330)，再度回到分群處理(步驟S10322)重複進行同樣的處理。
此外，亦可不使用第一參考像素而一直將被攝體數設定為相同的值。
而且，在被攝體數很多之情況，後述之被攝體圖的碼量會變大而無法實現有效率的編碼，所以可另外設定被攝體數的最大值，並在不超過該最大值的範圍內進行被攝體數之設定。
被攝體數的設定完成後，就接著在被攝體像素值設定部104，使用解碼圖像記憶體110中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來針對區塊blk內的各個被攝體設定出代表被攝體之像素值(步驟S104)。
以下，將此代表被攝體之像素值稱為被攝體像素值，並將之表示成Value(i)。其中，i係用來識別被攝體之被攝體識別子，係為0以上但不超過numObjs之整數。被攝體識別子係按照預定的規則來分配。此處，係設為被攝體像素值依遞升之順序來分配被攝體識別子。
另外，將此處使用之解碼圖像記憶體110中儲存之區塊blk的周邊像素的集合稱為第二參考像素。關於此第二參考像素的選擇方法以及使用與第二參考像素相對應的像素值來決定出被攝體像素值之方法，只要進行的是與解碼側相同的處理即可，可使用任何方法。
第二參考像素的選擇方法，可為例如：選取存在於預定的位置關係之像素群之方法；或者將選擇的資訊(亦即表示以圖框、區塊群等為單位進行選取的方法之資訊)加以編碼後傳送到解碼側之方法。而且，可為與第一參考像素相同之方法，亦可為與第一參考像素不同之方法。
設定代表各被攝體之被攝體像素值之方法，則有例如：對於第二參考像素施用如前述之分群演算手法，將之分割成numObjs個群集，然後將各群集中包含的像素的像素值的平均值或中央值設定作為被攝體像素值之方法。
在第一參考像素及第二參考像素相同，且在設定被攝體數之際係使用分群演算法之情況，可與被攝體數之設定同時而進行被攝體像素值之設定。
第4A、4B圖中顯示設定被攝體像素值之處理(第2圖中之步驟S104)的詳細的流程圖。
如第4A圖所示，設定被攝體像素值之處理係首先設定出解碼圖像記憶體110中儲存之區塊blk的周邊像素的集合，亦即第二參考像素(步驟S1041)。
然後，解析第二參考像素中包含的像素之資訊(位置及像素值)來決定出numObjs個被攝體像素值Value(i)(步驟S1042)。
此步驟S1042的詳細的流程的一個例子係顯示於第4B圖中。
首先，先將第二參考像素中包含的像素群分割為numObjs個群集(步驟S10421)。其中，可使用像素位置及像素值來作為分群動作中所使用的資訊。
分群動作完成後，就針對各個群集，求出該群集中包含的像素群的像素值的平均值或中央值(步驟S10422至S10425)。
然後，以預定的順序(此處為遞升順序)將得到的值予以排序，並將之表示成Value(i)(步驟S10426)。
除了以上的方法，還有：以numObjs個以下的群集數，且群集內的像素值分散值的最大值會比另外設定的閾值小之最小的群集數來進行分割，然後將各個群集的平均值或中央值設定為被攝體像素值，不足num0bjs個的部份則是適當地設定其被攝體像素值之方法。
例如，在第一參考像素與第二參考像素不相同之情況，使用第一參考像素而求出的num0bjs，有可能並不是在分割第二參考像素上最適當的群集數。因此，針對這樣的第二參考像素，再度求出最適當的群集，就可設定更適切的被攝體像素值。
另外，就例如num0bjs為2的情況之計算量很輕之被攝體像素值的決定方法而言，可求出第二參考像素的所有像素的像素值的平均值，然後將具有比該平均值小的像素值之第二參考像素的平均值或中央值、以及具有在該平均值以上的像素值之第二參考像素的平均值或中央值設為被攝體像素值。
得到了被攝體像素值後，就接著在被攝體圖產生部105針對區塊blk來產生被攝體圖(步驟S105)。
此處，所謂的被攝體圖，係指給區塊blk的各像素分配被攝體識別子而作成之圖，係為例如第5圖所示之二維資訊。
給各像素分配被攝體識別子之方法，有：對於各像素，將具有最接近該像素的像素值之被攝體像素值之被攝體識別子分配給該像素之方法。
除了上述之方法，還有：對於區塊blk內的像素，進行如前述之分群動作，且決定出代表各群集之像素值，然後將具有最接近該群集的該像素值之被攝體像素值之被攝體識別子設定給屬於該群集的所有像素之方法。此時，群集數可等於numObjs，亦可在numObjs以下，或設為任意的數來求出最適當的群集。
另外還有以下之方法：產生複數個被攝體圖候補，然後針對各個被攝體圖候補，計算出以使用該被攝體圖候補進行編碼之際之碼量及失真量的加權和(weighted sum)而求得之碼率-失真成本(rate-distortion cost)，然後將碼率-失真成本之值最小的那個被攝體圖候補設定作為被攝體圖。
可令有可能性之所有被攝體圖都作為被攝體圖候補，亦可只令限定的幾個有特徵的被攝體圖來作為被攝體圖候補。
有特徵的被攝體圖係為：對於各像素，分配給具有最接近該像素的像素值之被攝體像素值的被攝體識別子而產生之被攝體圖、所有的像素都分配到相同的被攝體識別子之被攝體圖、水平或垂直分割為二之被攝體圖等。
接著，在被攝體圖編碼部106將產生的被攝體圖予以編碼(步驟S106)。
採用什麼方法來進行編碼皆可。例如，可依據被攝體數來分配固定長度或可變長度的碼給各被攝體識別子，然後利用逐線掃描(raster scan)或Z字形掃描(zigzag scan)等將二維的圖資訊(map information)變換為一維的二進制資料(binary data)，以此方式來進行編碼。
除了上述之方法，還有：在以預定的順序掃描而進行與區塊blk內的各像素相對應之被攝體識別子的編碼之際，將對應於各像素而言在其周圍的已編碼完成的像素群設定為第三參考像素，然後依據與該第三參考像素相對應之被攝體識別子，使機率表(probability table)變化而進行算術編碼(arithmetic coding)之方法。
利用與編碼對象像素的位置關係來決定將成為第三參考像素之像素群的情況，有：在對應位置之像素在圖框外，或不使用被攝體圖改以H. 264之圖框內預測(intra prediction)等來進行預測編碼之情形。
對於這樣的像素可將預定的被攝體識別子分配給它，或將表示不明的標籤分配給它再另外定義機率表。
例如，被攝體數為2之際，針對如第6A圖所示之編碼對象像素x，將三個像素a,b,c定義為第三參考像素，且也使用表示不明的標籤(第6B圖中之N)之情況，係如第6B圖所示，使用全部共27種之機率表來進行編碼。
此機率表只要是可在解碼側得到相同的即可，可為固定的，亦可為隨著到那時為止之編碼履歷而進行更新之可變的機率表。
一般而言，相同的被攝體會連續地出現，因此如上所述利用(依周邊像素而定)周邊的狀況，就可更高精度地表現編碼對象符號(symbol)的發生機率，而可提高算術編碼的編碼效率。
在上述的例子中雖然是將鄰接的三個像素作為第三參考像素來設定，但使用更多的周邊像素的資訊，就可更高精度地預測發生機率。
另外，還有：先將被攝體圖變換為樹狀結構的資訊後才進行編碼之方法。具體而言，係使用：以區塊blk作為根部(root)，然後使分割親節點(根部)之區塊而成的複數個子區塊(sub-block)與各節點的子節點相對應而形成的樹狀結構。使用如此之樹狀結構，就可效率良好地表現成批存在的單一被攝體的像素集合，而可提高編碼效率。
樹狀結構可使用任意定義的樹狀結構。
例如，可在各節點附加上表示與該節點對應之區塊內的所有像素的被攝體識別子是否都相同之二進制資訊，然後在被攝體識別子都相同之情況將具有該被攝體識別子的編號之葉子(leaf)定義成子節點，在被攝體識別子並不完全相同之情況將與分割自身的區塊為四而生成的子區塊相對應之四個節點定義成子節點來產生樹狀結構之資訊。
另外，在對應的區塊為一個像素之情況，可將表示所有像素的被攝體識別子是否都相同之二進制資訊的節點予以省略。
對於第5圖之被攝體圖施用以上的方法所作成之樹狀結構係顯示於第7圖中。
第7圖中，附加至各節點之二進制資訊，在與該節點對應之區塊內的所有像素的被攝體識別子都相同之情況係為「1」，在被攝體識別子並非都相同之情況則為「0」。
還有另外一種定義方式，係為：對於各節點，在與該節點對應之區塊內的所有像素的被攝體識別子都相同之情況以該被攝體識別子的編號加上1後的數作為二進制資訊附加至該節點，在被攝體識別子並非都相同之情況則以0作為二進制資訊附加至該節點，且只對於附加了資訊0之節點，將與分割該區塊為四而生成的子區塊相對應之四個節點定義成子節點之方法。
對於第5圖之被攝體圖施用此方法所作成之樹狀結構係顯示於第8圖中。
在對產生出的樹進行編碼之際，係以深度優先搜尋方式、或寬度優先搜尋方式進行樹的掃描，並依掃描順序將各節點所具有的資訊予以編碼。
深度優先搜尋，係從作為搜尋對象之樹的最初的節點開始，朝深度方向前進，一直到找到目標節點或前進到沒有子節點之節點為止，然後回到最靠近之搜尋尚未結束的節點再重複上述動作之搜尋。
另一方面，寬度優先搜尋，係依照從深度較淺之點(從頂點開始要搜尋的節點的數目較少之點)開始依序，以及從位於左側之頂點開始依序之規則進行之搜尋。
此外，亦可分為葉子及葉子以外而分別進行編碼。
以深度優先搜尋方式對於第7圖之樹進行掃描所得到的數列，係為01001000222110221201011000011111。
若將其分為葉子及葉子以外而進行掃描，則葉子部份為0002221221201000111，葉子以外部份為0101010011011。
以深度優先搜尋方式對於第8圖之樹進行掃描所得到的數列，係為0101013332033230120111222。
數列可直接二值化而成為數碼資料，亦可依據鄰接像素之被攝體識別子的狀況而一邊變換機率表一邊進行算術編碼。
例如，在進行第7圖之葉子以外部份的編碼之情況，有：調查與各節點對應之區塊的鄰接像素的被攝體識別子，然後依據與像素數最多的被攝體識別子相對應之像素的數目來變換機率表之方法。
另外，在進行第7圖之葉子部份的編碼之情況，則有：依據與各節點對應之區塊的鄰接像素的被攝體識別子的狀況來變換機率表之方法。
機率表只要是可在解碼側得到相同的即可，可為固定的，亦可為隨著到那時為止之編碼履歷而進行更新之可變的機率表。
被攝體圖的編碼完成後，就接著在預測圖像產生部107使用被攝體圖及被攝體像素值來產生對應於區塊blk之預測圖像(步驟S107)。
具體而言，係將與從被攝體圖得到之被攝體識別子對應之被攝體像素值分配給各像素，藉此來產生預測圖像。
此外，亦可再對於如上述般作成的預測圖像施加抖色處理(dither)。
使用被攝體圖及被攝體像素值而產生的預測圖像，因為只有與被攝體數相同數目的像素值存在，所以為具有與自然畫不同性質之圖像。因此，可藉由施加抖色處理(將存在的像素值予以組合，然後在全體的圖像中表現出中間的像素值之處理)來給予預測圖像接近自然畫之變化。
抖色之產生可採用任意的方法，但必須採用能在解碼側也產生相同結果者。因此在必須要有附加資訊之情況，也必須將該附加資訊予以編碼。
得到預測圖像後，就在圖像訊號編碼部108對於與區塊blk相對應之圖像訊號進行預測編碼(步驟S108)。
此編碼可採用任何方法。在MPEG-2或H. 264/AVC等之一般的編碼方法中，係對於區塊blk之圖像訊號與預測圖像之差分訊號依序實施DCT等之頻率變換、量化、二值化、熵(entropy)編碼而進行編碼。
接著，在圖像訊號解碼部109使用編碼結果得到的編碼資料及預測圖像，來將與區塊blk相對應之圖像訊號予以解碼出來，並將解碼結果儲存至解碼圖像記憶體110(步驟S109)。
此處，係採用與編碼時所用的方法對應之方法來進行編碼資料之解碼。例如，若編碼時採用的是MPEG-2或H. 264/AVC等之一般的編碼，則解碼時就是對於編碼資料依序實施熵解碼、逆二值化、逆量化、IDCT(Inverse Discrete Cosine Transform：逆離散餘弦變換)等之逆頻率變換，然後將得到的二維訊號加上預測訊號，最後在像素值的值域進行修剪(clipping)而得到圖像訊號。
解碼得到的圖像訊號，在進行其他的區塊的編碼之際，係使用來產生或預測被攝體數及被攝體像素值。
最後，在多工部111將被攝體圖之編碼資料、及圖像訊號之編碼資料予以多工然後加以輸出(步驟S110)。
此處係逐一就各個區塊進行多工，但亦可以圖框(frame)為單位來進行多工。不過，此情況在解碼側必須等到緩衝有一圖框份的編碼資料後才進行解碼。
在第一實施形態中，係分析區塊blk的周邊像素的像素值來設定被攝體數及被攝體像素值這兩者，但亦可分析區塊blk的周邊像素的像素值而只設定被攝體數及被攝體像素值的任何一方。
在此情況，未設定的一方的資訊，係藉由分析區塊blk的像素值來加以設定，然後將設定出的資訊予以編碼，再將該編碼資料與被攝體圖之編碼資料及圖像訊號之編碼資料一起多工然後輸出。
第9圖中顯示分析區塊blk的周邊像素的像素值而只設定被攝體數，以及將被攝體像素值予以編碼之情況之圖像編碼裝置的方塊圖。
第9圖中顯示的圖像編碼裝置100’與第1圖中顯示的圖像編碼裝置100的不同點在於：具有將被攝體像素值設定部104所設定的各被攝體的被攝體像素值予以編碼之被攝體像素值編碼部112，以及將經被攝體像素值編碼部112加以編碼而得到的被攝體像素值的編碼資料當作是附加資訊而在多工部111加以多工。其他的構成則與第1圖所示的圖像編碼裝置100一樣。
[第二實施形態：圖像編碼裝置]
接著，針對本發明第二實施形態進行說明。
第10圖係顯示本發明第二實施形態之圖像編碼裝置的構成例之方塊圖。
如第10圖所示，圖像編碼裝置200係具備有：編碼對象圖框輸入部201、編碼對象圖框記憶體202、被攝體數設定部203、被攝體像素值設定部204、被攝體圖產生部205、被攝體數預測部206、被攝體數編碼部207、被攝體圖編碼部208、被攝體像素值預測部209、被攝體像素值編碼部210、預測圖像產生部211、圖像訊號編碼部212、圖像訊號解碼部213、解碼圖像記憶體214、以及多工部215。
編碼對象圖框輸入部201係將作為編碼對象之圖像圖框予以輸入。
編碼對象圖框記憶體202將輸進來的編碼對象圖框儲存起來。
被攝體數設定部203係用來設定在預定大小的處理區域中包含的被攝體數。
被攝體像素值設定部204，係假設處理區域中有給定數目的被攝體存在，而使用與處理區域相對應之輸入圖框的像素值來針對各被攝體設定出代表被攝體之像素值。在此，將針對處理區域的各被攝體而產生之代表被攝體之像素值稱為被攝體像素值。
被攝體圖產生部205係產生出使得用來識別處理區域內的各像素上拍攝的被攝體之資訊表現於圖中而作成的被攝體圖。
被攝體數預測部206係用來設定處理區域中包含的被攝體數的預測值。在此，將此被攝體數的預測值稱為預測被攝體數。
被攝體數編碼部207係使用預測被攝體數來將被攝體數予以編碼。
被攝體圖編碼部208係將被攝體圖予以編碼。
被攝體像素值預測部209係假設處理區域中有給定數目的被攝體存在，而使用處理區域的周邊的解碼圖像來設定出被攝體像素值的預測值。在此，將此被攝體像素值的預測值稱為預測被攝體像素值。
被攝體像素值編碼部210係使用預測被攝體像素值來將被攝體像素值予以編碼。
預測圖像產生部211係從針對處理區域而產生的被攝體像素值及被攝體圖，來產生對應於處理區域之預測圖像。
圖像訊號編碼部212係針對各處理區域使用預測圖像來將編碼對象圖框的圖像訊號予以編碼。
圖像訊號解碼部213係針對各處理區域使用預測圖像來將編碼對象圖框的圖像訊號的編碼資料予以解碼。
解碼圖像記憶體214係將解碼出來的圖像訊號儲存起來。
多工部215係將被攝體數的編碼資料、被攝體圖的編碼資料、被攝體像素值的編碼資料、及編碼對象圖框的圖像訊號的編碼資料予以多工然後加以輸出。
第11圖係用來說明第二實施形態之圖像編碼裝置200的動作之流程圖。以下，依照此流程圖來詳細說明圖像編碼裝置200所進行的處理。
首先，透過編碼對象圖框輸入部201將編碼對象圖框予以輸入，並將之儲存至編碼對象圖框記憶體202(步驟S201)。
編碼對象圖框之儲存完成後，就將編碼對象圖框予以分割，然後針對各個分割出來的區域將編碼對象圖框的圖像訊號予以編碼(步驟S202至S216)。
亦即，以blk來表示編碼對象區塊指標，以numBlks來表示總編碼對象區塊數的話，係先將blk設為0而加以初始化(步驟S202)，然後在逐次使blk加1(步驟S215)直到blk變為numBlks為止(步驟S216)的過程中，重複進行以下之處理(步驟S203至S214)。
重複對各編碼對象區塊進行之處理，係首先在被攝體數設定部203設定出區塊blk中包含的被攝體的數目numObjs(步驟S203)。可採用任何處理來決定被攝體數。
例如，有根據編碼對象區塊的像素值來設定被攝體數之方法。
具體而言，有：對於編碼對象區塊的像素施用k-means法或Affinity Propagation等之分群演算(clustering)手法，然後將各群集內的像素值分散度在預定的值以下之 分群結果之中，最小的群集數設定作為被攝體數之方法。至於分群演算法中所用的尺度，則可只使用像素值，或使用由像素值及像素位置所構成之值。
另外，還有：針對各個被攝體數的候補，計算出以設定為該被攝體數來進行編碼時之碼量及失真量的加權和(weighted sum)而求得之碼率-失真成本(rate-distortion cost)，然後將該碼率-失真成本之值最小的那個被攝體數設定作為被攝體數之方法。
由於有被攝體數變大編碼效率就降低之情形，因此可預先設定被攝體數的最大值，來防止被攝體數超過一定值。
被攝體數的設定完成後，就接著在被攝體數預測部206，使用儲存在解碼圖像記憶體214中之與區塊blk的周邊像素群相對應之圖像訊號來產生區塊blk之預測被攝體數(步驟S204)。
以下，將此處使用的儲存在解碼圖像記憶體214中之區塊blk的周邊像素的集合稱為第一參考像素。
此處之處理，除了將求出的值設為預測被攝體數之外，係為與第一實施形態中之在步驟S103設定出被攝體數的處理相同，而且第一參考像素的選擇方法以及從與第一參考像素相對應的像素值來設定預測被攝體數之方法，只要進行的是與解碼側相同的處理即可，可使用任何方法。
求出預測被攝體數後，就在編碼部207使用預測被攝體數來進行被攝體數之預測編碼(步驟S205)。亦即，進行被攝體數與預測被攝體數的差分值之編碼。
此編碼可採用任何手法。例如，可預先準備碼表(code table)，而以將與差分值相當之字碼(code word)予以輸出之形式進行編碼。
一般而言，可將被攝體想成為具有某一程度的大小，且在空間中係連續地存在，所以可說某一區域中之被攝體數與周邊區域中的被攝體數有很高的相關性。因此，將周邊區域中的被攝體數設為預測值來進行某一區域中之被攝體數的編碼，就可用很少的碼量將被攝體數予以編碼。
而且，在如前述之準備有碼表之情況，將0附近之碼長度設定為很短就可實現利用到相關性之有效率的編碼。
接著，在被攝體像素值設定部204針對區塊blk內的各被攝體設定出代表被攝體之像素值(步驟S206)。
以下，將此代表被攝體之像素值稱為被攝體像素值，且將之表示成Value(i)。其中，i係用來識別被攝體之被攝體識別子，係為0以上但不超過numObjs之整數。被攝體識別子係按照預定的規則來分配。此處，係以被攝體像素值遞升之順序來分配被攝體識別子。
給各個被攝體設定一個像素值之方法，可採用任何方法。例如，使用如前述之分群演算手法將區塊blk的像素分割成numObjs個群集，然後將各群集中包含的像素的像素值的平均值或中央值設定作為被攝體像素值之方法。
設定被攝體數之際，在將區塊blk的像素予以分群之情況，可與被攝體數之設定同時而設定被攝體像素值。
得到被攝體像素值後，就接著在被攝體像素值預測部209使用解碼圖像記憶體214中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來產生numObjs個預測被攝體像素值(步驟S207)。
以下，將預測被攝體像素值表示成PredValue(j)。指標值j係按照分配被攝體識別子給被攝體像素值之規則相同之規則分配給預測被攝體像素值者。亦即，以被攝體像素值遞升之順序來分配被攝體識別子之情況，係以預測被攝體像素值遞升之順序來分配指標值j。
此外，將此處使用之解碼圖像記憶體214中儲存之區塊blk的周邊像素的集合稱為第二參考像素。此處之處理，除了求出的值為預測被攝體像素值之外，係為與第一實施形態中之在步驟S104決定出被攝體像素值的處理相同，而且第二參考像素的選擇方法以及從與第二參考像素相對應的像素值來設定預測被攝體像素值之方法，只要進行的是與解碼側相同的處理即可，可使用任何方法。
求出預測被攝體像素值後，就在被攝體像素值編碼部210使用預測被攝體像素值來進行被攝體像素值之預測編碼(步驟S208)。
此編碼可採用任何手法。例如，在將與某一被攝體識別子對應之被攝體像素值予以編碼之情況，可參照碼表來將與在指標值方面具有相同值之預測被攝體像素值之差分值予以編碼。
另外，亦可不直接將差分值予以編碼，而是依照另外給定的量化參數將差分值予以量化後才將量化得到的值予以編碼。此一情況，雖然必須另外將量化參數予以編碼，但在可沿用別處使用的量化參數之情況，此處便不需要另外進行量化參數之編碼。
另外，還有：不只使用預測被攝體像素值，也使用先前就區塊blk進行編碼而得到的被攝體像素值來進行預測編碼之方法。以下，舉以被攝體像素值為遞升之順序進行編碼之情況為例來進行說明。其中，被攝體識別子i及指標值j係按照被攝體像素值及預測被攝體像素值為遞升之順序來給與。
首先，將被攝體識別子為0之被攝體像素值當作是預測值為指標值0的預測被攝體像素值而進行預測編碼。亦即，將Value(0)-PredValue(0)之值予以編碼。
接著，予以解碼而得到解碼被攝體像素值DecValue(0)。在將前述的預測差分予以量化而加以編碼等之以有失真的方式進行編碼的情況，會有DecValue與Value並不一致之情形，但以沒有失真的方式進行預測差分的編碼之情況，則DecValue與Value會完全一致，所以沒有必要進行解碼處理。
接著，以k遞升之順序進行被攝體識別子為k之被攝體像素值的編碼。其中，k為1以上但不超過numObjs之整數。
被攝體識別子k之被攝體像素值的編碼，係先求出與DecValue(k-1)之差在預定的閾值以上之最小的預測被攝體像素值的指標值並將之設成j(k)。此處若令j(0)=0，則在可求出j(k)之情況，j(k)會為j(k-1)以上但不超過numObjs之整數(其中，k為1以上但不超過numObjs之整數)。
若可求出j(k)，就以PredValue(j(k))作為預測值來進行Value(k)之預測編碼。
若無法求出j(k)，則以DecValue(k-1)與PredValue(numObjs-1)兩者之較大的一方作為預測值來進行Value(k)之預測編碼。此時，也有以最靠近DecValue(k-1)與PredValue(numObjs-1)兩者之較大的一方、和像素值的最大值(以8位元來表現之情況係為255)的中間值之整數作為預測值之方法。
編碼資料在要進行下一被攝體像素值的編碼之前即予以解碼，來計算DecValue(k)。
一般而言，被攝體具有某一程度的大小，且在空間中係連續地存在，像素值與被攝體有很大的相依性，所以可說某一區域中之被攝體像素值與周邊區域中的被攝體像素值有很高的相關性。因此，將周邊區域中的被攝體像素值設為預測值來進行某一區域中之被攝體像素值的編碼，就可用很少的碼量來將被攝體像素值予以編碼。
被攝體像素值之編碼完成後，就在被攝體圖產生部205針對區塊blk來產生被攝體圖(步驟S209)。此處之處理與第一實施形態中之步驟S105相同。
在被攝體像素值之編碼中進行了採用量化等會有失真的編碼之情況，係使用將經過編碼的被攝體像素值予以解碼而得到的解碼被攝體像素值來代替被攝體像素值。亦即，於使用進行了會有失真的編碼而得到的被攝體像素值之情況，係讓被攝體像素值編碼部的輸出輸入至另外設置的被攝體像素值解碼部等，以及讓該被攝體像素值解碼部的輸出輸入至被攝體圖產生部、及後述之預測圖像產生部。
產生的被攝體圖接著在被攝體圖編碼部208接受編碼(步驟S210)。此處之處理與第一實施形態中之步驟S106相同，且編碼方法可採用任何方法。
接著，在預測圖像產生部211，使用被攝體圖及被攝體像素值來產生對應於區塊blk之預測圖像(步驟S211)。此處之處理與第一實施形態中之步驟S107相同。
其中，在被攝體像素值之編碼中進行了採用量化等會有失真的編碼之情況，係使用將經過編碼的被攝體像素值予以解碼而得到的解碼被攝體像素值來代替被攝體像素值。
得到預測圖像後，就在圖像訊號編碼部212對於與區塊blk相對應之圖像訊號進行預測編碼(步驟S212)。
此處之處理與第一實施形態中之步驟S108相同，且編碼方法可採用任何方法。
接著，在圖像訊號解碼部213，使用作為編碼結果所得到之編碼資料以及預測圖像，將與區塊blk相對應之圖像訊號解碼出來，並將解碼結果儲存至解碼圖像記憶體214(步驟S213)。
解碼得到的圖像訊號，係在進行其他的區塊的編碼之際，使用來產生或預測被攝體數及被攝體像素值。此處之處理與第一實施形態中之步驟S109相同，且係採用與編碼時使用的手法相對應之手法來將編碼資料予以解碼。
最後，在多工部215將被攝體數之編碼資料、被攝體像素值之編碼資料、被攝體圖之編碼資料、及圖像訊號之編碼資料予以多工然後加以輸出(步驟S214)。
此處係逐一就各個區塊進行多工，但亦可以圖框為單位來進行多工。不過，此情況出現在解碼側必須等到緩衝有一圖框份的編碼資料後才進行解碼。
在第二實施形態中，係在被攝體圖產生前就已將被攝體像素值編碼好，但在並未讓所有的被攝體識別子都顯現於被攝體圖中之情況，在被攝體圖產生後才將被攝體像素值予以編碼，或每次要產生被攝體圖時再將被攝體像素值予以編碼，就可更加削減碼量。
亦即，讓輸出的編碼資料中只包含與出現在被攝體圖中之被攝體識別子相對應之被攝體像素值，就可削減解碼所不需要的被攝體像素值的碼量。
另外，在被攝體像素值之編碼中進行了會有失真的編碼之情況，可將再編碼之前及之後解碼得到的被攝體像素值的值控制成兩者相等，或是使用再編碼得到的結果來再度產生被攝體圖。
在此第二實施形態中，係針對被攝體數及被攝體像素值雙方，分析區塊blk的周邊像素的像素值來設定預測被攝體數及預測被攝體像素值而進行預測編碼，但亦可只使用其中任一方來進行預測編碼。此一情況，未經過預測編碼之資訊，可如第一實施形態一般生成為不須編碼之資訊，或不產生預測值而直接加以編碼。
[第三實施形態：圖像解碼裝置]
接著，針對本發明之第三實施形態進行說明。
第12圖係顯示第三實施形態之圖像解碼裝置的構成例之方塊圖。
圖像解碼裝置300係如第12圖所示，具備有：編碼資料輸入部301、編碼資料記憶體302、分離部303、被攝體數設定部304、被攝體像素值設定部305、被攝體圖解碼部306、預測圖像產生部307、圖像訊號解碼部308、以及解碼圖像記憶體309。
編碼資料輸入部301係將作為解碼對象之圖像圖框的編碼資料予以輸入。
編碼資料記憶體302將輸進來的編碼資料儲存起來。
分離部303係將經過多工之編碼資料分離成編碼有複數個不同的資訊之編碼資料。
被攝體數設定部304，係設定出預定大小的處理區域中包含的被攝體數。
被攝體像素值設定部305係假設處理區域中有給定數目的被攝體存在，而使用處理區域的周邊的解碼圖像來針對各被攝體設定出代表被攝體之像素值。在此，將針對處理區域的各被攝體而產生之代表被攝體之像素值稱為被攝體像素值。
被攝體圖解碼部306係從編碼資料將被攝體圖解碼出來。所謂的被攝體圖，係指用來識別在處理區域的各像素上的被攝體之資訊。
預測圖像產生部307係針對處理區域從被攝體像素值及被攝體圖，來產生對應於處理區域之預測圖像。
圖像訊號解碼部308係針對各處理區域而使用預測圖像來從編碼資料將解碼對象圖框的圖像訊號解碼出來。
解碼圖像記憶體309將解碼出來的圖像訊號儲存起來。
第13圖係用來說明第三實施形態之圖像解碼裝置300的動作之流程圖。以下，依照此流程圖來詳細說明圖像解碼裝置300所進行的處理。
首先，透過編碼資料輸入部301將與解碼對象圖框相對應之編碼資料予以輸入，並將之儲存至編碼資料記憶體302(步驟S301)。
編碼資料之儲存完成後，就將解碼對象圖框予以分割，然後針對各個分割出來的區域將解碼對象圖框的圖像訊號解碼出來(步驟S302至S310)。
亦即，以blk來表示解碼對象區塊指標，以numBlks來表示總解碼對象區塊數的話，係先將blk設為0而加以初始化(步驟S302)，然後在逐次使blk加1(步驟S309)直到blk變為numBlks為止(步驟S310)的過程中，重複進行以下之處理(步驟S303至S308)。
重複對各解碼對象區塊進行之處理，係首先在分離部303，將輸進來的編碼資料分離成為複數個資訊的編碼資料(步驟S303)。
在第三實施形態中，係以複數個資訊的編碼資料以區塊為單位而交錯(依各區塊而順序記憶各資訊的編碼資料)為例進行說明，但在以圖框等不同的單位為單位使之交錯之情況，就不需要以區塊為單位來重複進行該編碼資料之分離。
接著，在被攝體數設定部304，使用解碼圖像記憶體309中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來設定區塊blk中包含的被攝體的數目numObjs(步驟S304)。
在此，將此處使用之解碼圖像記憶體309中儲存之區塊blk的周邊像素的集合稱為第一參考像素。此處之處理與第一實施形態中之步驟S103相同，且關於此第一參考像素的選擇方法以及從與第一參考像素相對應的像素值來設定numObjs之方法，只要進行的是與編碼側相同的處理即可使用任何方法。
第一參考像素的選擇方法，可為例如：選取存在於預定的位置關係之像素群之方法，亦可為：將選擇的資訊(亦即表示以圖框、區塊群等為單位進行選取的方法之資訊)加以編碼，然後與其他的編碼資料一起輸入至圖像解碼裝置300之方法。在此情況，必須以適切的時序(timing)，從經分離部303加以分離出的編碼資料的一部份將表示選擇方式是以圖框或區塊群等為單位之資訊解碼出來，並將解碼結果通知給被攝體數設定部304知道。
被攝體數的設定完成後，就接著在被攝體像素值設定部305，使用解碼圖像記憶體309中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來針對區塊blk內的各被攝體，設定出代表被攝體之像素值(步驟S305)。
以下，將此代表被攝體之像素值稱為被攝體像素值，並將之表示成Value(i)。其中，i係用來識別被攝體之被攝體識別子，係為0以上但不超過numObjs之整數。被攝體識別子係按照預定的規則來分配。此處，係以被攝體像素值為遞升之順序來分配被攝體識別子。
另外，將此處使用之解碼圖像記憶體309中儲存之區塊blk的周邊像素的集合稱為第二參考像素。此處之處理與第一實施形態中之步驟S104相同，關於第二參考像素的選擇方法以及使用與第二參考像素相對應的像素值來決定被攝體像素值之方法，只要進行的是與編碼側相同的處理即可使用任何方法。
接著，在被攝體圖解碼部306，從分離出來的編碼資料將被攝體圖解碼出來(步驟S306)。被攝體圖之解碼係依編碼時所用的方法而異。
例如，有依據被攝體數來分配固定長度或可變長度的碼給各被攝體識別子，然後利用逐線掃描(raster scan)或Z字形掃描(zigzag scan)等將二維的圖資訊(map information)變換為一維的二進制資料(binary data)，以此方式來進行編碼之情況。
在此情況，係依序掃描從編碼資料取得的一維的二進制資料，且每次找到對應的被攝體識別子，就依逐線掃描或Z字形掃描等與編碼時相同的順序，將被攝體識別子分配給各像素而進行解碼。
除了上述之情況，還有：在以預定的順序掃描而進行與區塊blk內的各像素相對應之被攝體識別子的編碼之際，將對應於各像素而言在其周圍的已編碼完成的像素設定為參考像素，然後依據該參考像素之被攝體識別子，使機率表(probability table)變化而進行算術編碼(arithmetic coding)之情況。
在如此之情況，係以與所使用的掃描順序一樣之順序針對各像素，將周圍之已解碼完成的像素設定為參考像素，然後依據該像素之被攝體識別子，使機率表變化而進行算術解碼。
機率表的數目及初始值、更新方法、設定方法只要使用與編碼時相同的手法就可正確地進行解碼。
另外，還有：使用樹狀結構的資料將被攝體圖予以編碼之情況法。此情況也一樣，只要使用與編碼時的方法相對應之方法就可從編碼資料將被攝體圖解碼出來。
從所取得的編碼資料透過樹狀結構之資料而將被攝體圖解碼出來之處理，係首先從編碼資料的二進制列將表示樹狀結構的資料之數列予以解碼出來。從二進制列到樹狀結構資料數列之解碼，必須採用與編碼時所用的方法相對應之方法。
在例如：進行了使用可變機率表之算術編碼之情況，係一邊以與編碼時相同的方法更新機率表一邊從編碼資料將非壓縮的二進制列解碼出來。然後，參照與編碼時所用者相同之固定長度或可變長度的表來進行非壓縮的二進制列之逆變換，以將編碼前的數列解碼出來。
解碼得到表示樹狀結構資料的數列後，就解讀該數列來構築出樹狀結構的資料。此處，必須進行與編碼時從樹狀結構來產生數列時進行的變換相反之變換。
此外，還必須與編碼側共有樹狀結構之定義。在例如：定義出以區塊blk作為根部，且各節點具有0至numObjs的數字，且分配到0之節點具有四個子節點之樹狀結構，然後以深度優先搜尋方式掃描該樹來產生數列之情況，若取得的數列為0100133332033231020232222，則會將之還原成如第14圖所示之樹。
得到樹狀結構資料後，就從該樹狀結構資料來還原出被攝體圖。此還原必須與編碼側共有樹狀結構之定義，並使用該定義來進行還原。
在例如：樹的根部係代表區塊blk全體，而子節點則是對應於可將親節點予以縱橫對分之四個子區塊(逐線掃描順序)，且從分配給各節點之0以外的數字減去1之數，係表示包含於對應的區塊中之所有的像素的被攝體識別子之情況，從第14圖所示的樹可解碼得到第15圖之被攝體圖。
此處所揭示的樹狀結構及數列的定義等只是一個例子，只要能夠與編碼側共有相同的定義，無論採用怎樣的方法皆可。
被攝體圖的解碼完成後，就接著在預測圖像產生部307產生出對應於區塊blk之預測圖像(步驟S307)。此處之處理與第一實施形態中之步驟S107相同。
此外，亦可再對於如上述般作成的預測圖像施加抖色處理(dither)。
使用被攝體圖及被攝體像素值而產生的預測圖像，因為只有與被攝體數相同數目的像素值存在，所以為具有與自然畫不同性質之圖像。因此，可藉由施加抖色處理來給予預測圖像接近自然畫之變化。
抖色處理的生成可採用任意的方法，但包含是否要施加抖色處理在內，必須採用與編碼側相同的手法。而且，在編碼資料中包含有抖色訊號產生裝置的初始化等所必需的附加資訊之情況，也必須將該附加資訊解碼出來使用。
得到預測圖像後，就在圖像訊號解碼部308將與區塊blk相對應之圖像訊號解碼出來，並將解碼得到的結果之圖像訊號予以輸出以及將之儲存到解碼圖像記憶體309中(步驟S308)。
圖像訊號之解碼，係依編碼時所用的方法而異。在例如採用MPEG-2或H. 264/AVC等之一般的編碼方法之情況，係對於編碼資料進行熵解碼、逆二值化、逆量化、IDCT等之逆頻率變換，來將預測殘差解碼出來，然後將解碼得到的預測殘差加上預測圖像而還原出區塊blk的圖像訊號。
解碼得到的圖像訊號，在進行其他的區塊的解碼之際，係使用來產生或預測被攝體數及被攝體像素值。
在第三實施形態中，係分析區塊blk的周邊像素的像素值來設定被攝體數及被攝體像素值雙方，但亦可分析區塊blk的周邊像素的像素值而只設定兩者之任一方。此一情況，未加設定之一方的資訊，可加以編碼而成為編碼資料的一部份輸進來。亦即，藉由分離部303將與未加設定之一方的資料相對應之編碼資料分離出來，然後予以解碼來設定必要的資訊。
第16圖中顯示分析區塊blk的周邊像素的像素值而只設定被攝體數，以及從編碼資料將被攝體像素值解碼出來而進行設定之情況之圖像解碼裝置的方塊圖。
第16圖中顯示的圖像解碼裝置300’與第12圖中顯示的圖像解碼裝置300的不同點在於：具有被攝體像素值解碼部310來取代被攝體像素值設定部305，且被攝體像素值解碼部310係從經分離部303加以分離出來的被攝體像素值的編碼資料，將各被攝體的被攝體像素值解碼出來。其他的構成則與第12圖所示的圖像解碼裝置300一樣。
[第四實施形態：圖像解碼裝置]
接著，針對本發明第四實施形態進行說明。
第17圖係顯示第四實施形態之圖像解碼裝置的構成例之方塊圖。
如第17圖所示，圖像解碼裝置400係具備有：編碼資料輸入部401、編碼資料記憶體402、分離部403、被攝體數預測部404、被攝體數解碼部405、被攝體圖解碼部406、被攝體像素值預測部407、被攝體像素值解碼部408、預測圖像產生部409、圖像訊號解碼部410、以及解碼圖像記憶體411。
編碼資料輸入部401係將作為解碼對象之圖像圖框的編碼資料予以輸入。
編碼資料記憶體402將輸進來的編碼資料儲存起來。
分離部403係將經過多工之編碼資料分離成編碼有複數個不同的資訊之編碼資料。
被攝體數預測部404係設定出預定大小的處理區域中包含的被攝體數的預測值。以下，將此被攝體數的預測值稱為預測被攝體數。
被攝體數解碼部405係針對各個處理區域，使用預測被攝體數來從編碼資料將處理區域中包含的被攝體數解碼出來。
被攝體圖解碼部406係從編碼資料將被攝體圖解碼出來。所謂的被攝體圖係指用來識別在處理區域的各像素上的被攝體之資訊。
被攝體像素值預測部407係假設處理區域中有給定數目的被攝體存在，而使用處理區域的周邊的解碼圖像來設定出被攝體像素值的預測值。在此，將此被攝體像素值的預測值稱為預測被攝體像素值。
被攝體像素值解碼部408係針對各個處理區域，使用預測被攝體像素值來從編碼資料將被攝體像素值解碼出來。
預測圖像產生部409係針對處理區域而從被攝體像素值及被攝體圖，來產生對應於處理區域之預測圖像。
圖像訊號解碼部410係針對各個處理區域，使用預測圖像來從編碼資料將解碼對象圖框的圖像訊號解碼出來。
解碼圖像記憶體411係將解碼出來的圖像訊號儲存起來。
第18圖係用來說明第四實施形態之圖像解碼裝置400的動作之流程圖。以下，依照此流程圖來詳細說明圖像解碼裝置400所進行的處理。
首先，透過編碼資料輸入部401將與解碼對象圖框相對應之編碼資料予以輸入，並將之儲存至編碼資料記憶體402(步驟S401)。
編碼資料之儲存完成後，就將解碼對象圖框予以分割，然後針對各個分割出來的區域將解碼對象圖框的圖像訊號解碼出來(步驟S402至S412)。
亦即，以blk來表示解碼對象區塊指標，以numBlks來表示總解碼對象區塊數的話，係先將blk設為0而加以初始化(步驟S402)，然後在逐次使blk加1(步驟S411)直到blk變為numBlks為止(步驟S412)的過程中，重複進行以下之處理(步驟S403至S410)。
重複對各解碼對象區塊進行之處理，係首先在分離部403將輸進來的編碼資料分離成複數個資訊的編碼資料(步驟S403)。
在第四實施形態中，係以複數個資訊的編碼資料以區塊為單位而交錯為例進行說明，但在以圖框等不同的單位為單位使之交錯之情況，就不需要以區塊為單位來重複進行該編碼資料之分離。
接著，在被攝體數預測部404，使用解碼圖像記憶體411中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來產生對應於區塊blk之預測被攝體數(步驟S404)。
將此處使用之解碼圖像記憶體411中儲存之區塊blk的周邊像素的集合稱為第一參考像素。此處之處理與第二實施形態中之步驟S204相同，且關於此第一參考像素的選擇方法以及從與第一參考像素相對應的像素值來設定預測被攝體數之方法，只要進行的是與編碼側相同的處理即可使用任何方法。
預測被攝體數的產生完成後，就接著在被攝體數解碼部405，使用預測被攝體數而從編碼資料將被攝體數解碼出來(步驟S405)。
此處所用的解碼方法，係依編碼時所用的方法而異。在例如：編碼資料係為與被攝體數與預測被攝體數之差分值的值相對應之某一碼表上的字碼之情況，係使用相同的碼表，找出具有相當於編碼資料的字碼之差分值，然後將該值加到預測被攝體數來將被攝體數解碼出來。
接著，在被攝體圖解碼部406，從分離出來的編碼資料將被攝體圖解碼出來(步驟S406)。
被攝體圖之解碼係依編碼時所用的方法而異。此處之處理與第三實施形態中之步驟S306的處理相同。
接著，在被攝體像素值預測部407，使用解碼圖像記憶體411中儲存之與區塊blk的周邊像素群相對應之圖像訊號，來產生與被攝體數相同數目之預測被攝體像素值(步驟S407)。將此處所使用之解碼圖像記憶體411中儲存之區塊blk的周邊像素的集合稱為第二參考像素。
此處之處理與第二實施形態中之步驟S207的處理相同，而且第二參考像素的選擇方法以及從與第二參考像素相對應的像素值來設定預測被攝體像素值之方法，只要進行的是與編碼側相同的處理即可使用任何方法。
預測被攝體像素值之之產生完成後，就接著在被攝體像素值解碼部408，使用預測被攝體像素值來從編碼資料將被攝體像素值解碼出來(步驟S408)。
此處所用的解碼方法，係依編碼時所用的方法而異。以下，舉幾個例子來說明，但解碼側要知道當初係以什麼手法進行編碼的，或者解碼側要知道當初使用了什麼附加資訊。
在例如：分別將被攝體像素值與預測被攝體像素值依遞升順序排列且兩兩作成一對，然後就各個對計算從被攝體像素值減去預測被攝體像素值後的差分值，再使用與該差分值對應之某一碼表上的字碼來作成編碼資料之情況，係使用相同的碼表，找出具有相當於編碼資料的字碼之差分值，然後於該差分值加上預測被攝體像素值來依序將被攝體像素值解碼出來。
在不直接將差分值予以編碼，而是先將差分值予以量化後才加以編碼之情況，係先進行逆量化然後再加上預測被攝體像素值而進行解碼處理。
另外，若曾將量化參數予以編碼時，則必須先將該量化參數予以解碼。而若是沿用別處使用的量化參數時，則必須先將該參數值通知給被攝體像素值解碼部408知道。
再者，還有：不只使用預測被攝體像素值，也使用先前就區塊blk進行編碼而得到的被攝體像素值來進行預測編碼之方法。在此情況，必須以與在編碼側進行的順序一樣的方法進行產生預測編碼時的預測值，然後再加到從編碼資料得到的差分值，來將被攝體像素值解碼出來。
另外還有一個例子，係為：並不對於與一次也未顯現於被攝體圖中之被攝體識別子相對應之被攝體像素值進行編碼。此時，在依序將被攝體像素值解碼出來之際，必須在輪到要對與一次也未顯現於被攝體圖中之被攝體識別子相對應之被攝體像素值進行編碼時，分配適當的值等而跳過解碼動作。
被攝體像素值之解碼完成後，就在預測圖像產生部409產生對應於區塊blk之預測圖像(步驟S409)。此處之處理與第二實施形態中之步驟S211相同。
此外，亦可再對於如上述般作成的預測圖像施加抖色處理(dither)。使用被攝體圖及被攝體像素值而產生的預測圖像，因為只有與被攝體數相同數目的像素值存在，所以為具有與自然畫不同性質之圖像。因此，可藉由施加抖色處理來給予預測圖像接近自然畫之變化。抖色處理之產生可採用任意的方法，但包含是否要施加抖色處理在內，必須採用與編碼側相同的手法。而且，在編碼資料中包含有抖色處理產生裝置的初始化等所必需的附加資訊之情況，也必須將該附加資訊解碼出來使用。
得到預測圖像後，就在圖像訊號解碼部410將與區塊blk相對應之圖像訊號解碼出來，並將解碼出來的圖像訊號予以輸出以及將之儲存到解碼圖像記憶體411中(步驟S410)。
解碼得到的圖像訊號，在進行其他的區塊的解碼之際，係使用來產生或預測被攝體數及被攝體像素值。
圖像訊號之解碼，係依編碼時所用的方法而異。在例如採用MPEG-2或H.264/AVC等一般的編碼方法之情況，係對於編碼資料進行熵解碼、逆二值化、逆量化、IDCT等之逆頻率變換，來將預測殘差解碼出來，然後將解碼得到的預測殘差加上預測圖像而還原出區塊blk的圖像訊號。
在第四實施形態中，係針對被攝體數及被攝體像素值雙方，分析區塊blk的周邊像素的像素值來設定預測被攝體數及預測被攝體像素值而進行解碼，但亦可分析區塊blk的周邊像素的像素值而只設定兩者之任一方，再使用該一方的預測值來進行解碼，而未設定預測值的那一方的資訊，可不使用預測值而直接從編碼資料將它的資訊解碼出來。
第19圖中顯示在上述第一實施形態中產生的編碼資料及在第三實施形態中輸進來的編碼資料的各區段(block)的語法(syntax)的一例。
其中，mb_type係表示預測模式之資訊，係為在混雜有H. 264/AVC等之圖框內預測等的情況，用來判別是否為依據本發明而編碼的區段之資訊。
在此例中，mb_type等於MAP_BASED_PRED之情況，就表示係為依據本發明而編碼的區段。若為所有的區段皆為應用本發明之情況，則語法mb_type及其後的條件分支皆不需要。
又，map_object係表示被攝體圖，residuals係表示圖像訊號的預測殘差。
在此例中，雖將residuals放入if區段之中，但在不管預測模式為何都將殘差訊號予以編碼之情況，則將之拿到if區段外面來亦無妨。
第20圖中顯示在上述第二實施形態中產生的編碼資料及在第四實施形態中輸進來的編碼資料的各區段的語法(syntax)的一例。
其中，diff_num_objects係表示被攝體數的預測殘差，num_objects係表示被攝體數，exist(i,j)係表示若被攝體圖j中有被攝體識別子i存在時則傳回TRUE，若不存在則傳回FALSE之函數，residual_value_object[i]係表示被攝體識別子為i之被攝體像素值的預測殘差。
在此例中，雖將residuals放在if區段之外，但在依據預測模式而不將殘差訊號予以編碼之情況，則需要將之放到if區段內。
接下來，將說明本實施形態中用來管理被攝體數、被攝體圖、被攝體像素值之資料結構的例子。
第21A、21B圖係顯示用於預測圖像的產生中之附加資訊的資料結構的例子之圖。在使用到被攝體像素值的預測編碼中，係在記憶體內管理例如第21A圖所示之附加資訊。
此附加資訊中，設定有被攝體數、被攝體圖、及各被攝體識別子的被攝體像素值。
被攝體數N係為整數。被攝體圖係為與區塊內的像素數相同長度之0到N-1之整數列。被攝體像素值，在未預測之情況係為沒有符號之整數，在有預測之情況則為有符號之整數(考慮負數之情況)。
第21B圖係顯示附加資訊的具體例。被攝體數為3，由於全部的被攝體識別子出現於被攝體圖，故對於全部的被攝體識別子存在有被攝體像素值。
此外，亦可作成以樹狀結構來表現被攝體圖而成的樹狀結構被攝體圖來加以保持。樹狀結構被攝體圖係為可變長度的整數列，在例如第8圖之樹狀結構被攝體圖之情況，係為0101013332033230120111222之整數列。
又，亦可將被攝體圖分為區塊分割資訊及區塊內被攝體識別子資訊來加以管理。區塊分割資訊係顯示對於使用樹狀結構被攝體圖之際之葉子以外的節點進行掃描所得到的結果，區塊內被攝體識別子資訊係顯示對於使用樹狀結構被攝體圖之際之葉子進行掃描所得到的結果。
在例如第7圖之樹狀結構被攝體圖之情況，區塊分割資訊係為0101010011011，區塊內被攝體識別子資訊係為0002221221201000111。
第22A、22B圖係顯示預測附加資訊的資料結構的例子之圖。在本實施形態中，係使用預測值來將被攝體數及被攝體像素值予以編碼，因此產生如第22A圖所示之預測附加資訊。
被攝體數預測值係為整數，被攝體像素值預測值係為與輸入圖像相同位元深度之無符號整數。
第22B圖係顯示預測附加資訊的具體例，被攝體數預測值為2，被攝體識別子0,1,2的被攝體像素值預測值分別為25,123,191。
以以上的資訊為基礎，針對各編碼對象區塊進行編碼。以下，針對在各區塊接受編碼之資料的結構的例子進行說明。
[接受編碼的資料的結構的例1]
第23A、23B圖係顯示在各區塊接受編碼之資料的結構的例1之圖。此例係為用於第一實施形態、第三實施形態中的例子。
附加到編碼資料之附加資訊，係如第23A圖所示，設定有表示預測模式之資訊mb_type、被攝體圖、及預測殘差訊號。
第23B圖中顯示該附加資訊的具體例。進行採用本發明之圖像預測的情況，表示預測模式之資訊mb_type係為MAP_BASED_PRED。
[接受編碼的資料的結構的例2]
第24A、24B圖係顯示在各區塊接受編碼之資料的結構的例2之圖。此例係為只有被攝體數的資料不加以編碼之情況的例子。
附加到編碼資料之附加資訊，係如第24A圖所示，設定有表示預測模式之資訊mb_type、被攝體圖、各被攝體的被攝體像素值預測差分值、及預測殘差訊號。被攝體像素值預測差分值係帶有符號之整數，係為將輸入圖像的位元深度再加上1位元而成之位元深度。
第24B圖中顯示該附加資訊的具體例。其中，設定給各被攝體識別子0,1,2之被攝體像素值預測差分值分別為-2,+3,+10。
[接受編碼的資料的結構的例3]
第25A、25B圖係顯示在各區塊接受編碼之資料的結構的例3之圖。此例係為用於第二實施形態、第四實施形態中的例子。
附加到編碼資料之附加資訊，係如第25A圖所示，設定有表示預測模式之資訊mb_type、被攝體數預測差分值、樹狀結構被攝體圖、各被攝體的被攝體像素值預測差分值、及預測殘差訊號。
第25B圖中顯示該附加資訊的具體例。此例係以樹狀結構來表現被攝體圖。
[接受編碼的資料的結構的例4]
第26A、26B圖係顯示在各區塊接受編碼之資料的結構的例4之圖。此例係為不將被攝體數的資料予以編碼，而且有未被使用的被攝體識別子之情況的例子。
附加到編碼資料之附加資訊，係如第26A圖所示，設定有表示預測模式之資訊mb_type、以區塊分割資訊及區塊內被攝體識別子資訊加以表現之被攝體圖、各被攝體的被攝體像素值預測差分值、及預測殘差訊號。
第26B圖中顯示該附加資訊的具體例。此例中，因為被攝體識別子2未被使用到，所以從將接受編碼之資料中將其被攝體像素值預測值予以省略。
上述的第一至第四實施形態，雖然針對根據本發明對於一個圖框中的所有區塊進行編碼及解碼之處理進行了說明，但亦可只對一部份的區塊應用本發明，其他的區塊則採用H. 264/AVC等中所使用的圖框內預測編碼、移動補償預測編碼等來進行編碼。
在此情況，必須將表示各個區塊係以什麼方法進行編碼之資訊予以編碼及解碼。
上述的第一至第四實施形態，雖然針對將一個圖框予以編碼及解碼之處理進行了說明，但同樣可應用於以複數個圖框重複呈現之動態影像編碼。此外，亦可只應用於動態影像的一部份圖框或一部份區塊。
在此情況，由於被攝體之存在不僅在空間上而且在時間上也具有連續性，因此不僅在空間方向擴張而使用周邊的像素，在時間方向擴張而使用周邊的像素之作法也可輕易地類推。
以上說明的圖像編碼及圖像解碼之處理，亦可藉由電腦及軟體程式來實現，且可將該程式記錄在電腦可讀取的記錄媒體而來提供該程式，亦可透過網路來提供該程式。
第27圖中顯示藉由電腦及軟體程式來構成圖像編碼裝置的情況之硬體構成例。本系統係利用匯流排(bus)將下列各部連接起來而構成：
●　執行程式之CPU 50
●　用來儲存供CPU 50存取的程式及資料之RAM等之記憶體51
●　用來輸入來自攝影機等之作為編碼對象的圖像訊號之編碼對象圖框輸入部52(亦可為透過碟片裝置等而記憶圖像訊號之記憶部)
●　儲存有用來使CPU 50執行利用第1及第2圖等加以說明過的處理之軟體程式(亦即圖像編碼程式531)之程式記憶裝置53
●　透過例如網路而將藉由CPU 50執行載入到記憶體51之圖像編碼程式531而產生的多工編碼資料予以輸出之多工編碼資料輸出部54(亦可為透過碟片裝置等來記憶多工編碼資料之記憶部)。
雖省略圖示，但除了上列各部之外，還設有被攝體數記憶部、被攝體圖記憶部、被攝體像素值記憶部、預測圖像記憶部、被攝體圖編碼資料記憶部、圖像資訊編碼資料記憶部、解碼圖像記憶部等之硬體，供本方法之實施所利用。
還有，也使用被攝體像素值編碼資料記憶部之作法，此外，亦有也使用被攝體數編碼資料記憶部、被攝體數預測值記憶部、被攝體像素值預測值記憶部之作法。
第28圖中顯示藉由電腦及軟體程式來構成圖像解碼裝置的情況之硬體構成例。本系統係利用匯流排(bus)將下列各部連接起來而構成：
●　執行程式之CPU 60
●　用來儲存供CPU 60存取的程式及資料之RAM等之記憶體61
●　用來輸入經圖像編碼裝置以上述的方法加以編碼而產生的多工編碼資料之多工編碼資料輸入部62(亦可為透過碟片裝置等而記憶多工編碼資料之記憶部)
●　儲存有用來使CPU 60執行利用第10及第11圖等加以說明過的處理之軟體程式(亦即圖像解碼程式631)之程式記憶裝置63
●　透過CPU 60執行載入到記憶體61之圖像解碼程式631而將對多工編碼資料進行解碼得到的解碼圖像資料予以輸出至播放裝置等之解碼圖像資料輸出部64。
雖省略圖示，但除了上列各部之外，還設有被攝體數記憶部、被攝體圖記憶部、被攝體像素值記憶部、預測圖像記憶部、被攝體圖編碼資料記憶部、圖像資訊編碼資料記憶部等之硬體，供本方法之實施所利用。
還有，也使用被攝體像素值編碼資料記憶部之作法，此外，亦有也使用被攝體數編碼資料記憶部、被攝體數預測值記憶部、被攝體像素值預測值記憶部之作法。
[效果之驗證]
以下，進行習知方法(例如H. 264/AVC)與採用本發明之方法(以下稱為本方法)的碼量之比較。
1.概念性的碼量之比較
1.1　附加資訊的碼量
附加資訊在習知方法中係為表示邊緣(edge)的方向，係為二維的向量。相對於此，本方法中之附加資訊，係為被攝體圖(二維的資訊)，且雖然依條件而定，但在假設處理區塊為16×16，被攝體數為4之情況，位元量會變為約64倍(但是，可藉由進行熵編碼來縮減到約4倍程度)。
1.2　預測殘差的碼量
在邊緣很強的圖像中，若物體形狀在預測圖像與輸入圖像有很大的差異，則即使將其預測殘差變換到頻率域，也無法有效率地使資訊集中到低頻域，預測殘差的碼量會變為非常多。
亦即，與只能做直線性的表現之習知方法相比，可表現任意的形狀之本方法可使預測殘差的碼量減少。雖然依對象圖像或編碼條件而有所不同，但預測殘差的碼量可減到約三分之一。
1.3　總碼量
在一般的編碼率中，習知方法的預測殘差的碼量佔總碼量的約九成。亦即，假設全部的碼量為100，則附加資訊為10，預測殘差為90。
因此，如上述，採用本方法使得附加資訊變為4倍，預測殘差變為1/3的話，本方法可使整體的碼量變為70。
2.　實驗例
第29圖中顯示針對某一樣本圖像，使用本方法與習知方法來加以編碼的情況之產生碼量及圖像品質的比較。
在第29圖所示的曲線圖中，縱軸之Y-PSNR表示圖像的品質(單位為dB)，橫軸之bitrate表示碼量(單位為bps/view)。Y-PSNR之值越大，表示越是綺麗的圖像。
第29圖中，A之曲線表示按照本方法之碼量與圖像品質之關係，B之曲線表示按照習知方法之碼量與圖像品質之關係。
2.1　碼量削減效果之解說(粗箭號)
從第29圖之曲線圖可知：Y-PSNR為43dB時，就習知方法(H. 264/AVC)而言，必須要有約650 kbps之碼量，而本方法則必須要有約325 kbps之碼量。由此可知，以同樣的品質來進行編碼之情況，採用本方法可使碼量減少一半。
2.2　品質改善效果之解說(細箭號)
從第29圖之曲線圖可知：bitrate為400 kbps時，就習知方法(H. 264/AVC)而言，有約39 dB之品質，而本方法則有約44.5 dB之品質。由此可知，以同樣的碼量來進行編碼之情況，採用本方法可得到5.5 dB之畫質的改善(削減約72%之失真量)。
以上，參照圖式而對本發明之實施形態進行了說明，惟很顯然的，上述實施形態只不過是本發明之例示，本發明並不限定於上述實施形態。因而，可在未脫離本發明的精神及技術的範圍之範圍內進行構成要素的追加、省略、置換等變更。
[產業上的利用可能性]
依據本發明，在對於距離圖像之類的其像素值與被攝體大幅相依，且局部只存在有限數目的被攝體這樣的圖像，將圖像全體予以分割然後針對各個區域以不同的方法一邊預測圖像訊號一邊進行圖像的預測編碼之情況，利用被攝體之存在的空間的連續性，來預測被攝體數及各被攝體的代表性的像素值。藉此，就可削減在使用到各被攝體的代表像素值及被攝體識別資訊之圖像訊號預測所必要的附加資訊之表現上必需的碼量，實現有效率的圖像編碼。
100、200．．．圖像編碼裝置
101、201．．．編碼對象圖框輸入部
102、202．．．編碼對象圖框記憶體
103、203、304．．．被攝體數設定部
104、204、305．．．被攝體像素值設定部
105、205．．．被攝體圖產生部
106、208．．．被攝體圖編碼部
107、211．．．預測圖像產生部
108、212．．．圖像訊號編碼部
109、213．．．圖像訊號解碼部
110、214．．．解碼圖像記憶體
111、215．．．多工部
112、210．．．被攝體像素值編碼部
206、404．．．被攝體數預測部
207．．．被攝體數編碼部
209、407．．．被攝體像素值預測部
300、400．．．圖像解碼裝置
301、401．．．編碼資料輸入部
302、402．．．編碼資料記憶體
303、403．．．分離部
306、406．．．被攝體圖解碼部
307、409．．．預測圖像產生部
308、410．．．圖像訊號解碼部
309、411．．．解碼圖像記憶體
310、408．．．被攝體像素值解碼部
405．．．被攝體數解碼部
第1圖係顯示本發明第一實施形態之圖像編碼裝置的構成例之方塊圖。
第2圖係第一實施形態之圖像編碼裝置的處理流程圖。
第3A圖係被攝體數設定處理的流程圖。
第3B圖同樣為被攝體數設定處理的流程圖。
第4A圖係被攝體像素值設定處理的流程圖。
第4B圖同樣為被攝體像素值設定處理的流程圖。
第5圖係顯示被攝體圖的例子之圖。
第6A圖係用來說明分配被攝體識別子給編碼對象像素的例子之圖。
第6B圖同樣為用來說明分配被攝體識別子給編碼對象像素的例子之圖。
第7圖係顯示樹狀結構被攝體圖的例子之圖。
第8圖係顯示樹狀結構被攝體圖的另一例子之圖。
第9圖係顯示本發明第一實施形態之圖像編碼裝置的另一構成例之方塊圖。
第10圖係顯示本發明第二實施形態之圖像編碼裝置的構成例之方塊圖。
第11圖係第二實施形態之圖像編碼裝置的處理流程圖。
第12圖係顯示第三實施形態之圖像解碼裝置的構成例之方塊圖。
第13圖係第三實施形態之圖像解碼裝置的處理流程圖。
第14圖係顯示解碼出來的樹狀結構被攝體圖的例子之圖。
第15圖係顯示解碼出來的被攝體圖的例子之圖。
第16圖係顯示第三實施形態之圖像解碼裝置的另一構成例之方塊圖。
第17圖係顯示第四實施形態之圖像解碼裝置的構成例之方塊圖。
第18圖係第四實施形態之圖像解碼裝置的處理流程圖。
第19圖係顯示編碼資料的各區塊的語法的一例之圖。
第20圖係顯示編碼資料的各區塊的語法的另一例之圖。
第21A圖係顯示用於預測圖像的產生之附加資訊的資料結構的例子之圖。
第21B圖係顯示上述資料結構的具體例之圖。
第22A圖係顯示預測附加資訊的資料結構的例子之圖。
第22B圖係顯示上述資料結構的具體例之圖。
第23A圖係顯示以各區塊為單位加以編碼之資料的結構的例1之圖。
第23B圖係顯示上述資料的結構的例1的具體例之圖。
第24A圖係顯示以各區塊為單位加以編碼之資料的結構的例2之圖。
第24B圖係顯示上述資料的結構的例2的具體例之圖。
第25A圖係顯示以各區塊為單位加以編碼之資料的結構的例3之圖。
第25B圖係顯示上述資料的結構的例3的具體例之圖。
第26A圖係顯示以各區塊為單位加以編碼之資料的結構的例4之圖。
第26B圖係顯示上述資料的結構的例4的具體例之圖。
第27圖係顯示以電腦及軟體程式來構成圖像編碼裝置之情況的硬體構成例之圖。
第28圖係顯示以電腦及軟體程式來構成圖像解碼裝置之情況的硬體構成例之圖。
第29圖係顯示採用本方法及習知方法來進行編碼時的產生碼量及圖像品質的比較之圖。
第30圖係用來說明本發明的課題之圖，其中顯示對應於某一距離圖像之水平預測及垂直預測之例。
第31A圖係顯示對於第30圖所示的水平預測殘差施加8×8的二維DCT所得到的結果之圖。
第31B圖係顯示對於第30圖所示的垂直預測殘差施加8×8的二維DCT所得到的結果之圖。
100．．．圖像編碼裝置
101．．．編碼對象圖框輸入部
102．．．編碼對象圖框記憶體
103．．．被攝體數設定部
104．．．被攝體像素值設定部
105．．．被攝體圖產生部
106．．．被攝體圖編碼部
107．．．預測圖像產生部
108．．．圖像訊號編碼部
109．．．圖像訊號解碼部
110．．．解碼圖像記憶體
111．．．多工部

Claims (28)

  1. 一種圖像編碼方法，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼方法，具有：使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測步驟；根據前述預測出的被攝體數，針對存在於處理區域內之各個被攝體，使代表各被攝體之一個像素值與用來識別該被攝體之被攝體識別子相對應，並將之設定為被攝體像素值之被攝體像素值設定步驟；從處理區域內的各像素的像素值與被攝體像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生步驟；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生步驟；將前述被攝體圖予以編碼之被攝體圖編碼步驟；將前述被攝體像素值予以編碼之被攝體像素值編碼步驟；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼步驟。
  2. 一種圖像編碼方法，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼方法，具有：將存在於處理區域內之被攝體的數目設定作為被攝體數之被攝體數設定步驟；假設處理區域內有與前述設定的被攝體數相同數目的被攝體存在，而使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測步驟；根據前述預測出的被攝體像素值，從處理區域內的各像素的像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生步驟；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生步驟；將前述被攝體圖予以編碼之被攝體圖編碼步驟；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼步驟。
  3. 一種圖像編碼方法，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼 方法，具有：使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測步驟；根據前述預測出的被攝體數，使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測步驟；根據前述預測出的被攝體像素值，從處理區域內的各像素的像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生步驟；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生步驟；將前述被攝體圖予以編碼之被攝體圖編碼步驟；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼步驟。
  4. 如申請專利範圍第1項所述之圖像編碼方法，其中，還具有：將前述預測出的被攝體數、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體數之任一者設定作為被攝體數之被攝體數設定步驟；以及 在前述被攝體數設定步驟中設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體數時，使用前述預測出的被攝體數或已編碼的被攝體數來對該被攝體數進行預測編碼之被攝體數編碼步驟，且在前述被攝體像素值設定步驟中，係假設有與在前述被攝體數設定步驟中設定的被攝體數相同數目的被攝體存在，來設定前述被攝體像素值。
  5. 如申請專利範圍第3項所述之圖像編碼方法，其中，還具有：將前述預測出的被攝體數、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體數之任一者設定作為被攝體數之被攝體數設定步驟；以及在前述被攝體數設定步驟中設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體數時，使用前述預測出的被攝體數或已編碼的被攝體數來對該被攝體數進行預測編碼之被攝體數編碼步驟，且在前述被攝體像素值預測步驟中，係假設在處理區域內有與前述設定出的被攝體數相同數目的被攝體存在，來預測前述被攝體像素值。
  6. 如申請專利範圍第2或3項所述之圖像編碼方法，其中，還具有：使前述預測出的被攝體像素值、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體像素值之任一者，與用來識別被攝體之被攝體識別子相對應而予 以設定之被攝體像素值設定步驟；以及在前述被攝體像素值設定步驟中設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體像素值時，使用前述預測出的被攝體像素值或已編碼的被攝體像素值來對該被攝體像素值進行預測編碼之被攝體像素值編碼步驟，且在前述被攝體圖產生步驟中，係從處理區域內的各像素的像素值及在前述被攝體像素值設定步驟中設定的被攝體像素值，來產生前述被攝體圖。
  7. 一種圖像解碼方法，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼之圖像解碼方法，具有：使用與處理區域周邊的已解碼的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測步驟；從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼步驟；從前述編碼資料將針對每個前述被攝體識別子分別設定一個之被攝體像素值予以解碼出來之被攝體像素值解碼步驟；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測 圖像產生步驟；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼步驟。
  8. 一種圖像解碼方法，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼之圖像解碼方法，具有：將存在於處理區域內之被攝體的數目設定作為被攝體數之被攝體數設定步驟；從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼步驟；假設處理區域內有與前述設定的被攝體數相同數目的被攝體存在，而使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測步驟；根據前述預測出的被攝體像素值，按照前述被攝體圖來分配被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生步驟；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼步驟。
  9. 一種圖像解碼方法，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼 之圖像解碼方法，具有：使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測步驟；從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼步驟；根據前述預測出的被攝體數，使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測步驟；根據前述預測出的被攝體像素值，按照前述被攝體圖來分配被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生步驟；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼步驟。
  10. 如申請專利範圍第7項所述之圖像解碼方法，其中，還具有：將前述預測出的被攝體數、及使用該預測出的被攝體數或已解碼的被攝體數而從前述編碼資料解碼出來的被攝體數之任一者設定作為被攝體數之被攝體數設定步驟。
  11. 如申請專利範圍第9項所述之圖像解碼方法，其中，還具有： 將前述預測出的被攝體數、及使用該預測出的被攝體數或已解碼的被攝體數而從前述編碼資料解碼出來的被攝體數之任一者設定作為被攝體數之被攝體數設定步驟，且在前述被攝體像素值預測步驟中，係假設在處理區域內有與前述設定出的被攝體數相同數目的被攝體存在，來預測前述被攝體像素值。
  12. 如申請專利範圍第8或9項所述之圖像解碼方法，其中，還具有：將前述預測出的被攝體像素值、及使用該預測出的被攝體像素值或已解碼的被攝體像素值而從前述編碼資料解碼出來的被攝體像素值之任一者設定作為被攝體像素值之被攝體像素值設定步驟，且在前述預測圖像產生步驟中，係將在前述被攝體像素值設定步驟中設定的被攝體像素值的值分配給各像素。
  13. 一種圖像編碼裝置，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼裝置，包括：使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測手段；根據前述預測出的被攝體數，針對存在於處理區域 內之各個被攝體，使代表各被攝體之一個像素值與用來識別該被攝體之被攝體識別子相對應，並將之設定為被攝體像素值之被攝體像素值設定手段；從處理區域內的各像素的像素值與被攝體像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生手段；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；將前述被攝體圖予以編碼之被攝體圖編碼手段；將前述被攝體像素值予以編碼之被攝體像素值編碼手段；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼手段。
  14. 一種圖像編碼裝置，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼裝置，包括：將存在於處理區域內之被攝體的數目設定作為被攝體數之被攝體數設定手段；假設處理區域內有與前述設定的被攝體數相同數目的被攝體存在，而使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的 像素值，亦即被攝體像素值之被攝體像素值預測手段；根據前述預測出的被攝體像素值，從處理區域內的各像素的像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生手段；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；將前述被攝體圖予以編碼之被攝體圖編碼手段；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼手段。
  15. 一種圖像編碼裝置，係在傳送或儲存圖像之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行編碼之圖像編碼裝置，包括：使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測手段；根據前述預測出的被攝體數，使用與處理區域周邊的已編碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測手段；根據前述預測出的被攝體像素值，從處理區域內的 各像素的像素值，來產生以被攝體識別子表示處理區域內的各像素上拍攝的是哪一個被攝體而作成的被攝體圖之被攝體圖產生手段；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；將前述被攝體圖予以編碼之被攝體圖編碼手段；以及使用前述預測圖像來對於與處理區域相對應之圖像訊號進行預測編碼之圖像訊號編碼手段。
  16. 如申請專利範圍第13項所述之圖像編碼裝置，其中，還包括：將前述預測出的被攝體數、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體數之任一者設定作為被攝體數之被攝體數設定手段；以及在前述被攝體數設定手段所設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體數時，使用前述預測出的被攝體數或已編碼的被攝體數來對該被攝體數進行預測編碼之被攝體數編碼手段，且在前述被攝體像素值設定手段中，係假設有與前述被攝體數設定手段所設定出的被攝體數相同數目的被攝體存在，來設定前述被攝體像素值。
  17. 如申請專利範圍第15項所述之圖像編碼裝置，其中，還包括： 將前述預測出的被攝體數、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體數之任一者設定作為被攝體數之被攝體數設定手段；以及在前述被攝體數設定手段所設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體數時，使用前述預測出的被攝體數或已編碼的被攝體數來對該被攝體數進行預測編碼之被攝體數編碼手段，且在前述被攝體像素值預測手段中，係假設在處理區域內有與前述設定出的被攝體數相同數目的被攝體存在，來預測前述被攝體像素值。
  18. 如申請專利範圍第14或15項所述之圖像編碼裝置，其中，還包括：使前述預測出的被攝體像素值、及使用與處理區域內的像素相對應之圖像訊號而設定的被攝體像素值之任一者，與用來識別被攝體之被攝體識別子相對應而予以設定之被攝體像素值設定手段；以及在前述被攝體像素值設定手段所設定的是使用與前述處理區域內的像素相對應之圖像訊號而設定的被攝體像素值時，使用前述預測出的被攝體像素值或已編碼的被攝體像素值來對該被攝體像素值進行預測編碼之被攝體像素值編碼手段，且在前述被攝體圖產生手段中，係從處理區域內的各像素的像素值及前述被攝體像素值設定手段所設定出的被攝體像素值，來產生前述被攝體圖。
  19. 一種圖像解碼裝置，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼之圖像解碼裝置，包括：使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測手段；從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼手段；從前述編碼資料將針對每個前述被攝體識別子分別設定一個之被攝體像素值予以解碼出來之被攝體像素值解碼手段；按照前述被攝體圖來分配前述被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼手段。
  20. 一種圖像解碼裝置，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼之圖像解碼裝置，包括：將存在於處理區域內之被攝體的數目設定作為被攝體數之被攝體數設定手段； 從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼手段；假設處理區域內有與前述設定的被攝體數相同數目的被攝體存在，而使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測各被攝體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測手段；根據前述預測出的被攝體像素值，按照前述被攝體圖來分配被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼手段。
  21. 一種圖像解碼裝置，係在將圖像的編碼資料予以解碼之際，將圖像圖框分割成預定大小的處理區域，然後針對各個處理區域一邊預測各像素的像素值一邊進行解碼之圖像解碼裝置，包括：使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測存在於處理區域內之被攝體的數目，亦即被攝體數之被攝體數預測手段；從前述編碼資料將以被攝體識別子表示處理區域內的各像素上拍攝的被攝體而作成的被攝體圖予以解碼出來之被攝體圖解碼手段；根據前述預測出的被攝體數，使用與處理區域周邊的已解碼完成的像素相對應之圖像訊號來預測各被攝 體的代表性的像素值，亦即被攝體像素值之被攝體像素值預測手段；根據前述預測出的被攝體像素值，按照前述被攝體圖來分配被攝體像素值的值給各像素藉以產生對應於處理區域之預測圖像之預測圖像產生手段；以及使用前述預測圖像來將與處理區域相對應之圖像訊號予以解碼出來之圖像訊號解碼手段。
  22. 如申請專利範圍第19項所述之圖像解碼裝置，其中，還包括：將前述預測出的被攝體數、及使用該預測出的被攝體數或已解碼的被攝體數而從前述編碼資料解碼出來的被攝體數之任一者設定作為被攝體數之被攝體數設定手段。
  23. 如申請專利範圍第21項所述之圖像解碼裝置，其中，還包括：將前述預測出的被攝體數、及使用該預測出的被攝體數或已解碼的被攝體數而從前述編碼資料解碼出來的被攝體數之任一者設定作為被攝體數之被攝體數設定手段，且在前述被攝體像素值預測手中，係假設在處理區域內有與前述設定出的被攝體數相同數目的被攝體存在，來預測前述被攝體像素值。
  24. 如申請專利範圍第20或21項所述之圖像解碼裝置，其中，還包括： 將前述預測出的被攝體像素值、及使用該預測出的被攝體像素值或已解碼的被攝體像素值而從前述編碼資料解碼出來的被攝體像素值之任一者設定作為被攝體像素值之被攝體像素值設定手段，且在前述預測圖像產生手段中，係將前述被攝體像素值設定手段所設定出的被攝體像素值的值分配給各像素。
  25. 一種圖像編碼程式，係用來使電腦執行申請專利範圍第1至3項中任一項記載的圖像編碼方法之程式。
  26. 一種圖像解碼程式，係用來使電腦執行申請專利範圍第7至9項中任一項記載的圖像解碼方法之程式。
  27. 一種電腦可讀取的記錄媒體，係記錄有用來使電腦執行申請專利範圍第1至3項中任一項記載的圖像編碼方法之圖像編碼程式者。
  28. 一種電腦可讀取的記錄媒體，係記錄有用來使電腦執行申請專利範圍第7至9項中任一項記載的圖像解碼方法之圖像解碼程式者。
TW100134544A 2010-09-29 2011-09-26 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式 TWI498006B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010218037A JP5281624B2 (ja) 2010-09-29 2010-09-29 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
TW201220855A TW201220855A (en) 2012-05-16
TWI498006B true TWI498006B (zh) 2015-08-21

Family

ID=45892758

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100134544A TWI498006B (zh) 2010-09-29 2011-09-26 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式

Country Status (9)

Country Link
US (1) US9036933B2 (zh)
EP (1) EP2624565A4 (zh)
JP (1) JP5281624B2 (zh)
KR (1) KR101550283B1 (zh)
CN (1) CN103119941B (zh)
BR (1) BR112013007464A2 (zh)
CA (1) CA2811892A1 (zh)
TW (1) TWI498006B (zh)
WO (1) WO2012043294A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281623B2 (ja) 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
PL397010A1 (pl) * 2011-11-17 2013-05-27 Politechnika Poznanska Sposób predykcji ksztaltu obszaru kodowanego z wykorzystaniem map glebi
KR20140003690A (ko) * 2012-06-22 2014-01-10 삼성디스플레이 주식회사 화소 데이터 압축 장치
WO2014091984A1 (ja) * 2012-12-13 2014-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20140344469A1 (en) * 2013-05-17 2014-11-20 Evology, Llc Method of in-application encoding for decreased latency application streaming
CN111314694B (zh) * 2013-12-27 2023-05-05 索尼公司 图像处理装置及方法
CN104778166B (zh) * 2014-01-09 2018-02-13 腾讯科技（深圳）有限公司 页面安全标识显示方法、装置和网络***
KR101654675B1 (ko) * 2014-02-03 2016-09-06 삼성메디슨 주식회사 광음향 물질을 이용하여 진단 영상을 생성하는 방법, 장치 및 시스템.
US10469870B2 (en) 2014-09-26 2019-11-05 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry
EP3007448A1 (en) * 2014-10-07 2016-04-13 Canon Kabushiki Kaisha Disparity data encoding apparatus and method of controlling the same for
KR102470832B1 (ko) 2014-10-20 2022-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN105554169B (zh) * 2014-11-04 2019-12-06 中兴通讯股份有限公司 Oid配置、解析方法、ors客户端、oid节点及其数据库
CN107211143B (zh) 2015-01-15 2020-08-18 株式会社Kt 用于处理视频信号的方法和设备
KR102422484B1 (ko) 2015-01-29 2022-07-20 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN107211153B (zh) 2015-01-29 2020-10-02 株式会社Kt 用于处理视频信号的方法和设备
EP3282706A4 (en) 2015-04-02 2019-01-30 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
JP2018050776A (ja) * 2016-09-27 2018-04-05 キヤノン株式会社 光音響装置、情報処理方法、及びプログラム
JP6759032B2 (ja) 2016-09-27 2020-09-23 キヤノン株式会社 光音響装置、情報処理方法、及びプログラム
JP2018050775A (ja) 2016-09-27 2018-04-05 キヤノン株式会社 光音響装置、情報処理方法、及びプログラム
KR20210020924A (ko) * 2018-06-27 2021-02-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
WO2020261313A1 (ja) * 2019-06-24 2020-12-30 日本電信電話株式会社 画像符号化方法、及び画像復号方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039441A1 (en) * 1998-12-21 2002-04-04 Xerox Corportion Method of selecting colors for pixels within blocks for block truncation encoding

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838455A (en) 1919-05-11 1998-11-17 Minolta Co., Ltd. Image processor with image data compression capability
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP2008228337A (ja) 1996-10-31 2008-09-25 Toshiba Corp 画像符号化装置
JP3237582B2 (ja) 1997-08-28 2001-12-10 富士ゼロックス株式会社 画像処理装置及び画像処理方法
EP1044432A4 (en) * 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
AUPQ416699A0 (en) * 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique
US6404814B1 (en) 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US20050063596A1 (en) 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
JP2003304562A (ja) * 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US20040022322A1 (en) * 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US6954501B2 (en) 2003-02-17 2005-10-11 Xvd Corporation Method and apparatus for object based motion compensation
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
TWI323129B (en) 2006-05-17 2010-04-01 Novatek Microelectronics Corp Block truncation coding (btc) method and apparatus
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
US8787685B2 (en) 2008-02-21 2014-07-22 France Telecom Encoding and decoding an image or image sequence divided into pixel blocks
JP4838275B2 (ja) 2008-03-03 2011-12-14 日本電信電話株式会社 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4964827B2 (ja) 2008-06-05 2012-07-04 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4821846B2 (ja) * 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
US8798158B2 (en) * 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
JP5310247B2 (ja) 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
JP5281623B2 (ja) 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039441A1 (en) * 1998-12-21 2002-04-04 Xerox Corportion Method of selecting colors for pixels within blocks for block truncation encoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bo Zhu ; Gangyi Jiang ; Yun Zhang ; Zongju Peng ; Mei Yu ,"View Synthesis Oriented Depth Map Coding Algorithm," Asia-Pacific Conference on ^&rn^Information Processing, 2009, Page(s): 104 - 107. *
Wen-Nung Lie , Chun-Hung Chen, and Chi-Fa Chen, "Multi-spectral Satellite Image Compression Based on Multi-Mode Linear Prediction," Proc. Of SPIE , Visual Communications and Image Processing, pp. 848-855, 2000. *

Also Published As

Publication number Publication date
CN103119941A (zh) 2013-05-22
JP5281624B2 (ja) 2013-09-04
CN103119941B (zh) 2016-04-27
JP2012074918A (ja) 2012-04-12
CA2811892A1 (en) 2012-04-05
US9036933B2 (en) 2015-05-19
EP2624565A1 (en) 2013-08-07
EP2624565A4 (en) 2014-07-16
BR112013007464A2 (pt) 2016-07-19
KR20130059423A (ko) 2013-06-05
TW201220855A (en) 2012-05-16
US20130188707A1 (en) 2013-07-25
KR101550283B1 (ko) 2015-09-04
WO2012043294A1 (ja) 2012-04-05

Similar Documents

Publication Publication Date Title
TWI498006B (zh) 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
KR101592535B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
CN110249627B (zh) 视频编解码的方法、装置及非暂时性计算机可读介质
KR101552664B1 (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
CN114424247A (zh) 用于点云编码的方法及装置
US11838519B2 (en) Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream
Santos et al. Lossless coding of light field images based on minimum-rate predictors
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20230269385A1 (en) Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data
EP4283997A1 (en) Encoding method, decoding method, and device
CN112806017B (zh) 用于编码变换系数的方法和设备
JP5711636B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP2024056596A (ja) 多次元データの符号化におけるエンドツーエンド特徴圧縮のためのシステム及び方法
KR20240002428A (ko) 머신을 위한 스케일러블 비디오 코딩
CN118285096A (zh) 帧内预测融合的变换选择