CN103098475B - 图像编码方法和装置、图像解码方法和装置 - Google Patents

图像编码方法和装置、图像解码方法和装置 Download PDF

Info

Publication number
CN103098475B
CN103098475B CN201180045385.8A CN201180045385A CN103098475B CN 103098475 B CN103098475 B CN 103098475B CN 201180045385 A CN201180045385 A CN 201180045385A CN 103098475 B CN103098475 B CN 103098475B
Authority
CN
China
Prior art keywords
subject
pixel value
picture
processing region
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180045385.8A
Other languages
English (en)
Other versions
CN103098475A (zh
Inventor
志水信哉
松浦宣彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN103098475A publication Critical patent/CN103098475A/zh
Application granted granted Critical
Publication of CN103098475B publication Critical patent/CN103098475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种图像编码方法，在对图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行编码。该方法具有：按存在于处理区域内的每个被摄物体，将代表各被摄物体的1个像素值与识别该被摄物体的被摄物体标识符对应起来设定为被摄物体像素值的步骤；根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图的步骤，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影；按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像的步骤；对所述被摄物体图进行编码的步骤；对所述被摄物体像素值进行编码的步骤；以及使用所述预测图像将针对处理区域的图像信号进行预测编码的步骤。

Description

图像编码方法和装置、图像解码方法和装置
技术领域
本发明涉及图像的编码和解码技术，特别是涉及适合于像距离图像那样的图像的编码的图像编码方法、图像解码方法、图像编码装置、图像解码装置以及它们的程序。
本申请基于2010年9月29日申请的日本特愿2010–218036号要求优先权，并在此引用其内容。
背景技术
距离图像是将从摄影机（camera）到被摄物体的距离表现为像素值的图像。因为从摄影机到被摄物体的距离也可以称为场景的纵深，所以有时也将距离图像称为纵深图像。此外，由于纵深（Depth），有时也将其称为深度图（DepthMap）。在计算机图形的领域中，由于深度为积蓄在Z缓冲器（将画面整体的深度汇总起来进行保存的存储区域）中的信息，所以有时也称为Z图像或Z图。再有，除了从摄影机到被摄物体的距离以外，有时也将作为表现对象的相对于在空间上展开的三维坐标系的Z轴的坐标值用作距离（深度）。
通常，对所摄影的图像将水平方向设为X轴并将垂直方向设为Y轴，因此Z轴与摄影机的朝向一致，但是也存在对多个摄影机使用共同的坐标系的情况等Z轴与摄影机的朝向不一致的情况。
以下，将距离/纵深/Z值（纵深信息）不区分地称为距离信息，将距离信息被表示为像素值的图像称为距离图像。
在将距离信息表示为像素值时，有如下方法，即，将与物理量对应的值直接作为像素值的方法、使用将最小值和最大值之间量化为某个离散数而得到的值的方法、以及使用以某个步长对与最小值的差进行量化而得到的值的方法。在欲表现的范围被限制的情况下，使用最小值等附加信息更能高精度地表现距离信息。
此外，在等间隔地进行量化时，有对物理量直接进行量化的方法和对物理量的倒数进行量化的方法。通常，因为距离信息的倒数是与视差成比例的值，所以在需要高精度地表现距离信息的情况下，使用前者的情况较多，在需要高精度地表现视差信息的情况下，使用后者的情况较多。
以下，与距离信息的像素值化的方法、量化的方法无关地将距离信息被表现为图像后的图像全部称为距离图像。
作为距离图像的利用用途之一，有立体图像。作为一般的立体图像的表现，有由观测者的右眼用图像和左眼用图像构成的立体（stereo）图像，但是能使用某个摄影机中的图像和该距离图像来表现立体图像（详细的技术参照非专利文献1）。
在对这样的使用1个视点处的影像和距离图像来表现的立体影像进行编码的方式中，能使用MPEG–CPart.3（ISO/IEC23002–3）（详细的内容参照非专利文献2）。
此外，通过对多个视点具有影像和距离图像，从而与在单视点的情况下能表现的立体影像相比，能表现具有更大的视差的立体影像（细节参照非专利文献3）。
此外，除了表现这样的立体影像的用途以外，距离图像还被用作生成鉴赏者不用在意拍摄摄影机的配置而能自由地移动视点的自由视点影像的数据之一。有时将这样的假设从与拍摄摄影机不同的摄影机观察场景时的合成图像称为假想视点图像，在基于图像的绘制（Image-basedRendering）领域中正热烈地研究该生成法。作为根据多视点的影像和距离图像生成假想视点影像的代表性的手法，有非专利文献4所记载的手法。
因为距离图像由1个成分（component）构成，所以能看作为灰度（grayscale）图像。此外，因为被摄物体在实空间上连续地存在，不能瞬间移动到离开的位置，所以可以说与图像信号同样地具有空间的相关和时间的相关。因此，利用为了对通常的图像信号、影像信号进行编码而使用的图像编码方式、动态图像编码方式，能对距离图像、距离动态图像一边除去空间的冗长性、时间的冗长性，一边高效地进行编码。实际上，在MPEG–CPart.3中，使用现有的动态图像编码方式来进行距离动态图像的编码。
在此，对以往的一般的影像信号的编码方式进行说明。
通常，因为被摄物体在实空间上具有空间的连续性和时间的连续性，所以其视觉效果在空间上和时间上具有高的相关。在影像信号的编码中，利用这样的相关性来实现高的编码效率。
具体地说，根据已经完成编码的影像信号预测编码对象块的影像信号，仅对该预测残差进行编码，由此减少需要进行编码的信息，实现高的编码效率。
作为代表性的影像信号的预想的手法，有根据邻接的块在空间上生成预测信号的帧内预测、根据在不同的时刻所摄影的编码完成帧估计被摄物体的运动以在时间上生成预测信号的运动补偿预测。
此外，关于被称为预测残差信号的预测的误差，也为了利用空间的相关和人类的视觉特性而使用DCT（离散余弦变换）等将预测残差信号变换为频率空间中的数据，使残差信号的能量集中在低频区域，由此高效地进行编码。
各手法的细节希望参照动态图像编码国际标准规范的MPEG–2、H.264/MPEG–4AVC（非专利文献5）。
现有技术文献
非专利文献
非专利文献1：C.Fehn,P.Kauff,M.OpdeBeeck,F.Emst,W.IJsselsteijn,M.Pollefeys,L.VanGool,E.OfekandI.Sexton,"AnEvolutionaryandOptimisedApproachon3D-TV",ProceedingsofInternationalBroadcastConference,pp.357-365,Amsterdam,TheNetherlands,September2002
非专利文献2：W.H.A.Bruls,C.Varekamp,R.KleinGunnewiek,B.BarenbrugandA.Bourge,"EnablingIntroductionofStereoscopic(3D)Video:FormatsandCompressionStandards",ProceedingsofIEEEInternationalConferenceonImageProcessing,pp.I-89-I-92,SanAntonio,USA,September2007
非专利文献3：A.Smolic,K.Mueller,P.Merkle,N.Atzpadin,C.Fehn,M.Mueller,O.Schreer,R.Tanger,P.KauffandT.Wiegand,"Multi-viewvideoplusdepth(MVD)formatforadvanced3Dvideosystems",JointVideoTeamofISO/IECJTC1/SC29/WG11andITU-TSG16Q.6,Doc.JVT-W100,SanJose,USA,April2007
非专利文献4：C.L.Zitnick,S.B.Kang,M.Uyttendaele,S.A.J.Winder,andR.Szeliski,"High-qualityVideoViewInterpolationUsingaLayeredRepresentation",ACMTransactionsonGraphics,vol.23,no.3,pp.600-608,August2004
非专利文献5：RecommendationITU-TH.264,"Advancedvideocodingforgenericaudiovisualservices",March2009。
发明内容
发明要解决的课题
被摄物体由于在实空间上是连续的，所以具有高的空间相关，并且由于不可能瞬间移动到离开的位置，所以具有高的时间相关。因此，通过使用利用了空间相关和时间相关的现有的动态图像编码方式，从而能对表示为灰度图像的距离图像高效地进行编码。
然而，因为距离信息在被摄物体内部变化少，而在被摄物体间却存在非常大的差异，所以空间的预测结果或时间的预测结果是以下的任一个，即，要么能实现正确的预测并且预测残差变得非常小，要么完全不能进行有效的预测并且预测残差变得非常大。也就是说，在预测残差信号生成强的边缘。当使用DCT等将这样的强的边缘变换为频率空间中的数据时，不能使残差信号的能量集中在低频区域，产生许多高频分量。其结果是，不能对残差信号高效地进行编码。
在图23中示出了某个距离图像的9×9像素的块的一个例子。在该块中存在2个被摄物体，一个被摄物体的像素值为50左右，另一个被摄物体的像素值为200左右。
在空间的预测中，使用该块的第一行和第一列的信息来对剩余的8×8像素进行预测。虽然在预测的方法中有各种各样的方法，但是在此示出了在H.264中采用的代表性的2个预测方法、即水平预测和垂直预测这两个的例子。
如图的右侧所示，对预测残差大致地进行划分，只存在–150左右、0左右、150左右这3种值，产生相当大的边缘。
图24A、24B示出对图23所示的预测残差施加了8×8的二维DCT的结果。直流（DC）分量为图的最深处，越远离深处，越表示高频。
根据图显然可知，在所有的情况下，都会在大部分的高频区域产生大的信号，残差信号的紧凑化失败。
虽然也能不进行预测而仅使用DCT等的变换来进行编码，但是不能除去与其它块的空间的相关，进而编码效率劣化。
此外，虽然也能不进行DCT等的变换而进行编码，但是在该情况下，不能利用块内的局部的相关，不能实现高效的编码。
本发明是鉴于以上那样的情况而完成的，其目的在于提供一种对像距离图像那样的像素值较大地依赖于对象（object）的图像高效地进行编码的图像编码技术和对编码后的比特流（bitstream）进行解码的图像解码技术。
用于解决课题的方案
为了解决上述课题，本发明提供一种图像编码，在对图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域（以下，也称为块），按每个块一边预测各像素的像素值一边进行编码，在该图像编码中假定在各块内存在固定数量的被摄物体或按每个块为可变数量的被摄物体，用“代表各被摄物体的像素值（以下，称为被摄物体像素值）”、“各像素的被摄物体标识信息”的信息表现各块的图像。
即，对块内的1个像素分配示出是哪个被摄物体的1个被摄物体标识信息，将1个被摄物体像素值与1个被摄物体标识信息相对应。
按照该信息按每个像素分配最类似的值，因此，能生成保持有复杂的边缘形状的预测图像。再有，因为块内所包含的被摄物体的数量被限制到至多几个，所以该信息的量有限。
这里所说的被摄物体并不意味着被摄影到的每个物体、人物本身，而是赋予信息的对象，例如是具有类似的图像信号（亮度、色彩、深度等）的区域。即，即使是单一物体，在根据位置具有不同的颜色的情况下，也被看作为多个被摄物体。
此外，不需要对图像信号进行编码的物体、物体的一部分不会被看作为被摄物体。即，被摄物体与帧内的实际对象（被摄物体）没有关系，未被赋予信息的实际对象不是在本发明中所说的“被摄物体”。
此外，在对1个实际对象赋予2个信息的情况下，被处理为各自不同的被摄物体。
对在本发明及其实施方式的说明中使用的用语进行说明。以下，将处理区域代表性地作为块进行说明。
“被摄物体数”：被摄物体数是存在于块内的“被摄物体”的数量，并且是赋予信息的对象的个数。通过对块内的像素值进行解析，从而能生成被摄物体数。
例如，能使用像素值、位置等信息对块内的像素进行聚类（clustering），将各类的评价值（例如，像素值的方差）为固定值以下的类数的最大值作为被摄物体数。此外，也能基于经验等从外部给出、或者使用预先规定的值。
该被摄物体数是为了表现作为附加信息之一的被摄物体像素值的个数而使用的。此外，也为了表现在被摄物体图中出现的被摄物体标识符的最大值而被使用。
“被摄物体像素值”：被摄物体像素值是对每个“被摄物体”定义1个的值，并且是代表该“被摄物体”的像素值。作为像素值，能使用亮度值、色差值、R值等。此外，也有使用RGB值等多个颜色成分值的集合的情况。
通过对块内的像素值进行解析，从而生成被摄物体像素值。具体地说，使用像素值、位置等信息将块内的像素聚类为“被摄物体数”的类，按各类的每一个对所包含的像素的像素值计算平均值或中央值，由此得到被摄物体像素值。
通过对块内的各像素分配与该像素的“被摄物体”对应的被摄物体像素值，从而用于生成该块的预测图像。
“被摄物体图”：被摄物体图是示出了在块内的各像素存在哪个“被摄物体”的图。具体地说，是用与“被摄物体”（被摄物体像素值）对应起来的被摄物体标识符表现各像素的图。在最简单的表现中能表现为二维信息，但是也能使用树形构造来表现。通过对块内的各像素分配与最接近于该像素值的被摄物体像素值对应的被摄物体标识符，从而生成被摄物体图。
再有，不仅鉴于像素值与被摄物体像素值的类似度，有时也鉴于被摄物体图本身的表现所需的比特数而生成。在生成预测像素时，被摄物体图是为了示出对块内的各像素分配哪个被摄物体像素值而被使用的。
“附加信息”：在本发明中将为了对处理对象帧的图像（影像）信号进行预测而使用的信息称为附加信息。附加信息是以进行处理的块单位生成的。附加信息基本上由被摄物体数、被摄物体像素值、被摄物体图这3个信息构成。
在本发明的图像编码中，典型地进行以下的处理。
（1）将存在于处理区域内的被摄物体的数量设定为被摄物体数。
（2）假定在处理区域内存在仅被摄物体数的被摄物体，按每个被摄物体将1个像素值设定为被摄物体像素值。
（3）将识别被摄物体的被摄物体标识符与被摄物体像素值对应起来，根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影。
（4）按照被摄物体图对各像素分配被摄物体像素值的值，由此生成针对处理区域的预测图像。
（5）对被摄物体图进行编码。
（6）对被摄物体像素值进行编码。
（7）使用预测图像将针对处理区域的图像信号进行预测编码。
（8）对被摄物体图的编码数据、被摄物体像素值的编码数据、图像信号的编码数据进行多路复用并输出。
像以上那样，在本发明中，为了生成预测图像，使用作为被摄物体的代表性的像素值的被摄物体像素值和按每个像素示出使用哪个被摄物体像素值来生成预测图像的被摄物体图这2个附加信息。
虽然与在预测图像的生成中使用“预测方向”的信息的现有技术相比较，在本发明中，附加信息的码量增加，但是通过生成正确的预测图像，从而能大幅地减少预测残差的编码所需的码量，能作为总数削减平均每个块等的处理区域所需的码量。
进而，本发明也可以在上述（1）的设定被摄物体数的步骤中，进行根据处理区域内的像素的信息估计处理区域内的被摄物体的数量来作为被摄物体数的处理，对该被摄物体进行编码，将被摄物体数的编码数据作为附加信息与其它编码数据进行多路复用并输出。
由此，能按每个处理区域设定最佳的被摄物体数，能提高预测精度。
此外，本发明也能在上述（6）的对被摄物体像素值进行编码的步骤中，按每个被摄物体标识符检查是否在被摄物体图中使用了该被摄物体标识符，在进行使用的情况下，对与该被摄物体标识符对应的被摄物体像素值进行编码，在未进行使用的情况下，省略与该被摄物体标识符对应的被摄物体像素值的编码。
通过省略未在处理区域内的像素的预测中使用的被摄物体像素值的编码，从而能进一步削减码量。
此外，本发明也可以在上述（7）的对图像信号进行预测编码的步骤中，对预测图像附加抖动（dither），使用被施加了抖动的预测图像来将针对编码对象的处理区域的图像信号进行预测编码。
通过对预测图像附加抖动，从而即使被摄物体的个数有限，也能赋予更接近于自然图像的变化。
在本发明的图像解码中，典型地进行以下的处理。
（1）将存在于处理区域内的被摄物体的数量设定为被摄物体数。
（2）根据成为解码对象的编码数据对被摄物体图进行解码。
（3）根据编码数据对按各被摄物体标识符的每一个设定有1个的被摄物体像素值进行解码。
（4）按照被摄物体图对各像素分配被摄物体像素值的值，由此生成针对处理区域的预测图像。
（5）根据编码数据使用预测图像将针对处理区域的图像信号进行解码。
由此，能对由上述图像编码进行编码后的图像进行解码。
此外，本发明也可以在上述（1）的设定被摄物体数的步骤中，根据编码数据对被摄物体数进行解码并进行设定。
此外，本发明也可以在上述（3）的对被摄物体像素值进行解码的步骤中，仅对与被摄物体图中出现的被摄物体标识符对应的被摄物体像素值进行解码。
此外，本发明也可以在上述（5）的对图像信号进行解码的步骤中，对预测图像附加抖动，根据编码数据使用被加了抖动的预测图像将针对处理区域的图像信号进行解码。
发明效果
根据本发明，通过对像距离图像那样的像素值较大地依赖于被摄物体、在局部上仅存在有限数量的被摄物体那样的图像，使用每个被摄物体的代表像素值和被摄物体标识信息，从而能实现高精度的预测，能实现高效的图像编码。
即，通过使用本发明，从而对具有复杂的形状的被摄物体提供正确保持了边缘的正确的预测图像，由此能削减预测残差编码所需的码量。
附图说明
图1是示出本发明第一实施方式的图像编码装置的结构的框图。
图2是第一实施方式的图像编码装置的处理流程图。
图3是示出第一实施方式的图像编码装置的另一结构例的框图。
图4是示出被摄物体图的例子的图。
图5是说明对被摄物体标识符进行编码的例子的图。
图6是示出树形构造被摄物体图的例子的图。
图7是示出树形构造被摄物体图的另一例子的图。
图8是在仅将针对出现在被摄物体图中的被摄物体标识符的被摄物体像素值进行编码的情况下的处理流程图。
图9是在进行被摄物体像素值的预测来对被摄物体像素值进行编码的情况下的处理流程图。
图10是示出第二实施方式的图像解码装置的结构的框图。
图11是第二实施方式的图像解码装置的处理流程图。
图12是示出第二实施方式的图像解码装置的另一结构例的框图。
图13是示出进行解码后的树形构造被摄物体图的例子的图。
图14是示出进行解码后的被摄物体图的例子的图。
图15是示出编码数据的每个块的句法的一个例子的图。
图16A是示出用于预测图像的生成的附加信息的数据构造的例1的图。
图16B是示出上述数据构造的例1的具体例子的图。
图17A是示出用于预测图像的生成的附加信息的数据构造的例2的图。
图17B是示出上述数据构造的例2的具体例子的图。
图18A是示出用于预测图像的生成的附加信息的数据构造的例3的图。
图18B是示出上述数据构造的例3的具体例子的图。
图19A是示出用于预测图像的生成的附加信息的数据构造的例4的图。
图19B是示出上述数据构造的例4的具体例子的图。
图20是示出在由计算机和软件程序构成图像编码装置的情况下的硬件结构例的图。
图21是示出在由计算机和软件程序构成图像解码装置的情况下的硬件结构例的图。
图22A是示出在使用本手法和以往手法来进行编码的情况下的产生码量的比较的图。
图22B是示出在使用本手法和以往手法来进行编码的情况下的图像品质的比较的图。
图23是说明本发明的课题的图，并且是对某个距离图像的水平预测和垂直预测的例子。
图24A是示出对图23所示的水平预测残差施加了8×8的二维DCT的结果的图。
图24B是示出对图23所示的垂直预测残差施加了8×8的二维DCT的结果的图。
具体实施方式
在本发明中，按设定在处理区域内的各被摄物体的每一个设定1个像素值，对处理区域内的各像素给出用于识别被摄物体的信息，生成预测图像。因此，能与任意的被摄物体形状对应地生成高精度的预测图像。特别是在像素值依赖于被摄物体而较大地不同的情况下，能使参照目的地与预测目的地的被摄物体一致，能使每个像素的预测精度大体相等。
此外，即使在图像整体中存在许多像素值，也认为在局部上仅有有限数量的像素值，因此，通过按较小的每个区域设定作为被摄物体的像素值，从而在本发明中能利用被摄物体的局部的特征来进行高效的编码。
以下，参照附图对本发明的一个实施方式进行说明。
[第一实施方式：图像编码装置]
首先，对第一实施方式进行说明。
图1是示出本发明第一实施方式的图像编码装置的结构的框图。
如图1所示，图像编码装置100具备：编码对象帧输入部101、编码对象帧存储器102、被摄物体数设定部103、被摄物体像素值设定部104、被摄物体像素值编码部105、被摄物体图生成部106、被摄物体图编码部107、预测图像生成部108、图像信号编码部109、以及多路复用部110。
编码对象帧输入部101输入成为编码对象的图像帧。
编码对象帧存储器102对被输入的编码对象帧进行积蓄。
被摄物体数设定部103对预先规定的大小的处理区域所包含的被摄物体数进行设定。
被摄物体像素值设定部104假定在处理区域存在给出的数量的被摄物体，并对各被摄物体设定1个像素值。
被摄物体像素值编码部105对给出的每个被摄物体的像素值进行编码。以下，将对某个区域生成的每个被摄物体的像素值称为被摄物体像素值。
被摄物体图生成部106对在处理区域内的各像素所摄影的被摄物体进行识别，生成后述的被摄物体图。
被摄物体图编码部107对生成的被摄物体图进行编码。
预测图像生成部108根据对处理区域生成的被摄物体像素值和被摄物体图，生成对处理区域的预测图像。
图像信号编码部109按每个处理区域使用预测图像来对编码对象帧的图像信号进行编码。
多路复用部110对被摄物体像素值的编码数据、被摄物体图的编码数据、以及编码对象帧的图像信号的编码数据进行多路复用并输出。
图2是用于说明第一实施方式的图像编码装置100的工作的流程图。按照该流程图，对图像编码装置100执行的处理详细地进行说明。
首先，由编码对象帧输入部101输入编码对象帧，并储存在编码对象帧存储器102中（步骤S101）。
在编码对象帧的储存结束了之后，对编码对象帧进行分割，按分割的每个区域对编码对象帧的图像信号进行编码（步骤S102～S112）。
也就是说，当假设用blk表示编码对象块索引（index）、用numBlks表示总编码对象块数时，用0对blk进行初始化（步骤S102），之后，一边对blk加1（步骤S111）一边重复以下的处理（步骤S103～步骤S110），直到blk变成numBlks（步骤S112）。
在按每个编码对象块进行重复的处理中，首先，在被摄物体数设定部103中设定块blk所包含的被摄物体的数量（被摄物体数numObjs）（步骤S103）。
只要是与解码侧相同的处理，那么无论使用什么样的处理都可以确定被摄物体数。例如，也可以总是设定预先规定的数。
此外，也可以按每个编码对象块设定不同的值来作为被摄物体数。作为按每个编码对象块设定不同的值的方法，有按照编码对象块的像素值设定被摄物体数的方法。
具体地说，有如下方法，即，对编码对象块的像素使用k–means法、AffinityPropagation等聚类手法，将各类内的像素值方差为预先规定的值以下的聚类结果中的最小的类数作为被摄物体数。作为用于聚类的尺度，既可以仅使用像素值，也可以使用由像素值和像素位置构成的值。
作为其它的方法，有如下方法，即，按被摄物体数的每个候补，计算由设定该被摄物体数并进行编码的情况下的码量和失真量的加权和给出的率失真成本，设定该成本为最小的被摄物体数。
因为当被摄物体数变大时存在编码效率降低的情况，所以也可以预先规定被摄物体数的最大值，防止被摄物体数变为固定值以上。
再有，在按每个编码对象块将不同的值作为被摄物体数的情况下，因为在对编码数据进行解码时需要被摄物体数，所以需要将设定的被摄物体数包含在编码数据中。
图3是在对被摄物体数进行编码的情况下的图像编码装置的框图。
在对被摄物体数进行编码的情况下，在图1所示的图像编码装置100中的被摄物体数设定部103之后，追加对被摄物体数设定部103设定的被摄物体数进行编码的被摄物体数编码部111。
在对被摄物体数进行编码的情况下，既可以对设定的被摄物体数直接进行编码，也可以使用与编码对象块邻接的已经完成编码的区域的信息来对与预测的被摄物体数的差分值进行编码。
作为预测的方法，有将对已经完成编码的邻接块进行编码时使用的被摄物体数的平均值或中央值作为预测值的方法。
此外，在对被摄物体进行编码的情况下，也可以不按每个块进行编码，而是按帧或被称为片段（slice）的多个块的每个集合对被摄物体数进行设定、编码。通过这样做，从而在被摄物体数依赖于区域而变化的那样的情况下，能高效地对被摄物体数进行编码。
再有，也能组合对帧或片段单位的被摄物体数的设定、编码和对每个块的被摄物体数的设定、编码。
在该情况下，在帧或片段单位中对被认为与该帧或片段所包含的多个块的大部分相适合的被摄物体数进行设定、编码，按每个块对从该被摄物体数的变化量进行设定、编码。关于按每个块进行设定、编码的变化量，也能使用邻接的已经完成编码的区域的信息来进行预测，并编码为变化量的预测差分。
在被摄物体数的设定结束了之后，接着，在被摄物体像素值设定部104中，按块blk内的每个被摄物体设定1个像素值来作为被摄物体像素值Value（i）（步骤S104）。
在此，将i设为用于识别被摄物体的被摄物体标识符，i是0以上且不足numObjs的整数。此外，按照预先规定的规则来分配被摄物体标识符。在此，假设按照被摄物体像素值小的顺序进行分配。
在按每个被摄物体设定1个像素值的方法中，使用什么样的方法都可以。例如，也可以将像素值的值域均等地划分为被摄物体数的量的区间（例如，在像素值范围为0～255并且被摄物体数为4的情况下，设定0～63、64～127、128～191、192～255这4个区间），并设定各范围的中央值。
作为其它的方法，有如下方法，即，使用前述的那样的聚类手法将块blk的像素分割成numObjs个类，将各类所包含的像素的像素值的平均值或中央值作为被摄物体像素值。
再有，在对被摄物体数进行设定时，在对块blk的像素进行聚类的情况下，也可以与被摄物体数的设定同时地设定被摄物体像素值。
进而，作为其它的方法，有如下方法，即，以numObjs个以下的类数，以类内的像素值方差值的最大值比另外规定的阈值小的最小的类数进行分割，将每个类的平均值或中央值设定为被摄物体像素值，对不足numObjs个的部分适当地设定被摄物体像素值。
在被摄物体数总是固定的情况下，在本来仅存在单一对象的情况下，也通过假定存在多个被摄物体，从而提供过度高精度的预测，存在被摄物体图（对块blk的各像素分配被摄物体标识符的图）的码量增大的可能性。
可是，通过对成为目标的比特率规定阈值，并与numObjs无关地规定被摄物体标识符，从而能防止码量变得过多。
例如，能够以如下方式对被摄物体图的生成进行控制，即，（i）在目标比特率比阈值A小的情况下，与设定的被摄物体数无关地在被摄物体图中仅出现一种被摄物体标识符，（ii）在目标比特率比阈值A大且比阈值B小的情况下，在被摄物体图中出现两种被摄物体标识符。
在未设置这样的条件的情况下，例如，在被摄物体数被设定得比较大（例：10）的情况下，当直接应用后述的处理时，也存在被摄物体图的码量变得庞大的可能性。
在得到了被摄物体像素值之后，接着，在被摄物体图生成部106中对块blk生成被摄物体图（步骤S105）。
被摄物体图例如是图4那样的二维信息。
作为对各像素分配被摄物体标识符的方法，有对各像素分配具有最接近于该像素值的被摄物体像素值的被摄物体标识符的方法。
此外，作为其它的方法，有如下方法，即，在对被摄物体像素值进行设定时进行聚类的情况下，利用其结果，将按每个类分配的被摄物体标识符对属于该类的像素进行设定。
进而，作为其它的方法，有如下方法，即，生成多个被摄物体图候补，按每个被摄物体图候补计算由使用该被摄物体图候补来进行编码时的码量与失真量的加权和给出的率失真成本，将该值为最小的被摄物体图候补设定为被摄物体图。
既可以将存在可能性的全部的被摄物体图作为被摄物体图候补，也可以仅将限定的几个特征性的被摄物体图作为被摄物体图候补。
作为特征性的被摄物体图，有对各像素分配具有最接近于其像素值的被摄物体像素值的被摄物体标识符而生成的被摄物体图、全部的像素为相同的被摄物体标识符那样的被摄物体图、对水平或垂直进行二分的被摄物体图等。
接着，在被摄物体图编码部107中对生成的被摄物体图进行编码（步骤S106）。
在编码中使用什么样的方法都可以。例如，也可以根据被摄物体数对各被摄物体标识符分配固定长度或可变长度的码，使用光栅扫描（rasterscan）、Z字形扫描（zigzagscan）等将二维的图信息变换成一维的二进制数据，由此进行编码。
作为其它的方法，有如下方法，即，在一边按预先规定的顺序进行扫描一边将针对块blk内的各像素的被摄物体标识符进行编码时，对各像素将周围的已经完成编码的像素设定为参照像素，根据该参照像素中的被摄物体标识符，一边使概率表变化一边进行算术编码。
例如，在被摄物体数为3时像图5那样对编码对象像素（图中x）定义3个参照像素的情况下，能按参照像素中的被摄物体标识符的每个组合，定义编码对象像素中的被摄物体标识符的概率表。
也就是说，在该情况下使用27种概率表进行编码。只要在解码侧可得到相同的概率表，那么该概率表既可以是固定的，也可以是根据在此之前的编码历史进行更新的可变的概率表。
通常，因为相同的被摄物体连续地出现，所以通过像这样使用（根据周围像素得到的）周围的状况，从而能更加高精度地表现编码对象符号（symbol）的发生概率，能使算术编码的编码效率提高。
再有，通过使用更宽范围的周围像素的信息，从而能更加高精度地预测发生概率。
再有，根据参照像素的设定方法，有在画面端处不存在一部分参照像素的情况、在像H.264/AVC那样按每个块切换不同的预测模式进行使用时在参照像素中不存在被摄物体标识符的情况。
对这样的像素分配预先规定的被摄物体标识符、或者另外分配不明的标签（label）并定义其它的概率表，由此能考虑上述那样的情况使被摄物体图的算术编码的编码效率提高。
进而，作为其它的方法，有将被摄物体图变换成树形构造的信息后进行编码的方法。具体地说，使用将块blk作为根（root）并使分割了双亲节点（根）的块的多个子块（sub-block）与各节点的子节点对应的树形构造。通过使用这样的树形构造，从而能效率良好地表现汇总起来存在的单一对象的像素集合，能使编码效率提高。
作为树形构造，能使用任意的定义的树形构造。
例如，能对各节点附加表示与该节点对应的块内的全部像素的被摄物体标识符是否相同的二进制信息，作为子节点，在被摄物体标识符全部相同的情况下，定义具有该被摄物体标识符的编号的叶（leaf），在被摄物体标识符不全部相同的情况下，定义与将自身的块进行四分而生成的子块对应的4个节点，生成树形构造的信息。
再有，在对应的块为1个像素的情况下，能对表示全部像素的被摄物体标识符是否相同的二进制信息的节点进行省略。
在图6中示出对图4的被摄物体图利用以上的方法生成的树形构造。
在图6中，对各节点，在与该节点对应的块内的全部像素的被摄物体标识符相同的情况下，附加二进制信息的“1”，在不是这样的情况下，附加二进制信息的“0”。
作为其它的定义，还有如下方法，即，对各节点，在与该节点对应的块内的全部像素的被摄物体标识符相同的情况下，赋予对该被摄物体标识符的编号加1后的数作为信息，在不是这样的情况下赋予0作为信息，仅对被赋予了信息0的节点，定义针对将该块进行四分后的子块的子节点。
对图4的被摄物体图用该方法生成的树形构造是图7。
在对生成的树进行编码时，对树进行深度优先搜索或宽度优先搜索并进行扫描，按扫描顺序对各节点所具有的信息进行编码。
深度优先搜索是如下这样的搜索，即，从成为搜索对象的树的最初的节点开始一直较深地延伸，直到找到目的节点或到达没有子的节点为止，之后返回到最近的搜索未结束的节点。
另一方面，宽度优先搜索是具有如下这样的规则的搜索，即，从深度浅的点（从顶点开始沿路前进的节点数少的点）开始按顺序进行搜索，此外，从位于左侧的顶点开始按顺序进行搜索。
再有，还能划分叶和叶以外来进行编码。
利用树的深度优先搜索对图6进行扫描后的结果的数列为01001000222110221201011000011111。
当以叶和叶以外对其进行划分时，叶为0002221221201000111，叶以外为0101010011011。
利用树的深度优先搜索对图7进行扫描后的结果的数列为0101013332033230120111222。
数列可以直接进行二值化作为编码数据，也可以根据邻接像素中的被摄物体标识符的状况一边切换概率表一边进行算术编码。
例如，在对图6的叶以外进行编码的情况下，有如下方法，即，对与各节点所对应的块邻接的像素的被摄物体标识符进行查找，根据针对像素数最多的被摄物体标识符的像素数对概率表进行切换。
此外，在对图6的叶进行编码的情况下，有如下方法，即，根据与各节点所对应的块邻接的像素的被摄物体标识符的状况对概率表进行切换。
再有，只要在解码侧可得到相同的概率表，那么概率表可以是固定的概率表，也可以是根据在此之前的编码历史进行更新的可变的概率表。
在被摄物体图的编码结束了之后，接着，在被摄物体像素值编码部105中按每个被摄物体标识符对被摄物体像素值进行编码（步骤S107）。
既可以对被摄物体像素值直接进行编码，也可以使用邻接块中的被摄物体像素值、已经进行了编码的相同的块的被摄物体像素值来进行预测并仅对预测残差进行编码。
作为根据邻接块进行预测的方法，有将相同的被摄物体标识符的邻接块的被摄物体像素值的平均值或中央值作为预测值的方法。
作为使用已经进行了编码的相同的块的被摄物体像素值来进行预测的方法，在按被摄物体像素值小的顺序进行编码的情况下，有如下方法，即，将对之前进行了编码的被摄物体像素值加1后的值作为预测值的方法、使用之前进行了编码的被摄物体像素值和剩余的编码所需的被摄物体像素值的数量生成预测值的方法。
该最后的方法是如下方法，即，将对之前进行了编码的被摄物体像素值加1后的值设为最小值、将能取得的像素值的最大的值设为最大值，将这样的范围分割成具有剩余的编码所需的被摄物体像素值的数量大体上相同的大小的部分范围，从其中将包含最小值的部分范围的中央值设为预测值。
例如，在之前对作为被摄物体像素值的51进行编码并且剩余的被摄物体像素值的数量为3个的情况下，通过将［52、255］分割成具有相同大小的3个部分范围，从而得到［52、119］、［120、187］、［188、255］，将包含最小值的［52、119］的范围的中央值85设为预测值。
在无法成为完全相同的大小的部分范围的情况下，既可以按照预先规定的规则，生成在两端具有整数的部分范围，也可以使用小数等来表现。再有，因为预测值需要是整数，所以在求取中央值时进行取整、四舍五入。
此外，在对范围进行分割时，也可以使用以前的知识按照等间隔以外的固定规则进行分割。例如，有以部分范围的大小为N、2N、3N、…这样变大的方式进行分割的方法、以部分范围的大小为N、N/2、N/3、…这样变小的方式进行分割的方法。
此外，还有将根据邻接块进行预测的方法和使用已经进行了编码的相同的块的被摄物体像素值来进行预测的方法组合起来进行预测的方法。
例如，有如下方法，即，在对最初的被摄物体像素值进行编码的情况下，根据邻接块进行预测，在对除此以外的被摄物体像素值进行编码的情况下，使用在相同的块中之前进行了编码的被摄物体像素值来进行预测。
作为其它的方法，有如下方法，即，将在相同的块中之前进行了编码的被摄物体像素值和根据邻接块进行了预测的值相比较，根据该比较结果确定预测值。
进而，作为其它的方法，有对表示使用了哪个预测方法的信息另外进行编码并切换预测方法的方法。
再有，在对被摄物体像素值进行编码时，也可以仅将针对在被摄物体图中出现的被摄物体标识符的被摄物体像素值进行编码。在图8中示出该情况的详细的处理流程。
在该流程中，将被摄物体标识符（obj）初始化为0（步骤S121），按每个被摄物体标识符，检查是否在被摄物体图中使用了该被摄物体标识符（步骤S122）。
在进行使用的情况下，将针对该被摄物体标识符的被摄物体像素值编码（步骤S123），进入到下一个被摄物体标识符（步骤S124）。另一方面，在未进行使用的情况下，不进行编码，立刻进入到下一个被摄物体标识符（步骤S124）。
如果对全部被摄物体标识符重复了以上的处理，则结束处理（步骤S125）。
图9是在进行被摄物体像素值的预测的情况下的流程图。
与图8的差异在于，在被摄物体图中使用被摄物体标识符的情况下，生成针对该被摄物体标识符的被摄物体像素值的预测值（步骤S133），对该预测值与被摄物体像素值的差分值进行编码（步骤S134）。
在检查是否在被摄物体图中使用某个被摄物体标识符的方法中可以使用任意的方法。
例如，有如下方法，即，在对被摄物体图进行生成、编码时等，在进入到图8、图9的流程之前，生成表示各被摄物体标识符是否被使用的标记，在检查时检查该标记，由此进行判定。
通过像这样对被摄物体图进行检查来控制被摄物体像素值的编码的执行，从而能削减对不被使用的信息进行编码所需的码量。
例如，在与块blk的图像信号无关地总是设定固定的被摄物体数的情况下等，利用被摄物体像素值的设定方法、被摄物体图的生成方法产生不使用的被摄物体标识符，因此通过像这样省略针对不使用的被摄物体标识符的被摄物体像素值的编码，从而能使码量变少。
此外，虽然在上述的说明中，对被摄物体像素值、被摄物体像素值的预测残差直接进行编码，但是也可以使用对码量、品质的目标设定的量化参数来对量化后的值进行编码。在该情况下，在生成预测值时，需要参照经量化/反量化由解码得到的值。
接着，使用被摄物体图和被摄物体像素值，在预测图像生成部108中生成针对块blk的预测图像（步骤S108）。
具体地说，通过对各像素分配根据与从被摄物体图得到的被摄物体标识符对应的被摄物体像素值，从而生成预测图像。再有，在对被摄物体像素值进行量化、编码的情况下，需要使用进行量化/反量化而在解码侧得到的值来生成预测图像。
再有，也可以对像上述那样制作的预测图像进一步附加抖动。
在使用了被摄物体图和被摄物体像素值的预测图像中，仅存在与被摄物体数相同的数量的像素值，因此成为具有与自然图像不同的性质的图像。因此，通过附加抖动（对存在的像素值进行组合，在整体的图像中表现中间的像素值），从而能赋予更接近于自然图像的变化。
虽然在抖动生成中能使用任意的方法，但是需要能在解码侧发生同样的抖动。因而，在切换多个抖动生成法、或者在抖动生成法中需要初始值等参数的情况下，需要对这些信息进行编码。
在得到了预测图像之后，在图像信号编码部109中将针对块blk的图像信号进行预测编码（步骤S109）。
在编码中使用什么样的方法都可以。在MPEG–2、H.264/AVC等一般的编码中，通过对块blk的图像信号与预测图像的差分信号依次施加DCT等频率变换、量化、二值化、熵编码，从而进行编码。
最后，在多路复用部110中对被摄物体图的编码数据、被摄物体像素值的编码数据以及图像信号的编码数据进行多路复用并输出（步骤S110）。在对被摄物体数进行编码时，也将针对被摄物体数的编码数据进行编码。
再有，虽然在此按每个块进行多路复用，但是以帧单位进行多路复用也可以。但是，在该情况下，需要在解码时对一个帧的量的编码数据进行缓冲后进行解码。
作为特殊的状况，在被摄物体数为1的情况下，因为被摄物体图仅存在1种，所以在被摄物体图设定步骤中，仅通过对该唯一的被摄物体图候补进行设定即可，无需对被摄物体图进行编码。
[第二实施方式：图像解码装置]
接着，对本发明的第二实施方式进行说明。
图10是表示第二实施方式的图像解码装置的结构的框图。
如图10所示，图像解码装置200具备：编码数据输入部201、编码数据存储器202、分离部203、被摄物体数设定部204、被摄物体图解码部205、被摄物体像素值解码部206、预测图像生成部207、以及图像信号解码部208。
编码数据输入部201输入成为解码对象的图像帧的编码数据。
编码数据存储器202对输入的编码数据进行积蓄。
分离部203将进行多路复用后的编码数据分离成多个不同的信息被编码的编码数据。
被摄物体数设定部204对预先规定的大小的处理区域所包含的被摄物体数进行设定。
被摄物体图解码部205根据编码数据对被摄物体图进行解码。
被摄物体像素值解码部206根据编码数据按每个被摄物体对被摄物体像素值进行解码。
预测图像生成部207根据对处理区域进行解码后的被摄物体像素值和被摄物体图生成针对处理区域的预测图像。
图像信号解码部208按每个处理区域使用预测图像根据编码数据对解码对象帧的图像信号进行解码。
图11是用于说明第二实施方式的图像解码装置200的工作的流程图。按照该流程图，对图像解码装置200执行的处理详细地进行说明。
首先，编码数据输入部201输入针对解码对象帧的编码数据，储存在编码数据存储器202中（步骤S201）。
在编码数据的储存结束了之后，对解码对象帧进行分割，按分割的每个区域对解码对象帧的图像信号进行解码（步骤S202～S210）。
也就是说，当假设用blk表示解码对象块索引、用numBlks表示总解码对象块数时，用0对blk进行初始化（步骤S202），之后，一边对blk加1（步骤S209），一边重复以下的处理（步骤S203～S208），直到blk变成numBlks（步骤S210）。
在按每个解码对象块进行重复的处理中，首先，在分离部203中将输入的编码数据分离成多个信息的编码数据（步骤S203）。
在第二实施方式中，用以块单位交织（interleave）有多个信息的编码数据（按每个块按顺序存储有各信息的编码数据）的例子进行说明，但是在以帧等不同的单位进行交织的情况下，无需以块单位重复该编码数据的分离。
在编码数据的分离结束了之后，接着，在被摄物体数设定部204中设定块blk所包含的被摄物体的数量numObjs（步骤S204）。
使用与编码侧相同的处理进行被摄物体数的设定。例如，在编码侧总是设定预先规定的数量的情况下，在此也设定相同的数量。
作为其它的例子，在为了按每个块设定不同的被摄物体数而对被摄物体数进行编码并包含于编码数据中的情况下，被摄物体数设定部204接收被摄物体数的编码数据，将进行解码后的结果的值设定为被摄物体数。
再有，也能不设定被摄物体数，在该情况下，只要像以下所说明的那样对被摄物体图进行解码，按在那里出现的每个被摄物体标识符对被摄物体像素值进行解码，就也能没问题地对图像进行解码。
由于在设定被摄物体数的情况下知道被摄物体标识符的最大值，所以能以较少的码量对被摄物体图进行解码（表现）。
图12是在对被摄物体数进行编码的情况下的图像解码装置的框图。
在对被摄物体数进行编码的情况下，如图12所示，被摄物体数设定部204’接收被分离部203分离后的被摄物体数的编码数据，对其进行解码，取得被摄物体数。
再有，在编码时，将在对与块blk邻接的已经完成处理的块进行编码时使用的被摄物体数的平均值或中央值作为预测值，在对块blk的被摄物体数进行预测编码的情况下，以同样的方法生成预测值，将对该值加上了根据编码数据进行解码后的值的结果设定为被摄物体数。
此外，还存在不按每个块而是按帧或被称为片段的多个块的每个集合对被摄物体数进行编码的情况。在这样的情况下，通过以帧、片段单位对被摄物体数编码数据只进行一次解码，并临时地积蓄该结果，从而在下一更新的定时之前重复设定相同的值。
进而，还存在以帧或片段单位对全局的（global）被摄物体数进行编码，按每个块对从此处起的变化量进行编码的情况。在这样的情况下，以帧、片段单位对全局的被摄物体数编码数据只进行一次解码，并临时地积蓄该结果，对该值加上按每个块进行解码的变化量的值，得到在该块中使用的被摄物体数。
进而，在根据邻接的块对该变化量进行预测的情况下，按每个块对被摄物体变化量预测差分进行解码，对该值加上全局的被摄物体数和从邻接块起的变化量的预测值，由此得到在该块中使用的被摄物体数。
在被摄物体数的设定结束了之后，接着，在被摄物体图解码部205中根据分离后的编码数据对被摄物体图进行解码（步骤S205）。
在此，像前述的那样，被摄物体图是对块blk的各像素分配有被摄物体标识符的图。例如，是像图4那样的二维信息。根据在编码时使用的方法，被摄物体图的解码是不同的。
例如，存在如下情况，即，根据被摄物体数对各被摄物体标识符分配固定长度或可变长度的码，使用光栅扫描、Z字形扫描等将二维的图信息变换成一维的二进制数据，由此进行编码。
在该情况下，对作为编码数据给出的一维的二进制数据依次进行扫描，每当找到对应的被摄物体标识符时，光栅扫描、Z字形扫描等按与编码时相同的顺序，按每个像素分配被摄物体标识符，由此进行解码。
作为其它的方法，存在如下情况，即，在一边按预先规定的顺序进行扫描一边将针对块blk内的各像素的被摄物体标识符进行编码时，对各像素将周围的已经完成编码的像素设定为参照像素，根据该参照像素中的被摄物体标识符，一边使概率表变化一边进行算术编码。
在这样的情况下，按照与使用的扫描顺序同样的顺序按每个像素将周围的已经完成解码的像素设定为参照像素，根据该像素中的被摄物体标识符，一边使概率表变化一边进行算术解码。
关于概率表的数量、初始值、更新方法、设定方法，使用与编码时相同的手法，由此能正确地进行解码。
再有，根据参照像素的设定方法，存在如下情况，即，在画面端处不存在一部分参照像素的情况、在像H.264/AVC那样按每个块切换不同的预测模式进行使用时在参照像素中不存在被摄物体标识符的情况。
对这样的像素以与编码时同样的方法分配预先规定的被摄物体标识符、或者另外分配不明的标签并定义其它的概率表，由此能考虑上述那样的情况效率良好地对编码后的被摄物体图的编码数据正确地进行解码。
进而，作为其它的方法，存在使用树形构造的数据对被摄物体图进行编码的情况。在该情况下，也通过使用与编码时的方法对应的方法，从而能根据编码数据对被摄物体图进行解码。
在根据给出的编码数据经由树形构造的数据对被摄物体图进行解码的处理中，首先，根据编码数据的二进制列对表示树形构造的数据的数列进行解码。在根据二进制列对树形构造数据数列的解码中，需要使用与编码时使用的方法对应的方法。
例如，在进行使用了可变概率表的算术编码的情况下，一边以与编码时相同的方法对概率表进行更新，一边根据编码数据对非压缩的二进制列进行解码。非压缩的二进制列参照与在编码时使用的表相同的固定长度或可变长度的表进行逆变换，对编码前的数列进行解码。
在表示树形构造数据的数列能进行解码之后，对该数列进行解读，构筑树形构造的数据。在此，需要进行与编码时根据树形构造生成数列相反的变换。
再有，关于树形构造的定义，也需要与编码侧共有。例如，定义如下树形构造，即，将块blk作为根，各节点具有0～numObjs的数字，被分配0的节点具有4个子节点，在以深度优先搜索对树进行扫描并生成数列的情况下，在给出了数列0100133332033231020232222的情况下，复原像图13那样的树。
在得到了树形构造数据之后，从此处对被摄物体图进行复原。在该复原中，需要与编码侧共有树形构造的定义，使用该定义进行复原。
例如，在如下的情况下，能根据图13的树对图14的被摄物体图进行解码，该情况是，树的根表示块blk整体，子节点与能将双亲节点进行纵横二等分而成的4个子块（光栅扫描顺序）对应，从对各节点分配的0以外的数字减去1的数示出针对对应的块所包含的全部像素的被摄物体标识符。
再有，在此示出的树形构造、数列的定义等是一个例子，只要能与编码侧共有定义，那么使用什么样的方法都可以。
在被摄物体图的解码结束了之后，接着，在被摄物体像素值解码部206中，根据分离后的编码数据按每个被摄物体标识符对被摄物体像素值进行解码（步骤S206）。
根据编码时使用的方法，每个被摄物体标识符的被摄物体像素值的解码是不同的。以下，为了简单，假设按被摄物体标识符小的顺序对被摄物体像素值进行编码。
例如，在对被摄物体像素值直接进行编码的情况下，依次对被摄物体标识符分配进行解码而得到的值。
此外，在使用邻接块中的被摄物体像素值、已经进行解码后的相同的块的被摄物体像素值进行预测并仅对预测残差进行编码的情况下，将对生成的预测值加上了根据编码数据进行解码的值而得到的值作为被摄物体像素值依次分配给被摄物体标识符。
在预测值的生成中需要使用与编码时相同的方法。
例如，作为根据邻接块进行预测的方法，有将相同的被摄物体标识符的邻接块的被摄物体像素值的平均值或中央值作为预测值的方法。
作为使用已经进行了解码的相同的块的被摄物体像素值来进行预测的方法，在按被摄物体像素值小的顺序进行解码的情况下，有如下方法，即，将对之前进行了解码的被摄物体像素值加1后的值作为预测值的方法、使用之前进行了解码的被摄物体像素值和剩余的解码所需的被摄物体像素值的数量生成预测值的方法。
作为使用之前进行了解码的被摄物体像素值和剩余的解码所需的被摄物体像素值的数量来生成预测值的方法的具体例子，有以下那样的例子。
首先，将对之前进行了解码的被摄物体像素值加1后的值设为最小值、将能取得的像素值的最大的值设为最大值，将这样的范围分割成具有剩余的解码所需的被摄物体像素值的数量大体上相同的大小的部分范围。而且，从其中将包含最小值的部分范围的中央值设为预测值。
例如，在之前对作为被摄物体像素值的51进行解码并且剩余的被摄物体像素值的数量为3个的情况下，通过将［52、255］分割成具有相同的大小的3个部分范围，从而得到［52、119］、［120、187］、［188、255］，将包含最小值的［52、119］的范围的中央值85设为预测值。
在无法成为完全相同的大小的部分范围的情况下，按照预先规定的规则，既可以生成在两端具有整数的部分范围，也可以使用小数等来表现。例如，有以部分范围的大小为N、2N、3N、…这样变大的方式进行分割的方法、以部分范围的大小为N、N/2、N/3、…这样变小的方式进行分割的方法。
为了正确地进行解码，分割的规则需要与在编码时使用的规则相同。
此外，还有将根据邻接块进行预测的方法和使用已经进行了解码的相同的块的被摄物体像素值来进行预测的方法组合起来进行预测的方法。
例如，有如下方法，即，在对最初的被摄物体像素值进行解码的情况下，根据邻接块进行预测，在对除此以外的被摄物体像素值进行解码的情况下，使用在相同的块中之前进行了解码的被摄物体像素值来进行预测。
作为其它的方法，有如下方法，即，将在相同的块中之前进行了解码的被摄物体像素值和根据邻接块进行了预测的值相比较，根据该比较结果确定预测值。
进而，作为其它的方法，有对表示使用了哪个预测方法的信息另外进行编码并切换预测方法的情况。在该情况下，在对表示预测手法的信息进行解码后，根据该结果生成预测值。
再有，有仅对针对在被摄物体图中出现的被摄物体标识符的被摄物体像素值进行编码的情况。在这样的情况下，根据被摄物体图的结果判定成为缺号的被摄物体标识符，跳过该被摄物体标识符，按解码顺序分配被摄物体像素值。
此外，虽然在上述的说明中说明了对被摄物体像素值、被摄物体像素值的预测残差直接进行编码，但是存在使用对码量、品质的目标设定的量化参数来对量化后的值进行编码的情况。
在这样的情况下，通过对进行解码而得到的值进行反量化，从而得到被摄物体像素值的解码值。
在被摄物体像素值的解码结束了之后，接着，在预测图像生成部207中生成针对块blk的预测图像（步骤S207）。
具体地说，通过对各像素分配与从被摄物体图得到的被摄物体标识符对应的被摄物体像素值，从而生成预测图像。
再有，也可以对像上述那样制作的预测图像进一步附加抖动。
在使用了被摄物体图和被摄物体像素值的预测图像中，仅存在与被摄物体数相同的数量的像素值，因此成为具有与自然图像不同的性质的图像。因此，通过附加抖动，从而能赋予更接近于自然图像的变化。
虽然在抖动生成中能使用任意的方法，但是需要使用与编码侧相同的手法。再有，在编码数据中包含抖动生成装置的初始化等所需的参数的情况下，对其进行解码并使用。
在得到了预测图像之后，在图像信号解码部208中将针对块blk的图像信号进行解码（步骤S208）。
根据在编码时使用的方法，图像信号的解码是不同的。例如，在使用MPEG–2、H.264/AVC等一般的编码的情况下，通过对编码数据进行熵解码、逆二值化、反量化、IDCT等频率逆变换，从而对预测残差进行解码，通过对该结果施加预测图像，从而对块blk的图像信号进行复原。
作为特殊的状况，在被摄物体数为1的情况下，因为被摄物体图仅存在1种，所以存在通过不将针对该块的被摄物体图进行编码而削减码量的情况。在这样的情况下，不对被摄物体图编码数据进行解码，而是仅通过将该唯一的被摄物体图候补设定为针对该块的被摄物体图即可。再有，在被摄物体数为1的情况下，是否对被摄物体图进行解码需要与编码时的处理相匹配。
在图15中示出在上述的第一实施方式中生成的编码数据和在第二实施方式中输入的编码数据的每个块的句法的一个例子。
在此，num_objects表示被摄物体数，map_object表示被摄物体图，exist（i,j）表示在被摄物体图j内存在被摄物体标识符i的情况下返回TRUE、在不是这样的情况下返回FALSE的函数，residual_value_object［i］表示被摄物体标识符为i的被摄物体像素值的预测残差，residuals表示图像信号的预测残差。
接着，在本实施方式中，对用于预测图像的生成的附加信息的数据构造的例子进行说明。
[附加信息的数据构造的例1]
图16A、16B是示出用于预测图像的生成的附加信息的数据构造的例1的图。
为了编码/解码对象的图像信号的预测，如图16A所示，对被摄物体数、被摄物体图、各被摄物体标识符的每一个的被摄物体像素值进行设定。
被摄物体数N是整数。被摄物体图是与块内的像素数相同的长度的0～N―1的整数列。在无预测的情况下，被摄物体像素值是无编码的整数，在有预测的情况下，被摄物体像素值是带有编码的整数（考虑负数）。
图16B示出附加信息的具体例子。虽然被摄物体数是4，但是在被摄物体图中被摄物体标识符为2的像素一个也不存在。因此，省略与被摄物体标识符2对应的被摄物体像素值的数据。
[附加信息的数据构造的例子2]
图17A、17B是示出用于预测图像的生成的附加信息的数据构造的例2的图。
在该例子中，在被摄物体图之前，附加有单一被摄物体块标识信息。单一被摄物体块标识信息是0～N的整数，在块内为单一被摄物体的情况下，即在块内的全部像素为相同的被摄物体标识符的情况下，是1～N的值，在包含多个被摄物体的情况下是0。
在单一被摄物体块标识信息为0的情况下，之后的被摄物体图和被摄物体像素值的数据与前述的数据构造的例1是同样的。
在单一被摄物体块标识信息为1～N的情况下，对该数减去1后的数为被摄物体标识符。换言之，在块内的被摄物体标识符全部相同的情况下，将对该被摄物体标识符加1后的值作为单一被摄物体块标识信息设定在附加信息中。
图17B示出附加信息的具体例子。虽然在该例子中，被摄物体数是2，但是因为是单一被摄物体块，所以没有被摄物体图的数据。此外，因为单一被摄物体标识符变成1-1=0，所以仅设定该被摄物体像素值“31”，没有除此以外（被摄物体标识符=1）的被摄物体像素值。
[附加信息的数据构造的例3]
图18A、18B是示出用于预测图像的生成的附加信息的数据构造的例3。
在该例子中，以树形构造形式保持被摄物体图。该树形构造被摄物体图是以树形构造表现被摄物体图并且按预先规定的顺序对各节点的值进行扫描的图，是可变长度的整数列。
图18B示出附加信息的具体例子。在该例子中，被摄物体数是3，以在图7中说明了的被摄物体图形式保持有树形构造被摄物体图。此外，被摄物体像素值是有预测的情况，也包含负的值。
[附加信息的数据构造的例4]
图19A、19B是示出用于预测图像的生成的附加信息的数据构造的例4的图。
在该例子中，将树形构造被摄物体图划分成块分割信息和块内被摄物体标识符信息来进行保持。块分割信息示出对使用了树形构造被摄物体图时的叶以外的节点进行扫描后的结果，块内被摄物体标识符信息示出对使用了树形构造被摄物体图时的叶进行扫描后的结果。
图19B示出附加信息的具体例子。在该例子中，作为树形构造被摄物体图，设定在将图6中说明了的树形构造被摄物体图划分为叶以外的节点和叶的节点进行扫描的情况下的值。
虽然在上述的第一、第二实施方式中，说明了利用本发明对一个帧中的全部块进行编码和解码的处理，但是也可以仅应用于一部分的块，在其它的块中，使用在H.264/AVC等中使用的帧内预测编码、运动补偿预测编码等来进行编码。
在该情况下，需要按每个块对表示使用哪个方法进行编码的信息进行编码和解码。
虽然在上述的第一、第二实施方式中，说明了对一个帧进行编码和解码的处理，但是通过重复多个帧，从而也能应用于动态图像编码。此外，也能仅应用于动态图像的一部分的帧、一部分的块。
在该情况下，因为在被摄物体的存在中不仅有空间的连续性而且有时间的连续性，所以能容易类推将用于被摄物体图的编码的参照像素、用于被摄物体像素值的预测的邻接块的定义不仅扩展到空间方向使用，而且还扩展到时间方向上使用。
以上说明了的图像编码和图像解码的处理也能由计算机和软件程序实现，既能将该程序记录在计算机可读取的记录介质中进行提供，也能通过网络提供该程序。
在图20中示出在由计算机和软件程序构成图像编码装置的情况下的硬件结构例。本***为用总线连接有以下部分的结构：
执行程序的CPU50；
储存有CPU50进行访问的程序、数据的RAM等存储器51；
输入来自摄影机等的编码对象的图像信号的编码对象帧输入部52（也可以是利用磁盘（disc）装置等的对图像信号进行存储的存储部）
储存有使CPU50执行在第一实施方式中进行说明的处理的软件程序即图像编码程序531的程序存储装置53；
例如经由网络输出通过CPU50执行载入到存储器51中的图像编码程序531而生成的多路复用编码数据的多路复用编码数据输出部54（也可以是利用磁盘装置等的对多路复用编码数据进行存储的存储部）。
虽然省略图示，但是除此以外，还设置有被摄物体数存储部、被摄物体图存储部、被摄物体像素值存储部、预测图像存储部、被摄物体数编码数据存储部、被摄物体图编码数据存储部、被摄物体像素值编码数据存储部、图像信息编码数据存储部等硬件，并在本手法的实施中进行利用。
在图21中示出在由计算机和软件程序构成图像解码装置的情况下的硬件结构例。本***为用总线连接有以下部分的结构：
执行程序的CPU60；
储存有CPU60进行访问的程序、数据的RAM等存储器61；
对图像编码装置利用上述的手法进行编码的多路复用编码数据进行输入的多路复用编码数据输入部62（也可以是利用磁盘装置等的对多路复用编码数据进行存储的存储部）；
储存有使CPU60执行在第二实施方式中进行说明的处理的软件程序即图像解码程序631的程序存储装置63；
将通过CPU60执行载入到存储器61中的图像解码程序631而对多路复用编码数据进行解码得到的解码图像数据输出到再生装置等的解码图像数据输出部64。
虽然省略图示，但是除此以外，还设置有被摄物体数存储部、被摄物体图存储部、被摄物体像素值存储部、预测图像存储部、被摄物体数编码数据存储部、被摄物体图编码数据存储部、被摄物体像素值编码数据存储部、图像信息编码数据存储部等硬件，并在本手法的实施中利用。
[效果的验证]
进行以往手法（例如，H.264/AVC）和使用了本发明的手法（称为本手法）的码量的比较。
1.概念性的码量的比较
1.1附加信息的码量
附加信息在以往手法中是表示边缘的朝向的信息，是二维矢量。与此相对地，根据本手法的附加信息是被摄物体数的量的被摄物体像素值（标量（scalar）值或颜色矢量）和被摄物体图（二维信息），虽然也依赖于条件，但是在将处理块设为16×16、将被摄物体数设为4的情况下，比特量变为约68倍（但是，通过进行熵编码，从而能成为约5倍左右）。
1.2预测残差的码量
在边缘强的图像中，当在预测图像和输入图像中物体形状较大地不同时，即使将该预测残差变换到频域，也不能使信息高效地集中到低频区域，预测残差的码量会变得非常多。
也就是说，与仅能进行直线的表现的以往手法相比，能表现任意的形状的本手法更能减少预测残差的码量。虽然也依赖于对象图像、编码条件，但是能使预测残差的码量为约三分之一左右。
1.3总的编码量
在一般的编码率中，以往手法的预测残差的码量占码量整体的约9成。也就是说，当将整体的码量设为100时，附加信息为10，预测残差为90。
另一方面，根据本手法，当假设附加信息为5倍、预测残差为1/3时，利用本手法能使整体的码量为80。
2.实验例
在图22A、22B中示出在对某个样本图像（ballet）使用本手法和以往手法进行编码的情况下的产生码量和图像品质的比较。
在图22A、22B所示的图表中，纵轴的Y–PSNR表示图像的品质（单位是dB），横轴的比特率表示码量（单位是bps/view）。Y–PSNR的值越大就示出越美丽的图像。
在图22A、22B中，L1的曲线示出利用本手法得到的码量与图像的品质的关系，L2的曲线示出利用以往手法得到的码量与图像的品质的关系。再有，图22A、22B是相同的图表。
2.1作为码量削减效果的解释（参照图22A）
从图22A的图表可知，在Y–PSNR变成43dB时，在以往手法（H.264/AVC）中需要约650kbps的码量，在本手法中需要约400kbps的码量。根据此情况可知，在以相同的品质进行编码的情况下，利用本手法能将码量削减约4成。
2.2作为品质改善效果的解释（参照图22B）
根据图22B的图表可知，在比特率为400kbps时，在以往手法（H.264/AVC）中是约39dB的品质，在本手法中是约43dB的品质。根据此情况可知，在以相同的码量进行编码的情况下，利用本手法能改善4dB的量的画质（将失真量削减约6成）。
以上，虽然参照附图对本发明的实施方式进行了说明，但是上述实施方式只不过是本发明的例示，显然，本发明不被上述实施方式限定。因此，也可以在不脱离本发明的精神和技术性范围的范围中进行结构要素的追加、省略、调换、其它变更。
产业上的可利用性
通过使用本发明，从而对具有复杂的形状的被摄物体提供正确保持了边缘的正确的预测图像，由此能削减预测残差编码所需的码量。
附图标记的说明：
100图像编码装置；
101编码对象帧输入部；
102编码对象帧存储器；
103被摄物体数设定部；
104被摄物体像素值设定部；
105被摄物体像素值编码部；
106被摄物体图生成部；
107被摄物体图编码部；
108预测图像生成部；
109图像信号编码部；
110多路复用部；
111被摄物体数编码部；
200图像解码装置；
201编码数据输入部；
202编码数据存储器；
203分离部；
204被摄物体数设定部；
205被摄物体图解码部；
206被摄物体像素值解码部；
207预测图像生成部；
208图像信号解码部。

Claims (22)

1.一种图像编码方法，在对像素值较大地依赖于对象的图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行编码，所述图像编码方法的特征在于，具有：
被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数；
被摄物体像素值设定步骤，按存在于处理区域内的每个被摄物体，将代表各被摄物体的1个像素值与识别该被摄物体的被摄物体标识符对应起来设定为被摄物体像素值；
被摄物体图生成步骤，根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影；
预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；
被摄物体图编码步骤，对所述被摄物体图进行编码；
被摄物体像素值编码步骤，对所述被摄物体像素值进行编码；以及
图像信号编码步骤，使用所述预测图像将针对处理区域的图像信号进行预测编码，
所述被摄物体是具有类似的图像信号的区域。
2.根据权利要求1所述的图像编码方法，其特征在于，
还包含：被摄物体数编码步骤，对在所述被摄物体数设定步骤中设定的被摄物体数进行编码。
3.根据权利要求1所述的图像编码方法，其特征在于，
在所述被摄物体数设定步骤中，根据处理区域内的像素的信息估计处理区域内的被摄物体的数量来作为被摄物体数。
4.根据权利要求1所述的图像编码方法，其特征在于，
在所述被摄物体像素值编码步骤中，按每个所述被摄物体标识符检查是否在所述被摄物体图中使用了该被摄物体标识符，在进行使用的情况下，将与该被摄物体标识符对应的所述被摄物体像素值进行编码，在未进行使用的情况下，省略与该被摄物体标识符对应的所述被摄物体像素值的编码。
5.根据权利要求1所述的图像编码方法，其特征在于，
还包含：抖动附加步骤，对所述预测图像附加抖动，
在所述图像信号编码步骤中，使用被施加了所述抖动的预测图像来将针对处理区域的图像信号进行预测编码。
6.一种图像解码方法，在对像素值较大地依赖于对象的图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行解码，所述图像解码方法的特征在于，具有：
被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数；
被摄物体图解码步骤，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码；
被摄物体像素值解码步骤，根据所述编码数据对按每个所述被摄物体标识符设定有1个的被摄物体像素值进行解码；
预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及
图像信号解码步骤，使用所述预测图像将针对处理区域的图像信号进行解码，
所述被摄物体是具有类似的图像信号的区域。
7.根据权利要求6所述的图像解码方法，其特征在于，
在所述被摄物体数设定步骤中，根据所述编码数据对所述被摄物体数进行解码并进行设定。
8.一种图像解码方法，在对像素值较大地依赖于对象的图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行解码，所述图像解码方法的特征在于，具有：
被摄物体图解码步骤，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码；
被摄物体像素值解码步骤，根据所述编码数据对按每个所述被摄物体标识符设定有1个的被摄物体像素值进行解码；
预测图像生成步骤，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及
图像信号解码步骤，使用所述预测图像将针对处理区域的图像信号进行解码，
所述被摄物体是具有类似的图像信号的区域。
9.根据权利要求8所述的图像解码方法，其特征在于，
还包含：被摄物体数设定步骤，将存在于处理区域内的被摄物体的数量设定为被摄物体数，
在所述被摄物体数设定步骤中，根据所述编码数据对所述被摄物体数进行解码并进行设定。
10.根据权利要求6或权利要求8所述的图像解码方法，其特征在于，
在所述被摄物体像素值解码步骤中，仅对与所述被摄物体图中出现的被摄物体标识符对应的被摄物体像素值进行解码。
11.根据权利要求6或权利要求8所述的图像解码方法，其特征在于，
还包含：抖动附加步骤，对所述预测图像附加抖动，
在所述图像信号解码步骤中，根据所述编码数据使用被施加了所述抖动的预测图像将针对处理区域的图像信号进行解码。
12.一种图像编码装置，在对像素值较大地依赖于对象的图像进行传输或积蓄时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行编码，所述图像编码装置的特征在于，具备：
被摄物体数设定单元，将存在于处理区域内的被摄物体的数量设定为被摄物体数；
被摄物体像素值设定单元，按存在于处理区域内的每个被摄物体，将代表各被摄物体的1个像素值与识别该被摄物体的被摄物体标识符对应起来设定为被摄物体像素值；
被摄物体图生成单元，根据处理区域内的各像素的像素值和被摄物体像素值，生成被摄物体图，所述被摄物体图用被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了摄影；
预测图像生成单元，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；
被摄物体图编码单元，对所述被摄物体图进行编码；
被摄物体像素值编码单元，对所述被摄物体像素值进行编码；以及
图像信号编码单元，使用所述预测图像将针对处理区域的图像信号进行预测编码，
所述被摄物体是具有类似的图像信号的区域。
13.根据权利要求12所述的图像编码装置，其特征在于，
还包含：被摄物体数编码单元，对所述被摄物体数进行编码。
14.根据权利要求12所述的图像编码装置，其特征在于，
所述被摄物体数设定单元根据处理区域内的像素的信息估计处理区域内的被摄物体的数量来作为被摄物体数。
15.根据权利要求12所述的图像编码装置，其特征在于，
所述被摄物体像素值编码单元按每个所述被摄物体标识符检查是否在所述被摄物体图中使用了该被摄物体标识符，在进行使用的情况下，将与该被摄物体标识符对应的所述被摄物体像素值进行编码，在未进行使用的情况下，省略与该被摄物体标识符对应的所述被摄物体像素值的编码。
16.根据权利要求12所述的图像编码装置，其特征在于，
还包含：抖动附加单元，对所述预测图像附加抖动，
所述图像信号编码单元使用被施加了所述抖动的预测图像来将针对处理区域的图像信号进行预测编码。
17.一种图像解码装置，在对像素值较大地依赖于对象的图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行解码，所述图像解码装置的特征在于，具备：
被摄物体数设定单元，将存在于处理区域内的被摄物体的数量设定为被摄物体数；
被摄物体图解码单元，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码；
被摄物体像素值解码单元，根据所述编码数据对按每个所述被摄物体标识符设定有1个的被摄物体像素值进行解码；
预测图像生成单元，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及
图像信号解码单元，使用所述预测图像将针对处理区域的图像信号进行解码，
所述被摄物体是具有类似的图像信号的区域。
18.根据权利要求17所述的图像解码装置，其特征在于，
所述被摄物体数设定单元根据所述编码数据对所述被摄物体数进行解码并进行设定。
19.一种图像解码装置，在对像素值较大地依赖于对象的图像的编码数据进行解码时，将图像帧分割成预先规定的大小的处理区域，按每个处理区域一边预测各像素的像素值一边进行解码，所述图像解码装置的特征在于，具备：
被摄物体图解码单元，根据所述编码数据，对利用被摄物体标识符表示了在处理区域内的各像素所摄影的被摄物体的被摄物体图进行解码；
被摄物体像素值解码单元，根据所述编码数据对按每个所述被摄物体标识符设定有1个的被摄物体像素值进行解码；
预测图像生成单元，按照所述被摄物体图对各像素分配所述被摄物体像素值的值，由此生成针对处理区域的预测图像；以及
图像信号解码单元，使用所述预测图像将针对处理区域的图像信号进行解码，
所述被摄物体是具有类似的图像信号的区域。
20.根据权利要求19所述的图像解码装置，其特征在于，
还包含：被摄物体数设定单元，将存在于处理区域内的被摄物体的数量设定为被摄物体数，
所述被摄物体数设定单元根据所述编码数据对所述被摄物体数进行解码并进行设定。
21.根据权利要求17或权利要求19所述的图像解码装置，其特征在于，
所述被摄物体像素值解码单元仅对与所述被摄物体图中出现的被摄物体标识符对应的被摄物体像素值进行解码。
22.根据权利要求17或权利要求19所述的图像解码装置，其特征在于，
还包含：抖动附加单元，对所述预测图像附加抖动，
所述图像信号解码单元根据所述编码数据使用被施加了所述抖动的预测图像将针对处理区域的图像信号进行解码。
CN201180045385.8A 2010-09-29 2011-09-21 图像编码方法和装置、图像解码方法和装置 Active CN103098475B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010218036A JP5281623B2 (ja) 2010-09-29 2010-09-29 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2010-218036 2010-09-29
PCT/JP2011/071463 WO2012043330A1 (ja) 2010-09-29 2011-09-21 画像符号化方法および装置、画像復号方法及び装置、およびそれらのプログラム

Publications (2)

Publication Number Publication Date
CN103098475A CN103098475A (zh) 2013-05-08
CN103098475B true CN103098475B (zh) 2016-06-01

Family

ID=45892788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045385.8A Active CN103098475B (zh) 2010-09-29 2011-09-21 图像编码方法和装置、图像解码方法和装置

Country Status (9)

Country Link
US (1) US9031338B2 (zh)
EP (1) EP2624566A4 (zh)
JP (1) JP5281623B2 (zh)
KR (1) KR101552664B1 (zh)
CN (1) CN103098475B (zh)
BR (1) BR112013008046A2 (zh)
CA (1) CA2811898A1 (zh)
TW (1) TWI508529B (zh)
WO (1) WO2012043330A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281624B2 (ja) 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
WO2014084613A2 (ko) * 2012-11-27 2014-06-05 인텔렉추얼 디스커버리 주식회사 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
US10469853B2 (en) 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法
WO2018174591A1 (ko) 2017-03-22 2018-09-27 김기백 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법
CN113641915B (zh) * 2021-08-27 2024-04-16 北京字跳网络技术有限公司 对象的推荐方法、装置、设备、存储介质和程序产品
CN116506629B (zh) * 2023-06-27 2023-08-25 上海伯镭智能科技有限公司 用于矿山无人驾驶矿车协同控制的路况数据压缩方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518090A (zh) * 2006-09-20 2009-08-26 日本电信电话株式会社 图像编码方法及解码方法、它们的装置、图像解码装置、以及它们的程序和记录有程序的存储介质
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838455A (en) 1919-05-11 1998-11-17 Minolta Co., Ltd. Image processor with image data compression capability
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP2008245311A (ja) 1996-10-31 2008-10-09 Toshiba Corp 画像復号化方法及び装置
JP3237582B2 (ja) 1997-08-28 2001-12-10 富士ゼロックス株式会社 画像処理装置及び画像処理方法
CA2305735C (en) * 1997-12-05 2008-01-08 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
US6385337B1 (en) 1998-12-21 2002-05-07 Xerox Corporation Method of selecting colors for pixels within blocks for block truncation encoding
AUPQ416699A0 (en) * 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique
US6404814B1 (en) 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
JP2003304562A (ja) * 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US6954501B2 (en) 2003-02-17 2005-10-11 Xvd Corporation Method and apparatus for object based motion compensation
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
TWI323129B (en) 2006-05-17 2010-04-01 Novatek Microelectronics Corp Block truncation coding (btc) method and apparatus
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
ES2743240T3 (es) 2008-02-21 2020-02-18 Orange Codificación y decodificación de una imagen o de una secuencia de imágenes divididas en bloques de píxeles
JP4838275B2 (ja) 2008-03-03 2011-12-14 日本電信電話株式会社 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4964827B2 (ja) 2008-06-05 2012-07-04 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4821846B2 (ja) * 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
US8798158B2 (en) * 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
JP5310247B2 (ja) 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
JP5281624B2 (ja) 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518090A (zh) * 2006-09-20 2009-08-26 日本电信电话株式会社 图像编码方法及解码方法、它们的装置、图像解码装置、以及它们的程序和记录有程序的存储介质
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム

Also Published As

Publication number Publication date
KR101552664B1 (ko) 2015-09-11
TW201225677A (en) 2012-06-16
KR20130059422A (ko) 2013-06-05
JP5281623B2 (ja) 2013-09-04
JP2012074917A (ja) 2012-04-12
WO2012043330A1 (ja) 2012-04-05
US9031338B2 (en) 2015-05-12
US20130170763A1 (en) 2013-07-04
EP2624566A4 (en) 2014-07-16
CA2811898A1 (en) 2012-04-05
EP2624566A1 (en) 2013-08-07
BR112013008046A2 (pt) 2016-06-21
CN103098475A (zh) 2013-05-08
TWI508529B (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN103098475B (zh) 图像编码方法和装置、图像解码方法和装置
US9036933B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
CN107743241B (zh) 图像编码装置及方法、图像解码装置及方法及存储介质
US9031339B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
CN100584013C (zh) 视频编码方法及装置、视频解码方法及装置
CN107318027B (zh) 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
CN105612747A (zh) 用于深度帧内译码的楔波样式扩展
CN106134197A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
CN106063273A (zh) 图像编码装置及方法、图像解码装置及方法、以及它们的程序
CN105934949A (zh) 视频编码装置和方法、视频解码装置和方法、以及它们的程序
CN102263952A (zh) 一种基于对象的快速双目立体视频分形压缩与解压缩方法
CN106464899A (zh) 活动图像编码装置及方法和活动图像解码装置及方法
CN105830443A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
CN104509114A (zh) 动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质
Sanchez et al. 3D-HEVC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant