CN101690234A - 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质 - Google Patents

视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质 Download PDF

Info

Publication number
CN101690234A
CN101690234A CN200880020991A CN200880020991A CN101690234A CN 101690234 A CN101690234 A CN 101690234A CN 200880020991 A CN200880020991 A CN 200880020991A CN 200880020991 A CN200880020991 A CN 200880020991A CN 101690234 A CN101690234 A CN 101690234A
Authority
CN
China
Prior art keywords
image
difference
decoding
decoded
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880020991A
Other languages
English (en)
Other versions
CN101690234B (zh
Inventor
志水信哉
木全英明
上仓一人
八岛由幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101690234A publication Critical patent/CN101690234A/zh
Application granted granted Critical
Publication of CN101690234B publication Critical patent/CN101690234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种视频图像编码装置，在对多视点图像进行编码时，根据与摄影了编码对象图像的摄影机的视点相异的视点的已经编码完成的参照摄影机图像、和该参照摄影机图像与编码对象图像之间的视差信息，生成针对摄影了编码对象图像的摄影机的合成图像，对编码对象图像进行编码。对要进行编码的编码对象区域的输入图像、和针对其的所述合成图像的差分图像的预测图像进行生成，对以所述预测差分图像与编码对象区域的所述合成图像的和表示的、该区域的预测图像进行生成，对以所述编码对象区域的预测图像与该区域的编码对象图像的差表示的、预测残差进行编码。

Description

视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
技术领域
本发明涉及多视点视频图像的编码中使用的视频图像编码装置及其方法、对通过该视频图像编码技术编码后的编码数据进行解码的视频图像解码装置及其方法、用于实现该视频图像编码装置的视频图像编码程序及记录有该程序的计算机可读取的记录介质、以及用于实现该视频图像解码装置的视频图像解码程序及记录有该程序的计算机可读取的记录介质。
本申请基于2007年6月25日申请的日本专利申请特愿第2007-165828号要求优先权，并在此引用其内容。
背景技术
多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影后的多个图像，多视点活动图像(多视点视频图像)是其活动图像。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将对相同被摄体和背景进行摄影后的二维活动图像组称为多视点活动图像。
二维活动图像关于时间方向具有强相关，通过利用该相关提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄影机被同步的情况下，对应于相同时间的各摄影机的视频图像是从不同位置对完全相同状态的被摄体和背景进行摄影后的视频图像，因此在摄影机间有强相关。在多视点图像或多视点活动图像的编码中，通过利用该相关能够提高编码效率。
首先，对与二维活动图像的编码技术相关的现有技术进行叙述。
在以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的现有的众多二维活动图像编码方式中，通过利用运动补偿、正交变换、量化、熵编码等技术，进行高效率的编码。被称为运动补偿的技术是利用帧间的时间相关的方法。
针对在H.264中使用的运动补偿技术的详细，在下述的非专利文献1中记述，以下对其概要进行说明。
在H.264的运动补偿中，将编码对象帧分割为各种大小的块，使各块能够具有不同的运动矢量，对于局部的视频图像变化也实现高编码效率。此外，作为参照帧的候补，对编码对象帧准备过去或未来的已经编码完成的多枚帧，在各块能够使用不同的参照帧。由此，即使对于通过时间变化而产生遮挡(occlusion)的视频图像也能实现高编码效率。
接着，对现有的多视点图像或多视点活动图像的编码方式进行说明。
关于多视点活动图像的编码，历来就存在如下方式，即通过将运动补偿应用于在相同时刻的设置在不同视点的摄影机摄影的图像的“视差补偿”，高效率地对多视点活动图像进行编码的方式。在这里，视差指的是在配置于不同位置的摄影机的图像平面上，被摄体上的相同位置被投影的位置的差。
图12表示该在摄影机间产生的视差的概念图。在该概念图中，垂直地往下观察光轴是平行的摄影机的图像平面。像这样，在不同的摄影机的图像平面上，被摄体上的相同位置被投影的位置，通常被称为对应点。在视差补偿中，基于该对应关系，根据参照帧预测编码对象帧的各像素值，对该预测残差、和表示对应关系的视差信息进行编码。
由于在多视点活动图像的各帧中同时存在时间方向的冗余性和摄影机间的冗余性，所以作为同时去除双方的冗余性的方法，有下述所示的专利文献1的方法。
在该方法中，按时刻的每一个生成输入图像和视差补偿图像的差分图像，将其看作二维活动图像，一边应用运动补偿一边进行编码。根据该方法，由于在去除摄影机间的冗余性的视差补偿中不能够被去除的时间方向的冗余性，能够通过运动补偿而被去除，所以最终进行编码的预测残差变小，能够实现高编码效率。
非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，″Editor′sProposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 11496-10AVC)，Draft 7″，DocumentJVT-E022d7，pp.10-13，62-73，September 2002
专利文献1：日本专利申请特开2007-036800号公报
发明内容
发明要解决的课题
根据将视差补偿残差图像(输入图像与视差补偿图像的差分图像)看作视频图像进行运动补偿的现有的多视点活动图像的编码方法，由于能够将同时具有时间方向和摄影机间的冗余性的部分的预测残差减小，所以能够有效率地对多视点活动图像进行编码。
可是，由于差分活动图像信号的位深度(量化位数)比通常的视频图像大1位，所以在该方式中编码/解码器的规模比编码原来的视频图像的方式大。即，例如在8位图像的情况下，最小值是0，最大值是255，但在该情况下的差分图像的最小值是-255，最大值是+255，因此差分活动图像信号的位深度(bit depth)比通常的视频图像大1位。
此外，由于也存在对应于基准视点(作为基准视点的摄影机选出1个摄影机)的摄影机等、在通常的视频图像的状态下进行编码/解码的摄影机，所以作为多视点活动图像编码/解码器整体，需要具备处理2种位深度的机构，存在电路规模或安装规模变大的问题。
进而，在由于遮挡等，从而不能根据其他的摄影机的视频图像来预测编码/解码对象的摄影机的视频图像的区域中，在使用差分的编码/解码中与不使用差分的情况相比有时效率恶化。为此，适应地对使用了差分的编码/解码、和不使用差分的编码/解码进行切换，能够提高编码效率。
可是，由于在差分的情况下和不是差分的情况下位深度不同，所以不能以相同的编码/解码部进行处理。因此，在适应地进行切换处理的情况下，仅是在对1个视点的视频图像进行编码/解码的部分中就需要具备处理2种信号的编码/解码部，存在电路规模或安装规模变大的问题。
不仅是这些电路或安装的规模，在对差分活动图像进行运动补偿的情况下，在原来的视频图像时的像素值变为允许的值中的最大值或最小值的部分中，有可能对无用的信号进行编码。
例如在8位的视频图像中，假设原来的图像的某个像素的像素值是255，其位置的合成图像(视察补偿图像)的像素值是250。也就是说，该像素的差分图像的像素值是5。这时，使用不同时刻的差分图像，利用运动补偿预测该像素的像素值时的值是10的情况下，对5和10的差的-5的值进行编码。
可是，原来图像的像素值的最大值是255，大于255的值全部被裁减(clipping)为255，因此对代替对-5进行编码而对0进行编码时得到的合成图像的像素值250，加上根据差分图像的运动补偿的预测值10，由此得到的值260也能够表示255这一输入视频图像的值。也就是说，在该情况下，对-5这一差分图像间的预测残差进行编码时无用的，招致码量的增加。
像这样，在对差分活动图像进行运动补偿的情况下，在原来的视频图像时的像素值变为允许的值中的最大值或最小值的部分中，有可能对无用的信号进行编码。
本发明正是鉴于上述情况而完成的，其目的在于提供一种使用针对输入视频图像和合成视频图像的差分视频图像的预测的新的视频图像编码解码技术，该技术在对多视点视频图像进行编码时，通过在使用了差分图像的预测值加上合成图像的像素值作为针对输入图像的预测图像，从而不需要在编码/解码器处理多个位深度的视频图像信号。
解决问题的方法
因此，本发明提供一种视频图像编码装置，在对通过视点相异的多个摄影机摄影的多视点图像进行编码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经编码完成的参照摄影机图像、和该参照摄影机图像与编码对象图像之间的视差信息，生成针对摄影了编码对象图像的摄影机的合成图像，使用该合成图像对编码对象图像进行编码，该视频图像编码装置的特征在于，具备：
差分图像预测单元，对要进行编码的编码对象区域的输入图像、和针对其的所述合成图像的差分图像的预测图像进行生成；
预测图像生成单元，对以所述差分图像预测单元生成的预测差分图像与编码对象区域的所述合成图像的和表示的、该区域的预测图像进行生成；以及
预测残差编码单元，对以所述预测图像生成单元生成的编码对象区域的预测图像与该区域的编码对象图像的差表示的、预测残差进行编码。
作为典型例子，所述差分图像预测单元使用与摄影了编码对象图像的时刻是相同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以编码对象图像的已经编码完成区域的解码图像、和该区域的所述合成图像的差表示的。
作为另一个典型例子，所述差分图像预测单元使用与摄影了编码对象图像的时刻是不同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了编码对象图像的视点摄影的已经编码完成的图像的解码图像、和与该解码图像相同时刻的所述合成图像的差表示的。
作为另一个典型例子，视频图像编码装置还具备：
图像解码单元，对编码对象图像的编码数据进行解码，生成编码对象图像的解码图像；以及
解码差分图像生成蓄积单元，生成以所述图像解码单元解码后的解码图像与所述合成图像的差表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
作为另一个典型例子，视频图像编码装置还具备：
预测残差解码单元，对所述预测残差编码单元编码后的预测残差进行解码；以及
解码差分图像生成蓄积单元，生成以所述预测残差解码单元解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
作为该情况的优选例，所述解码差分图像生成蓄积单元以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
作为另一个典型例子，视频图像编码装置还具备：
原图像预测单元，使用编码对象图像的已经编码完成的区域的解码图像、和在摄影了编码对象图像的视点摄影并且在与编码对象图像不同的时刻摄影的已经编码完成的图像的解码图像的任一个，生成编码对象图像的预测图像，
所述预测图像生成单元有选择地执行下述任一个生成，即，基于所述预测差分图像和所述合成图像生成编码对象区域的预测图像，或直接利用所述原图像预测单元生成的预测图像生成编码对象区域的预测图像。
作为优选例，所述预测图像生成单元以所述预测图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
本发明还提供一种视频图像解码装置，在对通过视点相异的多个摄影机摄影的多视点图像的编码数据进行解码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经解码完成的参照摄影机图像、和该参照摄影机图像与解码对象图像之间的视差信息，生成针对摄影了解码对象图像的摄影机的合成图像，使用该合成图像对解码对象图像的编码数据进行解码，该视频图像解码装置的特征在于，具备：
预测残差解码单元，对包含在编码数据中的解码对象图像的预测残差进行解码；
差分图像预测单元，对要进行解码的解码对象区域的解码对象图像、和针对其的所述合成图像的差分图像的预测图像进行生成；以及
图像解码单元，针对解码对象区域，将所述差分图像预测单元生成的预测差分图像、所述预测残差解码单元解码后的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码。
作为典型例子，所述差分图像预测单元使用与摄影了解码对象图像的时刻是相同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以解码对象图像的已经解码完成区域的解码图像和该区域的所述合成图像的差表示的。
作为另一个典型例子，所述差分图像预测单元使用与摄影了解码对象图像的时刻是不同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了解码对象图像的视点摄影的已经解码完成的参照图像、和与该参照图像相同时刻的所述合成图像的差表示的。
作为另一个典型例子，该视频图像解码装置还具备：
解码差分图像生成蓄积单元，生成以所述图像解码单元生成的解码图像与所述合成图像的差表示的解码差分图像，蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述解码对象区域的差分图像的预测图像。
作为另一个典型例子，该视频图像解码装置还具备：
解码差分图像生成蓄积单元，生成以所述预测残差解码单元解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
作为该情况的优选例，所述解码差分图像生成蓄积单元以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
作为另一个典型例子，该视频图像解码装置还具备：
原图像预测单元，使用解码对象图像的已经解码完成的图像、和在摄影了解码对象图像的视点摄影并且在与解码对象图像不同的时刻摄影的已经解码完成的图像的任一个，生成解码对象图像的预测图像，
所述图像解码单元针对解码对象区域，有选择地执行以下解码的任一个，即，通过将所述差分图像预测单元生成的预测差分图像、所述预测残差解码单元解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码，或通过将所述原图像预测单元生成的预测图像、和所述预测残差解码单元解码的预测残差加在一起，从而对解码对象图像进行解码。
本发明还提供一种视频图像编码方法，在对通过视点相异的多个摄影机摄影的多视点图像进行编码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经编码完成的参照摄影机图像、和该参照摄影机图像与编码对象图像之间的视差信息，生成针对摄影了编码对象图像的摄影机的合成图像，使用该合成图像对编码对象图像进行编码，该视频图像编码方法的特征在于，具备：
差分图像预测步骤，对要进行编码的编码对象区域的输入图像、和针对其的所述合成图像的差分图像的预测图像进行生成；
预测图像生成步骤，对以在所述差分图像预测步骤中生成的预测差分图像与编码对象区域的所述合成图像的和表示的、该区域的预测图像进行生成；以及
预测残差编码步骤，对以在所述预测图像生成步骤中生成的编码对象区域的预测图像与该区域的编码对象图像的差表示的、预测残差进行编码。
作为典型例子，在所述差分图像预测步骤中，使用与摄影了编码对象图像的时刻是相同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以编码对象图像的已经编码完成区域的解码图像和该区域的所述合成图像的差表示的。
作为另一个典型例子，在所述差分图像预测步骤中，使用与摄影了编码对象图像的时刻是不同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了编码对象图像的视点摄影的已经编码完成的图像的解码图像、和与该解码图像相同时刻的所述合成图像的差表示的。
作为另一个典型例子，该视频图像编码方法还具备：
预测残差解码步骤，对在所述预测残差编码步骤中进行编码后的预测残差进行解码；以及
解码差分图像生成蓄积步骤，生成以在所述预测残差解码步骤中解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
在所述差分图像预测步骤中，使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
作为另一个典型例子，该视频图像编码方法还具备：
原图像预测步骤，使用编码对象图像的已经编码完成的区域的解码图像、和在摄影了编码对象图像的视点摄影并且在与编码对象图像不同的时刻摄影的已经编码完成的图像的解码图像的任一个，生成编码对象图像的预测图像，
在所述预测图像生成步骤中，有选择地执行下述任一个生成，即，基于所述预测差分图像和所述合成图像生成编码对象区域的预测图像，或直接利用在所述原图像预测步骤中生成的预测图像生成编码对象区域的预测图像。
本发明还提供一种视频图像解码方法，在对通过视点相异的多个摄影机摄影的多视点图像的编码数据进行解码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经解码完成的参照摄影机图像、和该参照摄影机图像与解码对象图像之间的视差信息，生成针对摄影了解码对象图像的摄影机的合成图像，使用该合成图像对解码对象图像的编码数据进行解码，该视频图像解码方法的特征在于，具备：
预测残差解码步骤，对包含在编码数据中的解码对象图像的预测残差进行解码；
差分图像预测步骤，对要进行解码的解码对象区域的解码对象图像、和针对其的所述合成图像的差分图像的预测图像进行生成；以及
图像解码步骤，针对解码对象区域，将在所述差分图像预测步骤中生成的预测差分图像、在所述预测残差解码步骤中解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码。
作为典型例子，在所述差分图像预测步骤中，使用与摄影了解码对象图像的时刻是相同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以解码对象图像的已经解码完成区域的解码图像和该区域的所述合成图像的差表示的。
作为另一个典型例子，在所述差分图像预测步骤中，使用与摄影了解码对象图像的时刻是不同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了解码对象图像的视点摄影的已经解码完成的参照图像、和与该参照图像相同时刻的所述合成图像的差表示的。
作为另一个典型例子，该视频图像解码方法还具备：
解码差分图像生成蓄积步骤，生成以在所述预测残差解码步骤中解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，蓄积到蓄积存储器中，
在所述差分图像预测步骤中，使用蓄积在所述蓄积存储器中的解码差分图像，生成所述解码对象区域的差分图像的预测图像。
在该情况下，优选是，在所述解码差分图像生成蓄积步骤中，以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
作为另一个典型例子，该视频图像解码方法还具备：
原图像预测步骤，使用解码对象图像的已经解码完成的图像、和在摄影了解码对象图像的视点摄影并且在与解码对象图像不同的时刻摄影的已经解码完成的图像的任一个，生成解码对象图像的预测图像，
在所述图像解码步骤中，针对解码对象区域，有选择地执行以下解码的任一个，即，通过将在所述差分图像预测步骤中生成的预测差分图像、在所述预测残差解码步骤中解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码，或通过将在所述原图像预测步骤中生成的预测图像、和在所述预测残差解码步骤中解码的预测残差加在一起，从而对解码对象图像进行解码。
构成以上说明的本发明的视频图像编码装置或视频图像解码装置的各处理单元也能够以计算机程序实现，该计算机程序通过记录在适当的计算机能读取的记录介质中进行提供，或经由网络进行提供，或在实施本发明时进行安装而在CPU等的控制单元上进行工作，从而能够实现本发明。
如上所述，在本发明中，使用已经编码完成的区域中的输入视频图像和合成视频图像的差分视频图像，预测编码对象区域中的输入视频图像和合成视频图像的差分，对其加上编码对象区域的合成视频图像，能够生成针对输入视频图像的预测视频图像。
因此，在对预测残差进行编码的部分中，与通常的视频图像编码方法同样地，对输入视频图像和针对其的预测视频图像的预测残差进行编码。也就是说，不会如现有的方法那样，在残差编码步骤中处理的信号的位深度增加。而且，由于预测本身是针对输入视频图像和针对其的合成视频图像的差分进行的，所以能够同时利用摄影机间的相关和帧内的空间相关，能够实现高编码效率。
在该方法中，合成视频图像如专利文献1那样根据1枚参照视频图像和摄影景物的深度信息来生成，或如下述参考文献那样使用多个参照视频图像一边寻找对应点一边生成，或使用其他方法来生成，只要能够合成在编码对象的视点摄影的摄影机的视频图像，使用任何方法均可。
参考文献：M.Kitahara，H.Kimata，M.Tanimoto，T.Fujii and K.Yamamoto，″Report of Core Experiment on View Interpolation(Multi-view Video CodingCE3)，″Document JVT-T119，pp.1-8，July，2006.
此外，残差的编码方法也与以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的现有的众多二维活动图像编码方式同样地，通过DCT或量化，或通过使用了模板(template)的矢量编码，使用任何方法均可。
在本发明中，同样地在将根据差分视频图像的预测和合成视频图像相加作为对于输入视频图像的预测的情况下，也能够不在帧内空间地预测输入视频图像和合成视频图像的差分视频图像，而根据不同时刻的帧利用差分视频图像的时间相关进行预测。
该方法也与上述同样地，在对预测残差进行编码的部分中，由于与通常的活动图像编码同样地，对输入视频图像和针对其的预测视频图像的预测残差进行编码，所以能够解决作为现有方法中的问题点的在残差编码步骤中处理的信号的位深度增加。而且，由于能够同时利用摄影机间的相关和时间方向的相关，所以能够实现高编码效率。
此外，由于能够一边选择残差视频图像的帧内的空间的相关和时间方向的相关一边进行编码，所以根据其能够进一步实现高编码效率。
在通常的视频图像编码方法中，为了预测视频图像的生成，对已经编码完成的输入视频图像的解码视频图像进行蓄积并利用。可是，在本发明中，为了生成针对输入视频图像的预测视频图像，使用输入视频图像和合成视频图像的差分视频图像。也就是说，由于每当生成预测视频图像时需要生成合成视频图像，求取与蓄积的解码视频图像的差分，所以相当耗费运算成本。
因此，在得到解码视频图像后，为了预测视频图像生成，对已经生成的合成视频图像进行减法运算来生成差分视频图像并进行蓄积，由此能够省略每次生成差分视频图像的处理，大幅削减运算成本。
此外，在使用差分视频图像进行预测的情况下，通过在编码后的预测残差的解码数据加上差分视频图像的预测值，从而能够生成针对解码视频图像的差分视频图像。由此，与生成解码视频图像后生成差分视频图像相比，能够省略对合成视频图像进行减法运算的运算，能够进一步削减运算成本。
再有，这时，将对对应的合成视频图像的像素值赋予负号的值作为最小值，将以该最小值与容许的解码视频图像的像素值的最大值的和表示的值作为最大值，通过对解码残差数据和差分视频图像的和进行裁减，能够生成与生成解码视频图像后求取差分视频图像的情况完全相同的差分视频图像。
此外，也能够一边选择使用了差分视频图像的预测视频图像生成和未使用差分视频图像的预测视频图像生成，一边对输入视频图像进行编码。
在遮挡部分等中不能高精度生成合成视频图像。在这样的部分中，在根据输入视频图像和合成视频图像生成的差分视频图像中存在大的误差，不能有效率地编码。因此，在这样的部分中，仅利用时间方向的相关，能够高效率地编码输入视频图像。
在如现有方法那样，生成差分视频图像并将该差分视频图像作为输入进行编码的情况下，由于为了实现不使用差分的编码，编码对象视频图像信号的位深度不同，所以不仅需要切换输入信号，还切换编码器本身。这意味着在处理1个视频图像的编码器中必须包含处理2个不同信号的编码器。
相对于此，根据本发明，是在差分视频图像上进行预测的情况下，还是在输入视频图像上进行预测的情况下，编码器处理的输入信号是输入视频图像，预测信号成为针对输入视频图像的预测视频图像，因此能使用相同的输入信号和编码器进行编码。也就是说，通过本发明能够较大地削减编码器的电路或安装的规模。
发明的效果
如以上说明了的那样，根据本发明，在对多视点视频图像进行编码时，生成针对输入视频图像和合成视频图像的差分视频图像的预测信号，通过将该生成的预测差分视频图像与合成视频图像的和作为针对输入视频图像的预测信号，能够以较少的电路规模/安装规模实现使用了差分视频图像的高效率的编码。
在现有技术中采用如下方法，即生成输入视频图像和针对其的合成视频图像的差分视频图像，对该生成的差分视频图像进行活动图像编码的方法，但在本发明中使用如下方法，即生成针对该差分视频图像的预测信号，通过将该生成的预测差分视频图像与合成视频图像的和作为针对输入视频图像的预测信号，直接对输入图像进行活动图像编码的方法，由此能够以较少的电路规模/安装规模实现使用了差分视频图像的预测的高效率的编码。
附图说明
图1是本发明的实施方式例1的视频图像编码装置的结构图。
图2是实施方式例1的视频图像编码装置执行的处理流程。
图3是预测图像的生成处理的处理流程。
图4A是用于说明实施方式例1的视频图像编码装置和对多视点视频图像进行编码的现有的视频图像编码装置的比较的、实施方式例1的视频图像编码装置侧的图。
图4B是用于说明上述比较的现有的视频图像编码装置侧的图。
图5是本发明的实施方式例2的视频图像编码装置的结构图。
图6是实施方式例2的视频图像编码装置执行的处理流程。
图7A是用于说明实施方式例2的视频图像编码装置和对多视点视频图像进行编码的现有的视频图像编码装置的比较的、实施方式例1的视频图像编码装置侧的图。
图7B是用于说明上述比较的现有的视频图像编码装置侧的图。
图8是本发明的实施方式例3的视频图像解码装置的结构图。
图9是实施方式例3的视频图像解码装置执行的处理流程。
图10是本发明的实施方式例4的视频图像解码装置的结构图。
图11是实施方式例4的视频图像解码装置执行的处理流程。
图12是摄影机间产生的视差的说明图。
附图标记说明
100 视频图像编码装置
101 图像输入部
102 合成图像输入部
103 预测图像生成部
104 预测残差编码部
105 预测残差解码部
106 差分图像解码部
107 差分图像存储器
108 预测差分图像生成部
具体实施方式
下面，按照实施方式对本发明进行详细地说明。
在这里，在以下说明的实施方式例中，针对使用1个以上的已经编码/解码完成的、与编码对象不同视点的视频图像，和使用这些视点与编码对象视点的视差信息生成的合成视频图像，对某1个视点的视频图像进行编码/解码的方法进行说明。
为了生成合成视频图像所需要的视差信息在编码器侧生成并传输至解码器侧也可，在编码器侧/解码器侧计算相同的信息也可。此外，根据视差信息生成合成视频图像的方法是任何方法均可，是根据多个视点间的对应点信息求取平均值的方法，或是求取1个代表值的方法都可。
实施方式1
首先，针对第一实施方式例(以下，记述为实施方式例1)进行说明。
图1表示本发明的实施方式例1的视频图像编码装置100的结构。
如该图所示，实施方式例1的视频图像编码装置100具备：图像输入部101、合成图像输入部102、预测图像生成部103、预测残差编码部104、预测残差解码部105、差分图像解码部106、差分图像存储器107、预测差分图像生成部108。
该图像输入部101对成为编码对象的以摄影机摄影的视频图像(图像)进行输入。合成图像输入部102输入针对该摄影机的合成视频图像(合成图像、即视差补偿图像)。
预测图像生成部103通过对预测差分图像生成部108生成的预测差分图像(使用解码图像和合成图像的差分图像预测的、针对输入图像和合成图像的差分图像的预测图像)、和合成图像输入部102输入的合成图像进行加法运算，生成针对输入图像的预测图像。
预测残差编码部104对图像输入部101输入的输入图像和预测图像生成部103生成的预测图像的预测残差进行编码并输出编码数据。预测残差解码部105对预测残差编码部104编码的预测残差进行解码。
差分图像解码部106按照合成图像输入部102输入的合成图像决定处理范围，并且对预测差分图像生成部108生成的预测差分图像、和预测残差解码部105解码的预测残差进行加法运算，由此生成以解码图像和合成图像的差分表示的差分图像。差分图像存储器107对差分图像解码部106生成的差分图像进行蓄积。
预测差分图像生成部108使用蓄积在差分图像存储器107的差分图像，生成相对于以输入图像和合成图像的差分表示的差分图像的预测图像(预测差分图像)。
图2表示以该方式构成的实施方式例1的视频图像编码装置100执行处理流程。
该处理流程表示通过实施方式例1的视频图像编码装置100对某个时刻的图像(帧)进行编码时的处理，在进行多个帧的编码时，反复执行该处理流程。
以下，按照该处理流程，对实施方式例1的视频图像编码装置100执行的处理进行详细地说明。
在实施方式例1的视频图像编码装置100中，首先，在图像输入部101输入编码对象图像[A1]。以下，将编码对象图像(输入图像)表示为Org[·]。此外，通过对图像附加记号[]，表示是特定区域的图像信号。
接着，在合成图像输入部102，输入针对在这里输入的Org[·]的合成图像。合成图像表示为Syn[·]。
在本实施方式例1中，将图像整体分割为多个块，按块的每一个反复进行处理，从而对图像整体进行编码。再有，不需要一定分割为块状，分割为任意的形状均可，不进行分割也可。以下，将块的索引(index)表示为blk，将图像中包含的块数表示为numBlk。
因此，在将blk初始化为0之后[A3]，在blk变为numBlk之前[A12]，一边对blk加上1[A11]，一边反复执行以下的处理[A4～A10]，由此进行编码。
即，在按块的每一个反复进行的处理中，首先，在预测差分图像生成部108，使用蓄积在差分图像存储器107的已经编码完成的不同时刻的帧或编码对象帧内的已经编码完成的块，生成预测差分图像PredDiff[·][A4]。
通常，在根据不同时刻的帧进行预测的情况下称为帧间预测，在根据相同时刻的帧的已经编码完成区域进行预测的情况下称为帧内预测。作为在这里进行的帧间预测和帧内预测的方法，能够使用在前述的非专利文献1表示的在现有的视频图像编码方式中使用的任意的方法。
例如，如下式(1)那样，在不同时刻的帧中，指定某个区域将其复制作为预测值也可，如式(2)那样，根据相同时刻的帧的已经编码完成的周围像素进行定向(Directional)的预测也可。
∀ ( x , y ) ∈ blk , PredDiff[t，x，y]＝DecDiff[t-1，x+mvx，y+mvy]  …式(1)
∀ ( x , y ) ∈ blk , PredDiff[t，x，y]＝DecDiff[t，x，up_line]  …式(2)
在这里，DecDiff[·]表示蓄积在差分图像存储器107中的被解码后的差分图像(解码差分图像)，t表示编码对象帧的时刻，(mvx，mvy)表示任意的二维矢量，up_line表示blk紧上方的像素位置(line)。
接着，在预测图像生成部103，生成以预测差分图像PredDiff[·]与合成图像Syn[·]的和表示的预测图像Pred[·][A5]。
这时，各像素的值被裁减至有效的范围。像素值的有效范围通过输入图像的位深度被决定，在8位的图像的情况下，最小值是0，最大值是255。该裁减的处理使用数式表示为下面的式(3)。
∀ ( x , y ) ∈ blk , Pred[t，x，y]＝Clip(PredDiff[t，x，y]+Syn[t，x，y]，min，max)
…式(3)
在这里，min表示像素值的有效最小值，max表示像素值的有效最大值。此外，函数Clip是如下函数，即在以第一自变量赋予的值比第二自变量的值小的情况下返回第二自变量的值，在比第三自变量的值大的情况下返回第三自变量的值，在哪个都不是的情况下返回第一自变量的值。
然后，生成以输入图像Org[·]和预测图像Pred[·]的差分表示的预测残差Res[·][A6]。该生成处理使用数式以下面的式(4)表示。
∀ ( x , y ) ∈ blk , Res[t，x，y]＝Org[t，x，y]-Pred[t，x，y]    …式(4)
当生成预测残差Res[·]时，在预测残差编码部104对该预测残差Res[·]进行编码[A7]。
预测残差Res[·]的编码中使用任何方式均可。在通常的视频图像编码方式中，在以DCT(离散余弦变换)进行频率变换之后，进行量化从而二值化DCT系数信息，对其进行算数编码。
像这样生成的预测残差Res[·]的编码数据成为视频图像编码装置100的输出，另一方面被送至预测残差解码部105，在预测残差解码部105为了之后的预测进行解码[A8]。将解码后的预测残差表示为DecRes[·]。
在预测残差解码部105解码后的预测残差DecRes[·]被送至差分图像解码部106，在差分图像解码部106使用预测差分图像PredDiff[·]，生成解码差分图像DecDiff[·][A9]。
这时，根据像素值的有效最小值和像素值的有效最大值，以满足
min≤DecRes[t，x，y]+PredDiff[t，x，y]+Syn[t，x，y]≤max
的方式进行裁减。当该裁减的处理使用上述的函数Clip时，以下面的式(5)表示。
∀ ( x , y ) ∈ blk , DecDiff[t，x，y]＝Clip(DecRes[t，x，y]+PredDiff[t，x，y]，min-Syn[t，x，y]，max-Syn[t，x，y])    …式(5)
再有，该裁减进行也可，不进行也可。但是，在进行裁减的情况下，需要在编码器和解码器进行相同处理。
通过差分图像解码部106生成的解码差分图像DecDiff[·]被储存在差分图像存储器107，在对之后的块进行编码时的预测中利用[A10]。
像这样，在实施方式例1的视频图像编码装置100中，生成针对输入图像和合成图像的差分图像的预测信号，将该生成的预测差分图像与合成图像的和作为针对输入图像的预测信号，进行输入图像的编码。
接着，按照图3的处理流程，对在图2的处理流程的A5执行的预测图像Pred[·]的生成处理详细地进行说明。
在生成针对编码对象图像的预测图像Pred[·]的处理[A5]中，按块中包含的像素的每一个在预测图像生成部103中进行。为了进行该处理，预测图像生成部103如图1所示，具备：对在合成图像输入部102输入的合成图像Syn[·]的像素值和预测差分图像生成部108生成的预测差分图像PredDiff[·]的像素值进行加法运算的加法功能，以及对该加法功能相加后的像素值进行裁减的裁减功能。
在这里的处理按块内的像素的每一个进行。也就是说，当将各像素的索引作为pix时，在将pix以0初始化之后[B1]，在pix变为块内的像素数numPix之前[B8]，一边对pix加上1[B7]，一边反复进行以下的处理[B2-B6]。
即，在该反复进行的处理中，首先，将针对像素pix在预测差分图像生成部108生成的预测差分图像PredDiff[·]的值读入寄存器r0[B2]，接着，将针对像素pix在合成图像输入部102输入的合成图像Syn[·]的值读入寄存器r1[B3]。
接着，使用上述的加法功能，执行储存在寄存器r0的像素值和储存在寄存器r1中的像素值的加法运算，将加法运算结果储存在寄存器r2[B4]。
接着，使用上述裁减功能，对储存在寄存器r2中的像素值在相对于输入图像的有效范围进行裁减，将其结果储存在寄存器r3[B5]。该有效范围通过输入图像的位深度被决定，在8位的图像的情况下，最小值是0，最大值是255。
接着，将储存在寄存器r3中的像素值作为关于像素pix的针对编码对象图像的预测图像Pred[·]进行输出[B6]。
再有，在这里利用寄存器，但采用不利用寄存器的结构也可。此外在B4或B5的处理中，采用将处理结果储存在不同的寄存器的结构，但也可以在寄存器r0上盖写。此外，在使用1个寄存器能够进行加法运算处理的情况下，不需要将合成图像Syn[·]的值读入寄存器r1，也可以直接执行加法运算。此外，在该处理流程中，逐次输出针对各像素的预测图像Pred[·]，但进行缓冲而一次进行输出也可。
图4A、4B中，表示对实施方式例1的视频图像编码装置100、和对多视点视频图像进行编码的现有的视频图像编码装置进行比较的图。
这里，图4A表示的结构是实施方式例1的视频图像编码装置100的结构，图4B表示的结构是对多视点视频图像进行编码的现有的视频图像编码装置的结构。此外，图中表示的最细的线是对N位进行处理的结构部分，较其稍粗的线是对N+1位进行处理的结构部分，最粗的线是对N+2位进行处理的结构部分。
在实施方式例1的视频图像编码装置100中，采用如下方法，即生成针对输入视频图像和相对于其的合成视频图像的差分视频图像的预测信号，将该生成的预测差分视频图像与合成视频图像的和作为针对输入视频图像的预测信号，对输入视频图像和相对于其的预测视频图像的差分进行编码的方法，因为仅执行一次差分，所以如图4A所示，能够以与编码活动图像的通常的视频图像编码装置相同的位深度进行编码。
相对于此，在对多视点视频图像进行编码的现有的视频图像编码装置中，采用如下方法，即生成输入视频图像和相对于其的合成视频图像的差分视频图像，对该生成的差分视频图像进行活动图像编码的方法，因为需要执行2次差分，所以如图4B所示，与对活动图像进行编码的通常的视频图像编码装置相比，位深度增加。
像这样，根据本发明的实施方式，生成针对输入视频图像和相对于其的合成视频图像的差分视频图像的预测信号，将该生成的预测差分视频图像与合成视频图像的和作为针对输入视频图像的预测信号，由此能够以较少的电路规模/安装规模实现使用了差分视频图像的高效率的编码。
而且，在现有技术中，通过使用如下方法，即生成输入视频图像和相对于其的合成视频图像的差分视频图像，对该生成的差分视频图像进行活动图像编码的方法，由此有在像素值变为允许的值的最大值和最小值的部分中对无用的信号进行编码的问题，但在本发明的实施方式中，由于采用将像素值的值裁减为允许的最大值或最小值的结构，所以不会发生这样的问题。
实施方式2
接着，对第二实施方式例(以下，记述为实施方式例2)进行说明。
图5表示本发明的实施方式例2的视频图像编码装置200的结构。
如该图所示，实施方式例2的视频图像编码装置200具备：图像输入部201、合成图像输入部202、第一预测图像生成部203、第二预测图像生成部204、预测残差编码部205、预测残差解码部206、图像解码部207、解码图像存储器208、差分图像存储器209、预测差分图像生成部210、以及预测切换开关211。
该图像输入部201对成为编码对象的以摄影机摄影的视频图像(图像)进行输入。合成图像输入部202输入针对该摄影机的合成图像(合成视频图像)。
在第一预测图像生成部203中，基于针对差分图像(输入图像和合成图像的差分图像)的预测，生成针对输入图像的预测图像，通过执行与图3的处理流程同样的处理，从而一边实施裁减处理，一边对预测差分图像生成部210生成的预测差分图像(针对差分图像的预测图像)、和合成图像输入部202输入的合成图像进行加法运算，由此生成针对输入图像的预测图像。
第二预测图像生成部204基于解码图像，生成针对输入图像的预测图像，不使用差分图像，而使用储存在解码图像存储器208中的解码图像，生成针对输入图像的预测图像。
预测残差编码部205对图像输入部201输入的输入图像和第一预测图像生成部203或第二预测图像生成部204生成的预测图像的预测残差进行编码并输出编码数据。预测残差解码部206对预测残差编码部205编码的预测残差进行解码。
图像解码部207对预测残差解码部206解码的预测残差和第一预测图像生成部203或第二预测图像生成部204生成的预测图像进行加法运算，由此生成解码图像。解码图像存储器208对图像解码部207生成的解码图像进行蓄积。
差分图像存储器209对以图像解码部207解码的解码图像和合成图像输入部202输入的合成图像的差分表示的差分图像进行蓄积。
预测差分图像生成部210使用蓄积在差分图像存储器209的差分图像，生成针对以输入图像和合成图像的差分表示的差分图像的预测图像(预测差分图像)。
预测切换开关211选择第一预测图像生成部203生成的预测图像、或第二预测图像生成部204生成的预测图像的任一方，并进行输出。
图6表示以该方式构成的实施方式例2的视频图像编码装置200执行处理流程。
该处理流程表示通过实施方式例2的视频图像编码装置200对某个时刻的图像进行编码时的处理，在进行多个帧的编码时，反复执行该处理流程。
以下，按照该处理流程，对实施方式例2的视频图像编码装置200执行的处理进行详细地说明。这里，原样使用在所述实施方式例1中使用的记号进行说明。
在实施方式例2的视频图像编码装置200中，首先，在图像输入部201输入编码对象图像Org[·][C1]，在合成图像输入部202，对针对在这里输入的Org[·]的合成图像Syn[·]进行输入[C2]。
在本实施方式例2中，也将图像整体分割为多个块，按块的每一个反复进行处理，从而对图像整体进行编码。再有，不需要一定分割为块状，分割为任意的形状均可，不进行分割也可。以下，与实施方式例1同样地，将块的索引表示为blk，将图像中包含的块数表示为numBlk。
因此，在将blk初始化为0之后[C3]，在blk变为numBlk之前[C16]，一边对blk加上1[C15]，一边反复进行以下的处理[C4～C14]，由此进行编码。
在按块的每一个反复进行的处理中，最初生成预测图像[C4-C7]。在本实施方式例2中，在第一预测图像生成部203使用差分图像生成预测图像(以下，将该预测图像记述为差分预测图像DiffPred[·])，在第二预测图像生成部204不使用差分图像而使用解码图像生成预测图像(以下，将该预测图像记述为解码预测图像DecPred[·])，使用其生成1个预测图像。
关于差分预测图像DiffPred[·]的生成处理，首先，在预测差分图像生成部210，使用蓄积在差分图像存储器209的已经编码完成的不同时刻的帧或编码对象帧内的已经编码完成的块，生成预测差分图像PredDiff[·][C4]。接着，在第一预测图像生成部203，生成以预测差分图像PredDiff[·]与合成图像Syn[·]的和表示的差分预测图像DiffPred[·][C5]。
这时，各像素的值被裁减在有效的范围。像素值的有效范围通过输入图像的位深度被决定，在8位的图像的情况下，最小值是0，最大值是255。该裁减的处理使用数式以下面的式(6)表示。再有，该在C4、C5进行的处理，与实施方式例1的分别在A4、A5进行的处理相同。
∀ ( x , y ) ∈ blk , DiffPred[t，x，y]＝Clip(PredDiff[t，x，y]+Syn[t，x，y]，min，max)
…式(6)
另一方面，关于解码预测图像DecPred[·]的生成处理，在第二预测图像生成部204，使用蓄积在解码图像存储器208的已经编码完成的不同时刻的帧或编码对象帧内的已经编码完成的块的解码图像Dec[·]来进行[C6]。
作为该解码预测图像DecPred[·]的生成法，能够使用在前述的非专利文献1表示的在现有的视频图像编码方式中使用的任意的方法。
例如，如下式(7)那样，在不同时刻的帧中，指定某个区域将其复制作为预测值也可，如式(8)那样，根据相同时刻的帧的已经编码完成的周围像素进行定向(Directional)的预测也可。
∀ ( x , y ) ∈ blk , DecPred[t，x，y]＝Dec[t-1，x+mvx，y+mvy]  …式(7)
∀ ( x , y ) ∈ blk , DecPred[t，x，y]＝Dec[t，x，up__line]  …式(8)
在本实施方式例2中，使用预测切换开关211，选择第一预测图像生成部203生成的差分预测图像DiffPred[·]，或第二预测图像生成部204生成的解码预测图像DecPred[·]的任一方，由此来生成预测图像[C7]。此外，也有使用对应的像素彼此的平均值作为预测图像的方法。
再有，在这里选择2个预测图像，但使用任何方法进行选择均可。例如，进行编码再选择编码效率好的一方也可，使用差分绝对值和或差分平方和计测针对编码对象图像Org[·]的预测效率，选择效率好的一方也可。
此外，也能够对应于输入图像，按帧的每一个、帧内的部分区域的每一个、块的每一个等，适宜地切换选择。
生成预测图像之后，生成以输入图像Org[·]和预测切换开关211输出的预测图像的差分表示的预测残差Res[·][C8]。该生成处理使用数式以上述的式(4)表示。
当生成预测残差Res[·]时，在预测残差编码部205，对该预测残差Res[·]进行编码[C9]。预测残差的编码中使用任何方式均可。
像这样生成的预测残差Res[·]的编码数据成为视频图像编码装置200的输出，另一方面被送到预测残差解码部206，在预测残差解码部206为了之后的预测进行解码[C10]。
在预测残差解码部206解码后的预测残差DecRes[·]被送到图像解码部207，在图像解码部207使用预测切换开关211输出的预测图像，生成解码图像Dec[·][C11]。
这时，通过像素值的有效最小值和像素值的有效最大值，进行裁减。该裁减的处理使用数式以下面的式(9)表示。
∀ ( x , y ) ∈ blk , Dec[t，x，y]＝Clip(DecRes[t，x，y]+Pred[t，x，y]，min，max)
…式(9)
通过差分图像解码部207生成的解码差分图像Dec[·]被储存在解码图像存储器208，在对之后的块进行编码时的预测中利用[C12]。
此外，使用该解码图像Dec[·]和合成图像Syn[·]，按照下面的式(10)生成解码差分图像DecDiff[·][C13]。
∀ ( x , y ) ∈ blk , DecDiff[t，x，y]＝Dec[t，x，y]-Syn[t，x，y]  …式(10)
像这样生成的解码差分图像DecDiff[·]被储存在差分图像存储器209，在对之后的块进行编码时的预测中利用[C14]。
像这样，在实施方式例2的视频图像编码装置200中，生成针对输入图像和合成图像的差分图像的预测信号，将该生成的预测差分图像与合成图像的和作为针对输入图像的预测信号，进行输入图像的编码。
图7A、7B中，表示比较实施方式例2的视频图像编码装置200、和对与其对应的多视点视频图像进行编码的现有的视频图像编码装置的图。
这里，图7A表示的结构是实施方式例2的视频图像编码装置200的结构，图7B表示的结构是与其对应的对多视点视频图像进行编码的现有的视频图像编码装置的结构。此外，图中表示的最细的线是对N位进行处理的结构部分，较其稍粗的线是对N+1位进行处理的结构部分，最粗的线是对N+2位进行处理的结构部分，虚线是切换处理的位的结构部分。
在实施方式例2的视频图像编码装置200中，采用如下方法，即生成针对输入视频图像和相对于其的合成视频图像的差分视频图像的预测信号，将该生成的预测差分视频图像与合成视频图像的和作为针对输入视频图像的预测信号，对输入视频图像和针对其的预测视频图像的差分进行编码的方法，因为仅执行一次差分，所以如图7A所示，能够以与编码活动图像的通常的视频图像编码装置相同的位深度进行编码。
相对于此，在对多视点视频图像进行编码的现有的视频图像编码装置中，采用如下方法，即生成输入视频图像和相对于其的合成视频图像的差分视频图像，对该生成的差分视频图像进行活动图像编码的方法，因为需要执行2次差分，所以如图7B所示，与对活动图像进行编码的通常的视频图像编码装置相比，位深度增加。
进而比较图7A和图7B可知，在实施方式例2的视频图像编码装置200中，在差分视频图像上进行预测的情况下，还是在输入视频图像上进行预测的情况下，编码器处理的输入信号是输入视频图像，预测信号成为针对输入视频图像的预测视频图像，因此能使用相同的输入信号和编码器进行编码。
实施方式3
接着，对第三实施方式例(以下，记述为实施方式例3)进行说明。
图8表示本发明的实施方式例3的视频图像解码装置300的结构。
如该图所示，实施方式例3的视频图像解码装置300具备：编码数据输入部301、合成图像输入部302、预测残差解码部303、差分图像解码部304、差分图像存储器305、预测差分图像生成部306、图像解码部307。
该编码数据输入部301，输入通过实施方式例1的视频图像编码装置100生成的编码数据(成为解码对象的以摄影机摄影的视频图像的编码数据)。合成图像输入部302输入针对该摄影机的合成视频图像(合成图像、即视差补偿图像)。预测残差解码部303对包含在编码数据中的预测残差进行解码。
差分图像解码部304按照合成图像输入部302输入的合成图像决定处理范围，并且通过对预测差分图像生成部306生成的预测差分图像(针对解码对象图像和合成图像的差分图像的预测图像)、和预测残差解码部303解码的预测残差进行加法运算，从而生成以解码对象图像和合成图像的差分表示的差分图像。差分图像存储器305对差分图像解码部304生成的差分图像进行蓄积。
预测差分图像生成部306使用蓄积在差分图像存储器305的差分图像，生成针对以解码对象图像和合成图像的差分表示的差分图像的预测图像(预测差分图像)。
图像解码部307通过对差分图像解码部304生成的差分图像、和合成图像输入部302输入的合成图像进行加法运算，对解码对象的图像进行解码。
图9表示以该方式构成的实施方式例3的视频图像解码装置300执行处理流程。
该处理流程表示通过实施方式例3的视频图像解码装置300对某个时刻的图像的编码数据进行解码时的处理，在进行多个帧的解码时，反复执行该处理流程。
以下，按照该处理流程，对实施方式例3的视频图像解码装置300执行的处理进行详细地说明。这里，原样使用在所述实施方式例1或实施方式例2中使用的记号进行说明。
在实施方式例3的视频图像解码装置300中，首先，在编码数据输入部301输入解码对象图像的编码数据[D1]。接着，在合成图像输入部302，输入针对解码对象图像的合成图像[D2]。
在本实施方式例3中，假定将图像整体分割为多个块进行编码，通过按块的每一个反复进行处理，从而对图像整体进行解码。再有，不需要一定被分割为块状，被分割为任意的形状均可，不被分割也可。以下，将块的索引表示为blk，将图像中包含的块数表示为numBlk。
因此，在将blk初始化为0之后[D3]，在blk变为numBlk之前[D10]，一边对blk加上1[D9]，一边反复执行以下的处理[D4～D8]，由此进行解码。
即，在按块的每一个反复进行的处理中，首先，在预测残差解码部303，对输入的编码数据中包含的预测残差进行解码[D4]。
接着，在预测差分图像生成部306，使用蓄积在差分图像存储器305的已经解码完成的不同时刻的帧或解码对象帧内的已经解码完成的块，生成预测差分图像[D5]。
这里，在预测差分图像的生成法存在多个时，使用表示在编码数据中包含的块blk的(编码时的)预测方法的信息，确定一个生成法，基于其生成预测差分图像。
在通过预测差分图像生成部306生成预测差分图像后，接着在差分图像解码部304，生成以生成的预测差分图像和被解码的预测残差的和表示的解码差分图像[D6]。
这时，根据像素值的有效最小值和像素值的有效最大值，进行与在实施方式例1的A9进行的裁减处理相同的裁减处理(上述的以式(5)表示的裁减处理)。再有，该裁减进行也可，不进行也可。但是，在进行裁减的情况下，需要在编码器和解码器进行相同处理。
通过差分图像解码部304生成的解码差分图像被储存在差分图像存储器305，在对之后的块进行解码时的预测差分图像生成中利用[D7]。
通过差分图像解码部304生成解码差分图像后，在图像解码部307，生成以解码差分图像与合成图像的和表示的解码图像[D8]。
这时，各像素的值被裁减在有效的范围。但是，在D6进行裁减的情况下，不需要进行这里的裁减。该裁减的处理使用数式以下面的式(11)表示。
∀ ( x , y ) ∈ blk , Dec[t，x，y]＝Clip(DecDiff[t，x，y]+Syn[t，x，y]，min，max)
…式(11)
这样生成的解码图像成为视频图像解码装置300的输出。再有，在实施方式例3中，被解码的图像立刻被输出，但在编码→解码的顺序中没有变成正确的显示定时的情况下，在输出其被缓冲，并在适合的显示定时到来时从视频图像解码装置300输出。
在这里，在图9表示的处理流程中，采用如下结构，即对编码数据中包含的解码对象图像的预测残差进行解码，并且使用以解码对象图像的已经解码完成区域的图像与合成图像的差表示的差分图像，生成要解码的区域中的差分图像的预测图像，之后通过将该生成的预测差分图像和解码后的预测残差加在一起，得到解码差分图像，通过将该解码差分图像和合成图像加在一起，从而对解码图像进行解码，但是解码图像的生成顺序并不限于此。
即，也可以采用如下结构，即对编码数据中包含的解码对象图像的预测残差进行解码，并且使用以解码对象图像的已经解码完成区域的图像与合成图像的差表示的差分图像，生成要解码的区域中的差分图像的预测图像，之后通过将该生成的预测差分图像与合成图像加在一起，得到解码对象图像的预测图像，通过将该解码对象图像的预测图像和解码后的预测残差加在一起，从而对解码图像进行解码。
实施方式4
接着，对第四实施方式例(以下，记述为实施方式例4)进行说明。
图10表示本发明的实施方式例4的视频图像解码装置400的结构。
如该图所示，实施方式例4的视频图像解码装置400具备：编码数据输入部401、合成图像输入部402、预测残差解码部403、图像解码部404、解码图像存储器405、差分图像存储器406、预测差分图像生成部407、第一预测图像生成部408、第二预测图像生成部409、以及预测切换开关410。
该编码数据输入部401，输入通过实施方式例2的视频图像编码装置200生成的编码数据(成为解码对象的以摄影机摄影的视频图像的编码数据)。合成图像输入部402输入针对该摄影机的合成视频图像(合成图像)。预测残差解码部403对包含在编码数据中的预测残差进行解码。
图像解码部404对预测残差解码部403解码的预测残差和第一预测图像生成部408或第二预测图像生成部409生成的预测图像进行加法运算，由此对解码对象图像进行解码。解码图像存储器405对图像解码部404解码的解码图像进行蓄积。
差分图像存储器406对以图像解码部404解码的解码图像和合成图像输入部402输入的合成图像的差分表示的差分图像(解码差分图像)进行蓄积。
预测差分图像生成部407使用蓄积在差分图像存储器406的差分图像，生成针对以解码对象图像和合成图像的差分表示的差分图像的预测图像(预测差分图像)。
第一预测图像生成部408通过对预测差分图像生成部407生成的预测差分图像、和合成图像输入部402输入的合成图像进行加法运算，生成针对解码对象图像的预测图像。
第二预测图像生成部409基于蓄积在解码图像存储器405的解码图像，生成针对解码对象图像的预测图像。
预测切换开关410选择第一预测图像生成部408生成的预测图像、或第二预测图像生成部409生成的预测图像的任一方，并进行输出。
图11表示以该方式构成的实施方式例4的视频图像解码装置400执行处理流程。
该处理流程表示通过实施方式例4的视频图像解码装置400对某个时刻的图像的编码数据进行解码时的处理，在进行多个帧的解码时，反复执行该处理流程。
以下，按照该处理流程，对实施方式例4的视频图像解码装置400执行的处理进行详细地说明。这里，原样使用在所述实施方式例1～3中使用的记号进行说明。
在实施方式例4的视频图像解码装置400中，首先，在编码数据输入部401输入解码对象图像的编码数据[E1]。接着，在合成图像输入部402，输入针对解码对象图像的合成图像[E2]。
在本实施方式例4中，假定将图像整体分割为多个块进行编码，通过按块的每一个反复进行处理，从而对图像整体进行解码。再有，不需要一定被分割为块状，被分割为任意的形状均可，不被分割也可。以下，将块的索引表示为blk，将图像中包含的块数表示为numBlk。
因此，在将blk初始化为0之后[E3]，在blk变为numBlk之前[E11]，一边对blk加上1[E10]，一边反复执行以下的处理[E4～E9]，由此进行解码。
即，在按块的每一个反复进行的处理中，首先，在预测残差解码部403，对输入的编码数据中包含的预测残差进行解码[E4]。
接着，在第一预测图像生成部408，使用蓄积在差分图像存储器406的已经解码完成的不同时刻的帧或解码对象帧内的已经解码完成的块的解码差分图像，生成预测图像，或在第二预测图像生成部409，使用蓄积在解码图像存储器405的已经解码完成的不同时刻的帧的解码图像，生成预测图像[E5]。
这里，预测图像的生成法通过某种方法针对各块决定一个生成法。在该决定中，使用到此为止解码的图像或块的信息进行决定也可，通过编码数据中包含的指定预测方法的信息来决定也可。但是，需要使用视频图像编码装置决定的决定法。
在本实施方式例4中，使用预测切换开关410，切换进行第一预测图像生成部408执行的利用差分图像的预测，还是第二预测图像生成部409执行的不利用差分图像的预测。
在使用第一预测图像生成部408利用差分图像进行预测的情况下，首先，在预测差分图像生成部407，使用蓄积在差分图像存储器406的差分图像生成预测差分图像。接着在第一预测图像生成部408，生成以预测差分图像与合成图像的和表示的预测图像。该预测图像成为针对解码对象图像的预测图像。
这时，根据像素值的有效最小值和像素值的有效最大值，进行与在实施方式例2的C4、C5进行的裁减处理相同的裁减处理(以上述的式(6)表示的裁减处理)。再有，该裁减进行也可，不进行也可。但是，在进行裁减的情况下，需要在编码器和解码器进行相同处理。
另一方面，在使用第二预测图像生成部409不利用差分图像进行预测的情况下，在第二预测图像生成部409，使用蓄积在解码图像存储器405的解码图像生成预测图像。预测图像成为针对解码对象图像的预测图像。再有，在这里进行的处理与在实施方式例2的C6进行的处理相同。
在本实施方式例4中，具备第二预测图像生成部409和预测差分图像生成部407，但在两者进行的预测法是相同的情况下，也可以通过切换输入的图像存储器，以1个预测图像生成部来构成。在该情况下，预测图像生成部的输出需要仅在进行使用了差分图像的预测的情况下输入到预测图像生成部408。也就是说，连动工作的开关需要2个。
通过第一预测图像生成部408或第二预测图像生成部409生成预测图像后，在图像解码部404，生成以该预测图像与通过预测残差解码部403解码的预测残差的和表示的解码图像[E6]。
这时，各像素的值被裁减在有效的范围。该裁减处理与在实施方式例2的C11进行的处理相同。使用数式以上述的式(9)表示。
这样生成的解码图像被储存在解码图像存储器405，在对之后的块进行解码时的预测图像生成中利用[E7]。
此外，使用该解码图像和合成图像，按照上述的式(10)生成解码差分图像[E8]。这样生成的解码差分图像被存储在差分图像存储器406，在对之后的块进行解码时的预测图像生成中利用[E9]。
在E6生成的解码图像成为视频图像解码装置400的输出。再有，在本实施方式例4中，被解码的图像立刻被输出，但在编码→解码的顺序中没有变成正确的显示定时的情况下，在输出前被缓冲，并在适合的显示定时到来时从视频图像解码装置400输出。
产业上的利用可能性
本发明能够适用于多视点视频图像的编码，能够以较少的电路规模/安装规模来实现使用了差分视频图像的高效率的编码。

Claims (30)

1.一种视频图像编码装置，在对通过视点相异的多个摄影机摄影的多视点图像进行编码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经编码完成的参照摄影机图像、和该参照摄影机图像与编码对象图像之间的视差信息，生成针对摄影了编码对象图像的摄影机的合成图像，使用该合成图像对编码对象图像进行编码，该视频图像编码装置的特征在于，具备：
差分图像预测单元，对要进行编码的编码对象区域的输入图像、和针对其的所述合成图像的差分图像的预测图像进行生成；
预测图像生成单元，对以所述差分图像预测单元生成的预测差分图像与编码对象区域的所述合成图像的和表示的、该区域的预测图像进行生成；以及
预测残差编码单元，对以所述预测图像生成单元生成的编码对象区域的预测图像与该区域的编码对象图像的差表示的、预测残差进行编码。
2.根据权利要求1所述的视频图像编码装置，其特征在于，
所述差分图像预测单元使用与摄影了编码对象图像的时刻是相同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以编码对象图像的已经编码完成区域的解码图像、和该区域的所述合成图像的差表示的。
3.根据权利要求1所述的视频图像编码装置，其特征在于，
所述差分图像预测单元使用与摄影了编码对象图像的时刻是不同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了编码对象图像的视点摄影的已经编码完成的图像的解码图像、和与该解码图像相同时刻的所述合成图像的差表示的。
4.根据权利要求1所述的视频图像编码装置，其特征在于，具备：
图像解码单元，对编码对象图像的编码数据进行解码，生成编码对象图像的解码图像；以及
解码差分图像生成蓄积单元，生成以所述图像解码单元解码后的解码图像与所述合成图像的差表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
5.根据权利要求1所述的视频图像编码装置，其特征在于，具备：
预测残差解码单元，对所述预测残差编码单元编码后的预测残差进行解码；以及
解码差分图像生成蓄积单元，生成以所述预测残差解码单元解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
6.根据权利要求1所述的视频图像编码装置，其特征在于，具备：
原图像预测单元，使用编码对象图像的已经编码完成的区域的解码图像、和在摄影了编码对象图像的视点摄影并且在与编码对象图像不同的时刻摄影的已经编码完成的图像的解码图像的任一个，生成编码对象图像的预测图像，
所述预测图像生成单元有选择地执行下述任一个生成，即，基于所述预测差分图像和所述合成图像生成编码对象区域的预测图像，或直接利用所述原图像预测单元生成的预测图像生成编码对象区域的预测图像。
7.根据权利要求1所述的视频图像编码装置，其特征在于，
所述预测图像生成单元以所述预测图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
8.根据权利要求5所述的视频图像编码装置，其特征在于，
所述解码差分图像生成蓄积单元以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
9.一种视频图像解码装置，在对通过视点相异的多个摄影机摄影的多视点图像的编码数据进行解码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经解码完成的参照摄影机图像、和该参照摄影机图像与解码对象图像之间的视差信息，生成针对摄影了解码对象图像的摄影机的合成图像，使用该合成图像对解码对象图像的编码数据进行解码，该视频图像解码装置的特征在于，具备：
预测残差解码单元，对包含在编码数据中的解码对象图像的预测残差进行解码；
差分图像预测单元，对要进行解码的解码对象区域的解码对象图像、和针对其的所述合成图像的差分图像的预测图像进行生成；以及
图像解码单元，针对解码对象区域，将所述差分图像预测单元生成的预测差分图像、所述预测残差解码单元解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码。
10.根据权利要求9所述的视频图像解码装置，其特征在于，
所述差分图像预测单元使用与摄影了解码对象图像的时刻是相同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以解码对象图像的已经解码完成区域的解码图像和该区域的所述合成图像的差表示的。
11.根据权利要求9所述的视频图像解码装置，其特征在于，
所述差分图像预测单元使用与摄影了解码对象图像的时刻是不同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了解码对象图像的视点摄影的已经解码完成的参照图像、和与该参照图像相同时刻的所述合成图像的差表示的。
12.根据权利要求9所述的视频图像解码装置，其特征在于，具备：
解码差分图像生成蓄积单元，生成以所述图像解码单元生成的解码图像与所述合成图像的差表示的解码差分图像，蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述解码对象区域的差分图像的预测图像。
13.根据权利要求9所述的视频图像解码装置，其特征在于，具备：
解码差分图像生成蓄积单元，生成以所述预测残差解码单元解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，蓄积到蓄积存储器中，
所述差分图像预测单元使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
14.根据权利要求9所述的视频图像解码装置，其特征在于，具备：
原图像预测单元，使用解码对象图像的已经解码完成的图像、和在摄影了解码对象图像的视点摄影并且在与解码对象图像不同的时刻摄影的已经解码完成的图像的任一个，生成解码对象图像的预测图像，
所述图像解码单元针对解码对象区域，有选择地执行以下解码的任一个，即，通过将所述差分图像预测单元生成的预测差分图像、所述预测残差解码单元解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码，或通过将所述原图像预测单元生成的预测图像、和所述预测残差解码单元解码的预测残差加在一起，从而对解码对象图像进行解码。
15.根据权利要求13所述的视频图像解码装置，其特征在于，
所述解码差分图像生成蓄积单元以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
16.一种视频图像编码方法，在对通过视点相异的多个摄影机摄影的多视点图像进行编码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经编码完成的参照摄影机图像、和该参照摄影机图像与编码对象图像之间的视差信息，生成针对摄影了编码对象图像的摄影机的合成图像，使用该合成图像对编码对象图像进行编码，该视频图像编码方法的特征在于，具备：
差分图像预测步骤，对要进行编码的编码对象区域的输入图像、和针对其的所述合成图像的差分图像的预测图像进行生成；
预测图像生成步骤，对以在所述差分图像预测步骤中生成的预测差分图像与编码对象区域的所述合成图像的和表示的、该区域的预测图像进行生成；以及
预测残差编码步骤，对以在所述预测图像生成步骤中生成的编码对象区域的预测图像与该区域的编码对象图像的差表示的、预测残差进行编码。
17.根据权利要求16所述的视频图像编码方法，其特征在于，
在所述差分图像预测步骤中，使用与摄影了编码对象图像的时刻是相同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以编码对象图像的已经编码完成区域的解码图像和该区域的所述合成图像的差表示的。
18.根据权利要求16所述的视频图像编码方法，其特征在于，
在所述差分图像预测步骤中，使用与摄影了编码对象图像的时刻是不同时刻的差分图像，生成所述编码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了编码对象图像的视点摄影的已经编码完成的图像的解码图像、和与该解码图像相同时刻的所述合成图像的差表示的。
19.根据权利要求16所述的视频图像编码方法，其特征在于，具备：
预测残差解码步骤，对在所述预测残差编码步骤中进行编码后的预测残差进行解码；以及
解码差分图像生成蓄积步骤，生成以在所述预测残差解码步骤中解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，将该生成后的解码差分图像蓄积到蓄积存储器中，
在所述差分图像预测步骤中，使用蓄积在所述蓄积存储器中的解码差分图像，生成所述编码对象区域的差分图像的预测图像。
20.根据权利要求16所述的视频图像编码方法，其特征在于，具备：
原图像预测步骤，使用编码对象图像的已经编码完成的区域的解码图像、和在摄影了编码对象图像的视点摄影并且在与编码对象图像不同的时刻摄影的已经编码完成的图像的解码图像的任一个，生成编码对象图像的预测图像，
在所述预测图像生成步骤中，有选择地执行下述任一个生成，即，基于所述预测差分图像和所述合成图像生成编码对象区域的预测图像，或直接利用在所述原图像预测步骤中生成的预测图像生成编码对象区域的预测图像。
21.一种视频图像解码方法，在对通过视点相异的多个摄影机摄影的多视点图像的编码数据进行解码时，根据与摄影了编码对象图像的摄影机的视点相异的至少一个视点的已经解码完成的参照摄影机图像、和该参照摄影机图像与解码对象图像之间的视差信息，生成针对摄影了解码对象图像的摄影机的合成图像，使用该合成图像对解码对象图像的编码数据进行解码，该视频图像解码方法的特征在于，具备：
预测残差解码步骤，对包含在编码数据中的解码对象图像的预测残差进行解码；
差分图像预测步骤，对要进行解码的解码对象区域的解码对象图像、和针对其的所述合成图像的差分图像的预测图像进行生成；以及
图像解码步骤，针对解码对象区域，将在所述差分图像预测步骤中生成的预测差分图像、在所述预测残差解码步骤中解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码。
22.根据权利要求21所述的视频图像解码方法，其特征在于，
在所述差分图像预测步骤中，使用与摄影了解码对象图像的时刻是相同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以解码对象图像的已经解码完成区域的解码图像和该区域的所述合成图像的差表示的。
23.根据权利要求21所述的视频图像解码方法，其特征在于，
在所述差分图像预测步骤中，使用与摄影了解码对象图像的时刻是不同时刻的差分图像，生成所述解码对象区域的差分图像的预测图像，其中，所述差分图像是以在摄影了解码对象图像的视点摄影的已经解码完成的参照图像、和与该参照图像相同时刻的所述合成图像的差表示的。
24.根据权利要求21所述的视频图像解码方法，其特征在于，具备：
解码差分图像生成蓄积步骤，生成以在所述预测残差解码步骤中解码后的解码预测残差与所述预测差分图像的和表示的解码差分图像，蓄积到蓄积存储器中，
在所述差分图像预测步骤中，使用蓄积在所述蓄积存储器中的解码差分图像，生成所述解码对象区域的差分图像的预测图像。
25.根据权利要求21所述的视频图像解码方法，其特征在于，具备：
原图像预测步骤，使用解码对象图像的已经解码完成的图像、和在摄影了解码对象图像的视点摄影并且在与解码对象图像不同的时刻摄影的已经解码完成的图像的任一个，生成解码对象图像的预测图像，
在所述图像解码步骤中，针对解码对象区域，有选择地执行以下解码的任一个，即，通过将在所述差分图像预测步骤中生成的预测差分图像、在所述预测残差解码步骤中解码的预测残差、和所述合成图像加在一起，从而对解码对象图像进行解码，或通过将在所述原图像预测步骤中生成的预测图像、和在所述预测残差解码步骤中解码的预测残差加在一起，从而对解码对象图像进行解码。
26.根据权利要求24所述的视频图像解码方法，其特征在于，
在所述解码差分图像生成蓄积步骤中，以所述解码差分图像的各像素具有规定的有效范围内的像素值的方式进行裁减。
27.一种视频图像编码程序，用于使计算机执行用于实现权利要求1所述的视频图像编码装置的处理。
28.一种计算机能够读取的记录介质，记录有视频图像编码程序，该视频图像编码程序用于使计算机执行用于实现权利要求1所述的视频图像编码装置的处理。
29.一种视频图像解码程序，用于使计算机执行用于实现权利要求9所述的视频图像解码装置的处理。
30.一种计算机能够读取的记录介质，记录有视频图像解码程序，该视频图像解码程序用于使计算机执行用于实现权利要求9所述的视频图像解码装置的处理。
CN2008800209912A 2007-06-25 2008-06-23 视频图像编码方法及解码方法、其装置 Active CN101690234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP165828/2007 2007-06-25
JP2007165828 2007-06-25
PCT/JP2008/061398 WO2009001791A1 (ja) 2007-06-25 2008-06-23 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
CN101690234A true CN101690234A (zh) 2010-03-31
CN101690234B CN101690234B (zh) 2012-06-20

Family

ID=40185606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800209912A Active CN101690234B (zh) 2007-06-25 2008-06-23 视频图像编码方法及解码方法、其装置

Country Status (10)

Country Link
US (1) US8204118B2 (zh)
EP (1) EP2161937A4 (zh)
JP (1) JP5197591B2 (zh)
KR (1) KR101103723B1 (zh)
CN (1) CN101690234B (zh)
BR (1) BRPI0813261A2 (zh)
CA (1) CA2692250C (zh)
RU (1) RU2444856C2 (zh)
TW (1) TW200910975A (zh)
WO (1) WO2009001791A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438167A (zh) * 2011-10-21 2012-05-02 宁波大学 一种基于深度图像绘制的立体视频编码方法
CN104718755A (zh) * 2012-10-12 2015-06-17 国立研究开发法人情报通信研究机构 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
BR112012020993A2 (pt) * 2010-02-24 2016-05-03 Nippon Telegraph & Telephone método de codificação de vídeo de múltiplas visões , método de decodificação de vídeo de múltiplas visões, aparelho de codificação de vídeo de múltiplas visões, aparelho de decodificação de vídeo de múltiplas visões , e programa
US9456111B2 (en) * 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
WO2012042895A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
KR20150034729A (ko) * 2012-07-11 2015-04-03 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN117354515A (zh) 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
US20190141332A1 (en) * 2017-11-08 2019-05-09 Qualcomm Incorporated Use of synthetic frames in video coding

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2847467B2 (ja) * 1994-01-10 1999-01-20 株式会社グラフィックス・コミュニケーション・ラボラトリーズ スケーラビリティを有する画像符号化方法と装置
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
JPH10191393A (ja) 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JPH10191394A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
JP3617925B2 (ja) * 1998-05-28 2005-02-09 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP2001186543A (ja) * 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
TWI246389B (en) 2004-06-30 2005-12-21 First Int Computer Inc Fastening base for interface card
US7671893B2 (en) 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US20060023782A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
US7512261B2 (en) 2004-07-27 2009-03-31 Microsoft Corp. System and method for calibrating multiple cameras without employing a pattern by inter-image homography
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
US9088802B2 (en) 2005-01-07 2015-07-21 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
JP4414379B2 (ja) 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100813963B1 (ko) * 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN102438167A (zh) * 2011-10-21 2012-05-02 宁波大学 一种基于深度图像绘制的立体视频编码方法
CN102438167B (zh) * 2011-10-21 2014-03-12 宁波大学 一种基于深度图像绘制的立体视频编码方法
CN104718755A (zh) * 2012-10-12 2015-06-17 国立研究开发法人情报通信研究机构 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构

Also Published As

Publication number Publication date
EP2161937A4 (en) 2015-05-20
RU2444856C2 (ru) 2012-03-10
JPWO2009001791A1 (ja) 2010-08-26
TW200910975A (en) 2009-03-01
RU2009147012A (ru) 2011-06-27
CN101690234B (zh) 2012-06-20
JP5197591B2 (ja) 2013-05-15
EP2161937A1 (en) 2010-03-10
TWI364221B (zh) 2012-05-11
WO2009001791A1 (ja) 2008-12-31
US20100189177A1 (en) 2010-07-29
US8204118B2 (en) 2012-06-19
KR101103723B1 (ko) 2012-01-11
CA2692250C (en) 2013-08-20
BRPI0813261A2 (pt) 2014-12-30
CA2692250A1 (en) 2008-12-31
KR20100022065A (ko) 2010-02-26

Similar Documents

Publication Publication Date Title
CN101690234B (zh) 视频图像编码方法及解码方法、其装置
JP3863510B2 (ja) 動きベクトル符号化／復号化方法及びその装置
JP5580453B2 (ja) 直接モード符号化及び復号化装置
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR100604392B1 (ko) 비디오 부호화 방법 및 장치
KR101684208B1 (ko) 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
US20130128980A1 (en) Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
CA2663084A1 (en) Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN103493492A (zh) 用于对多视点视频进行编码和解码的方法和设备
CN102986234A (zh) 图像处理装置和图像处理方法
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
US8073266B2 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2006304350A (ja) 動画像復号化方法及び装置
KR100774297B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
JP3743220B2 (ja) 符号化動画像編集方法およびその装置
KR100774299B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
KR100774298B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
KR100774300B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
JP2010068219A (ja) 動画像符号化装置
JP2005012838A (ja) 画像符号化装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant