CN102340670A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102340670A
CN102340670A CN2011101986739A CN201110198673A CN102340670A CN 102340670 A CN102340670 A CN 102340670A CN 2011101986739 A CN2011101986739 A CN 2011101986739A CN 201110198673 A CN201110198673 A CN 201110198673A CN 102340670 A CN102340670 A CN 102340670A
Authority
CN
China
Prior art keywords
image processing
picture
processing apparatus
image
protected field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101986739A
Other languages
English (en)
Inventor
高桥良知
铃木辉彦
北村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102340670A publication Critical patent/CN102340670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了图像处理装置和图像处理方法。图像处理装置包括：量化器，其被配置为对编码目标图片与预测图像之间的块单位的差分的正交变换系数进行量化；预测器，其被配置为利用编码目标图片与视点不同于编码目标图片的图片之间的相关性进行视差预测；以及量化控制器，其被配置为根据视差预测结果来确定保护图像质量的受保护区域，并且对于受保护区域量化减小量化器的量化步长。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及图像处理装置和图像处理方法，并且更具体地，涉及当编码具有多个视点的图像时改善多视点图像的图像质量。
背景技术
近年来，例如存在这样的装置，其处理作为数字数据的图像信息，并且在这点上进行高效的信息传送和累积，例如遵从诸如MPEG(通过离散余弦变换或其它正交变换和运动补偿进行压缩)之类的技术的装置。这些装置在广播电台和普通家庭中正变得普遍。
特别地，MPEG-2(ISO/IEC 13818-2)被定义为通用的图像编码格式，并且目前被广泛地用于专业用途和消费者用途的广泛应用范围中。此外，被称为H.264和MPEG-4第10部分(以下被称为H.264/AVC(高级视频编码))的图像编码格式正在变得标准化，并且尽管相比于诸如MPEG-2之类的编码格式来说，H.264/AVC的编码和解码需要更多的计算，但是可获得更高的编码效率。
此外，按照诸如MPEG2、MPEG4和H.264/AVC之类的编码格式对图像进行编码，为了获得更高的编码效率通常要调节比特率。通过比特率调节，进行了考虑视觉特性的适应性量化。例如，在日本未审查专利申请公开No.2000-138938中，基于在对前一图像进行编码期间计算出的给定参数，通过根据当前图像的编码大小(coding size)来适应性地切换量化位阶(quantization scale)和经调节的量化位阶来进行量化。
发明内容
同时，对于帧顺序(FS)AVC和多视点视频编码(MVC)，不仅进行使用图片之间的时间相关性的时间预测，而且进行使用具有不同视点的图片之间的相关性的视差预测。
图1示出了例如在对两视点运动图像数据进行编码时用于预测的参照关系(reference relationship)。这里，Cam0被采用为左视点图像的图像数据，并且Cam1被采用为右视点图像的图像数据。Cam1图像数据被采用为从属视点图像数据，该数据是通过使用Cam0图像数据作为参照图片的图像数据而被编码的。当对从属视点的图像数据进行编码时所参照的图像数据被称为基础视点图像数据。
Cam1图像数据中的P图片(Pdv1)采用Cam0 I图片(Ib1)(通过视差预测来参照)作为参照图片，如箭头所示。Cam1图像数据中的P图片(Pdv3)采用Cam0 P图片(Pb3)(通过视差预测来参照)和P图片(Pdv1)(通过时间预测来参照)作为参照图片，如箭头所示。Cam1图像数据中的B图片(Bdv2)采用Cam0 Bs图片(Bsb2)(通过视差预测来参照)以及P图片(Pdv1)和P图片(Pdv3)(通过时间预测来参照)作为参照图片，如箭头所示。同时，Cam0图像数据中的P图片(Pb3)采用I图片(Ib1)(通过时间预测来参照)作为参照图片，如箭头所示。Cam1图像数据中的Bs图片(Bsb2)采用I图片(Ib1)和P图片(Pb3)(通过时间预测来参照)作为参照图片，如箭头所示。
即使在对多视点图像的这种编码中，为了获得更高的编码效率也要调节比特率。
因此，希望提供当对具有多个视点的图像进行编码时能够改善多视点图像的图像质量的图像处理装置和图像处理方法。
一个实施例是一种图像处理装置，其包括：量化器，对编码目标图片与预测图像之间的以块为单位的差分的正交变换系数进行量化；预测器，利用编码目标图片与视点不同于编码目标图片的图片之间的相关性进行视差预测；和量化控制器，根据视差预测结果来确定保护图像质量的受保护区域，并且修改和减小量化器的用于受保护区域的量化的量化步长。
在一个实施例中，利用编码目标图片和视点不同于编码目标图片的图片之间的相关性进行视差预测，并且使用通过视差预测检测到的视差向量和当使用视差向量进行视差补偿时的误差中的至少一者来进行对受保护区域的确定。例如，在使用视差向量的情况下，可使用视差向量的水平分量，并且将视差向量大于统计值(这些统计值用作确定受保护区域的基础，并且是根据已经被编码的图片的视差向量来计算的，例如图片中视差向量的平均值)的编码目标块和视差向量大于紧接在前的已经被编码的块的视差向量的编码目标块确定为受保护区域。此外，在使用当进行视差补偿时的误差的情况下，将误差大于统计值(这些统计值用作确定受保护区域的基础，并且是根据已经被编码的图片的误差来计算的，例如图片中误差的平均值)的编码目标块确定为受保护区域。
另一个实施例是一种图像处理方法，其包括：对编码目标图片和预测图像之间的块单位的差分的正交变换系数进行量化；利用编码目标图片和视点不同于编码目标图片的图片之间的相关性进行视差预测；以及根据视差预测结果来确定保护图像质量的受保护区域，并且对于受保护区域的量化减小量化步长。
根据一个实施例，利用编码目标图片和视点不同于编码目标图片的图片之间的相关性进行视差预测，根据视差预测结果确定保护图像质量的受保护区域，并且减小用于量化受保护区域的量化步长。因此，在对多视点运动图像编码期间保护了受保护区域的图像质量，并且可改善多视点图像的图像质量。
附图说明
图1示出了当对两视点运动图像数据进行编码时的预测参照关系；
图2示出了编码***的配置；
图3示出了图像处理装置的配置；
图4是示出图像处理装置的第一操作的流程图；
图5是示出图像处理装置的第二操作的流程图；
图6是示出图像处理装置的第三操作的流程图；并且
图7示出了通过软件处理进行图像编码的情况下的配置。
具体实施方式
以下，将描述所公开技术的实施例。这里，将按以下顺序进行描述。
1.编码***的示例配置
2.图像处理装置的配置
3.图像处理装置的操作
3-1.图像处理装置的第一操作
3-2.图像处理装置的第二操作
3-3.图像处理装置的第三操作
3-4.图像处理装置的其它操作
4.通过软件处理进行图像编码的情况
<1.编码***的示例配置>
图2是示出了所公开技术应用于的编码***的示例配置的图形。编码***10包括左视点图像生成装置11L、右视点图像生成装置11R和多视点编码装置20。
左视点图像生成装置11L是生成左视点图像的图像数据的成像装置或图像数据生成装置。右视点图像生成装置11R是生成右视点图像的成像装置或图像数据生成装置。左视点图像生成装置11L和右视点图像生成装置11R同步地操作。
多视点编码装置20的输入是由左视点图像生成装置11L生成的左侧视点图像的图像数据和由右视点图像生成装置11R生成的右侧视点图像的图像数据。多视点编码装置20分别对左侧视点图像的图像数据和右侧视点图像的图像数据进行编码，对所获得的经编码数据进行复用，并且将数据作为单个比特流输出。
多视点编码装置20包括对左视点图像的图像数据进行编码的图像处理装置和对右视点图像的图像数据进行编码的图像处理装置。对左视点图像的图像数据进行编码的图像处理装置例如作为基础视点图像数据对左视点图像的图像数据进行编码。对右视点图像的图像数据进行编码的图像处理装置作为从属视点图像数据对右侧视点的图像数据进行编码，这是通过参照左视点图像的图像数据来进行编码的。
图像处理装置根据已经被编码的图片和块视差预测的结果生成反馈信息。图像处理装置基于所生成的反馈信息确定图像质量受保护的区域，并且当对受保护区域进行编码时修改量化步长以使其更小。换言之，图像处理装置通过在多视点图像编码中进行适应性量化而改善了多视点图像的图像质量。
<2.图像处理装置的配置>
图3示出了图像处理装置的配置，例如对从属视点图像数据进行编码的图像处理装置20dv。图像处理装置20dv配备有模拟/数字转换器(A/D转换器)21、图片排序缓冲器22、减法器23、正交变换单元24、量化器25、可逆编码器26、累积缓冲器27和速率控制器28。图像处理装置20dv还包括逆量化器31、逆正交变换单元32、加法器33、解块过滤器(deblocking filter)34和帧存储器35。图像处理装置20dv另外配备有内部预测器41、运动/视差预测补偿器42、预测图像/最优模式选择器43和量化控制器45。
A/D转换器21将模拟图像信号转换为数字图像数据，并且将数据输出到图片排序缓冲器22。
图片排序缓冲器22针对从A/D转换器21输出的图像数据来对帧进行排序。图片排序缓冲器22对与用于编码处理的GOP(图片组)的结构相对应的帧进行排序，并且将经排序的图像数据输出到减法器23、内部预测器41和运动/视差预测补偿器42。
向减法器23提供从图片排序缓冲器22输出的图像数据和由随后描述的预测图像/最优模式选择器43选择的预测图像数据。减法器23计算预测误差数据，该数据是从图片排序缓冲器22输出的图像数据和从预测图像/最优模式选择器43提供的预测图像数据之间的差分，并且减法器23将数据输出到正交变换单元24。
正交变换单元24对从减法器23输出的预测误差数据进行离散余弦变换(DCT)、卡-洛变换(Karhunen-Loeve transform)或其它正交变换处理。正交变换单元24将通过进行正交变换处理获得的变换系数输出到量化器25。
向量化器25提供从正交变换单元24输出的变换系数、来自随后描述的速率控制器28的速率控制信号和来自量化控制器45的比较结果信号。量化器25对变换系数进行量化并且将量化数据输出到可逆编码器26和逆量化器31。量化器25还基于来自速率控制器28的速率控制信号来切换量化步长，并且使得量化数据的比特率改变。另外，量化器25通过基于来自量化控制器45的量化控制信号在多视点图像的图片内切换量化步长来改善多视点图像的图像质量。
向可逆编码器26提供从量化器25输出的量化数据和来自随后描述的内部预测器41、运动/视差预测补偿器42以及预测图像/最优模式选择器43的预测模式信息。这里，用于内部预测或交互预测(inter prediction)的表示编码块大小的宏块类型(macroblock type)、预测模式、参照指标等被包括在预测模式信息中。可逆编码器26例如根据可变长度的编码或算术编码对量化数据进行编码处理，生成经编码的流，并且将该流输出到累积缓冲器27。例如，可逆编码器26还可逆地对预测模式信息进行编码并且将该信息添加到经编码的流的头部信息中。
累积缓冲器27累积来自可逆编码器26的经编码的流。累积缓冲器27还以依赖于传输路径的传送速度输出所累积的经编码的流。
速率控制器28监视累积缓冲器27中的空闲空间，根据空闲空间生成速率控制信号，并且将信号输出到量化器25。速率控制器28例如获取表示累积缓冲器27的空闲空间的信息。在空闲空间正在变少的情况下，速率控制器28利用速率控制信号降低量化数据的比特率。此外，在累积缓冲器27中的空闲空间量足够大的情况下，速率控制器28利用速率控制信号升高量化数据的比特率。
逆量化器31对从量化器25提供的量化数据进行逆量化处理。逆量化器31将通过进行逆量化处理获得的变换系数输出到逆正交变换单元32。
逆正交变换单元32对从逆量化器31提供的变换系数进行逆正交变换处理，并且向加法器33输出作为结果获得的数据。
加法器33通过将从逆正交变换单元32提供的数据加到从预测图像/最优模式选择器43提供的预测图像数据来生成参照图片的图像数据。加法器33将该图像数据输出到解块过滤器34和内部预测器41。
解块过滤器34进行如下过滤处理：该过滤处理用于减少在对图像进行编码时出现的成块伪像(blocking artifact)。解块过滤器34进行从提供自加法器33的图像数据中去除成块伪像的过滤处理，并且将过滤后的图像数据输出到帧存储器35。
帧存储器35保存从解块过滤器34提供的过滤后的图像数据和从对基础视点进行编码的图像处理装置20bv提供的参照图片图像数据。
内部预测器41使用从图片排序缓冲器22输出的编码目标参照图片的图像数据和从加法器33提供的图像数据来在所有候选内部预测模式中进行内部预测处理。另外，内部预测器41计算每一个内部预测模式的代价函数值(cost function value)，并且选择具有最小的所计算代价函数的内部预测模式，即具有最好的编码效率的内部预测模式，作为最优内部预测模式。内部预测器41向预测图像/最优模式选择器43输出用最优内部预测模式生成的预测图像数据、关于最优内部预测模式的预测模式信息和最优内部预测模式的代价函数值。为了获得用于计算代价函数值(随后所述)的产生代码量，内部预测器41还在用于每一个内部预测模式的内部预测处理中向可逆编码器26输出关于内部预测模式的预测模式信息，以便。这里，在H.264/AVC参照软件(被称为JM，联合模型)中实现的方法可被给出，作为用于计算代价函数值的方法的示例。
运动/视差预测补偿器42对从图片排序缓冲器22读出的编码目标图片中编码块大小的每一个图像进行预测/补偿处理。运动/视差预测补偿器42使用编码块图像数据和从帧存储器35读出的为了解块而过滤的图像数据来预测和检测运动向量。运动/视差预测补偿器42还使用编码块图像数据和基础视点图像数据来预测和检测视差向量。另外，运动/视差预测补偿器42基于所检测的运动向量(视差向量)对参照图片执行补偿处理，以生成预测图像。
此外，运动/视差预测补偿器42计算用于每一个块大小和参照图片的代价函数值，并且选择具有最小代价函数值的块大小和参照图片作为最优交互预测模式。运动/视差预测补偿器42向预测图像/最优模式选择器43输出用最优交互预测模式生成的预测图像数据、关于最优交互预测模式的预测模式信息和最优交互预测模式的代价函数值。为了获得用于计算代价函数值的产生代码量，运动/视差预测补偿器42在以每一个预测模式的块大小的交互预测处理中还向可逆编码器26输出关于交互预测模式的预测模式信息。
预测图像/最优模式选择器43对从内部预测器41提供的代价函数值与从运动/视差预测补偿器42提供的代价函数值进行比较，并且选择更小的代价函数值作为具有最佳编码效率的最优模式。预测图像/最优模式选择器43还将以最优模式生成的预测图像数据输出到减法器23和加法器33。另外，预测图像/最优模式选择器43向可逆编码器26输出关于最优模式的预测模式信息(宏块类型、预测模式、参照指标等)。
量化控制器45根据在运动/视差预测补偿器42处进行的视差预测的结果来确定受保护区域。另外，量化控制器45基于确定结果生成量化控制信号并且将其提供到量化器25。在这样做时，当对受保护区域进行编码时量化控制器45修改量化器25中的量化步长，从而减小量化步长并且保护受保护区域的图像质量。以该方式，当对多视点图像进行编码时，量化控制器45基于视差预测结果适应性地切换量化步长。
<3.图像处理装置的操作>
当对多视点图像进行时，图像处理装置在对受保护区域进行编码时修改和减小量化步长，从而保护图像质量并且改善多视点图像的主观图像质量。此外，图像处理装置通过使用由视差预测检测到的视差向量和当使用视差向量进行视差补偿时的误差中的至少一者来确定受保护区域。图像处理装置基于视差预测结果来确定位于前面的被拍体(3D对象)或3D对象的边界为受保护区域。
<3-1.图像处理装置的第一操作>
在图像处理装置的第一操作中，将描述使用编码目标宏块的视差向量和在已经被编码的图片中检测的视差向量来确定受保护区域的情况。这里，在通过仅在水平方向上区分左视点和右视点的位置来生成基础视点和从属视点的图像数据的情况下，使用视差向量的水平分量来确定受保护区域。
图4是示出图像处理装置的第一操作的流程图。在步骤ST1中，图像处理装置20dv确定编码目标图片是否为从属视点图片。图像处理装置20dv在编码目标图片为从属视点图片的情况下进行到步骤ST2，并且在基础视点图片的情况下进行到步骤ST9。
在步骤ST2中，图像处理装置20dv对编码目标宏块进行视差预测。图像处理装置20dv的运动/视差预测补偿器42使用编码目标宏块的图像数据和基础视点图像数据进行视差预测，检测视差向量并且进行到步骤ST3。
在步骤ST3中，图像处理装置20dv获取视差向量。图像处理装置20dv的量化控制器45获取由运动/视差预测补偿器42检测的视差向量并且进行到步骤ST4。
在步骤ST4中，图像处理装置20dv确定受保护区域。图像处理装置20dv的量化控制器45对在随后所述的步骤ST8中生成的反馈信息与视差向量进行比较，确定受保护区域并且进行到步骤ST5。例如在将用作为确定受保护区域的基础的统计值采用为反馈信息(随后所述)时，量化控制器45确定视差向量大于反馈信息的位于前面的3D对象的宏块为受保护区域。
在步骤ST5中，图像处理装置20dv确定量化步长。图像处理装置20dv的量化器25基于步骤ST4中的受保护区域确定结果来确定量化步长，并且进行到步骤ST6。量化器25基于受保护区域确定结果来修改量化步长，例如对于位于前面的3D对象的图像部分减小量化步长。
在步骤ST6中，图像处理装置20dv进行编码处理。利用预测图像/最优模式选择器43，图像处理装置20dv对从内部预测器41提供的代价函数值与从运动/视差预测补偿器42提供的代价函数值进行比较。图像处理装置20dv基于比较结果选择具有更小代价函数值的预测模式作为具有最佳编码效率的最优模式。图像处理装置20dv还使用以最优模式生成的预测图像数据来进行编码处理。另外，图像处理装置20dv使用在步骤ST5中确定的量化步长进行编码处理。
以该方式对图片中的每一个宏块进行从步骤ST2到步骤ST6的处理，并且当对宏块完成处理后，处理进行到步骤ST7。
在步骤ST7中，图像处理装置20dv确定是否对于编码目标图片中的所有宏块已完成了从步骤ST2到步骤ST6的处理。当仍有未处理的宏块时，图像处理装置20dv返回到步骤ST2并且对新的未处理的宏块进行从步骤ST2到步骤ST6的处理。同时，当对所有的宏块完成了处理时，图像处理装置20dv进行到步骤ST8。
在步骤ST8中，图像处理装置20dv生成反馈信息。图像处理装置20dv的量化控制器45根据用于单个图片的视差向量生成反馈信息，这些视差向量是通过对图片中每一个宏块进行从步骤ST2到步骤ST6的处理而获得的。反馈信息用于下一个图片的编码处理。量化控制器45采用用作为确定受保护区域的基础的统计值作为反馈信息。例如，量化控制器45可采用单个图片中视差向量的平均值作为反馈信息。此外，量化控制器45可将取决于视差向量分布的校正值加到平均值，并且将其采用为反馈信息。然而，视差向量统计值不限于平均值，而是也可使用中值等。
在步骤ST9中，在编码目标图片为基础视点图片的情况下，图像处理装置20dv进行与现有技术类似的编码处理。换言之，在不进行视差预测的情况下进行编码处理。
根据第一操作，在用于从属视点的编码处理中，例如基于通过视差预测获得的视差向量将位于前面的3D对象的图像采用为受保护区域。因此，对于容易引起注意的位于前面的3D对象保护其图像质量，并且可改善多视点图像的主观图像质量。
<3-2.图像处理装置的第二操作>
在图像处理装置的第二操作中，将描述使用编码目标块的视差向量和在紧接在前的已经被编码的块中检测到的视差向量来确定受保护区域的情况。这里，在第二操作中，类似于第一操作，在通过仅在水平方向上区分左视点和右视点的位置来生成基础视点和从属视点的图像数据的情况下，使用视差向量的水平分量来确定受保护区域。
图5是示出图像处理装置的第二操作的流程图。在步骤ST11中，图像处理装置20dv确定编码目标图片是否为从属视点图片。图像处理装置20dv在编码目标图片是从属视点图片的情况下进行到步骤ST12，并且在基础视点图片的情况下进行到步骤ST19。
在步骤ST12中，图像处理装置20dv对编码目标宏块进行视差预测。图像处理装置20dv的运动/视差预测补偿器42使用编码目标宏块的图像数据和基础视点图像数据进行视差预测，检测视差向量并且进行到步骤ST13。
在步骤ST13中，图像处理装置20dv获取视差向量。图像处理装置20dv的量化控制器45获取由运动/视差预测补偿器42检测到的视差向量并且进行到步骤ST14。
在步骤ST14中，图像处理装置20dv确定受保护区域。图像处理装置20dv的量化控制器45对在随后所述的步骤ST17中生成的反馈信息与视差向量进行比较，确定受保护区域并且进行到步骤ST15。例如在将紧接在前的已经被编码的宏块的视差向量采用为反馈信息(随后所述)时，量化控制器45确定视差向量大于反馈信息的3D对象的边界为受保护区域。
在步骤ST15中，图像处理装置20dv确定量化步长。图像处理装置20dv的量化器25基于步骤ST14中的受保护区域确定结果来确定量化步长，并且进行到步骤ST16。量化器25基于受保护区域确定结果来修改量化步长，例如减小用于3D对象边界部分的量化步长。
在步骤ST16中，图像处理装置20dv进行编码处理。利用预测图像/最优模式选择器43，图像处理装置20dv对从内部预测器41提供的代价函数值与从运动/视差预测补偿器42提供的代价函数值进行比较。图像处理装置20dv基于比较结果选择具有更小代价函数值的预测模式作为具有最佳编码效率的最优模式。图像处理装置20dv还使用以最优模式生成的预测图像数据来进行编码处理。另外，图像处理装置20dv使用在步骤ST15中确定的量化步长进行编码处理，并且进行到步骤ST17。
在步骤ST17中，图像处理装置20dv生成反馈信息。图像处理装置20dv的量化控制器45采用通过对宏块进行从步骤ST12到步骤ST16的处理所获得的视差向量作为用于下一个宏块的编码处理的反馈信息，并且进行到步骤ST18。
在步骤ST18中，图像处理装置20dv确定是否对编码目标图片中的所有宏块已完成了从步骤ST12到步骤ST16的处理。当仍有未处理的宏块时，图像处理装置20dv返回到步骤ST12并且对新的未处理的宏块进行从步骤ST12到步骤ST16的处理。同时，当对所有宏块完成了处理时，图像处理装置20dv删除反馈信息并且对下一个编码目标图片进行编码。
在步骤ST19中，在编码目标图片为基础视点图片的情况下，图像处理装置20dv进行与现有技术类似的编码处理。换言之，在不进行视差预测的情况下进行编码处理。
根据第二操作，在用于从属视点的编码处理中，例如基于紧接在前的编码目标宏块的视差向量将3D对象的边界采用为受保护区域。因此，对于3D对象的边界部分保护了图像质量，并且可改善多视点图像的主观图像质量。
<3-3.图像处理装置的第三操作>
在图像处理装置的第三操作中，将描述使用当基于编码目标宏块的视差向量进行补偿时的误差和为已经被编码的图片所计算的误差来确定受保护区域的情况。
图6是示出图像处理装置的第三操作的流程图。在步骤ST21中，图像处理装置20dv确定编码目标图片是否为从属视点图片。图像处理装置20dv在编码目标图片是从属视点图片的情况下进行到步骤ST22，并且在基础视点图片的情况下进行到步骤ST29。
在步骤ST22中，图像处理装置20dv对编码目标宏块进行视差预测。图像处理装置20dv的运动/视差预测补偿器42使用编码目标宏块的图像数据和基础视点图像数据进行视差预测并且检测视差向量。另外，运动/视差预测补偿器42使用所检测的视差向量进行参照图片补偿，用编码目标宏块计算误差(例如SAD：绝对差分的和)，并且进行到步骤ST23。
在步骤ST23中，图像处理装置20dv获取误差。图像处理装置20dv的量化控制器45获取由运动/视差预测补偿器42计算的误差并且进行到步骤ST24。
在步骤ST24中，图像处理装置20dv确定受保护区域。图像处理装置20dv的量化控制器45对在随后所述的步骤ST28中生成的反馈信息与误差进行比较，确定受保护区域并且进行到步骤ST25。在这点上，具有大误差的宏块具有低的视差预测效率，并且区域有很大的可能性是封闭的。封闭区域是存在于编码目标(参照)图片中但是不存在于参照(编码目标)区域中的区域。由于视差造成的封闭出现的区域可能是视差变化很大的边界区域，例如投射在前面的3D对象和背景之间的边界区域。因此，例如在将单个图片中的误差平均值采用为反馈信息(随后所述)的情况下，量化控制器45确定误差大于反馈信息的宏块为受保护区域。这里，封闭区域例如指在基础视点或从属视点中可见，但是在其它视点中被隐藏或不可见的区域。
在步骤ST25中，图像处理装置20dv确定量化步长。图像处理装置20dv的量化器25基于步骤ST24中的受保护区域确定结果来确定量化步长，并且进行到步骤ST26。量化器25基于受保护区域确定结果来修改量化步长，例如减小用于3D对象边界部分的量化步长。
在步骤ST26中，图像处理装置20dv进行编码处理。利用预测图像/最优模式选择器43，图像处理装置20dv对从内部预测器41提供的代价函数值与从运动/视差预测补偿器42提供的代价函数值进行比较。图像处理装置20dv基于比较结果选择具有更小代价函数值的预测模式作为具有最佳编码效率的最优模式。图像处理装置20dv还使用以最优模式生成的预测图像数据来进行编码处理。另外，图像处理装置20dv使用在步骤ST25中确定的量化步长进行编码处理。
以该方式对图片中的每一个宏块进行从步骤ST22到步骤ST26的处理，并且当对宏块完成处理后，处理进行到步骤ST27。
在步骤ST27中，图像处理装置20dv确定是否对编码目标图片中的所有宏块已完成了从步骤ST22到步骤ST26的处理。当仍有未处理的宏块时，图像处理装置20dv返回到步骤ST22并且对新的未处理的宏块进行从步骤ST22到步骤ST26的处理。同时，当对所有宏块完成了处理时，图像处理装置20dv进行到步骤ST28。
在步骤ST28中，图像处理装置20dv生成反馈信息。图像处理装置20dv的量化控制器45根据用于单个图片的误差生成反馈信息，该误差是通过对图片中每一个宏块进行从步骤ST22到步骤ST26的处理而获得的。反馈信息用于下一个图片的编码处理。量化控制器45根据已经被编码的图片的误差来计算用作为确定受保护区域的基础的统计值，并且将它们采用为反馈信息。例如，量化控制器45可采用单个图片中误差的平均值作为反馈信息。此外，量化控制器45可将取决于单个图片中误差分布的校正值加到单个图片中误差的平均值中，并且将结果采用为反馈信息。
在步骤ST29中，在编码目标图片为基础视点图片的情况下，图像处理装置20dv进行与现有技术类似的编码处理。换言之，在不进行视差预测的情况下进行编码处理。
根据第三操作，在用于从属视点的编码处理中，基于通过视差预测获得的误差将定位的3D对象的边界采用为受保护区域。因此，对于3D对象的边界部分保护了图像质量，并且可改善多视点图像的主观图像质量。
<3-4.图像处理装置的其它操作>
图像处理装置也可组合地进行上述的第一到第三操作，而不是单独地进行第一到第三操作的情况。在上述的第一操作中，可保护位于前面的3D对象的图像质量。此外，在第二操作或第三操作中，可保护3D对象的边界区域的图像质量。因此，通过组合地进行第一操作和第二操作或者第一操作和第三操作，保护了3D对象的图像的图像质量和3D对象边界区域的图像的图像质量，并且可改善多视点图像的主观图像质量。
此外，在进行第二操作的情况下，例如如果与视差向量相比较的阈值小于最优水平，那么可能出现对受保护区域的过度检测，并且也可将不同于3D对象边界区域的区域确定为受保护区域。在这点上，如果第三操作与第二操作相组合，并且还通过使用误差而不仅仅是视差向量来确定受保护区域，那么也基于误差来确定封闭区域。因此，如果具有大于其阈值的视差向量和误差的区域被确定为受保护区域，那么相比于用第二操作或第三操作确定受保护区域的情况，可更加准确地将3D对象的边界确定为受保护区域。
此外，在上述操作中，视差向量和误差大于其阈值的区域被采用为受保护区域，但是也可以将视差向量和误差小于其阈值的区域采用为受保护区域。例如，考虑不同于所关注对象的对象位于前面并且所关注对象被设置在较远的后面的情况。在该情况下，也可以通过将视差向量和误差小于其阈值的区域采用为受保护区域来保护所关注对象的图像质量。
还可以这样配置：不是仅仅对从属视点图像，而是对基础视点图像也另外进行这种图像质量保护。在该情况下，对基础视点图像数据进行编码的图像处理装置通过时间预测来生成预测图像数据，基于通过视差预测获得的信息来确定受保护区域，并且根据确定结果来进行适应性的量化。在这样做时，在基础视点和从属视点的图像中保护所关注的对象的图像质量，并且可改善多视点图像的主观图像质量。
<4.通过软件处理进行图像编码的情况下的配置>
另外，图像处理装置也可以是根据程序执行上述一系列处理的计算机。
图7示出了根据程序执行上述一系列处理的计算机的示例配置。计算机60的中央处理单元(CPU)61根据只读存储器(ROM)62或记录单元68中记录的计算机程序来执行各种处理。
CPU 61执行的计算机程序和数据等被适当地存储在随机访问存储器(RAM)63中。CPU 61、ROM 62和RAM 63通过总线64彼此耦合。
输入/输出接口65也经由总线64耦合到CPU 61。耦合到输入/输出接口65的是输入单元66(例如触摸板、键盘、鼠标、麦克风等)和输出单元67(例如显示器等)。CPU 61执行与从输入单元66输入的命令相对应的各种处理，并且将处理结果输出到输出单元67。
耦合到输入/输出接口65的记录单元68例如可由硬盘或固态驱动器(SSD)实现，并且记录CPU 61执行的计算机程序和各种数据。通信单元69经由有线或无线通信媒介(例如因特网、局域网或其它网络，或者数字广播)与外部装置通信。计算机装置60还可经由通信单元69获取计算机程序并且将程序记录在ROM 62或记录单元68中。
当磁盘、光盘、磁光盘、半导体存储器或其它可移除介质72被载入驱动器70时，驱动器70驱动介质并且获取在其上记录的计算机程序、数据等。所获取的计算机程序和数据被适当地传送到ROM 62、RAM 63或记录单元68。
CPU 61读出并且执行进行上述的一系列处理的计算机程序，对记录单元68或可移除介质72中记录的多视点图像的图像数据或者经由通信单元69提供的多视点图像的图像数据进行编码处理。
然而，所公开的技术不应被解释为限于上述实施例。例如，多视点图像不限于三个图像，而是也可以是两视点图像。所公开技术的该实施例作为示例公开了所公开技术，并且在不偏离所公开技术的主要内容的情况下，本领域技术人员明显可对实施例做出修改或替换。换言之，所公开技术的主要内容应当考虑权利要求来进行判断。
本公开包含与2010年7月16日在日本专利局提交的日本优先权专利申请JP 2010-161658中所公开的主题有关的主题，该申请的全部内容通过引用合并在此。
本领域技术人员应当理解，取决于设计需要和其它因素，在所附权利要求或其等同物的范围内，可出现各种修改、组合、子组合和变更。

Claims (8)

1.一种图像处理装置，包括：
量化器，其被配置为对编码目标图片与预测图像之间的块单位的差分的正交变换系数进行量化；
预测器，其被配置为利用所述编码目标图片与视点不同于所述编码目标图片的图片之间的相关性进行视差预测；和
量化控制器，其被配置为根据视差预测结果来确定保护图像质量的受保护区域，并且对于所述受保护区域的量化减小所述量化器的量化步长。
2.根据权利要求1所述的图像处理装置，其中
所述量化控制器使用通过所述视差预测检测到的视差向量和当使用所述视差向量进行视差补偿时的误差中的至少一者来确定所述受保护区域。
3.根据权利要求2所述的图像处理装置，其中
在使用通过所述视差预测检测到的视差向量的情况下，所述量化控制器基于已经被编码的图片的视差向量与编码目标块之间的比较结果以及紧接在前的已经被编码的块的视差向量与所述编码目标块的视差向量之间的比较结果中的至少一者，来确定所述编码目标块的图像是否为所述受保护区域的图像。
4.根据权利要求3所述的图像处理装置，其中
所述量化控制器确定视差向量大于用作为确定受保护区域的基础的统计值的编码目标块和视差向量大于所述紧接在前的已经被编码的块的视差向量的编码目标块为所述受保护区域，所述统计值是根据所述已经被编码的图片的视差向量来计算的。
5.根据权利要求3所述的图像处理装置，其中
所述量化控制器使用由所述视差预测检测到的视差向量的水平分量来确定所述受保护区域。
6.根据权利要求2所述的图像处理装置，其中
在使用进行视差补偿时的误差的情况下，所述量化控制器基于已经被编码的图片的误差与编码目标块的视差之间的比较结果，来确定所述编码目标块的图像是否为所述受保护区域的图像。
7.根据权利要求6所述的图像处理装置，其中
所述量化控制器确定误差大于用作为确定受保护区域的基础的统计值的编码目标块为所述受保护区域，所述统计值是根据所述已经被编码的图片的误差来计算的。
8.一种图像处理方法，包括：
对编码目标图片与预测图像之间的块单位的差分的正交变换系数进行量化；
利用所述编码目标图片与视点不同于所述编码目标图片的图片之间的相关性来进行视差预测；以及
根据视差预测结果来确定保护图像质量的受保护区域，并且对于所述受保护区域的量化减小量化步长。
CN2011101986739A 2010-07-16 2011-07-11 图像处理装置和图像处理方法 Pending CN102340670A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010161658A JP5505154B2 (ja) 2010-07-16 2010-07-16 画像処理装置と画像処理方法
JP2010-161658 2010-07-16

Publications (1)

Publication Number Publication Date
CN102340670A true CN102340670A (zh) 2012-02-01

Family

ID=44863355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101986739A Pending CN102340670A (zh) 2010-07-16 2011-07-11 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US8625918B2 (zh)
EP (1) EP2408207A2 (zh)
JP (1) JP5505154B2 (zh)
CN (1) CN102340670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104782126A (zh) * 2012-09-28 2015-07-15 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
CN109922345A (zh) * 2013-04-08 2019-06-21 杜比国际公司 对lut进行编码的方法和进行解码的方法以及对应的设备
CN110754088A (zh) * 2017-06-29 2020-02-04 高通股份有限公司 减少360度视频中的接缝伪影

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598855B1 (ko) * 2010-05-11 2016-03-14 삼성전자주식회사 입체영상 부호화 장치 및 방법
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JPWO2012128069A1 (ja) 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置および画像処理方法
CA2827621C (en) 2011-03-18 2019-02-26 Sony Corporation Image processing apparatus and image processing method
KR101954007B1 (ko) 2011-06-30 2019-03-04 소니 주식회사 화상 처리 장치 및 방법
MX358407B (es) 2011-08-31 2018-08-20 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion y metodo de descodificacion.
JP2013168866A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像処理装置、その制御方法およびプログラム
KR101966920B1 (ko) * 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
JP2014043437A (ja) * 2012-08-03 2014-03-13 Semiconductor Energy Lab Co Ltd 有機化合物、発光素子、発光装置、電子機器、及び照明装置
WO2014051321A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
EP2725554A1 (en) 2012-10-23 2014-04-30 Thomson Licensing Methods and devices for optimising rendering of an encrypted 3d graphical object
US10200666B2 (en) * 2015-03-04 2019-02-05 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430224B1 (en) * 1998-03-03 2002-08-06 Kdd Corporation Stereo video data coding apparatus
CN1697526A (zh) * 2004-05-13 2005-11-16 株式会社Ntt都科摩 运动图像编码装置及方法以及运动图像译码装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086585B2 (ja) * 1994-02-25 2000-09-11 三洋電機株式会社 ステレオ画像符号化装置
JP2000138938A (ja) 1998-10-30 2000-05-16 Sony Corp 画像圧縮符号化方法及び装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2010161658A (ja) 2009-01-08 2010-07-22 Toshiba Corp 映像記録再生装置及び番組情報表示方法
JP2012023652A (ja) 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430224B1 (en) * 1998-03-03 2002-08-06 Kdd Corporation Stereo video data coding apparatus
CN1697526A (zh) * 2004-05-13 2005-11-16 株式会社Ntt都科摩 运动图像编码装置及方法以及运动图像译码装置及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104782126A (zh) * 2012-09-28 2015-07-15 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
US9900620B2 (en) 2012-09-28 2018-02-20 Samsung Electronics Co., Ltd. Apparatus and method for coding/decoding multi-view image
CN104782126B (zh) * 2012-09-28 2019-01-18 三星电子株式会社 用于对多视点图像进行编码/解码的设备和方法
CN109922345A (zh) * 2013-04-08 2019-06-21 杜比国际公司 对lut进行编码的方法和进行解码的方法以及对应的设备
CN109922345B (zh) * 2013-04-08 2022-11-01 杜比国际公司 对lut进行编码的方法和进行解码的方法以及对应的设备
US12034971B2 (en) 2013-04-08 2024-07-09 Dolby Laboratories Licensing Corporation Method for encoding and method for decoding a LUT and corresponding devices
CN110754088A (zh) * 2017-06-29 2020-02-04 高通股份有限公司 减少360度视频中的接缝伪影

Also Published As

Publication number Publication date
EP2408207A2 (en) 2012-01-18
US8625918B2 (en) 2014-01-07
JP2012023662A (ja) 2012-02-02
US20120014614A1 (en) 2012-01-19
JP5505154B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
CN102340670A (zh) 图像处理装置和图像处理方法
CN102986234A (zh) 图像处理装置和图像处理方法
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20090099234A (ko) 영상의 부호화, 복호화 방법 및 장치
CN101589624A (zh) 图像再编码设备、图像再编码方法以及图像编码程序
US20120207219A1 (en) Picture encoding apparatus, picture encoding method, and program
CN101491106A (zh) 图像处理设备和方法及程序
CN102282850A (zh) 运动图像编码方法以及运动图像解码方法
CN102340666A (zh) 图像处理设备和图像处理方法
AU2020201377B2 (en) Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
JP4989416B2 (ja) 動画像圧縮符号化装置
CN108781286A (zh) 视频编码方法、视频解码方法、视频编码设备、视频解码设备以及程序
CN100579227C (zh) 一种选择帧内预测模式的***及方法
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20100027612A (ko) 이미지 무손실 및 손실 압축 장치
JPH11513873A (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
KR101647484B1 (ko) 영상 부호화 방법 및 장치
KR20140129409A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120201