CN102986234A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102986234A
CN102986234A CN2011800340239A CN201180034023A CN102986234A CN 102986234 A CN102986234 A CN 102986234A CN 2011800340239 A CN2011800340239 A CN 2011800340239A CN 201180034023 A CN201180034023 A CN 201180034023A CN 102986234 A CN102986234 A CN 102986234A
Authority
CN
China
Prior art keywords
picture
image
characteristic quantity
correlation
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800340239A
Other languages
English (en)
Inventor
高桥良知
铃木辉彦
北村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102986234A publication Critical patent/CN102986234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

多视角图像编码中的编码效率有待提高。特征量生成单元（41）生成指示不同视点的图像之间的相关性的特征量。基于生成的所述特征量，参考索引分配单元（45）将参考索引分配给视差预测的参考图片和时间预测的参考图片，所述视差预测利用不同视点的图像之间的相关性，所述时间预测利用时间方向上的图像之间的相关性。在基于所述特征量确定所述相关性低于预定阈值的情况下，例如，改变所述参考索引分配，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及一种图像处理装置和图像处理方法。特别地，本发明旨在提高多视角图像编码中的编码效率。
背景技术
近年来，将图像信息处理为数字信息并由此实现高效率信息传输和累积的设备，或是与诸如通过如离散余弦变换和运动补偿的正交变换进行压缩的MPEG等标准兼容的设备已经广泛用于广播站和一般家庭。
特别地，MPEG2（ISO/IEC13818-2）定义为通用图像编码技术，其目前为专业人士和普通消费者广泛应用。进一步地，虽然要求更大量对于编码和解码的计算，但是能够实现比诸如MPEG2等编码技术更高的编码效率的H.264和MPEG-4Part10（下文中称为“H.264/高级视频编码（AVC）”）已经变成标准。
采用这些图像编码技术，通过减少时间和空间方向上的冗余，使信息量变小。对于对其进行图片内预测性编码以减少空间冗余的I-图片，通过利用例如像素之间的相关性，生成预测图像。对于对其进行图片内预测性编码以减少时间冗余的P-图片，通过参考先前的图像，以块为基础检测运动向量，通过利用检测到的该运动向量，生成预测图像。至于B-图片，通过参考先前和后续图片，以块为基础检测运动向量，通过利用检测到的该运动向量生成预测图像。在B-图片中，第一参考图片称为L0预测的参考图片，第二参考图片称为L1预测的参考图片。
根据H.264/AVC，参考图片可以从已编码的图片中选择。通过参考索引管理所选的参考图片。参考索引用作指示当检测运动向量时被参考的图片的信息，将指示检测到的运动向量的信息和参考索引一起进行编码。
参考索引设为0值或更大值。参考索引的值越小，编码之后的信息量（编码量）越小。进一步地，可以任意地将参考索引分配给参考图片。因此，将具有小值的参考索引分配给具有大量将被参考的运动向量的参考图片。通过这样做，减少参考索引编码时的编码量，并提高编码效率。
专利文献1公开了一种对隔行扫描式2D图像执行字段编码时将具有小值的参考索引分配给时间上靠近正在被编码的图片的参考图片的技术。
引用列表
专利文献
专利文献1：日本专利申请特开No.2010-63092
发明内容
本发明要解决的问题
同时，在帧连续（FS）-AVC或多视角视频编码（MVC）中，不仅要进行利用时间方向上的图像之间的相关性的时间预测，还要进行利用不同视点的图像之间的相关性的视差预测。
图1示出了一种传统的参考索引分配方法，或当通过例如MVC对两个视点的移动图像数据进行编码时参考索引的分配方法。应注意，Cam0表示左眼图像的图像数据，Cam1表示右眼图像的图像数据。Cam1的图像数据是通过使用Cam0的图像数据作为参考图片的图像数据而编码的相关视角的图像数据。当对相关视角的图像数据进行编码时所参考的Cam0的图像数据是基础视角的图像数据。
如实箭头所示的时间预测中将要被参考的Cam1的P-图片和如虚箭头所示的视差预测中参考的Cam0的I-图片和P-图片用作Cam1的图像数据中的P-图片的参考图片。参考图片通过各示为参考索引ref_idx的编号进行管理，为每个参考图片分配0值或更大值。例如，将参考索引ref_idx=0分配给时间预测参考图片，将参考索引ref_idx=1分配给视差预测参考图片。
在不同视点的图像之间的相关性明显变低的情况下，即使如图1所示将参考索引分配给参考图片使得可以参考一个以上的图像，也基本上仅能实现与参考单一图像的情况相同的效果。换言之，当左眼图像和右眼图像之间的相关性非常低时，利用不同视点的图像的预测是低效的。因此，利用参考索引ref_idx=1的视差预测是无效的。其结果是，仅执行利用参考索引ref_idx=0的时间预测，基本上获得与参考单一图像的情况相同的效果。
有鉴于此，本发明旨在提供一种能够提高多视角图像编码中的编码效率的图像处理装置和图像处理方法。
问题解决方案
本发明的第一方面是一种图像处理装置，所述图像处理装置包括：特征量生成单元，生成指示不同视点的图像之间的相关性的特征量；以及参考索引分配单元，当基于所述特征量生成单元生成的所述特征量确定不同视点的图像之间的所述相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，该视差预测利用不同视点的图像之间的相关性，该时间预测利用时间方向上的图像之间的相关性。
在本发明中，通过特征量生成单元生成指示不同视点的图像之间的相关性的特征量。例如，在对GOP中的第一图片编码的操作中，将检测视差向量时正被编码的块和图像中的参考块之间的差值的总和、所述图像中的帧内宏块的比例、以及正被编码的所述图片和不同视点的参考图片之间的图像复杂度比率的至少其中之一作为特征量进行计算。基于所述特征量，将参考索引分配给视差预测的参考图片和时间预测的参考图片，所述视差预测利用不同视点的图像之间的相关性，所述时间预测利用时间方向上的图像之间的相关性。在确定所述相关性低于预定阈值的情况下，例如，改变所述参考索引分配，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片。同样，在确定所述相关性低于所述预定阈值的情况下，改变GOP结构，将时间方向上更接近的非参考图片变成参考图片。
本发明的第二方面是一种图像处理方法，其包括：生成指示不同视点的图像之间的相关性的特征量的特征量生成步骤；以及当基于所述特征量生成步骤中生成的所述特征量确定不同视点的图像之间的所述相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片的参考索引分配步骤，所述视差预测利用不同视点的图像之间的相关性，所述时间预测利用时间方向上的图像之间的相关性。
发明效果
根据本发明，生成指示不同视点的图像之间的相关性的特征量。当基于特征量确定相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，该视差预测利用不同视点的图像之间的相关性，该时间预测利用时间方向上的图像之间的相关性。相应地，可以提高不同视点的图像之间的相关性较低的情况下多视角图像编码中的编码效率。
附图说明
图1是说明了传统的参考索引分配方法的示图。
图2是示出了编码***的示例结构的示图。
图3是示出了图像处理装置的结构的示图。
图4是示出了图像处理装置的操作的流程图。
图5是图示了相关性较低的情况下实施的参考索引分配方法的示图。
图6（A）和6（B）是图示了包含B-图片的情况下实施的参考索引分配方法的示图。
图7（A）、7（B）和7（C）是说明了改变GOP结构的情况下进行的操作的示图；以及
图8是示出了计算机装置的结构的示图。
具体实施方式
下面描述用于执行本发明的实施例。将以下列顺序进行说明。
1.编码***的示例结构
2.图像处理装置的示例结构
3.参考索引分配操作
4.在通过软件操作执行图像编码的情况下所用的结构
<1.编码***的示例结构>
图2是示出了应用本发明的编码***的示例结构的示图。编码***10包括左视点图像生成装置11L、右视点图像生成装置11R以及多视角编码装置20。
左视点图像生成装置11L是生成左眼图像的图像数据的成像装置或图像数据生成装置。右视点图像生成装置11R是生成右眼图像的图像数据的成像装置或图像数据生成装置。左视点图像生成装置11L和右视点图像生成装置11R彼此同步运行。
由左视点图像生成装置11L生成的左眼图像的图像数据和由右视点图像生成装置11R生成的右眼图像的图像数据输入到多视角编码装置20。多视角编码装置20对左眼图像的图像数据进行编码并对右眼图像的图像数据进行编码，将由此产生的编码数据复用，并将由此产生的数据作为比特流输出。
多视角编码装置20包括将从左视点图像生成装置11L输入的左眼图像的图像数据编码为例如基础角点的图像数据的图像处理装置。多视角编码装置20还包括将从右视点图像生成装置11R输入的右眼图像的图像数据编码为例如相关视角的图像数据的本发明的图像处理装置。基础视角的图像数据用于不使用其他视点的图像作为参考图片的时间预测，相关视角的图像数据用于时间预测和使用基础视角的图像作为参考图片的视差预测。
<2.图像处理装置的示例结构>
接下来，描述本发明的图像处理装置。在本发明的图像处理装置中，左眼图像的图像数据和右眼图像的图像数据彼此独立。对相关视角的图像数据进行编码的图像处理装置从对基础视角的图像数据进行编码的图像处理装置中获取待用于视差预测等的参考图片的图像数据。
对相关视角的图像数据进行编码的图像处理装置生成特征量，该特征量取决于不同视点的图片之间的相关性，或相关视角的图像和将被用作参考图片的基础视角的图像之间的相关性。进一步地，基于生成的特征量，将参考索引分配给视差预测的参考图片和时间预测的参考图片，该视差预测利用不同视点的图像之间的相关性，该时间预测利用时间方向上的图像之间的相关性。
图3示出了图像编码装置20dv的结构，图像编码装置20dv是对相关视角的图像数据进行编码的图像处理装置。图像编码装置20dv包括模/数转换单元（A/D转换单元）21、图片重排缓冲器22、减法单元23、正交变换单元24、量化单元25、无损编码单元26、累积缓冲器27以及速率控制单元28。图像编码装置20dv还包括反量化单元31、反正交变换单元32、加法单元33、去块滤波器34以及帧存储器35。进一步地，图像编码装置20dv包括参考索引分配单元45、帧内预测单元51、运动/视差预测/补偿单元52以及预测图像/最佳模式选择单元53。
A/D转换单元21将模拟图像信号转换为数字图像信号，并将图像数据输出到图片重排缓冲器22。
图片重排缓冲器22对从A/D转换单元21输出的图像数据的帧进行重排。图片重排缓冲器22依照与编码操作有关的图片组（GOP）结构对帧进行重排，并将重排后的图像数据输出到减法单元23、帧内预测单元51以及运动/视差预测/补偿单元52。
减法单元23接收从图片重排缓冲器22输出的图像数据和下述预测图像/最佳模式选择单元53选择的预测图像数据。减法单元23计算预测误差数据，该预测误差数据是从图片重排缓冲器22输出的图像数据和从预测图像/最佳模式选择单元53提供的预测图像数据之差，并将该预测误差数据输出到正交变换单元24。
正交变换单元24对从减法单元23输出的预测误差数据执行诸如离散余弦变换（DCT）或卡洛变换等正交变化操作。正交变换单元24将通过执行正交变换操作而获得的系数数据输出到量化单元25。
量化单元25接收从正交变换单元24输出的系数数据和从下述速率控制单元28提供的速率控制信号。量化单元25对系数数据进行量化，并将量化后的数据输出到无损编码单元26和反量化单元31。基于从速率控制单元28提供的速率控制信号，量化单元25切换量化参数（量化位阶）以改变已量化的数据的比特率。
无损编码单元26接收从量化单元25输出的已量化的数据和从下述帧内预测单元51、运动/视差预测/补偿单元52以及预测图像/最佳模式选择单元53提供的预测模式信息。预测模式信息包含指示正被编码的图片的块大小的宏块类型、预测模式、参考索引等。无损编码单元26通过可变长度编码或算术编码等对量化数据执行编码操作，以生成已编码的流并将其输出到累积缓冲器27。无损编码单元26还对预测模式信息执行无损编码，并将由此产生的信息添加到例如已编码的流中的报头信息。
累积缓冲器27存储从无损编码单元26中提供的已编码的流。累积缓冲器27还将存储的已编码的流以与传输路径一致的传输率进行输出。
速率控制单元28监测累积缓冲器27中的可用空间，根据该可用空间生成速率控制信号，并将该速率控制信号输出到量化单元25。速率控制单元28从例如累积缓冲器27中获取可用空间的信息。当剩余可用空间较小时，速率控制单元28通过速率控制信号降低量化数据的比特率。当累积缓冲器27中的剩余可用空间足够大时，速率控制单元28通过速率控制信号提高已量化的数据的比特率。
反量化单元31对从量化单元25提供的已量化的数据进行反量化。反量化单元31将通过进行反量化操作而获得的系数数据输出到反正交变换单元32。
反正交变换单元32对从反量化单元31提供的系数数据执行反正交变换操作，并将由此产生的数据输出到加法单元33。
加法单元33将从反正交变换单元32提供的数据添加到从预测图像/最佳模式选择单元53提供的预测图像数据，以生成参考图片的图像数据。加法单元33将图像数据输出到去块滤波器34和帧内预测单元51。
去块滤波器34执行滤波操作以减少图像编码时发生的块失真。去块滤波器34执行滤波操作以从加法单元33提供的图像数据中除去块失真，并将滤波后的图像数据输出到帧存储器35。
帧存储器35存储从去块滤波器34提供的滤波后的图像数据和从对基础视角进行编码的图像编码装置20bv提供的参考图片图像数据。
特征量生成单元41生成特征量。在相关视角的图像数据被编码的情况下，特征量是用于确定不同视点的图像之间的相关性是否为低的信息。特征量生成单元41从例如对GOP中的第一图片进行编码的操作中获得的信息中生成特征量。特征量生成单元41例如当检测视差向量时将正被编码的图片的块（正被编码的块）和图像中的参考图片的块（参考块）之间的差值的总和（诸如SAD：绝对差值之和）用作特征量。特征量生成单元41还可以将图像中的帧内宏块的比例，或者正被编码的图片和不同视点的参考图片的图像之间的复杂度比率等用作特征量。
在将正被编码的块和参考块之间的差值用作特征量的情况下，特征量生成单元41计算图像中由运动/视差预测/补偿单元52计算出的差值的总和，并将该总和设置为特征量。
在将帧内宏块的比例用作特征量的情况下，特征量生成单元41计算图像中由预测图像/最佳模式选择单元53确定为具有作为视差预测中的最优模式的帧内预测的宏块的比例，并将该计算出的部分设置为特征量。
在将已编码的图片的复杂度比率用作特征量的情况下，特征量生成单元41计算GOP中已编码的第一图片的复杂度，并将该计算出的复杂度比率设置为特征量。换言之，特征量生成单元41根据方程式（1）和（2）计算I-图片（Ibv1）和P-图片（Pdv1）的复杂度Xi和Xp，并将计算出的复杂度之间的比率（Xi/Xp）设置为特征量：
Xi=SiQi…（1）
Xp=SpQp…（2）
在方程式（1）中，Xi表示I-图片的复杂度，Si表示生成的I-图片的编码量，Qi表示I-图片编码时候使用的平均量化位阶代码（量化参数）。同样地，在方程式（2）中，Xp表示P-图片的复杂度，Sp表示生成的P-图片的编码量，Qp表示P-图片编码时候使用的平均量化位阶代码（量化参数）。
如上所述，特征量生成单元41输出特征量到参考索引分配单元45，该特征量至少为正被编码的块和图像中的参考块之间的差值的总和、图像中的帧内宏块的比例、以及正被编码的图片和不同视点的参考图片的图像之间的复杂度比率的其中之一。
基于特征量生成单元41生成的特征量，参考索引分配单元45确定对于视差预测的参考图片和时间预测的参考图片的参考索引分配方法。例如，在从对GOP中的第一图片进行编码的操作中获得的信息中生成特征量的情况下，参考索引分配单元45对GOP中的后续图片（第一图片之外的图片）确定参考索引分配方法。通过确定出的分配方法，参考索引分配单元45将参考索引分配到存储在帧存储器35中的参考图片。
在生成正被编码的块和参考块之间的差值的总和作为特征量的情况下，参考索引分配单元45确定当该总和大于预定阈值时相关性较低。在生成帧内宏块的比例作为特征量的情况下，参考索引分配单元45确定当该部分大于预定阈值时相关性较低。在生成复杂度比率作为特征量的情况下，参考索引分配单元45确定当复杂度比率（Xi/Xp）低于预定阈值时相关性较低。
当确定相关性低于预定阈值的时候，参考索引分配单元45改变参考索引分配，并将分配给视差预测参考图片的参考索引重新分配给时间预测参考图片。
帧内预测单元51使用从图片重排缓冲器22中输出的正编码的图片的图像数据和从加法单元33中提供的图像数据在所有候选帧内预测模式中执行帧内预测操作。帧内预测单元51进一步计算每个帧内预测模式中成本函数值，并选择最佳帧内预测模式，该最佳帧内预测模式是具有最小计算出的成本函数值的帧内预测模式或具有最高编码效率的帧内预测模式。帧内预测单元51将最佳帧内预测模式中生成的预测图像数据、有关最佳帧内预测模式的预测模式信息、以及最佳帧内预测模式中的成本函数值输出到预测图像/最佳模式选择单元53。帧内预测单元51还将各帧内预测模式中的帧内预测操作中有关帧内预测模式的预测模式信息输出到无损编码单元26，以获取生成的计算成本函数值所使用的编码量。可以通过例如安装在H.264/AVC参考软件中被称为联合模型（JM）的方法计算该成本函数值。
运动/视差预测/补偿单元52对正编码的块的各块大小执行运动/视差预测/补偿操作。从由图片重排缓冲器22中读出的图像中正被编码的各块的每个图像开始，运动/视差预测/补偿单元52通过利用从帧存储器35中读出的、已经过去块滤波操作处理后的图像数据检测运动向量，并通过利用基础视角的图像数据检测视差向量。基于检测到的向量，运动/视差预测/补偿单元52进一步对参考图片执行补偿操作，以生成预测图像。
同样地，运动/视差预测/补偿单元52对正编码的图片的各块大小和各参考图片计算成本函数值，并选择块大小和参考图片都具有最小成本函数值的最佳帧间预测模式。运动/视差预测/补偿单元52将最佳帧间预测模式中生成的预测图像数据、有关最佳帧间预测模式的预测模式信息、以及最佳帧间预测模式中的成本函数值输出到预测图像/最佳模式选择单元53。为了获取生成的计算成本函数值所使用的编码量，运动/视差预测/补偿单元52还将帧间预测模式的预测模式信息以各块大小在帧间预测操作中输出到无损编码单元26。进一步地，在通过特征量生成单元41将正被编码的块和参考块之间的差值的总和生成为特征量的情况下，运动/视差预测/补偿单元52计算当检测视差向量时正被编码的各块和参考块之间的差值，并将该差值输出到特征量生成单元41。
预测图像/最佳模式选择单元53将从帧内预测单元51提供的成本函数值与从运动/视差预测/补偿单元52提供的成本函数值进行比较，并选择具有更小成本函数值的模式作为具有最高编码效率的最佳模式。预测图像/最佳模式选择单元53还将最佳模式中生成的预测图像数据输出到减法单元23和加法单元33中。预测图像/最佳模式选择单元53进一步将有关最佳模式的预测模式信息（诸如宏块类型、预测模式以及参考索引）输出到无损编码单元26。进一步地，在通过特征量生成单元41将帧内宏块的比例生成为特征量的情况下，预测图像/最佳模式选择单元53将宏块的信息输出到特征量生成单元41，对于该宏块，帧内预测模式已被从正被编码的图片中选择出来。
<3.图像处理装置的操作>
图4是示出了图像编码装置20dv的操作的流程图。在步骤ST1中，图像编码装置20dv确定正被编码的图片是否为相关视角的图片。如果正被编码的图片是相关视角的图片，图像编码装置20dv移至步骤ST2。如果正被编码的图片是基础视角的图片，图像编码装置20dv移至步骤ST9。
在步骤ST2中，图像编码装置20dv确定正被编码的图片是否为GOP中的第一图片。如果正被编码的图片是第一图片，图像编码装置20dv移至步骤ST3。如果正被编码的图片是GOP中的后续图片，图像编码装置20dv移至步骤ST6。
在步骤ST3中，图像编码装置20dv对正编码的图片进行编码操作，并移至步骤ST4。在编码操作中，参考索引分配单元45通过预定的分配方法设置参考索引。
在步骤ST4中，图像编码装置20dv生成特征量。图像编码装置20dv的特征量生成单元41根据对第一图片进行编码的操作中获得的信息生成特征量，并移至步骤ST5。特征量生成单元41生成特征量，该特征量为当检测视差向量时正被编码的块和图像中的参考块之间的差值的总和、图像中的帧内宏块的比例、图像的复杂度比率等。
在步骤ST5中，图像编码装置20dv确定参考索引分配方法。基于步骤ST4中生成的特征量，图像编码装置20dv的参考索引分配单元45确定将在对后续图片进行编码的操作中实施的参考索引分配方法。当基于特征量确定相关视角和基础视角的图片之间的相关性较低时，参考索引分配单元45利用该分配方法将分配给视差预测的参考索引重新分配给时间预测的另一参考图片。在例如将正被编码的块和图像中的参考块之间的差值的总和生成为特征量的情况下，参考索引分配单元45确定当该总和大于预定阈值时相关性较低。在例如将帧内宏块的比例生成为特征量的情况下，参考索引分配单元45确定当该部分大于预定阈值时相关性较低。进一步地，在将复杂度比率用作特征量的情况下，参考索引分配单元45确定当复杂度比率低于预定阈值时相关性较低。当确定相关性较低的时候，对于后续图片，参考索引分配单元45使用该分配方法将分配给视差预测的参考索引重新分配给时间预测的另一参考图片。
当在步骤ST2中确定正被编码的图片不是GOP中的第一图片后移至步骤ST6时，图像编码装置20dv确定是否需要改变分配方法。如果预先为GOP中的第一图片确定的分配方法与步骤ST5中为后续图片确定的分配方法不同，图像编码装置20dv移至步骤ST7。如果那些方法都相同，图像编码装置20dv移至步骤ST8。
在步骤ST7中，图像编码装置20dv发布参考图片列表重排序（RPLR）命令。图像编码装置20dv的参考索引分配单元45发布RPLR命令，从而，即使对于后续图片的参考索引分配改变了，也可以基于参考索引在图像解码装置中使用正确的参考图片。换言之，参考索引分配单元45提供作为语法元素的RLPR给无损编码单元26，并将RLPR合并在例如图像数据的编码流的报头中。然后操作移至步骤ST8。
在步骤ST8中，图像编码装置20dv对正被编码的图片进行编码操作。在编码操作中，参考索引分配单元45同样通过步骤ST5中为后续图片确定的分配方法设置参考索引。
当在步骤ST1中确定正被编码的图片不是相关视角的图片后移至步骤ST9时，图像编码装置20dv通过预先确定的分配方法分配参考索引，并执行编码操作。
由于该操作是对正被编码的各图片进行的，因此当基于GOP中的第一图片确定相关视角和基础视角的图像之间的相关性较低时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的另一参考图片。
图5图示了在相关视角和基础视角的图像之间的相关性较低的情况下将要实施的参考索引分配方法。在基于第一图片确定相关视角和基础视角的图像之间的相关性较低的情况下，改变用于GOP中的后续图片的参考索引分配方法。例如，将参考索引ref_idx=0分配给一个帧之前的参考图片，将参考索引ref_idx=1分配给两个帧之前的参考图片。因此，在图5所图示的情况中，在对Cam1（相关视角）的图像数据中的P-图片（Pdv3）进行编码的操作中，将作为视差预测参考图片分配给Cam0（基础视角）的图像数据中的P-图片（Pbv3）的参考索引ref_idx=1重新分配给相关视角的P-图片（Pdv1）。
由于参考索引是基于特征量被分配给视差预测参考图片和时间预测参考图片，当确定图像之间的相关性较低时，改变参考索引分配方法，从而不会将具有低相关度的不同视点的基础图片用作参考图片。进一步地，可以通过从时间预测中的参考图片中选择具有高编码效率的参考图片执行编码。相应地，可以提高多视角图像编码中的编码效率。
在图5中，相关视角的GOP由I-图片和P-图片组成。然而，在包含B-图片的GOP结构中，当确定相关性较低时，也要改变参考索引分配。
图6图示了在GOP包含B-图片的情况下将要实施的参考索引分配方法。图6（A）图示了分配之前的情况，图6（B）图示了分配之后的情况。
Cam1的图像数据中的B-图片在L0预测（LIST_0）中具有作为Cam1的P-图片或者作为Cam0的图像数据中的Bs-图片的参考图片，P-图片在先前的预测中被参考，Bs-图片在视差预测中被参考。B-图片具有作为Cam1的P-图片的另一参考图片，P-图片例如在L1预测（LIST_1）中后面的预测中被参考。进一步地，如上所述，可以用于LIST_X（X为0或1）的图片通过参考索引ref_idx进行管理。图6（A）图示了将参考索引ref_idx=0分配给时间预测参考图片并将参考索引ref_idx=1分配给视差预测参考图片的示例案例。
当确定GOP中的第一图片中的相关视角和基础视角的图像之间的相关性较低时，参考索引分配单元45如图6（B）所示重新分配参考索引。在对B-图片（Bdv4）进行编码的操作中，例如，参考索引分配单元45将分配给作为视差预测参考图片的Bs-图片（Bsbv4）的参考索引ref_idx=1重新分配给相关视角的P-图片（Pdv1）。
如上所述，当确定GOP中的第一图片中的相关视角和基础视角的图像之间的相关性较低时，改变参考索引分配方法，从而不会在对B-图片进行编码的操作中将具有低相关度的不同视点的基础图片用作参考图片。同样地，可以通过从时间预测中的参考图片中选择具有高编码效率的参考图片执行编码。相应地，可以提高多视角编码中的编码效率。
同样地，在上述实施例中，通过使用GOP中的第一图片确定相关视角和基础视角的图像之间的相关性。然而，在将正被编码的块和参考块之间的差值的总和用作特征量的情况下，可以进行检查以确定是否甚至在GOP的中部的图像之间的相关性都较低。相应地，当基于GOP的中部的特征量确定图像之间的相关性较低时，可以改变参考索引分配方法。
在上述实施例中，当确定图像之间的相关性较低时，改变参考索引分配方法。然而，也可以改变GOP结构，以提高多视角图像编码中的编码效率。
在如图6（B）所示重新分配参考索引的情况下，相关视角的P-图片（Pdv1）在时间上离B-图片（Bdv4）更远。因此，在确定GOP中的第一图片中的相关视角和基础视角的图像之间的相关性较低时，改变GOP结构，从而可以将参考索引分配给时间上更接近正被编码的图片的非参考图片。
图7是图示了改变GOP结构的情况。图7（A）图示了分配之前的情况。图7（B）和7（C）图示了改变分配和GOP结构的情况。
图7（A）图示了将参考索引ref_idx=0分配给时间预测参考图片并将参考索引ref_idx=1分配给视差预测参考图片的示例案例。
当确定在GOP中的第一图片中相关视角和基础视角的图像之间的相关性较低时，改变GOP结构以将作为非参考图片的B-图片（Bdv2）变成P-图片（Pdv2），如图7（B）所示。在对该情况下的B-图片（Bdv4）进行编码的操作中，可以将分配给作为视差预测参考图片的Bs-图片（Bsbv4）的参考索引ref_idx=1重新分配给在图6（B）的情况下在时间上更接近的P-图片（Pdv2）。虽然在图7（B）中B-图片（Bdv2）变为P-图片（Pdv2），但是GOP中的所有B-图片可以变为P-图片。
当确定GOP中的第一图片中的相关视角和基础视角的图像之间的相关性较低时，也可以改变GOP图片以将作为非参考图片的B-图片（Bdv2）变成Bs-图片（Bsdv2），如图7（C）所示。在对该情况下的B-图片（Bdv4）进行编码的操作中，可以将分配给作为视差预测参考图片的Bs-图片（Bsbv4）的参考索引ref_idx=1重新分配给图6（B）的情况下在时间上更接近的Bs-图片（Bsdv2）。
如此，当确定GOP中的第一图片中的相关视角和基础视角的图像之间的相关性较低时，改变GOP结构，将参考索引分配给在时间方向上更接近的图片。换言之，将在时间方向上更接近的B-图片变成P-图片或Bs-图片，从而可以从正被编码的图片参考P-图片或Bs-图片。由于对GOP结构进行了如此的改变，通过使用作为在时间方向上更接近的图片的参考图片可以进行编码。相应地，可以使预测精度比不改变GOP结构的情况高。因而，可以提高多视交图像编码中的编码效率。
对于不同视点的图像以帧为单位切换的FS-AVC的图像数据，例如，特征量生成单元41通过使用从输入图像数据中提取的另一视点的图像数据生成特征量。从输入图像数据中提取的另一视点的图像数据和通过编码另一视点的图像数据而生成的参考图片的图像数据也存储在帧存储器35中。通过这种操作，也可以编码FS-AVC图像数据。
<4.通过软件操作进行图像编码的情况下所用的结构>
进一步地，图像处理装置可以是依照程序进行上述一系列操作的计算机装置。
图8是示出了计算机装置的示例结构的示图，该计算机装置依照程序进行上述一系列操作。计算机装置60的中央处理单元（CPU）61依照记录在只读存储器（ROM）62或记录单元68上的计算机程序进行各种操作。
将要由CPU61执行的计算机程序以及数据适当地存储在随机存取存储器（RAM）63中。CPU61、ROM62以及RAM63通过总线64彼此连接。
输入/输出接口65也经由总线64连接至CPU61。诸如触摸面板、键盘、鼠标或麦克风等输入单元66和由显示器等形成的输出单元67连接至输入/输出接口65。CPU61依照通过输入单元66输入的指令进行各种操作。CPU61还将操作结果输出到输出单元67。
连接至输入/输出接口65的记录单元68由硬盘或固态驱动器（SSD）形成，记录将要由CPU61执行的计算机程序和各种数据。通信单元69经由诸如网络（如，因特网或局域网）或数字广播等有线或无线通信介质与外部装置进行通信。计算机装置60也可经由通信单元69获取计算机程序，并将计算机程序记录在ROM62或记录单元68上。
当安装作为磁盘、光盘、磁光盘或半导体存储器等的可移动介质72时，驱动器70驱动可移动介质72，以获取记录的计算机程序和记录的数据。如必要，将获得的计算机程序和数据传送到ROM62、RAM63或记录单元68。
CPU61读取并执行用于进行上述一系列操作的计算机程序，并对记录在记录单元68或可移动介质72上的多视角图像的图像数据或对经由通信单元69提供的多视角图像的图像数据进行编码操作。
应注意，本发明不应当被认为是局限于本发明的上述实施例。例如，多视角图像并不一定由左眼图像和右眼图像两个图像组成，可以由三个或三个以上视点的图像组成。本发明的实施例通过示例公开了本发明，应显而易见的是，本领域的技术人员在不脱离本发明的范围的情况下可以以其他实施例修改或替代那些实施例。换言之，在理解本发明的主题时应该考虑到权利要求。
工业实用性
在本发明的图像处理装置和图像处理方法中，生成指示不同视点的图像之间的相关性的特征量。当从特征量确定相关性低于预定阈值的时候，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，该视差预测利用不同视点的图像之间的相关性，该时间预测利用时间方向上的图像之间的相关性。相应地，可以提高不同视点的图像之间的相关性较低的情况下多视角图像编码中的编码效率。因而，本发明可用于生成并编码多视角图像的成像装置、编辑并编码多视角图像的编辑装置、编码多视角图像并将编码后的图像存储在记录介质上的记录装置等。
附图标记列表
10编码***、11L左视点图像生成装置、11R右视点图像生成装置、20多视点编码装置、20bv、20dv图像编码装置、21A/D转换单元、22图片重排缓冲器、23减法单元、24正交变换单元、25量化单元、26无损编码单元、27累积缓冲器、28速率控制单元、31反量化单元、32反正交变换单元、33加法单元、34去块滤波器、35帧存储器、41特征量生成单元、45参考索引分配单元、51帧内预测单元、52运动/视差预测/补偿单元、53预测图像/最佳模式选择单元、60计算机装置、61中央处理单元（CPU）、62只读存储器（ROM）、63随机存取存储器（RAM）、64总线、65输入/输出接口、66输入单元、67输出单元、68记录单元、69通信单元、70驱动器、72可移动介质。

Claims (6)

1.一种图像处理装置，包括：
特征量生成单元，被配置为生成指示不同视点的图像之间的相关性的特征量；以及
参考索引分配单元，被配置为当基于由所述特征量生成单元生成的所述特征量确定不同视点的图像之间的所述相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，所述视差预测利用不同视点的图像之间的相关性，所述时间预测利用时间方向上的图像之间的相关性。
2.根据权利要求1所述的图像处理装置，其中，所述特征量生成单元基于对GOP中的第一图片编码的操作生成所述特征量，以及
所述参考索引分配单元基于所述特征量对所述GOP中所述第一图片之后的后续图片执行参考索引分配。
3.根据权利要求2所述的图像处理装置，其中，在对所述GOP中的所述第一图片编码的所述操作中，所述特征量生成单元计算所述特征量，所述特征量为以下至少一个：检测视差向量时正被编码的块和图像中的参考块之间的差值的总和、所述图像中的帧内宏块的比例、以及正被编码的图片和不同视点的参考图片之间的图像复杂度比率。
4.根据权利要求2所述的图像处理装置，其中，当确定所述相关性低于所述预定阈值时，所述参考索引分配单元将非参考图片变成所述GOP结构中的参考图片，所述非参考图片在时间方向上更接近。
5.根据权利要求1所述的图像处理装置，其中，所述特征量生成单元计算所述特征量，所述特征量为通过运动检测检测运动向量时正被编码的块和图像中的参考块之间的差值的总和，以及
基于所述特征量，所述参考索引分配单元对计算所述特征量中使用到的图片的后续图片执行参考索引分配。
6.一种图像处理方法，包括以下步骤：
生成指示不同视点的图像之间的相关性的特征量；以及
当基于生成的所述特征量确定不同视点的图像之间的所述相关性低于预定阈值时，将分配给视差预测的参考图片的参考索引重新分配给时间预测的参考图片，所述视差预测利用不同视点的图像之间的相关性，所述时间预测利用时间方向上的图像之间的相关性。
CN2011800340239A 2010-07-16 2011-07-07 图像处理装置和图像处理方法 Pending CN102986234A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010161304A JP2012023652A (ja) 2010-07-16 2010-07-16 画像処理装置と画像処理方法
JP2010-161304 2010-07-16
PCT/JP2011/065560 WO2012008351A1 (ja) 2010-07-16 2011-07-07 画像処理装置と画像処理方法

Publications (1)

Publication Number Publication Date
CN102986234A true CN102986234A (zh) 2013-03-20

Family

ID=45469354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800340239A Pending CN102986234A (zh) 2010-07-16 2011-07-07 图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US20130088570A1 (zh)
EP (1) EP2566167A4 (zh)
JP (1) JP2012023652A (zh)
KR (1) KR20130117749A (zh)
CN (1) CN102986234A (zh)
WO (1) WO2012008351A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664416A (zh) * 2014-07-06 2017-05-10 Lg电子株式会社 处理视频信号的方法及其装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505154B2 (ja) 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
MX2013010423A (es) 2011-03-18 2013-10-03 Sony Corp Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2012128069A1 (ja) 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置および画像処理方法
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
MY191028A (en) 2011-06-30 2022-05-29 Sony Corp Image processing device and image processing method
CA2842150A1 (en) 2011-08-31 2013-03-07 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
WO2014053087A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of motion data buffer reduction for three-dimensional video coding
TW201415898A (zh) 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
CN103873872B (zh) * 2012-12-13 2017-07-07 联发科技（新加坡）私人有限公司 参考图像管理方法及装置
JP2015002512A (ja) * 2013-06-18 2015-01-05 三菱電機株式会社 画像符号化装置及び画像符号化方法
WO2015056647A1 (ja) 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2015119396A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 イントラ予測モード決定装置、イントラ予測モード決定方法、及びイントラ予測モード決定プログラム
JP6191505B2 (ja) 2014-02-28 2017-09-06 ブラザー工業株式会社 画像処理装置、及び、画像処理プログラム
WO2018097577A1 (ko) * 2016-11-25 2018-05-31 경희대학교 산학협력단 영상 병렬 처리 방법 및 장치
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
WO2009001791A1 (ja) * 2007-06-25 2008-12-31 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
CN101647279A (zh) * 2007-01-24 2010-02-10 Lg电子株式会社 用于处理视频信号的方法和装置
JP2010063092A (ja) * 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350156A (ja) * 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
WO2005022923A2 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for minimizing number of reference pictures used for inter-coding
WO2007040197A1 (ja) * 2005-10-05 2007-04-12 Matsushita Electric Industrial Co., Ltd. 参照画像選択方法および装置
TW200820791A (en) * 2006-08-25 2008-05-01 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
JP2008283253A (ja) * 2007-05-08 2008-11-20 Sharp Corp 画像伝送システム、画像符号化装置、画像復号装置
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2009159465A (ja) * 2007-12-27 2009-07-16 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
TWI384408B (zh) * 2009-04-30 2013-02-01 Ind Tech Res Inst 影像辨識以及輸出方法與其系統
JP5505154B2 (ja) * 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
JP2012176232A (ja) * 2011-02-04 2012-09-13 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
CN101647279A (zh) * 2007-01-24 2010-02-10 Lg电子株式会社 用于处理视频信号的方法和装置
WO2009001791A1 (ja) * 2007-06-25 2008-12-31 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2010063092A (ja) * 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
POURAZAD,M.T.ET AL: "A new prediction structure for multiview video coding", 《DIGITAL SIGNAL PROCESSING,2009 16TH INTERNATIONAL CONFERENCE ON,IEEE,PISCATAWAY,NJ,USA》, 5 July 2009 (2009-07-05), pages 1 - 5, XP031510250 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664416A (zh) * 2014-07-06 2017-05-10 Lg电子株式会社 处理视频信号的方法及其装置
CN106664416B (zh) * 2014-07-06 2019-11-05 Lg电子株式会社 处理视频信号的方法及其装置
US10567755B2 (en) 2014-07-06 2020-02-18 Lg Electronics Inc. Method for processing video signal, and apparatus therefor

Also Published As

Publication number Publication date
EP2566167A4 (en) 2014-06-11
US20130088570A1 (en) 2013-04-11
WO2012008351A1 (ja) 2012-01-19
JP2012023652A (ja) 2012-02-02
KR20130117749A (ko) 2013-10-28
EP2566167A1 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
CN102986234A (zh) 图像处理装置和图像处理方法
JP5580453B2 (ja) 直接モード符号化及び復号化装置
CN100502506C (zh) 视频编码/解码方法和设备
KR100786132B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
CN101690234B (zh) 视频图像编码方法及解码方法、其装置
TWI684354B (zh) 動態影像解碼裝置及動態影像解碼方法
CN106210734B (zh) 将图像序列编码成位流以及对位流进行解码的方法和装置
CN116781931A (zh) 图像编码/解码设备和图像数据发送设备
US8625918B2 (en) Image processing apparatus and image processing method
US20120207219A1 (en) Picture encoding apparatus, picture encoding method, and program
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
CN103155558A (zh) 多视点信号编解码器
CN105791821A (zh) 动图像解码装置以及动图像解码方法
CN104685882A (zh) 用于处理3d场景的一个或更多个视频的方法
KR101893559B1 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
KR20080061744A (ko) 영상의 부호화, 복호화 방법 및 장치
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
US20120014442A1 (en) Image processing device and image processing method
JP7483988B2 (ja) 画像コーディングシステムにおいてコンストラクテッドアフィンｍｖｐ候補を使用するアフィン動き予測に基づいた画像デコード方法及び装置
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
KR20090040028A (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
TWI526056B (zh) A moving picture coding apparatus, a motion picture coding method, a motion picture coding program, a transmission apparatus, a transmission method, a transmission program, a video decoding apparatus, a video decoding method, a video decoding program, a reception device, a reception method, Receiving program
JP2024092010A (ja) 画像コーディングシステムにおいてコンストラクテッドアフィンｍｖｐ候補を使用するアフィン動き予測に基づいた画像デコード方法及び装置
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130320