CN106464900A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置及内容发布方法 - Google Patents

图像编码方法、图像解码方法、图像编码装置、图像解码装置及内容发布方法 Download PDF

Info

Publication number
CN106464900A
CN106464900A CN201580028208.7A CN201580028208A CN106464900A CN 106464900 A CN106464900 A CN 106464900A CN 201580028208 A CN201580028208 A CN 201580028208A CN 106464900 A CN106464900 A CN 106464900A
Authority
CN
China
Prior art keywords
image
picture
motion model
information
model information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580028208.7A
Other languages
English (en)
Inventor
吉川哲史
笹井寿郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN106464900A publication Critical patent/CN106464900A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图像编码方法是对多个图像进行编码的图像编码方法，包括：获取步骤(S101)，获取表示多个图像中的物体的三维移动的运动模型信息(134)；参照图像生成步骤(S131)，使用运动模型信息(134)生成参照图像(155)；以及编码步骤(S104～S106)，参照所生成的参照图像(155)，对多个图像所含的对象图像进行编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置 及内容发布方法
技术领域
本发明涉及图像编码方法以及图像解码方法。
背景技术
在作为最新的运动图像编码标准的HEVC(High Efficiency Video Coding：高效率视频编码)标准中，为了提高编码效率而进行了各种研究(例如，参照非专利文献1)。该方式作为以H.26x表示的ITU-T(国际电信联盟电信标准化部门)标准和以MPEG-x表示的ISO/IEC标准、以及以H.264/AVC或者MPEG-4AVC表示的标准的后续影像编码标准而被进行了研究。
现有技术文献
非专利文献
非专利文献1:Joint Collaborative Team on Video Coding(JC T-VC)of ITU-TSG 16WP 3and ISO/IEC JTC 1/SC 29/WG 1112th Meeting:Geneva，CH，14-23Jan.2013zzJCTVC-L1003_v34Title:High Efficiency Video Coding(HEVC)text specificationdraft 10(for FDIS&Last Call)http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip
发明内容
在这种图像编码方法以及图像解码方法中，期望使编码效率提高。
本发明的目的在于提供能够提高编码效率的图像编码方法或图像解码方法。
为了达成上述目的，本发明的一个技术方案所涉及的图像编码方法是对多个图像进行编码的图像编码方法，包括：获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及编码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行编码。
另外，本发明的一个技术方案所涉及的图像解码方法是从比特流解码多个图像的图像解码方法，包括：获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及解码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行解码。
此外，这些总体的或者具体的方式可以通过***、方法、集成电路、计算机程序或者计算机可读的CD-ROM等记录介质来实现，也可以通过***、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
本发明能够提供能提高编码效率的图像编码方法或图像解码方法。
附图说明
图1是实施方式1所涉及的图像编码装置的框图。
图2是实施方式1所涉及的图像编码处理的流程图。
图3是实施方式1所涉及的运动模型信息获取处理的流程图。
图4是用于说明实施方式1所涉及的运动模型信息的图。
图5是用于说明实施方式1所涉及的运动模型信息的图。
图6是用于说明实施方式1所涉及的从元信息导出运动模型信息的工作的图。
图7是实施方式1所涉及的预测块生成处理的流程图。
图8是实施方式1所涉及的帧间预测处理的流程图。
图9是实施方式1所涉及的使用了运动模型信息的参照图像生成处理的流程图。
图10是用于说明实施方式1所涉及的使用了运动模型信息的参照图像生成处理的图。
图11是实施方式1所涉及的帧间预测图像生成处理的流程图。
图12是实施方式1所涉及的运动推定处理的流程图。
图13是实施方式1所涉及的预测运动矢量搜索处理的流程图。
图14是实施方式2所涉及的图像解码装置的框图。
图15是实施方式2所涉及的帧间预测部的框图。
图16是实施方式2所涉及的图像解码装置处理的流程图。
图17是实施方式2所涉及的运动模型信息解码处理的流程图。
图18是实施方式2所涉及的预测块的生成处理的流程图。
图19是实施方式2所涉及的帧间预测处理的流程图。
图20是实现内容发布服务的内容提供***的整体构成图。
图21是数字广播用***的整体构成图。
图22是表示电视机的构成例的框图。
图23是表示向作为光盘的记录介质进行信息的读写的信息再现/记录部的构成例的框图。
图24是表示作为光盘的记录介质的构造例的图。
图25A是表示便携电话的一例的图。
图25B是表示便携电话的构成例的框图。
图26是表示复用数据的构成的图。
图27是示意性地示出各流在复用数据中是如何复用的图。
图28是更加详细地示出在PES包串中视频流是如何保存的图。
图29是示出复用数据中的TS包和源包(Source Packet)的构造的图。
图30是表示PMT的数据构成的图。
图31是表示复用数据信息的内部构成的图。
图32是表示流属性信息的内部构成的图。
图33是表示识别影像数据的步骤的图。
图34是表示实现各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的构成例的框图。
图35是表示切换驱动频率的构成的图。
图36是表示识别影像数据、切换驱动频率的步骤的图。
图37是表示将影像数据的标准和驱动频率相关联的查找表的一例的图。
图38A是表示将信号处理部的模块共有化的构成的一例的图。
图38B是表示将信号处理部的模块共有化的构成的另一例的图。
标号的说明
100图像编码装置；101运动模型获取部；102块分割部；103减法部；104频率转换部；105量化部；106熵编码部；107、202逆量化部；108、203逆频率转换部；109、204加法部；110、205帧内预测部；111、206环路滤波器；112、207帧存储器；113、208帧间预测部；114、209切换部；121输入图像；122编码块；123、128、224差分块；124、125、127、222、223系数块；126、221比特流；129、225解码块；130、226解码图像；131、132、133、227、228、229预测块；134、230运动模型信息；135、231预测信息；152代表图像；153对象物图像；154背景图像；155、241参照图像；200图像解码装置；201熵解码部；211帧间预测图像生成部；212参照图像生成部。
具体实施方式
(成为发明基础的见解)
在以往的图像编码方式中的预测图像的生成处理中，对象帧的前后的帧的信息被有效地利用。例如，在H.264/AVC以及H.265/HEVC中，在生成运动矢量时，将在时间上以及空间上近的块的信息等作为预测运动矢量而利用，由此，能削减为了生成运动矢量所必需的代码量。
但是，对于道路上的车的运动等即便从一个图像也容易预测运动的物体，在以往的图像编码装置中，无法利用从这些图像读取的状况或环境的信息等。
另一方面，利用了以面部识别等为代表的物体识别或机器学习等与计算机视觉相关联的技术的图像识别技术正在发展。本发明人发现：能够通过应用这种技术，对在运动图像中频繁地产生的信息等进行解析，并使用该信息来推测物体的运动。
例如，存在下述可能性：根据店铺的监视摄像头的图像对人的活动路线等进行解析，能够推测顾客在店铺内的行动模式。进而，使用多个摄像头的利用或运动图像中的时间变化等多个图像的信息，根据图像生成进深信息等三维的信息的处理等方案也被提出。
本发明人发现：可以利用上述的信息，来削减在运动图像编码处理中的帧间预测图像生成处理中要编码的信息。在本实施方式中，对如下的图像编码方法以及图像解码方法进行说明：从运动图像提取构造或倾向等识别信息，并使用该识别信息，由此，在预测图像生成方法中，以比现有方法少的信息量生成预测图像。
本发明的一个技术方案所涉及的图像编码方法是对多个图像进行编码的图像编码方法，包括：获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及编码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行编码。
据此，通过使用运动模型信息，能够以少的信息量生成预测图像，因此，能够提高编码效率。
例如，在所述获取步骤中，也可以从所述多个图像所包含的一个以上的图像提取所述运动模型信息。
例如，在所述参照图像生成步骤中，也可以通过对所述物体的代表图像实施基于所述运动模型信息的变形处理来生成对象物图像，通过将所述对象物图像和背景图像合成来生成所述参照图像。
例如，所述运动模型信息也可以表现为高阶变换矩阵的多个系数，在所述参照图像生成步骤中，也可以通过对所述代表图像进行使用了所述高阶变换矩阵的运算来进行所述变形处理。
例如，所述高阶变换矩阵也可以包含根据时间而变化的系数。
例如，所述图像编码方法也可以还包括：预预测步骤，使用所述运动模型信息，算出所述对象图像所包含的块的运动矢量的预测值；和运动搜索步骤，使用所述预测值作为初始值来进行所述块的运动搜索处理。
据此，通过使用运动模型信息来设定运动搜索处理的初始值，能够缩短运动搜索处理的处理时间。
例如，所述图像编码方法也可以还包括：推定步骤，推定所述对象图像所包含的块的运动矢量；预测步骤，使用所述运动模型信息，算出用于所述对象图像所包含的块的预测运动矢量候选；运动矢量编码步骤，对包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个与所推定的所述运动矢量的差分进行编码。
据此，通过使用运动模型信息来算出预测运动矢量候选，能够提高编码效率。
另外，本发明的一个技术方案所涉及的图像解码方法是从比特流解码多个图像的图像解码方法，包括：获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及解码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行解码。
据此，通过使用运动模型信息，能够以少的信息量生成预测图像，因此，能够提高编码效率。
例如，在所述获取步骤中，也可以从所述比特流获取所述运动模型信息。
例如，在所述参照图像生成步骤中，也可以通过对所述物体的代表图像实施基于所述运动模型信息的变形处理来生成对象物图像，通过将所述对象物图像和背景图像合成来生成所述参照图像。
例如，所述运动模型信息也可以表现为高阶变换矩阵的多个系数，在所述参照图像生成步骤中，也可以通过对所述对象图像进行使用了所述高阶变换矩阵的运算来进行所述变形处理。
例如，所述高阶变换矩阵也可以包含根据时间而变化的系数。
例如，所述图像解码方法也可以还包括：差分运动矢量解码步骤，对所述对象图像所包含的块的运动矢量的差分值进行解码；预测步骤，使用所述运动模型信息，算出用于所述对象图像所包含的块的预测运动矢量候选；以及算出步骤，通过将包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个与所述差分值相加来算出运动矢量。
据此，通过使用运动模型信息来算出预测运动矢量候选，能够提高编码效率。
本发明的一个技术方案所涉及的图像编码装置是对多个图像进行编码的图像编码装置，具备：处理电路；和与所述处理电路连接的存储器，所述处理电路使用所述存储器来执行所述图像编码方法。
据此，通过使用运动模型信息，能够以少的信息量生成预测图像，因此，能够提高编码效率。
另外，本发明的一个技术方案所涉及的图像解码装置是从比特流解码多个图像的图像解码装置，具备：处理电路；和与所述处理电路连接的存储器，所述处理电路使用所述存储器来执行所述图像解码方法。
据此，通过使用运动模型信息，能够以少的信息量生成预测图像，因此，能够提高编码效率。
另外，本发明的一个技术方案所涉及的内容发布方法包括：接收步骤，接收内容的发布请求；和发送步骤，基于所述发布请求，发送实施所述图像编码方法而得到的所述内容。
据此，通过使用运动模型信息，能够以少的信息量生成预测图像，因此，能够提高编码效率。
此外，这些总体的或者具体的方式既可以通过***、方法、集成电路、计算机程序或者计算机可读的CD-ROM等记录介质来实现，也可以通过***、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
以下，对于实施方式，参照附图进行具体的说明。此外，以下要说明的实施方式都是表示包括性或者具体的例子。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等只是一例，并不旨在限定本发明。
此外，有时将已知事项的详细说明以及针对实质上相同的构成的重复说明省略。这是为了避免以下的说明不必要地变得冗长，为了使本领域技术人员容易理解。
另外，在本实施方式中，有时记载成将帧改称为图画或图像。进而，有时将编码对象或解码对象的帧(图画或图像)改称为对象图画(当前图画)或对象帧(当前帧)等。除此以外，也会改称为在编解码技术领域通常使用的各种用语。
(实施方式1)
本实施方式所涉及的图像编码装置使用表示物体的变形以及三维运动的倾向的运动模型信息来进行帧间预测处理。由此，该图像编码装置能够提高编码效率。
首先，对本实施方式所涉及的图像编码装置100的构成进行说明。图1是表示本实施方式所涉及的图像编码装置100的一例的框图。该图像编码装置100包括：运动模型获取部101、块分割部102、减法部103、频率转换部104、量化部105、熵编码部106、逆量化部107、逆频率转换部108、加法部109、帧内预测部110、环路滤波器111、帧存储器112、帧间预测部113以及切换部114。
图像编码装置100通过对输入图像121进行编码而生成比特流126，该输入图像121是包含1个以上的图像的静止图像或运动图像。
以下，说明图像编码装置100的工作。图2是本实施方式所涉及的图像编码装置100的图像编码处理的流程图。
首先，运动模型获取部101使用输入图像121，提取(算出)作为基于空间上的位置的对象物的相对变化等信息的运动模型信息(S101)。此外，该处理的详细内容将在后面描述。
另外，块分割部102将输入图像121分割为作为编码处理单位的多个编码块122(S102)。帧内预测部110或帧间预测部113针对编码块122进行利用了解码块129或解码图像130的预测处理，由此，生成预测块133(131或132)(S103)。此外，该处理的详细内容将在下面描述。另外，作为与该预测处理相关的信息的预测信息135被发送至熵编码部106而被编码。具体而言，预测信息135包含表示所使用的预测模式、参照图像以及运动矢量等的信息。
然后，减法部103生成作为编码块122与预测块133的差分的差分块123(S104)。频率转换部104通过对差分块123进行频率转换而生成系数块124。量化部105通过对系数块124进行量化而生成系数块125(S105)。
熵编码部106通过对系数块125进行熵编码而生成比特流126(S106)。另外，逆量化部107通过对系数块125进行逆量化而生成系数块127，逆频率转换部108通过对系数块127进行逆频率转换而将差分块128还原(S107)。加法部109通过将差分块128与预测块133相加而生成解码块129(重构图像)(S108)。该解码块129被利用于帧内预测部110的帧内预测处理。
另外，图像编码装置100重复进行这些一系列的处理，直至针对输入图像121整体的编码处理完成为止(S109)。
此外，在1个图像整体的编码处理完成了的情况下，环路滤波器111通过对1个图像所含的多个解码块129实施滤波处理而生成解码图像130，上述滤波处理用于为了缓解由块失真引起的画质劣化的去块滤波等画质改善。帧存储器112保存解码图像130。该解码图像130用于帧间预测部113的帧间预测处理。
此外，步骤S105的频率转换以及量化处理既可以分别作为独立处理而依次进行，也可以一并进行。同样地，步骤S107的逆量化以及逆频率转换处理既可以分别作为独立处理依次进行，也可以一并进行。
另外，量化是指以预先规定的间隔与预先规定的电平相关联地将采样到的值数字化的处理。逆量化是指将通过量化得到的值还原成原来的区间的值的处理。在数据压缩领域中，量化意味着将值分类为比原始粗略的区间的处理，逆量化意味着将粗的区间还原分类为原始的精细的区间的处理。在编解码技术领域中，量化以及逆量化也有时被称为舍入(roundoff)、化整(rounding)或定标(scaling)。
接下来，使用图3的流程图对步骤S101的运动模型信息获取处理的详细内容进行说明。
首先，运动模型获取部101使用1个以上的输入图像121来提取运动模型(S111)。在此，运动模型表示拍摄运动图像内的物体的特征性变化。换言之，运动模型是运动图像中的物体的运动倾向，是表示统计性运动的信息，表示三维移动。在此，三维移动除了包含平面方向的移动之外，还包含进深方向的移动，具体而言，是起因于进深位置的图像上的物体大小的变化或起因于进深位置的图像上的物体运动量的变化。换言之，运动模型表示物体的运动以及变形的倾向。另外，该运动模型也可以按图像中的各区域而设定。
通过使用该运动模型，只要在能够某程度地确定拍摄对象或摄像头的设置场所等的条件或状况下，就能够根据少的信息量推测多的信息。例如，在由监视摄像头拍摄到的运动图像中，每当在近前显现的人向深处移动时，人物的大小会变小。另外，根据道路上的车的行驶路径，能够对车的行进方向或速度等发现倾向。
例如，如图4所示，在物体A0从画面近前左下向画面深处右上方向移动那样的运动图像的情况下，动态物体的大小(视觉表现)与在朝向深处的方向上行进相应地规则性变化。具体而言，在图像中，物体A0越行进至画面的深处，物体A0的大小显现为越小。该情况下，运动模型例如示出物体A0的运动方向、伴随该运动的物体大小的变化程度以及物体消失点P0的坐标等。
另外，在图5所示的例子中，道路从画面近前向深处延伸。另外，物体A1存在于道路上，在时刻t存在于画面近前侧，在时刻t+N存在于画面深处侧。另外，由于各车道是单向通行的，因此，道路上的对象物的运动矢量的方向与在车道的行进方向一致。在图5所示的例子中，物体A1存在于道路的左车道内，因此，可知其向左深处方向移动。也即是，运动模型是表示在特定的区域(例如道路)中物体的运动矢量始终相似等的图像空间中的一定法则的信息。
此外，运动模型获取部101也可以仅从1个图像提取运动模型。例如，在图像内存在道路的情况下，能够推定为物体(例如车)沿着该道路移动。另外，根据是右车道还是左车道，能够确定物体的行进方向。
这样，运动模型获取部101提取可以根据环境预测的信息来作为运动模型。另外，运动模型通过仿射变换(Affine Transformation)矩阵或射影变换矩阵等来表现。另外，各种矩阵包含时间成分的变量。也即是，运动模型是示出伴随时间变化的物体的位置、移动方向、速度或大小的变化的信息。具体而言，运动模型示出考虑到某道路上的物体的速度信息或加速度信息的物体的位置、移动方向、速度或大小的变化。例如，在道路上的汽车的大多以一定速度移动的情况下，运动模型信息包含该速度的信息。由此，能够针对新的对象物适用该速度，因此，能够削减代码量。
然后，运动模型获取部101判定是否能够从输入图像121提取运动模型(S112)。在能够提取运动模型的情况下(S112的“是”)，运动模型获取部101对编码对象的信息追加表示所提取的运动模型的运动模型信息134。在此，运动模型信息既可以是表示运动模型自身的信息(例如，上述矩阵的变量)，也可以是用于确定运动模型的信息。由此，熵编码部106通过对运动模型信息134进行编码，能够生成包含运动模型信息134的比特流126(S113)。
以下，对运动模型的提取方法的具体例进行说明。运动模型获取部101从输入图像121提取对象物，追踪所提取的对象物的根据时间的坐标以及大小等的变化。例如，运动模型获取部101使用应用了SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)或HoG(Histograms of Oriented Gradients：方向梯度直方图)等这样的特征量的方法来提取对象物。
另外，运动模型获取部101不是仅追踪一个对象物，也可以利用与多个对象物的关联性等。例如，在特定区域(例如，图像左下部)中出现的多个对象物所具有的运动矢量的方向以及大小等具有一定范围内的值的情况下，运动模型获取部101假定为在该特定区域出现的所有对象物是具有该一定范围内的运动矢量的物体。该情况下，运动模型获取部101提取(1)对特定区域或特定区域内的对象物进行确定的信息和(2)确定运动矢量的信息来作为运动模型。
另外，图像编码装置100在对图像赋予了元信息的情况下，也可以使用该元信息来算出运动模型。在此，元信息是指表示图像内的各物体的位置以及大小等的信息。
图5是用于说明使用元信息算出运动模型信息的工作的图。如图5所示，对各帧设定有元信息。各帧的元信息表示：用于针对该帧内的多个对象物的每一个唯一地识别影像中的对象物的ID、该对象物的坐标(坐标x以及坐标y)、以及该对象物的尺寸(宽度以及高度)。
图像编码装置100首先算出帧间的各对象物的元信息的差分。具体而言，算出帧间的各对象物的各要素(坐标x、坐标y、宽度以及高度的每一个)的差分。然后，图像编码装置100基于所算出的差分，按各对象物生成运动模型信息。
例如，在图6所示的例子中，算出时刻T-1的帧的元信息与时刻T的帧的元信息的差分。图像编码装置100按各个对象物，基于该对象物的坐标x以及坐标y的差分，导出该对象物的每单位时间(时刻T-1与时刻T的差分)的二维坐标的变化量。另外，图像编码装置100基于该对象物的宽度以及高度的差分，导出该对象物的每单位时间的尺寸的变化量。由此，生成对各对象物的伴随时间变化的移动(二维坐标的变化)以及变形进行定义的运动模型信息。
此外，运动模型信息也可以表示各对象物的位置(二维坐标)或相对于位置的变化的对象物的大小或形状或者其变化。例如，图像编码装置100根据对象物的坐标x以及坐标y的差分和宽度以及高度的差分来导出该关系。
另外，图像编码装置100也可以使用多个对象物的各要素的差分来导出一个运动模型信息。例如，元信息包含表示对象物的属性(例如车或人等)的属性信息。在具有同一属性的对象物存在多个的情况下，图像编码装置100也可以使用具有同一属性的多个对象物的各要素的差分，导出针对该属性的对象物的一个运动模型信息。
另外，所使用的元信息不限于2个帧，也可以使用3个以上的帧的元信息的各个差分。
另外，图像编码装置100既可以以图像为单位对运动模型信息134进行编码，也可以针对流仅进行1次编码。在由监视摄像头等拍摄到的定点影像的情况下，由于拍摄范围变动小，因此，运动模型大幅地变化的情况少。因此，图像编码装置100生成以序列为单位包含1个运动模型信息134的比特流126。图像解码装置针对多个图像利用该运动模型信息134。由此，能够削减运动模型信息134的代码量。
另外，图像编码装置100也可以不从输入图像121提取运动模型，而从经由有线或无线方式至少暂时地连接的外部装置或外部服务器获取表示运动模型的参数。例如，也可以是图像编码装置100外的影像处理装置进行运动模型的提取处理，图像编码装置100获取所得到的运动模型的信息。由此，无需在图像编码装置100进行影像解析处理，因此，能够削减图像编码装置100的处理量。
另外，运动模型信息134也可以不包含于比特流126，而通过另外的方法发送给图像解码装置。例如，在如通过固定摄像头拍摄到的影像那样，运动模型是既知的情况下，也可以提前对图像编码装置100以及图像解码装置设定共同的运动模型。由此，由于无需在比特流126中包含运动模型信息134，因此，能够削减代码量。
另外，对图像编码装置100以及图像解码装置预先设定多个运动模型，图像编码装置100也可以仅对表示使用哪个运动模型的索引进行编码。由此，在因场景切换(scenechange)等而利用多个运动模型的情况下，仅对索引的信息进行编码即可，因此，能够削减代码量。
接着，关于图2所示的步骤S103的预测块生成处理，使用图7的流程图进行说明。
首先，帧内预测部110通过进行使用了画面内的信息的帧内预测处理而生成预测块131(S121)。接下来，帧间预测部113通过进行使用了画面间的信息的帧间预测处理而生成预测块132(S122)。然后，切换部114将在步骤S121以及S122中得到的预测块131以及132中的通过选择编码效率高的方法而以所选择的方法生成的预测块，作为预测块133而进行输出(S123)。具体而言，切换部114使用以下述(式1)表示的R-D最优化模型的式子等，进行预测块131以及132各自的成本计算，选择成本小的预测块。
Cost＝D+λ×R…(式1)
在此，D表示编码失真，例如是编码对象块的原来的像素值和所生成的预测块的差分绝对值和。另外，R表示产生代码量，例如是对用于生成预测块的预测信息(运动矢量等)等进行编码所需的代码量。另外，λ是拉格朗日乘子。由此，能够根据帧内预测以及帧间预测选择适当的预测模式，因此，能够提高编码效率。
此外，也可以在进行步骤S121以及S122的处理之前，图像编码装置100决定使用哪个预测处理，仅进行与所决定的方法对应的处理。由此，能够削减预测图像生成处理的处理量。
另外，图像编码装置100对包含表示使用帧内预测以及帧间预测中的哪一个的信息的预测信息135进行编码。
接下来，关于步骤S122的帧间预测处理，使用图8的流程图进行说明。
首先，帧间预测部113使用由运动模型信息134表示的运动模型以及完成编码的解码图像130来生成参照图像(S131)。接下来，通过如进行在H.264/AVC方式或H.265/HEVC方式中采用的那种利用了运动信息的帧间预测处理来生成预测图像(预测块132)(S132)。
接下来，关于使用了步骤S131的运动模型的参照图像生成处理，使用图9的流程图以及图10来进行说明。
首先，帧间预测部113判定对象帧中是否存在可以利用的运动模型信息134(S141)。在对象帧中不存在可以利用的运动模型信息134的情况下(S141的“否”)，帧间预测部113结束步骤S131的处理。
另一方面，在对象帧中存在可以利用的运动模型信息134的情况下(S141的“是”)，帧间预测部113生成作为参照图像155的背景的图像的背景图像154(S142)。具体而言，帧间预测部113通过算出2幅以上的解码图像130的各坐标的像素值的平均值或中央值而生成背景图像154。此时，既可以利用序列中的全部的解码图像130，也可以利用任意的图像。对于前者而言，在固定摄像头等的背景不动的图像中，能够生成质量非常高的背景图像154，对于后者而言，由于可以仅选择包含较多背景的图像，因此，能够以少的处理量生成背景图像154。另外，帧间预测部113也可以仅使用对象帧的前一个的可以独立地解码的图像以后的图像来生成背景图像154。由此，能够在保持随机访问性不变的状态下，生成背景图像154。另外，帧间预测部113也可以将1个解码图像130直接用作背景图像154。另外，表示在背景图像154的生成中使用的1个或多个解码图像130的信息可以包含于比特流126、或者可以通过其它的单元被发送至图像解码装置。
此外，背景图像154例如也可以是保存于服务器的预先确定的图像。在该情况下，指定背景图像154的信息或背景图像154的编码数据可以包含于比特流126、或者可以通过其它的单元被发送至图像解码装置。
接着，帧间预测部113从完成编码的解码图像130提取1个以上的成为各种对象物的原始图像的代表图像152(S143)。另外，表示代表图像152的信息可以包含于比特流126、或者可以通过其它的单元被发送至图像解码装置。具体而言，表示代表图像152的信息包含指定提取对象物的对象的解码图像130的信息和指定提取该解码图像130内的哪个对象物的信息。指定解码图像130的信息例如通过H.264/AVC以及H.265/HEVC中的POC(Picture OrderCount：图像序列号)来表示。也即是，该信息表示提取对象物的对象的解码图像130的POC。另外，指定提取对象物的信息例如是表示该对象物的坐标的坐标信息。此时，坐标信息可以表示坐标自身，也可以是表示将多个像素作为一个单位(例如，将4×4像素作为一个块)来处理的表示该单位的坐标的信息。对于前者而言，即便在小的对象物密集那样的图像中，也能够提取各对象物。另外，对于后者而言，由于指定提取对象物的信息变少，因此，能够使所生成的比特流126的代码量变小。
此外，代表图像152例如也可以是保存于服务器的预定确定的图像。在该情况下，指定代表图像152的信息或代表图像152的编码数据可以包含于比特流126、或者可以通过其它的单元被发送至图像解码装置。
接着，帧间预测部113利用有运动模型信息134表示的运动模型，对代表图像152进行变形以及移动，由此，生成对象帧中的对象物图像153(S144)。例如，帧间预测部113使用以各系数表现运动模型的仿射变换矩阵或射影变换矩阵，对代表图像152进行变形以及移动。另外，帧间预测部113也可以利用用于构成3D空间的信息(光源的位置等)来作为运动模型，对3D空间中的对象物的视觉表现的变化(投影方式以及色调的变化等)进行再现。由此，帧间预测部113也能够应对通过射影变换等无法表现的变形，因此，能够进一步提高所生成的参照图像155的质量。
另外，在图像内存在多个对象物的情况下，针对各对象物进行上述的处理。
此外，在使用运动模型使代表图像152变形的情况下，有时会发生未包含于代表图像152的部分进入视觉这一遮挡(occlusion)的问题。在这样的情况下，帧间预测部113也可以获取保存于外部服务器等的该对象物或与该对象物类似的对象物的信息或图像，通过将所获取的信息或图像和变形后的代表图像152合成而生成对象物图像153。
另外，图像编码装置100也可以对使用了运动模型的变形处理后的运动信息与在编码处理时检测出的实际的运动信息的差分信息进行编码。由此，即便在发生了根据运动模型信息的变形无法预测的运动、例如交通监视影像中的车道变更那样的运动的情况下，图像编码装置100也能够生成更接近原图像的参照图像155。
最后，帧间预测部113通过将背景图像154和对象物图像153合成而生成参照图像155(S145)。例如，帧间预测部113通过在背景图像154上重合对象物图像153而生成参照图像155。此外，在对象物存在多个的情况下，图像编码装置100也可以对表示使多个对象物图像153重合的顺序的信息进行编码。或者，也可以在图像编码装置100以及图像解码装置中通过同样的方法，根据运动模型信息预测使多个对象物重合的顺序。根据前者，合成的处理在比特流126中被明示，据此，图像解码装置能够生成最优选的参照图像155。根据后者，能够削减比特流126所含的信息，因此，能够削减代码量。
此外，通过上述处理，既可以针对对象帧生成1个参照图像155，也可以生成多个参照图像155。例如，也可以针对对象帧所含的各个对象物生成分别不同的参照图像155。由此，能针对各对象物生成最优选的参照图像155，因此，能够改善编码效率。另外，帧间预测部113也可以不以图像为单位进行参照图像155的生成处理，而以处理块为单位生成参照图像。由此，能以与图像相比小的单位生成参照图像，因此，能够削减保存参照图像的存储器的容量。
接下来，关于步骤S132的帧间预测图像生成处理的详细内容，使用图11的流程图来进行说明。
首先，帧间预测部113进行推定用于生成预测图像(预测块132)的运动矢量的运动推定处理(S151)。然后，帧间预测部113从在周边的完成编码的编码块中使用的运动矢量选择与所得到的运动矢量相近的运动矢量来作为预测运动矢量(S152)。然后，帧间预测部113生成在步骤S151中得到的运动矢量与在S152中得到的预测运动矢量的差分即差分运动矢量(S153)。另外，表示所选择的预测运动矢量的信息和差分运动矢量被编码，而包含于比特流126。
接下来，关于步骤S151的运动推定处理，使用图12的流程图来进行说明。
首先，帧间预测部113判定是否存在针对对象帧的运动模型信息134(S161)。在不存在针对对象帧的运动模型信息134的情况下(S161的“否”)，帧间预测部113将预定的值设定为运动搜索处理的初始值(初始信息)(S162)。在此，预定的值是指例如在以往的H.264/AVC或H.265/HEVC等的运动推定处理中被利用的值。例如，该预定的值是时间方向以及空间方向上的周边的完成编码块中的运动矢量等。
另一方面，在存在对于对象帧的运动模型信息134的情况下(S161的“是”)，帧间预测部113针对各块将根据运动模型预测的值设定为运动搜索处理的初始值(S163)。
具体而言，帧间预测部113判定针对对象块应用了哪个运动模型。例如，帧间预测部113针对对象帧进行对象物提取，判定对象块与哪个对象物(背景、车或人等)相符合。然后，帧间预测部113使用该判定结果以及对象块的图像中的存在位置等信息等，预测对象块的运动信息。具体而言，在对人行横道进行拍摄的影像中，能够预想到人和识别出的对象物沿着人行横道移动。因此，帧间预测部113将沿着人行横道的运动信息设定为初始值。另外，在判定为背景的情况下，帧间预测部113将表示不存在运动的值设定为初期的运动信息。
然后，帧间预测部113将在步骤S162或S163中设定的初始值作为搜索点的初始值而进行运动搜索处理(S164)。
接下来，关于步骤S152的预测运动矢量的搜索处理的详细内容，使用图13的流程图来进行说明。
首先，帧间预测部113将位于对象块的周边的在1个以上的完成编码块中使用的运动矢量追加到预测运动矢量候选中(S171)。然后，帧间预测部113判定是否存在针对对象帧的运动模型信息134(S172)。
在存在针对对象帧的运动模型信息134的情况下(S172的“是”)，帧间预测部113将通过运动模型预测的运动矢量追加到预测运动矢量候选中(S173)。此外，作为该处理的具体方法，能够使用与步骤S163中说明的方法同样的方法。
帧间预测部113使用通过这些处理得到的多个预测运动矢量候选和在S164中得到的运动矢量，选择编码处理中使用的预测运动矢量(S174)。具体而言，帧间预测部113算出在步骤S164中得到的运动矢量和多个预测运动矢量候选的各个差分，将差分的代码量最小的预测运动矢量候选选择为预测运动矢量。
(效果)
本实施方式所涉及的图像编码装置100通过使用可以从运动图像获取的运动模型信息134，能够提高预测运动矢量的精度，因此，能够削减预测图像的生成所必需的运动信息。另外，图像编码装置100通过利用运动图像中的构造信息或统计信息，能够以少的运动信息生成高质量的预测图像。
此外，图像编码装置100可以从运动图像以外获取运动模型信息134，也可以从外部获取运动模型信息134。
例如，图像编码装置100也可以使用从毫米波雷达等设备得到的信息，作为运动模型信息134。由此，能够削减图像编码装置100内的运动模型解析处理中的处理量。另外，图像编码装置100也可以将从其他设备获取的信息作为从运动图像获取运动模型信息134时的辅助信息而使用。由此，与图像编码装置100从图像单体获取运动模型信息134的情况相比，能够获取更高质量的运动模型信息134。
此外，运动模型信息134可以针对1个序列存在1个以上，也可以对应于正在处理的帧而进行切换。由此，图像编码装置100即便在运动图像中产生了场景切换等大的变动的情况下，也能够利用适当的运动模型，因此，能够提高编码效率。
另外，图像编码装置100也可以在编码处理的中途，更新运动模型信息，对更新前后的运动模型信息的差分进行编码。由此，如在拍摄道路状态而得的影像中车的平均速度随着时间段的变化而变化的情况那样，在能够期待最大的编码效率的运动模型信息变动的情况下，图像编码装置100能够追随该变动，而变更要使用的运动模型。由此，所生成的参照图像的质量提高，因此，预测图像的质量提高。
如以上所述，本实施方式所涉及的图像编码装置100对多个图像进行编码。图像编码装置100获取表示多个图像中的物体的三维移动的运动模型信息134(S101)。例如，图像编码装置100从多个图像所含的1个以上的图像中提取运动模型信息134。
然后，图像编码装置100使用所获取的运动模型信息134生成参照图像155(S131)。例如，图像编码装置100对物体的代表图像152实施基于运动模型信息134的变形处理，由此生成对象物图像153，通过将对象物图像153和背景图像154合成，而生成参照图像155。
例如，运动模型信息134可表现为高阶变换矩阵(high-order transform matrix)的多个系数。图像编码装置100通过对代表图像152进行使用了上述高阶变换矩阵的运算，进行上述变形处理。另外，高阶变换矩阵也可以包含根据时间而变化的系数。
然后，图像编码装置100参照所生成的参照图像155，对多个图像所含的对象图像进行编码(S104～S106)。具体而言，图像编码装置100算出作为所生成的参照图像155的预测图像与对象图像的差分即差分图像，并对该差分图像进行编码。
由此，图像编码装置100通过使用运动模型信息134，能够以少的信息量生成预测图像，因此，能够提高编码效率。
另外，图像编码装置100使用运动模型信息134，算出对象图像所含的块的运动矢量的预测值(S163)，将该预测值用作初始值，进行块的运动搜索处理(S152)。
据此，通过使用运动模型信息134来设定运动搜索处理的初始值，能够缩短运动搜索处理的处理时间。
另外，图像编码装置100推定对象图像所含的块的运动矢量(S151)。图像编码装置100使用运动模型信息134，算出对象图像所含的块用的预测运动矢量候选(S173)，对包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个和所推定的运动矢量的差分进行编码(S153)。
据此，通过使用运动模型信息134来算出预测运动矢量候选，能够提高编码效率。
(实施方式2)
在本实施方式中，说明对通过实施方式1中说明过的图像编码装置100生成的比特流126进行解码的图像解码装置200以及图像解码方法。
图14是示出本实施方式所涉及的图像解码装置200的一例的框图。该图像解码装置200通过对比特流221解码而生成解码图像226。比特流221例如是通过实施方式1中说明的图像编码装置100生成的比特流126。
该图像解码装置200具备：熵解码部201、逆量化部202、逆频率转换部203、加法部204、帧内预测部205、环路滤波器206、帧存储器207、帧间预测部208、切换部209。
图15是示出帧间预测部208的详细的构成例的框图。帧间预测部208具备：使用运动模型信息230以及解码图像226生成参照图像241的参照图像生成部212、和通过进行帧间预测来生成预测图像(预测块228)的帧间预测图像生成部211。
以下，说明图像解码装置200的工作。图16是本实施方式所涉及的图像解码装置200的图像解码处理的流程图。
首先，熵解码部201从通过对包含1个以上的图画的静止图像或运动图像进行编码而生成的比特流221，对运动模型信息230进行解码(S201)。另外，熵解码部201从比特流221对预测信息231进行解码(S202)。另外，熵解码部201从比特流221对系数块222进行解码(S203)。
逆量化部202通过对系数块222进行逆量化而生成系数块223。逆频率转换部203通过对系数块223进行逆变换而生成差分块224(S204)。
帧内预测部205或帧间预测部208使用预测信息231、解码图像226以及运动模型信息230中的1个以上来生成预测块229(S205)。加法部204通过将差分块224和预测块229相加而生成解码块225(S206)。
另外，图像解码装置200反复进行上述一系列的处理，直至针对比特流221所含的所有块的解码处理完成为止(S207)。例如，图像解码装置200根据所输入的比特流221是否结束，来进行该判定。
此外，在1个图像整体的解码处理完成的情况下，环路滤波器206通过针对1个图像所含的多个解码块225，实施用于缓解因块失真而造成的画质劣化的去块滤波等用于画质改善的滤波处理，而生成解码图像226。帧存储器207保存解码图像226。该解码图像226在由帧间预测部208进行的帧间预测处理中使用。
此外，图16所示的各步骤的顺序不限于此。例如，既可以在预测信息解码处理(S202)之后进行运动模型信息的解码处理(S201)，也可以并行地执行这两个处理。
另外，步骤S204的逆量化以及逆频率转换处理，既可以作为分别独立的处理而依次执行，也可以一并地执行。此外，在HEVC等当前主流的编码标准中，逆量化以及逆频率转换处理被一并地执行。另外，在解码侧，也与实施方式1同样地，存在对于这些处理使用定标等表现的情况。
接下来，关于步骤S201的运动模型信息解码处理，使用图17的流程图进行说明。
首先，熵解码部201判定在比特流221中是否存在能够在对象帧中利用的运动模型信息230(S211)。在不存在运动模型信息230的情况下(S211的“否”)，熵解码部201结束步骤S201的处理。另一方面，在存在运动模型信息230的情况下(S211的“是”)，熵解码部201对运动模型信息230进行解码(S212)。
在此，运动模型信息230是指能够从运动图像获取的用于重构3D空间的信息、或者、表示运动图像中存在的对象物的大小以及坐标的变化量等空间内的对象物的变化量的信息。例如，在拍摄具有进深的空间的运动图像中，当存在于近前的对象物向深处方向移动时会变小那样，对象物的视觉表现发生变化。运动模型信息230是表示这种变化的信息，是以各系数表现该变化的仿射变换矩阵或射影变换矩阵。通过使用该运动模型信息230，能够从变化前预想到变化后。另外，该运动模型信息230也可以是具有时间参数的变量。
例如，在运动图像中，特定区域(道路上等)中的移动物体的速度在某程度上相同的情况下，作为道路上的区域中的运动模型信息，可以使用具有时间变量的射影变换矩阵。由此，能够以一个运动模型信息230表现道路区域的对象物的运动。由此，能够削减为了表现运动模型信息230而所需的信息量。
接下来，关于步骤S205的预测块生成处理，使用图18的流程图进行说明。
首先，切换部209判定用于对象块的预测方法是帧内预测还是帧间预测(S221)。具体而言，切换部209基于比特流221所含的信息来进行该判定。
在判定为帧内预测的情况下(S221的“帧内”)，帧内预测部205进行帧内预测处理(S222)。在判定为帧间预测的情况下(S221的“帧间”)，帧间预测部208进行帧间预测处理(S223)。
此外，步骤S221的帧内/帧间预测的判定处理不需要对各块进行。例如，在通过比特流221内的信息指定了序列整体的预测块生成方法的情况下，也可以仅利用步骤S222以及S223中被指定的方法。由此，能够削减解码处理整体的判定处理的次数，因此，能够削减处理量。
接下来，关于步骤S223的帧间预测处理，使用图19的流程图进行说明。
首先，帧间预测部208所含的参照图像生成部212使用运动模型信息230以及解码图像226来生成参照图像241(S241)。例如，帧间预测图像生成部211通过与实施方式1的步骤S131同样的处理，利用运动模型信息230来生成参照图像241。此外，如上所述，用于确定背景图像或代表图像的信息也可以包含于比特流221。在该情况下，参照图像生成部212，使用由该信息确定的背景图像或代表图像来生成参照图像241。
另外，参照图像生成部212，也可以不以图像为单位进行参照图像241的生成处理，而以处理块为单位生成参照图像241。由此，以与图像相比小的单位生成参照图像241，因此，能够削减保存参照图像241的存储器的容量。
接下来，帧间预测图像生成部211通过在H.264/AVC方式或H.265/HEVC方式中采用的那种利用了运动信息的帧间预测处理来生成预测图像(预测块228)(S242)。
此外，在图像解码装置200中利用的运动模型信息230也可以不包含于比特流221。例如，图像解码装置200也可以从外部获取与运动模型信息230相关的参数等。例如，在生成输入至图像解码装置200的比特流221的图像编码装置100所处理的影像已知的情况下，图像解码装置200也可以预先获取与该影像相关的运动模型信息230。由此，能够削减比特流221的代码量。
(效果)
本实施方式所涉及的图像解码装置200能够对包含了运动模型信息230的比特流221进行解码。另外，图像解码装置200通过利用运动模型信息230以及解码图像226来生成参照图像241，能够实现更高画质的图像的重构。
此外，也可以针对图像解码装置200，应用在上述的实施方式1中说明了的各种变形例。例如，图像解码装置200也可以在帧间预测图像生成处理(S242)中，进行与图11所示的处理对应的处理。也即是，图像解码装置200通过与步骤S171～S173同样的处理，导出预测运动矢量候选。然后，图像解码装置200基于比特流221所含的信息从多个预测运动矢量候选选择预测运动矢量。然后，图像解码装置200通过将比特流221所含的差分运动矢量和所选择的预测运动矢量相加而生成运动矢量。并且，图像解码装置200使用所生成的运动矢量生成预测图像。
另外，图像解码装置200进行与实施方式1中说明的编码处理对应的解码处理。具体而言，图像解码装置200通过进行与图像编码装置100同样的处理而生成各种信息。或者，图像解码装置200在该信息或确定或生成该信息的信息包含于比特流221的情况下，使用该信息。在此，各种信息是指表示运动模型、代表图像或背景图像等的信息或用于确定或生成上述信息的信息。
如以上所述，本实施方式所涉及的图像解码装置200从比特流221对多个图像进行解码。图像解码装置200获取表示多个图像中的物体的三维移动的运动模型信息230(S201)。例如，图像解码装置200从比特流221获取运动模型信息230。
图像解码装置200使用运动模型信息230生成参照图像241(S241)。例如，图像解码装置200通过对物体的代表图像152实施基于运动模型信息134的变形处理来生成对象物图像153，通过将对象物图像153和背景图像154合成而生成参照图像155。
例如，运动模型信息230可表现为高阶变换矩阵的多个系数。图像解码装置200通过对代表图像152进行使用了上述高阶变换矩阵的运算，来进行上述变形处理。另外，高阶变换矩阵也可以包含根据时间而变化的系数。
接下来，图像解码装置200参照所生成的参照图像241对多个图像所含的对象图像进行解码(S202～S206)。
据此，通过使用运动模型信息230，能够以少的信息量生成预测图像，因此，能够提高编码效率。
另外，图像解码装置200对包含于对象图像的块的运动矢量的差分值进行解码(S203以及S204)。图像解码装置200使用运动模型信息230，算出对象图像所含的块用的预测运动矢量候选(S173)，通过将包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个和上述差分值相加而算出运动矢量。
据此，通过使用运动模型信息230算出预测运动矢量候选而能够提高编码效率。
以上，对于实施方式所涉及的图像编码方法以及图像解码方法进行了说明，但本发明不限定于该实施方式。
例如，本发明也可以作为发布实施了上述图像编码方法的内容的内容发布方法或内容发布***而实现。也即是，内容发布***以及内容发布方法接收内容的发布请求，基于发布请求，发送实施了上述图像编码方法的内容。
另外，上述实施方式所涉及的图像编码装置以及图像解码装置所含的各处理部，典型地可以作为集成电路即LSI来实现。各处理部既可以分别地单芯片化，也可以以包含一部分或全部的方式单芯片化。
另外，集成电路化不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或可重构LSI内部的电路单元的连接和/或设定的可重构处理器。
在上述各实施方式中，各构成要素，由专用的硬件构成，但是，也可以通过执行适于各构成要素的软件程序来实现。各构成要素，也可以通过由CPU或处理器等程序执行部读出记录于硬盘或半导体存储器等记录介质的软件程序并执行来实现。
换言之，图像编码装置以及图像解码装置具备：处理电路(processing circuitry)和与该处理电路电连接(可从该控制电路访问)的存储装置(storage)。处理电路包含专用的硬件以及程序执行部的至少一方。另外，存储装置在处理电路包含程序执行部的情况下，存储由该程序执行部执行的软件程序。处理电路使用存储装置，对上述实施方式执行图像编码方法或图像解码方法。
进而，本发明既可以是上述软件程序，又可以是记录上述程序的非临时的计算机可读的记录介质。另外，当然，上述程序能够经由互联网等传送介质而流通。
另外，上述所使用的数字全部都是用于具体地说明本发明的例示，本发明不限制于所例示的数字。
另外，框图中的功能块的分割仅是一例，也可以将多个功能块作为一个功能块来实现、或者将一个功能块分割为多个、或者将一部分的功能移至其他的功能块。另外，也可以由单一的硬件或软件并行或分时地对具有类似的功能的多个功能块的功能进行处理。
另外，执行上述的图像编码方法或图像解码方法所含的步骤的顺序仅是用于对本发明具体地进行说明的例示，也可以是上述以外的顺序。另外，上述步骤的一部分也可以与其他的步骤同时(并行)地执行。
以上，基于实施方式对本发明的一个或多个方式所涉及的图像编码装置、图像解码装置、图像编码方法以及图像解码方法进行了说明，但是本发明不限定于上述实施方式。只要不脱离本发明的宗旨，对本实施方式实施本领域技术人员所能想到的各种变形后的方式、将不同的实施方式中的构成要素进行组合而构筑的方式也包含于本发明的一个或多个方式的范围内。
(实施方式3)
通过将用于实现在上述各实施方式中示出的运动图像编码方法(图像编码方法)或者运动图像解码方法(图像解码方法)的构成的程序记录在存储介质，能够在独立的计算机***中简单地实施在上述各实施方式中示出的处理。存储介质只要是磁盘、光盘、光磁盘、IC卡、半导体存储器等能够记录程序的介质即可。
进而，在此，说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)、运动图像解码方法(图像解码方法)的应用例和使用了该应用例的***。该***的特征在于具有图像编码解码装置，该图像编码解码装置包括使用了图像编码方法的图像编码装置以及使用了图像解码方法的图像解码装置。对于***中的其他构成，能够根据情况而适当地变更。
图20是示出实现内容发布服务的内容提供***ex100的整体构成的图。将通信服务的提供区域划分为期望的大小，在各单元内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
在该内容提供***ex100中，计算机ex111、PDA(个人数字助理：Personal DigitalAssistant)ex112、摄像头ex113、便携电话ex114、游戏机ex115等各设备经由互联网服务提供商ex102以及电话网ex104、以及基站ex106至ex110与互联网ex101连接。
然而，内容提供***ex100并非局限于图20那样的构成，也可以为对任意的要素进行组合后进行连接。另外，也可以不经由作为固定无线站的基站ex106至ex110，而是各设备与电话网ex104直接连接。另外，也可以是各设备经由近场无线等而相互直接连接。
摄像头ex113是数码摄像机等能够拍摄运动图像的设备，照相机ex116是数码相机等能够拍摄静止图像、运动图像的设备。另外，便携电话ex114是GSM(注册商标)(Global Systemfor Mobile Communications：全球移动通讯***)方式、CDMA(Code Division MultipleAccess：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或者LTE(Long Term Evolution：长期演进)方式、HSPA(High Speed PacketAccess：高速分组接入)的便携电话，或者PHS(Personal Handyphone System：个人便携电话***)等，可以是其中任意一个。
在内容提供***ex100中，摄像头ex113等通过基站ex109、电话网ex104与流媒体服务器ex103连接，由此，可以进行实时发布等。在实时发布中，针对用户利用摄像头ex113拍摄的内容(例如，音乐类型的影像等)进行在上述各实施方式中说明的编码处理(即，作为本发明的一个技术方案所涉及的图像编码装置来发挥作用)，并发送到流媒体服务器ex103。另一方面，流媒体服务器ex103针对提出请求的客户端，对发送来的内容数据进行流发布。作为客户端，包括能够解码上述被编码处理后的数据的计算机ex111、PDAex112、摄像头ex113、便携电话ex114、游戏机ex115等。在接收了被发布的数据的各设备中，对所接收的数据进行解码处理并进行再现(即，作为本发明的一个技术方案所涉及的图像解码装置来发挥作用)。
此外，拍摄到的数据的编码处理可以在摄像头ex113进行，也可以在进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担地进行。同样地，被发布的数据的解码处理可以由客户端进行，也可以在流媒体服务器ex103进行，也可以相互分担地进行。另外，不仅限于摄像头ex113，由照相机ex116拍摄到的静止图像以及/或者运动图像数据，也可以经由计算机ex111而发送到流媒体服务器ex103。该情况下的编码处理可以在摄像头ex116、计算机ex111、流媒体服务器ex103中的任意设备中进行，也可以相互分担地进行。
另外，这些编码/解码处理，通常在在计算机ex111和/或各设备所具有的LSIex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。此外，也可以将运动图像编码/解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用该软件来进行编码/解码处理。进而，在便携电话ex114附带有摄像头的情况下，也可以发送由该摄像头获取的运动图像数据。此时的运动图像数据是由便携电话ex114所具有的LSIex500进行编码处理后的数据。
另外，流媒体服务器ex103也可以是多个服务器和/或多个计算机，即对数据进行分散地处理、记录、发布的装置。
如以上所述，在内容提供***ex100中，客户端能够接收并再现被编码的数据。在这样的内容提供***ex100中，客户端能够实时地接收并解码由用户发送的信息，并且能够再现，即使是没有特殊权利和/或设备的用户也能够实现个人播送。
此外，不仅限于内容提供***ex100的例子，如图21所示，在数字广播用***ex200中，也可以组入上述各实施方式的至少运动图像编码装置(图像编码装置)和运动图像解码装置(图像解码装置)中的任一个。具体而言，在广播电台ex201，在影像数据复用了音乐数据等的复用数据经由电波来通信或者被传送到卫星ex202。该影像数据是通过上述各实施方式中说明的运动图像编码方法而被编码的数据(即，利用本发明的一个技术方案所涉及的图像编码装置而编码的数据)。接收了该数据的广播卫星ex202发送广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。所接收的复用数据由电视机(接收机)ex300或者机顶盒(STB)ex217等装置进行解码并再现(即，作为本发明的一个技术方案所涉及的图像解码装置发挥作用)。
另外，在读取并解码DVD、BD等记录介质ex215中记录的复用数据的、或者将影像信号编码在记录介质ex215中、进而根据不同情况与音乐信号复用后进行写入的读取器/记录器ex218上，也可以安装上述各实施方式所示的运动图像解码装置或者运动图像编码装置。该情况下，被再现的影像信号被监视屏ex219显示，并且能够从记录了复用数据的记录介质ex215在其他的装置和/或***中对影像信号再现。另外，也可以将运动图像解码装置安装到与有线电视用的线缆ex203或者卫星/地面波广播的天线ex204连接的机顶盒ex217内，并将其在电视机的监视屏ex219上显示。此时，也可以不在机顶盒，而在电视机内组装运动图像解码装置。
图22是示出使用了上述各实施方式中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备：调谐器ex301，其经由接收上述广播的天线ex204或者线缆ex203等获取或者输出在影像数据复用了声音数据的复用数据；调制/解调部ex302，其对接收到的复用数据进行解调或者调制为发送到外部的复用数据；以及复用/分离部ex303，将解调后的复用数据分离为影像数据和声音数据，或者将由信号处理部ex306编码后的影像数据、声音数据进行复用。
另外，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音数据和影像数据进行解码或者对各个信息进行编码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的一个技术方案所涉及的图像编码装置或者图像解码装置发挥作用)，所述输出部ex309具有对解码后的声音信号进行输出的扬声器ex307以及对解码后的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而，电视机ex300具有综合控制各部的控制部ex310和向各部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与读取器/记录器ex218等外部设备连接的网桥ex313、用于可供SD卡等记录介质ex216安装的卡槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。此外，记录介质ex216能够通过容纳的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300通过天线ex204等从外部获取的复用数据进行解码并再现的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调后的复用数据在复用/分离部ex303中进行分离。进而，电视机ex300将分离后的声音数据在声音信号处理部ex304进行解码，利用上述各实施方式中说明的解码方法将分离后的影像数据在影像信号处理部ex305进行解码。解码后的声音信号、影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再现，而可以在缓冲器ex318、ex319等暂时储存这些信号。另外，电视机ex300可以不从广播等读出复用数据，而是从磁/光盘、SD卡等记录介质ex215、ex216读出复用数据。然后，对以下构成进行说明：电视机ex300对声音信号和/或影像信号进行编码，并发送到外部或者写入到记录介质等的构成。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，利用在上述各实施方式中说明的编码方法在影像信号处理部ex305对影像信号进行编码。被编码的声音信号、影像信号在复用/分离部ex303被复用，并被输出到外部。在进行复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时储存到缓冲器ex320、ex321等。此外，关于缓冲器ex318、ex319、ex320、ex321，可以如图中所示那样具备多个，也可以是共享1个以上的缓冲器的构成。进而，除图中所示之外，例如可以在调制/解调部ex302和复用/分离部ex303之间等，作为回避***的上溢(over flow)和下溢(under flow)的缓冲部分，在缓冲器中储存数据。
另外，电视机ex300除具有获取来自广播等和/或记录介质等的声音数据、影像数据的构成之外，还可以具有接受麦克风和/或摄像头的AV输入的构成，并且，也可以对从这些获取的数据进行编码处理。此外，在此，虽然对电视机ex300能够进行上述的编码处理、复用以及外部输出的构成进行了说明，但也可以是不进行上述的处理、而仅进行上述的接收、解码处理、外部输出的构成。
另外，在读取器/记录器ex218从记录介质中读出或写入复用数据的情况下，上述的解码处理或者编码处理也可以在电视机ex300、读取器/记录器ex218中的某一个中进行，也可以是电视机ex300和读取器/记录器ex218彼此分担地进行。
作为一例，图23示出了从光盘进行数据的读取或者写入的情况下的信息再现/记录部ex400的构成。信息再现/记录部ex400具备以下将要说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头(optical head)ex401将激光点照射到作为光盘的记录介质ex215的记录面而写入信息，检测来自记录介质ex215的记录面的反射光而读取信息。调制记录部ex402对内置于光学头ex401的半导体激光器进行电驱动，按照记录数据来进行激光的调制。再现解调部ex403对由内置于光学头ex401的光电检测器对来自记录面的反射光进行电检测而得到的再现信号进行放大，对记录在记录介质ex215的信号成分进行分离并解调，再现所需的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再现的信息进行暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406在对盘马达ex405的旋转驱动进行控制的同时，将光学头ex401移动到预定的信息道，进行激光点的跟随处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出和/或写入的处理通过以下方式来实现：***控制部ex407一边利用保持在缓冲器ex404中的各种信息、或根据需要进行新信息的生成/追加，并且使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调工作，一边通过光学头ex401进行信息的记录再现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行这些处理。
以上，光学头ex401作为照射激光点的器件进行了说明，但也可以是使用近场光来进行更高密度的记录的构成。
图24中示出作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面以螺旋状形成引导槽(groove)，在信息道ex230预先记录有根据槽的形状的变化来表示盘上的绝对位置的地址信息。该地址信息包含用于确定作为记录数据的单位的记录块ex231的位置的信息，在进行记录和/或再现的装置中，通过再现信息道ex230并读取地址信息，能够确定记录块。另外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或者外周的内周区域ex232和外周区域ex234，用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这种记录介质ex215的数据记录区域ex233，进行编码后的声音数据、影像数据或对这些数据进行了复用而得到的复用数据的读写。
以上，以单层的DVD、BD等光盘为例进行了说明，但不限于此，也可以是多层构造且在表面以外也能够进行记录的光盘。另外，也可以是在盘的相同部位使用各种不同波长的颜色的光来记录信息，和/或从各种角度记录不同信息的层等进行多维度的记录/再现的构造的光盘。
另外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据，在车ex210所具有的车载导航ex211等的显示装置上使运动图像再现。此外，车载导航ex211的构成例如考虑是在图22所示的构成中的、加入了GPS接收部的构成，对于计算机ex111或便携电话ex114等也可考虑同样的情况。
图25A是表示使用了上述实施方式中说明的运动图像解码方法以及运动图像编码方法的便携电话ex114的图。便携电话ex114具备：用于在与基站ex110之间收发电波的天线ex350；能够拍摄影像、静止图像的摄像头部ex365；以及显示由摄像头部ex365拍摄到的影像、对由天线ex350接收到的影像等进行了解码后的数据的液晶显示器等显示部ex358。便携电话ex114还具备：具有操作键部ex366的主体部；用于输出声音的作为扬声器等的声音输出部ex357；用于输入声音的作为麦克风等的声音输入部ex356；保存所拍摄到的影像、静止图像、录制的声音或者对接收到的影像、静止图像、邮件等进行了编码后的数据或解码后的数据的存储器部ex367或作为与同样地保存数据的记录介质连接的接口部的卡槽部ex364。
进而，使用图25B对便携电话ex114的构成例进行说明。便携电话ex114中，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像头接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、卡槽部ex364、存储器部ex367，相对于综合控制具备显示部ex358以及操作键部ex366的主体部的各部的主控制部ex360，经由总线ex370而相互连接。
电源电路部ex361在通过用户的操作而挂断及电源键被设为接通状态时，通过从电池包对各部提供电力，使便携电话ex114启动为能够工作的状态。
便携电话ex114基于具有CPU、ROM、RAM等的主控制部ex360的控制，在声音通话模式时通过声音信号处理部ex354将由声音输入部ex356收集到的声音信号转换成数字声音信号，通过调制/解调部ex352对该数字声音信号进行扩频处理，通过发送/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350进行发送。另外，便携电话ex114在声音通话模式时将经由天线ex350接收到的接收数据进行放大并实施频率转换处理以及模拟数字转换处理，通过调制/解调部ex352进行逆扩频处理，通过声音信号处理部ex354转换成模拟声音信号，然后从声音输出部ex357输出该模拟声音信号。
进而，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作而输入的电子邮件的文本数据，经由操作输入控制部ex362送出到主控制部ex360。主控制部ex360通过调制/解调部ex352对文本数据进行扩频处理，通过发送/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据进行大致相反的处理，并输出到显示部ex358。
在数据通信模式时发送影像、静止图像或者影像及声音的情况下，影像信号处理部ex355通过上述各实施方式中示出的运动图像编码方法对从摄像头部ex365提供的影像信号进行压缩编码(即，作为本发明的一个技术方案所涉及的图像编码装置发挥功能)，将编码后的影像数据送出到复用/分离部ex353。另外，声音信号处理部ex354对在正在由摄像头部ex365拍摄影像、静止图像等的期间由声音输入部ex356收集到的声音信号进行编码，将编码后的声音数据送出到复用/分离部ex353。
复用/分离部ex353以预定的方式对从影像信号处理部ex355提供的编码后的影像数据和从声音信号处理部ex354提供的编码后的声音数据进行复用，将该结果得到的复用数据通过调制/解调部(调制/解调电路部)ex352进行扩频处理，通过发送/接收部ex351实施数字模拟转换处理以及频率转换处理，然后经由天线ex350进行发送。
在数据通信模式时接收链接到主页等的运动图像文件的数据的情况下、或者接收添加了影像和/或声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过对复用数据进行分离来分成影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码了的影像数据提供到影像信号处理部ex355，并且将被编码了的声音数据提供到声音信号处理部ex354。影像信号处理部ex355通过使用与上述各实施方式中示出的运动图像编码方法对应的运动图像解码方法进行解码来对影像信号进行解码(即，作为本发明的一个技术方案所涉及的图像解码装置发挥功能)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件所包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
另外，对于上述便携电话ex114等终端，与电视机ex300同样地，除具有编码器和解码器这两方的收发型终端之外，可以考虑仅有编码器的发送终端、仅有解码器的接收终端这3种安装形式。进而，在数字广播用***ex200中，作为对在影像数据中复用了音乐数据等而得到的复用数据进行收发的情况进行了说明，但也可以是除声音数据以外还复用有与影像关联的文字数据等而得到的数据，还可以不是复用数据而是影像数据本身。
这样，能够将上述各实施方式中示出的运动图像编码方法或运动图像解码方法用于上述的任意的设备和***，如此，能够获得上述各实施方式中说明的效果。
另外，本发明并不限定于上述实施方式，可以不脱离本发明的范围而进行各种变形或者修正。
(实施方式4)
也可以根据需要来适当切换上述各实施方式中示出的运动图像编码方法或者装置与遵循MPEG-2、MPEG4-AVC、VC-1等不同标准的运动图像编码方法或者装置，由此能够生成影像数据。
在此，在生成了分别遵循不同标准的多个影像数据的情况下，在进行解码时，需要选择与各个标准对应的解码方法。但是，会产生如下问题：由于无法识别要解码的影像数据是遵循哪个标准的影像数据，因此，无法选择适当的解码方法。
为了解决上述问题，设为如下构成：对影像数据复用了声音数据等而得到的复用数据包含表示影像数据是遵循哪个标准的影像数据的识别信息。以下说明包含通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据的复用数据的具体构成。复用数据是MPEG-2传输流形式的数字流。
图26是示出复用数据的构成的图。如图26所示，复用数据是通过对视频流、音频流、演示图形流(PG：presentation graphics stream)、交互图形流中的1个以上的流进行复用而得到的。视频流表示电影的主影像以及副影像，音频流(IG)表示电影的主声音部分和与该主声音混音的副声音，演示图形流表示电影的字幕。在此，主影像表示显示于画面的通常的影像，副影像是在主影像中以小画面显示的影像。另外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过上述各实施方式中示出的运动图像编码方法或者装置、遵循了以往的MPEG-2、MPEG4-AVC、VC-1等标准的运动图像编码方法或者装置进行编码。音频流以杜比(Dolby)AC-3、杜比数字+(Dolby Digital Plus)、MLP、DTS、DTS-HD或者线性PCM等的方式进行编码。
复用数据所包含的各流通过PID来识别。例如，对在电影的影像中利用的视频流分配0x1011，对音频流分配0x1100～0x111F，对演示图形流分配0x1200～0x121F，对交互图形流分配0x1400～0x141F，对在电影的副影像中利用的视频流分配0x1B00～0x1B1F，对在与主声音混音的副声音中利用的音频流分配0x1A00～0x1A1F。
图27是示意性表示复用数据被如何复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别转换成PES包串ex236以及ex239，并转换成TS包ex237以及ex240。同样地将演示图形流ex241以及交互图形流ex244的数据分别转换成PES包串ex242以及ex245，进而转换成TS包ex243以及ex246。复用数据ex247是通过将这些TS包复用到1条流而构成的。
图28更详细地示出了在PES包串中视频流被如何保存。图28中的第1段表示视频流的视频帧串。第2段表示PES包串。如图28的箭头yy1、yy2、yy3、yy4所示，视频流中的多个视频演示单元(Video Presentation Unit)即I图画、B图画、P图画按各个图画进行划分，并保存于PES包的有效载荷(payload)。各PES包具有PES头，在PES头中保存有作为图画的显示时刻的PTS(Presentation Time-Stamp：演示时间戳)和/或作为图画的解码时刻的DTS(DecodingTime-Stamp：解码时间戳)。
图29示出了最终写入到复用数据的TS包的形式。TS包是由具有识别流的PID等信息的4个字节的TS头和保存数据的184个字节的TS有效载荷构成的188个字节固定长度的包，上述PES包被分割地保存于TS有效载荷。在BD-ROM的情况下，对TS包附加4个字节的TP_Extra_Header，构成192个字节的源包，并写入到复用数据。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp，到达时间戳)等信息。ATS表示该TS包向解码器的PID滤波器传送的传送开始时刻。在复用数据中，如图29下部所示那样排列源包，复用数据的从开头递增的序号被称为SPN(source packet number，源包编号)。
另外，在复用数据中所含的TS包中，除了影像、声音、字幕等的各流以外还存在PAT(Program Association Table：节目关联表)，PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟参考)等。PAT表示在复用数据中利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有在复用数据中包含的影像、声音、字幕等的各流的PID和与各PID对应的流的属性信息，另外，具有与复用数据相关的各种描述符(descriptor)。描述符具有指示允许或不允许复用数据的复制的复制控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock；到达时间时钟)与作为PTS、DTS的时间轴的STC(SystemTime Clock：***时间时钟)的同步，具有与该PCR包被传送到解码器的ATS对应的STC时间的信息。
图30是详细地说明PMT的数据构造的图。在PMT的开头，配置有记载了该PMT所包含的数据的长度等的PMT头。在其之后配置有多个与复用数据相关的描述符。上述复制控制信息等被记载为描述符。在描述符之后配置有与多个与复用数据所含的各流相关的流信息。流信息为了识别流的压缩编解码器等而包括流类型、流的PID、记载有流的属性信息(帧率、纵横比等)的流描述符。流描述符的个数与存在于复用数据的流的个数相当。
在向记录介质等进行记录的情况下，上述复用数据与复用数据信息文件一起进行记录。
如图31所示，复用数据信息文件是复用数据的管理信息，与复用数据一一对应，包括复用数据信息、流属性信息和条目映射(entry map)。
如图31所示，复用数据信息包括***速率、再现开始时刻、再现结束时刻。***速率表示复用数据的向下述的***目标解码器的PID滤波器传送的最大传送速率。复用数据中所包含的ATS的间隔被设定成为***速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻被设定对复用数据的末尾的视频帧的PTS加上1帧的再现间隔而得到的时刻。
如图32所示，流属性信息按各PID登记有关于复用数据所包含的各流的属性信息。属性信息按视频流、音频流、演示图形流、交互图形流而具有不同的信息。视频流属性信息具有该视频流是以何种压缩编解码器进行了压缩、构成视频流的各个图画数据的分辨率是多少、纵横比是多少、帧率是多少等信息。音频流属性信息具有该音频流以何种压缩编解码器进行了压缩、该音频流所含的通道数是几个、与那种语言对应、采样频率是多个等信息。这些信息被用于播放器进行再现之前的解码器的初始化等。
在本实施方式中，利用上述复用数据中的包含于PMT的流类型。另外，在记录介质中记录有复用数据的情况下，利用复用数据信息所含的视频流属性信息。具体而言，在上述各实施方式中示出的运动图像编码方法或者装置中，设置如下的步骤或单元：对PMT所包含的流类型或者视频流属性信息设定表示是通过上述各实施方式中示出的运动图像编码方法或者装置生成的影像数据这一情况的固有信息。通过该构成，能识别通过上述各实施方式中示出的运动图像编码方法或者装置生成的影像数据和遵循其他标准的影像数据。
另外，图33中示出本实施方式中的运动图像解码方法的步骤。在步骤exS100中，从复用数据取得PMT所包含的流类型或者复用数据信息所包含的视频流属性信息。然后，在步骤exS101中，判断流类型或者视频流属性信息是否表示是通过上述各实施方式中示出的运动图像编码方法或者装置生成的复用数据。而且，在判断为流类型或者视频流属性信息是通过上述各实施方式中示出的运动图像编码方法或者装置生成的数据的情况下，在步骤exS102中，通过上述各实施方式中示出的运动图像解码方法来进行解码。另外，在流类型或者视频流属性信息表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的数据的情况下，在步骤exS103中，通过遵循以往的标准的运动图像解码方法来进行解码。
这样，通过对流类型或者视频流属性信息设定新的固有值，在进行解码时，能够判断是否能够通过上述各实施方式中所述的运动图像解码方法或者装置进行解码。因此，即使在输入了遵循不同的标准的复用数据的情况下，也能够选择适当的解码方法或者装置，因此，能够不会发生错误地进行解码。另外，也可以将本实施方式中所述的运动图像编码方法或装置、或者运动图像解码方法或装置用于上述的任何设备、***。
(实施方式5)
上述各实施方式中所述的运动图像编码方法以及装置、运动图像解码方法以及装置典型而言通过作为集成电路的LSI来实现。作为一例，图34中示出单芯片化的LSIex500的构成。LSIex500具备以下要说明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要素经由总线ex510连接。电源电路部ex505在电源为接通状态的情况下，对各部供给电力，由此启动成为能够工作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/O(影音接口)ex509从麦克风ex117和/或摄像头ex113等输入AV信号。所输入的AV信号暂时存储在SDRAM等外部存储器ex511中。基于控制部ex501的控制，根据处理量和/或处理速度将所存储的数据适当地分多次地发送给信号处理部ex507，在信号处理部ex507中进行声音信号的编码和/或影像信号的编码。在此，影像信号的编码处理是上述各实施方式中说明的编码处理。在信号处理部ex507中，进一步，根据情况来进行对编码后的声音数据和编码后的影像数据进行复用等的处理，从流I/O(接口)ex506输出到外部。该输出的复用数据被发送到基站ex107、或者被写入到记录介质ex215。此外，在进行复用时为了同步而暂时将数据存储于缓冲器ex508即可。
此外，在上述中，存储器ex511作为LSIex500的外部结构而进行了说明，但是，也可以是包含于LSIex500的内部的结构。缓冲器ex508也不限于1个，也可以具备多个缓冲器。另外，LSIex500既可以被单芯片化，也可以被多芯片化。
另外，在上述中，设为：控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的构成不限于此。例如，信号处理部ex507也可以是还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，能够进一步提高处理速度。另外，作为另一例，也可以是CPU ex502具备信号处理部ex507或者作为信号处理部ex507的一部分的例如声音信号处理部的构成。在这种情况下，控制部ex501成为具备具有信号处理部ex507或其一部分的CPU ex502的构成。
此外，在此设为LSI，但是，根据集成度的不同，有时也被称为IC、***LSI、超LSI、超大LSI。
另外，集成电路化的方法不限于LSI，也可以通过专用电路或者通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)或可以对LSI内部的电路单元的连接和/或设定进行重构的可重构处理器。典型而言，这样的可编程逻辑器件通过加载或从存储器等读取软件或构成固件的程序，能够执行上述各实施方式中示出的运动图像编码方法或运动图像解码方法。
进而，如果根据半导体技术的发展或者派生的其他技术而出现能够替代LSI的集成电路化的技术，当然，也可以利用该技术进行功能块的集成化。也可能会存在应用生物技术等的可能性。
(实施方式6)
在对通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据进行解码的情况下，认为与对遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据进行解码的情况相比，处理量会增加。因此，在LSIex500中，需要设定为比对遵循以往的标准的影像数据进行解码时的CPUex502的驱动频率高的驱动频率。然而，会产生如下问题：若提高驱动频率，则功耗会变高。
为了解决该问题，电视机ex300、LSIex500等运动图像解码装置设为如下构成：识别影像数据是遵循哪个标准的数据，并根据标准来切换驱动频率。图35示出了本实施方式中的构成ex800。驱动频率切换部ex803在影像数据是通过上述各实施方式中示出的运动图像编码方法或者装置生成的数据的情况下，将驱动频率设定为高。并且，对执行上述各实施方式中所述的运动图像解码方法的解码处理部ex801进行指示，使得对影像数据进行解码。另一方面，在影像数据是遵循以往标准的影像数据的情况下，将驱动频率设定为比影像数据是通过上述各实施方式中所述的运动图像编码方法或者装置生成的数据的情况下的驱动频率低。并且，对遵循以往的标准的解码处理部ex802进行指示，使得对影像数据进行解码。
更具体而言，驱动频率切换部ex803包括图34的CPUex502和驱动频率控制部ex512。另外，执行上述各实施方式中所述的运动图像解码方法的解码处理部ex801以及遵循以往的标准的解码处理部ex802相当于图34的信号处理部ex507。CPUex502识别影像数据是遵循哪个标准的影像数据。并且，驱动频率控制部ex512基于来自CPUex502的信号，来设定驱动频率。另外，信号处理部ex507基于来自CPUex502的信号，来进行影像数据的解码。在此，对于影像数据的识别，例如考虑利用实施方式4中记载的识别信息。关于识别信息，不限于实施方式4中记载的识别信息，只要是能够识别影像数据是遵循哪个标准的信息即可。例如，在能够基于用于识别影像数据是电视机所利用的影像数据、还是盘所利用的影像数据等的外部信号，识别影像数据是遵循哪个标准的影像数据的情况下，也可以基于这样的外部信号来进行识别。另外，CPUex502中的驱动频率的选择例如考虑基于图37那样的使影像数据的标准与驱动频率相关联的查找表来进行。将查找表预先保存于缓冲器ex508和/或LSI的内部存储器，CPUex502参照该查找表，由此能够选择驱动频率。
图36示出实施本实施方式的方法的步骤。首先，在步骤exS200，在信号处理部ex507中，从复用数据获取识别信息。然后，在步骤exS201，在CPUex502中，基于识别信息来识别影像数据是否是通过上述各实施方式中示出的编码方法或者装置生成的数据。在影像数据是通过上述各实施方式中示出的编码方法或者装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定为高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，在步骤exS203中，CPUex502将用于将驱动频率设定为低的信号发送到驱动频率控制部ex512。并且，在驱动频率控制部ex512中，将驱动频率设定为比影像数据是通过上述各实施方式中所述的编码方法或者装置生成的影像数据的情况下的驱动频率低。
进而，通过与驱动频率的切换联动地变更对包含LSIex500或者LSIex500的装置施加的电压，能够进一步提高省电效果。例如，在将驱动频率设定为低的情况下，与之相伴地，考虑将对包含LSIex500或LSIex500的装置施加的电压设定为比将驱动频率设定为高的情况下的该电压低。
另外，驱动频率的设定方法中，在解码时的处理量大的情况下将驱动频率设定为高，在解码时的处理量小的情况下将驱动频率设定为低即可，不限定于上述的设定方法。例如，在对遵循MPEG4-AVC标准的影像数据进行解码的处理量比通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据进行解码的处理量大的情况下，考虑使驱动频率的设定与上述的情况相反。
进而，驱动频率的设定方法不限定于使驱动频率降低的构成。例如，也考虑在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据的情况下，将对包含LSIex500或者LSIex500的装置施加的电压设定为高，在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，将对包含LSIex500或者LSIex500的装置施加的电压设定为低。另外，作为另一例，也考虑在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据的情况下，不使CPUex502的驱动停止，而在表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下，由于处理有余裕，因此，使CPUex502的驱动暂时停止。也考虑即使在识别信息表示是通过上述各实施方式中所述的运动图像编码方法或者装置生成的影像数据的情况下，如果处理有余裕，则也使CPUex502的驱动暂时停止。该情况下，考虑将停止时间设定为比表示是遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况下的停止时间短。
这样，通过根据影像数据所遵循的标准来切换驱动频率，能够实现省电化。另外，在使用电池来驱动包含LSIex500或者LSIex500的装置的情况下，伴随省电化，能够使电池的寿命延长。
(实施方式7)
电视机、便携电话等上述的设备和***有时被输入遵循不同标准的多个影像数据。这样，为了使得在被输入遵循不同标准的多个影像数据的情况下也能够进行解码，需要使LSIex500的信号处理部ex507支持多个标准。然而，会产生如下问题：若单独地使用支持各个标准的信号处理部ex507，则LSIex500的电路规模会变大，另外，成本会增加。
为了解决该问题，设为如下结构：使用于执行上述各实施方式中所述的运动图像解码方法的解码处理部和遵循以往的MPEG-2、MPEG4-AVC、VC-1等标准的解码处理部在一部分上共用。将该构成例示出在图38A的ex900中。例如，对于上述各实施方式中所述的运动图像解码方法和遵循MPEG4-AVC标准的运动图像解码方法，在熵编码、逆量化、去块滤波、运动补偿等处理中，处理内容的一部分是共同的。可以考虑如下构成：关于共同的处理内容，共用支持MPEG4-AVC标准的解码处理部ex902，关于不支持MPEG4-AVC标准的本发明的一个技术方案所特有的其他处理内容，使用专用的解码处理部ex901。尤其是，本发明的一个技术方案中，在运动补偿方面具有特征，因此，可以考虑例如对于运动补偿使用专用的解码处理部ex901，对于除此以外的熵解码、逆量化、去块滤波中的任意一个或者全部的处理，共用解码处理部。关于解码处理部的共用化，也可以是如下构成：对于共同的处理内容，共用用于执行上述各实施方式中所述的运动图像解码方法的解码处理部，对于MPEG4-AVC标准所特有的处理内容，使用专用的解码处理部。
另外，在图38B的ex1000中示出使处理一部分共用的另一例。在该例中，设为如下构成：使用与本发明的一个技术方案所特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、以及与本发明的一个技术方案所涉及的运动图像解码方法和其他的以往标准的运动图像解码方法共同的处理内容对应的共用的解码处理部ex1003。在此，专用的解码处理部ex1001、ex1002不一定专用于本发明的一个技术方案或其他的以往标准所特有的处理内容，也可以是能够执行其他的通用处理的单元。另外，也可以在LSIex500中安装本实施方式的构成。
这样，通过针对在本发明的一个技术方案所涉及的运动图像解码方法和以往的标准的运动图像解码方法中共同的处理内容，共用解码处理部，能够减小LSI的电路规模并降低成本。
产业上的可利用性
本发明可以应用于图像处理装置、图像的拍摄装置以及图像的再现装置。具体而言，本发明可以应用于数字静态相机、摄像机、带摄像头功能的便携电话以及智能手机等。

Claims (16)

1.一种图像编码方法，是对多个图像进行编码的图像编码方法，包括：
获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；
参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及
编码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行编码。
2.根据权利要求1所述的图像编码方法，
在所述获取步骤中，从所述多个图像所包含的一个以上的图像提取所述运动模型信息。
3.根据权利要求1或2所述的图像编码方法，
在所述参照图像生成步骤中，
通过对所述物体的代表图像实施基于所述运动模型信息的变形处理来生成对象物图像，
通过将所述对象物图像和背景图像合成来生成所述参照图像。
4.根据权利要求3所述的图像编码方法，
所述运动模型信息表现为高阶变换矩阵的多个系数，
在所述参照图像生成步骤中，通过对所述代表图像进行使用了所述高阶变换矩阵的运算来进行所述变形处理。
5.根据权利要求4所述的图像编码方法，
所述高阶变换矩阵包含根据时间而变化的系数。
6.根据权利要求1～5中任意一项所述的图像编码方法，还包括：
预测步骤，使用所述运动模型信息，算出所述对象图像所包含的块的运动矢量的预测值；和
运动搜索步骤，使用所述预测值作为初始值来进行所述块的运动搜索处理。
7.根据权利要求1～5中任意一项所述的图像编码方法，还包括：
推定步骤，推定所述对象图像所包含的块的运动矢量；
预测步骤，使用所述运动模型信息，算出用于所述对象图像所包含的块的预测运动矢量候选；
运动矢量编码步骤，对包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个与所推定的所述运动矢量的差分进行编码。
8.一种图像解码方法，是从比特流解码多个图像的图像解码方法，包括：
获取步骤，获取运动模型信息，所述运动模型信息表示所述多个图像中的物体的三维移动；
参照图像生成步骤，使用所述运动模型信息来生成参照图像；以及
解码步骤，参照所生成的所述参照图像，对所述多个图像所包含的对象图像进行解码。
9.根据权利要求8所述的图像解码方法，
在所述获取步骤中，从所述比特流获取所述运动模型信息。
10.根据权利要求8或9所述的图像解码方法，
在所述参照图像生成步骤中，
通过对所述物体的代表图像实施基于所述运动模型信息的变形处理来生成对象物图像，
通过将所述对象物图像和背景图像合成来生成所述参照图像。
11.根据权利要求8～10中任意一项所述的图像解码方法，
所述运动模型信息表现为高阶变换矩阵的多个系数，
在所述参照图像生成步骤中，通过对所述对象图像进行使用了所述高阶变换矩阵的运算来进行所述变形处理。
12.根据权利要求11所述的图像解码方法，
所述高阶变换矩阵包含根据时间而变化的系数。
13.根据权利要求8～12中任意一项所述的图像解码方法，还包括：
差分运动矢量解码步骤，对所述对象图像所包含的块的运动矢量的差分值进行解码；
预测步骤，使用所述运动模型信息，算出用于所述对象图像所包含的块的预测运动矢量候选；以及
算出步骤，通过将包含所算出的预测运动矢量候选的多个预测运动矢量候选的某一个与所述差分值相加来算出运动矢量。
14.一种图像编码装置，是对多个图像进行编码的图像编码装置，具备：
处理电路；和
与所述处理电路连接的存储器，
所述处理电路使用所述存储器来执行权利要求1所述的图像编码方法。
15.一种图像解码装置，是从比特流解码多个图像的图像解码装置，具备：
处理电路；和
与所述处理电路连接的存储器，
所述处理电路使用所述存储器来执行权利要求8所述的图像解码方法。
16.一种内容发布方法，包括：
接收步骤，接收内容的发布请求；和
发送步骤，基于所述发布请求，发送实施权利要求1所述的图像编码方法而得到的所述内容。
CN201580028208.7A 2014-07-18 2015-06-15 图像编码方法、图像解码方法、图像编码装置、图像解码装置及内容发布方法 Pending CN106464900A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462026060P 2014-07-18 2014-07-18
US62/026,060 2014-07-18
US201462027268P 2014-07-22 2014-07-22
US62/027,268 2014-07-22
JP2015-088812 2015-04-23
JP2015088812 2015-04-23
PCT/JP2015/002970 WO2016009587A1 (ja) 2014-07-18 2015-06-15 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びコンテンツ配信方法

Publications (1)

Publication Number Publication Date
CN106464900A true CN106464900A (zh) 2017-02-22

Family

ID=55078102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580028208.7A Pending CN106464900A (zh) 2014-07-18 2015-06-15 图像编码方法、图像解码方法、图像编码装置、图像解码装置及内容发布方法

Country Status (6)

Country Link
US (1) US20170127081A1 (zh)
EP (1) EP3171597A4 (zh)
JP (1) JPWO2016009587A1 (zh)
KR (1) KR20170035832A (zh)
CN (1) CN106464900A (zh)
WO (1) WO2016009587A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066322A (zh) * 2017-06-14 2020-04-24 华为技术有限公司 通过透视信息进行视频编码的帧内预测
CN111837393A (zh) * 2018-03-15 2020-10-27 索尼公司 图像处理设备和方法
CN112153384A (zh) * 2020-07-23 2020-12-29 西安万像电子科技有限公司 图像编解码方法及装置
CN113392780A (zh) * 2021-06-17 2021-09-14 南开大学 一种面向ai识别汉字的文字图像扭曲变形方法
CN114930338A (zh) * 2020-01-08 2022-08-19 株式会社科学计算综合研究所 信息处理***、信息处理方法及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3550844A1 (en) * 2016-11-30 2019-10-09 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method and three-dimensional model distribution device
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US20200336747A1 (en) * 2017-10-19 2020-10-22 Lg Electronics Inc. Inter prediction mode-based image processing method and device therefor
US11039104B2 (en) * 2018-04-18 2021-06-15 N3N Co., Ltd. Apparatus and method to transmit data by extracting data in shop floor image, apparatus and method to receive data extracted in shop floor image, and system to transmit and receive data extracted in shop floor image
WO2020192109A1 (zh) * 2019-03-25 2020-10-01 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
US20230058845A1 (en) * 2020-02-13 2023-02-23 Google Llc Intra Prediction for Image and Video Compression

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
US20120188375A1 (en) * 2011-01-20 2012-07-26 Renesas Electronics Corporation Semiconductor integrated circuit mountable on recording device and method of operating the same
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
CN103026707A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 使用用于视频编码的高级运动模型的参考处理
CN103119943A (zh) * 2011-06-03 2013-05-22 松下电器产业株式会社 图像编码方法及图像解码方法
US20130251033A1 (en) * 2012-03-26 2013-09-26 Electronics And Telecommunications Research Institute Method of compressing video frame using dual object extraction and object trajectory information in video encoding and decoding process
CN103907346A (zh) * 2011-10-11 2014-07-02 联发科技股份有限公司 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118091A (ja) * 1997-06-25 1999-01-22 Toshiba Corp 多視点画像の符号化／復号化装置およびその符号化／復号化方法
JP3528548B2 (ja) * 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置
ES2238593T3 (es) * 2001-09-12 2005-09-01 Matsushita Electric Industrial Co., Ltd. Procedimiento de descodificacion de imagenes.
JP5560009B2 (ja) * 2009-09-07 2014-07-23 株式会社日立国際電気 動画像符号化装置
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
CN103026707A (zh) * 2010-07-21 2013-04-03 杜比实验室特许公司 使用用于视频编码的高级运动模型的参考处理
US20120188375A1 (en) * 2011-01-20 2012-07-26 Renesas Electronics Corporation Semiconductor integrated circuit mountable on recording device and method of operating the same
CN103119943A (zh) * 2011-06-03 2013-05-22 松下电器产业株式会社 图像编码方法及图像解码方法
CN103907346A (zh) * 2011-10-11 2014-07-02 联发科技股份有限公司 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
US20130251033A1 (en) * 2012-03-26 2013-09-26 Electronics And Telecommunications Research Institute Method of compressing video frame using dual object extraction and object trajectory information in video encoding and decoding process

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111066322A (zh) * 2017-06-14 2020-04-24 华为技术有限公司 通过透视信息进行视频编码的帧内预测
US11240512B2 (en) 2017-06-14 2022-02-01 Huawei Technologies Co., Ltd. Intra-prediction for video coding using perspective information
CN111066322B (zh) * 2017-06-14 2022-08-26 华为技术有限公司 通过透视信息进行视频编码的帧内预测
CN111837393A (zh) * 2018-03-15 2020-10-27 索尼公司 图像处理设备和方法
CN114930338A (zh) * 2020-01-08 2022-08-19 株式会社科学计算综合研究所 信息处理***、信息处理方法及程序
CN114930338B (zh) * 2020-01-08 2024-03-01 株式会社科学计算综合研究所 信息处理***、信息处理方法及记录介质
CN112153384A (zh) * 2020-07-23 2020-12-29 西安万像电子科技有限公司 图像编解码方法及装置
CN112153384B (zh) * 2020-07-23 2024-05-17 西安万像电子科技有限公司 图像编解码方法及装置
CN113392780A (zh) * 2021-06-17 2021-09-14 南开大学 一种面向ai识别汉字的文字图像扭曲变形方法
CN113392780B (zh) * 2021-06-17 2022-04-19 南开大学 一种面向ai识别汉字的文字图像扭曲变形方法

Also Published As

Publication number Publication date
KR20170035832A (ko) 2017-03-31
EP3171597A4 (en) 2017-12-13
WO2016009587A1 (ja) 2016-01-21
US20170127081A1 (en) 2017-05-04
JPWO2016009587A1 (ja) 2017-05-25
EP3171597A1 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
CN103718558B (zh) 运动图像编码方法及装置、解码方法及装置和编解码装置
CN104041042B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103688545B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103238332B (zh) 图像解码方法以及图像解码装置
CN103548351B (zh) 运动图像解码方法及运动图像解码装置
CN103503450B (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN103053158B (zh) 图像编码方法及图像编码装置
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103348679B (zh) 图像解码方法及图像解码装置
CN103348680B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码解码装置
CN106851269B (zh) 图像解码方法及装置、图像编码方法及装置、编解码装置
CN103858428B (zh) 图像编码方法、图像编码装置、图像解码方法及图像解码装置
CN106464900A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及内容发布方法
CN105338356B (zh) 图像解码方法以及图像解码装置
CN103563384B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN103053162B (zh) 图像编码方法、图像编码装置
CN106105196A (zh) 编码方法、解码方法、编码装置以及解码装置
CN104429080B (zh) 解码方法及解码装置
CN106878742A (zh) 动态图像编解码装置
CN106878749A (zh) 图像解码方法、图像解码装置
WO2016013147A1 (ja) 符号化方法、復号方法、符号化装置および復号装置
CN103828373A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN107257490A (zh) 图像编码方法及图像编码装置
CN104429073B (zh) 图像编码方法/解码方法及装置、图像编解码装置
CN105284110B (zh) 图像编码方法及图像编码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222

WD01 Invention patent application deemed withdrawn after publication