CN107736027B - 图像编码方法、图像解码方法、图像编码装置及图像解码装置 - Google Patents

图像编码方法、图像解码方法、图像编码装置及图像解码装置 Download PDF

Info

Publication number
CN107736027B
CN107736027B CN201680033220.1A CN201680033220A CN107736027B CN 107736027 B CN107736027 B CN 107736027B CN 201680033220 A CN201680033220 A CN 201680033220A CN 107736027 B CN107736027 B CN 107736027B
Authority
CN
China
Prior art keywords
image
parameter
prediction
decoding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680033220.1A
Other languages
English (en)
Other versions
CN107736027A (zh
Inventor
寺田健吾
西孝启
远间正真
吉川哲史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107736027A publication Critical patent/CN107736027A/zh
Application granted granted Critical
Publication of CN107736027B publication Critical patent/CN107736027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在该图像编码方法中，在帧内预测、帧间预测及循环内滤波中的至少1个中，进行输入输出的关系为非线性的非线性处理，将包含块的图像编码(S11)，将在该非线性处理中使用的非线性滤波器的运算参数编码(S12)。

Description

图像编码方法、图像解码方法、图像编码装置及图像解码装置
技术领域
本发明涉及图像编码方法及图像解码方法。
背景技术
作为涉及将图像(包括运动图像)编码的图像编码方法或将图像解码的图像解码方法的技术，有在非专利文献1中记载的技术。
现有技术文献
非专利文献
非专利文献1：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG11 12th Meeting：Geneva，CH，14-23Jan.2013JCTVC-L1003_v34.doc，High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call)http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L 1003-v34.zip
发明内容
但是，在以往技术的图像编码方法或图像解码方法中，有使用非效率性的处理的情况。
所以，本发明提供一种将图像有效率地编码的图像编码方法、或将图像有效率地解码的图像解码方法。
有关本发明的一技术方案的图像编码方法，将图片按每个块进行变换；使用循环内滤波将已变换的上述块进行重构；利用使用上述图片内的像素的帧内预测、或使用其他图片内的像素的帧间预测，预测所重构的上述块；将上述块编码；在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，进行输入输出的关系为非线性的非线性处理，将包含上述块的图像编码；将用于上述非线性处理的非线性滤波器的运算参数编码。
另外，这些总括性或具体的形态也可以通过***、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过***、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
本发明的图像编码方法能够将图像有效率地编码。
附图说明
图1是表示实施方式1的图像编码装置的结构的框图。
图2是表示由实施方式1的图像编码装置进行的图像编码的整体的处理的流程图。
图3是表示图2的步骤S111中的块编码的详细情况的流程图。
图4是表示图3的步骤S121中的帧内预测块生成的详细情况的流程图。
图5是表示图3的步骤S122中的帧间预测块生成的详细情况的流程图。
图6是表示图3的步骤S131中的循环内滤波的详细情况的流程图。
图7是表示图2的步骤S106中的NN帧内预测参数决定的详细情况的流程图。
图8是表示图2的步骤S108中的NN帧间预测参数决定的详细情况的流程图。
图9是表示图2的步骤S110中的NN循环内滤波参数决定的详细情况的流程图。
图10是表示实施方式1的NN帧内预测的参照像素与编码对象块的关系的图。
图11是表示实施方式1的NN帧间预测的参照像素与编码对象块的关系的图。
图12是表示实施方式1的NN循环内滤波的一例的图。
图13是表示实施方式1的NN帧内预测的一例的图。
图14是表示实施方式1的NN帧间预测的一例的图。
图15是表示实施方式1的关于SPS(序列参数集)的句法的图。
图16是表示在实施方式1的NN帧内预测、NN帧间预测及NN循环内滤波中使用的参数信息的句法的图。
图17是表示实施方式1的PPS(图片参数集)的句法的图。
图18是表示实施方式1的切片头的句法的图。
图19是表示实施方式1的NN帧内预测的参数数据的句法的图。
图20是表示实施方式1的NN帧间预测的参数数据的句法的图。
图21是表示实施方式1的NN循环内滤波的参数数据的句法的图。
图22是表示实施方式1的CU(编码块)的句法的图。
图23是实施方式1的CU的句法的变形例，并且是表示将NN帧内预测模式与固定帧内预测模式合并的句法的图。
图24是表示实施方式1的CU的句法的变形例的intra_pred_mode、预测类型、固定帧内预测模式和NN帧内预测模式的关系的例子的图。
图25是表示实施方式1的CU的句法的变形例的intra_pred_mode、预测类型、固定帧内预测模式和NN帧内预测模式的关系的另一例的图。
图26是实施方式1的CU的句法的另一变形例，并且是表示以MV的小数精度提取NN帧间预测模式的例子的图。
图27是表示实施方式1的根据配置(profile)及要求切换NN的有效/无效的处理流程图。
图28是表示实施方式1的根据配置及要求设定参数等的处理的流程图。
图29是表示实施方式2的图像解码装置的结构的框图。
图30是表示由实施方式2的图像解码装置进行的图像解码的整体的处理的流程图。
图31是表示图30的步骤S227中的块解码的详细情况的流程图。
图32是表示图31的步骤S235中的帧内补偿块生成的详细情况的流程图。
图33是表示图31的步骤S236中的帧间补偿块生成的详细情况的流程图。
图34是表示图31的步骤S238中的循环内滤波的详细情况的流程图。
图35是表示实施方式3的图像编码装置的结构的框图。
图36是表示实施方式3的由帧内预测部及NN处理切换部进行的帧内预测块生成的详细情况的流程图。
图37是表示实施方式3的由帧间预测部及NN处理切换部进行的帧间预测块生成的详细情况的流程图。
图38是表示实施方式3的由循环内滤波部及NN处理切换部进行的循环内滤波的详细情况的流程图。
图39是表示实施方式3的由变换部进行的频率变换的详细情况的流程图。
图40是表示实施方式3的由NN帧内预测参数决定部进行的NN帧内预测参数决定的详细情况的流程图。
图41是表示实施方式3的由NN帧间预测参数决定部进行的NN帧间预测参数决定的详细情况的流程图。
图42是表示实施方式3的由NN循环内滤波参数决定部进行的NN循环内滤波参数决定的详细情况的流程图。
图43是表示实施方式3的CU句法的图。
图44是表示实施方式4的图像解码装置的结构的框图。
图45是表示实施方式4的由帧内补偿部及NN处理切换部进行的帧内补偿块生成的详细情况的流程图。
图46是表示实施方式4的由帧间补偿部及NN处理切换部进行的帧间补偿块生成的详细情况的流程图。
图47是表示实施方式4的由循环内滤波部及NN处理切换部进行的循环内滤波的详细情况的流程图。
图48是表示实施方式4的由逆变换部进行的逆频率变换的详细情况的流程图。
图49是表示实施方式5的图像编码装置的结构的框图。
图50是表示图59的步骤S492中的NN帧内预测参数编码的详细情况的流程图。
图51是表示图50的步骤S405中的参数非参照类型编码的详细情况的流程图。
图52是表示图50的步骤S406中的参数参照类型编码的详细情况的流程图。
图53是表示图52的步骤S430中的参数参照类型层级数编码的详细情况的流程图。
图54是表示图52的步骤S447中的参数参照类型节点数编码的详细情况的流程图。
图55是表示图52的步骤S449中的参数参照类型偏倚值编码的详细情况的流程图。
图56是表示图52的步骤S451中的参数参照类型权重系数编码的详细情况的流程图。
图57是表示实施方式5的NN帧内预测的参数数据的句法的图。
图58是表示实施方式5的NN帧内预测的参数数据的句法的图。
图59是表示由实施方式5的图像编码装置进行的图像编码的整体的处理的流程图。
图60是表示实施方式6的图像解码装置的结构的框图。
图61是表示图68的步骤S602中的NN帧内预测参数解码的详细情况的流程图。
图62是表示图61的步骤S505中的参数非参照类型解码的详细情况的流程图。
图63是表示图61的步骤S506中的参数参照类型解码的详细情况的流程图。
图64是表示图63的步骤S540中的参数参照类型层级数解码的详细情况的流程图。
图65是表示图63的步骤S547中的参数参照类型节点数解码的详细情况的流程图。
图66是表示图63的步骤S549中的参数参照类型偏倚值解码的详细情况的流程图。
图67是表示图63的步骤S551中的参数参照类型权重系数解码的详细情况的流程图。
图68是表示由实施方式6的图像解码装置进行的图像解码的整体的处理的流程图。
图69A是有关本发明的一技术方案的图像编码装置的框图。
图69B是有关本发明的一技术方案的图像编码方法的流程图。
图70A是有关本发明的一技术方案的图像解码装置的框图。
图70B是有关本发明的一技术方案的图像解码方法的流程图。
图71是实现内容分发服务的内容供给***的整体结构图。
图72是数字广播用***的整体结构图。
图73是表示电视机的结构例的框图。
图74是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的图。
图75是表示作为光盘的记录介质的构造例的图。
图76A是表示便携电话的一例的图。
图76B是表示便携电话的结构例的框图。
图77是表示复用数据的结构的图。
图78是示意地表示各流在复用数据中怎样被复用的图。
图79是更详细地表示在PES包序列中视频流怎样被保存的图。
图80是表示复用数据的TS包和源包的构造的图。
图81是表示PMT的数据结构的图。
图82是表示复用数据信息的内部结构的图。
图83是表示流属性信息的内部结构的图。
图84是表示识别影像数据的步骤的图。
图85是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的框图。
图86是表示切换驱动频率的结构的图。
图87是表示识别影像数据、切换驱动频率的步骤的图。
图88是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图89A是表示将信号处理部的模块共用的结构的一例的图。
图89B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(作为本发明的基础的认识)
关于在“背景技术”栏中记载的将图像编码的图像编码装置或将图像解码的图像解码装置，本发明者发现会发生以下的问题。
近年来，数字影像设备的技术进步显著，将从摄像机或电视调谐器输入的影像信号(按时间序列顺序排列的多个图片)压缩编码、记录到DVD或硬盘等记录介质中的机会增加。作为图像编码标准而有H.264/AVC(MPEG－4AVC)，而作为下一代的标准规格，HEVC(HighEfficiency Video Coding)标准(非专利文献1)已被标准化。
HEVC标准(非专利文献1)中的图像编码方法由预测编码图像的步骤、求出预测图像与编码对象图像的差分的步骤、将差分图像变换为频率系数的步骤、将频率系数量化的步骤、将频率系数及预测信息进行算术编码的步骤、将编码的图像解码的步骤、以及对解码后的图像实施滤波处理的循环内滤波步骤构成。在预测步骤中，有从帧内进行预测的帧内预测、和在帧间进行预测的帧间预测。帧内预测、帧间预测及循环内滤波都通过用周边像素的加权线性和表现的滤波器实现，在滤波器计算中使用几个样式固定的滤波器系数。
但是，有通过线性滤波器或固定的滤波器系数不能使预测图像与编码对象图像的误差变小的情况，在此情况下有代码量变大或画质恶化的课题。
以下，参照附图对实施方式具体地说明。另外，以下说明的实施方式都表示总括性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。
(实施方式1)
<整体结构>
图1是表示本实施方式的图像编码装置的结构的框图。
本实施方式的图像编码装置100具备块分割部101、减法部102、变换部103、量化部104、可变长编码部105、逆变换部106、逆量化部107、加法部108、NN参数决定部109、帧内预测部110、帧间预测部111、帧存储器112及循环内滤波部113。另外，在本发明中，NN是指神经网络。以下，使用流程图等说明这些构成要素的处理。
<动作(整体)>
图2是表示由图像编码装置100进行的图像编码的整体的处理的流程图。
首先，NN参数决定部109分析编码对象图像或编码对象图像群(序列)，决定NN帧内预测参数切换单位、NN帧间预测参数切换单位及NN循环内滤波参数切换单位(以下，将它们统称为NN参数切换单位)(S101、S102、S103)。例如，NN参数决定部109求出图像的各块的像素方差或平均值等，按编码顺序将块的趋向不同的定时设定为参数切换定时。作为NN参数切换单位，有CU、CTU、切片(slice)、瓦片(tile)、图片或图片组GOP。
接着，块分割部101将输入图像分割为块，将块依次向减法部102、帧内预测部110和帧间预测部111输出(S104)。
接着，NN帧内预测参数决定部109a判定编码对象块的定时是否是NN帧内预测参数切换定时，如果是NN帧内预测参数切换定时，则决定NN帧内预测参数(S105、S106)。同样，NN帧间预测参数决定部109b判定编码对象块的定时是否是NN帧间预测参数切换定时，如果是NN帧间预测参数切换定时，则决定NN帧间预测参数(S107、S108)。同样，NN循环内滤波参数决定部109c判定编码对象块的定时是否是NN循环内滤波参数切换定时，如果是NN循环内滤波参数切换定时，则决定NN循环内滤波参数(S109、S110)。关于各个参数的决定的详细情况后述。接着，图像编码装置100将块编码(S111)，重复步骤S105至S111直到编码对象图像内的全部块的编码完成(S112)。
另外，NN参数切换单位也可以在NN帧内预测、NN帧间预测、NN循环内滤波中的至少2个间相同。例如也可以是，在NN帧内预测及NN帧间预测中，将NN参数切换单位设为切片，在NN循环内滤波中，将NN参数切换单位设为图片。
此外，上述的NN帧内预测参数切换定时等的参数切换定时，是将与包含紧前被编码的块的NN参数切换单位不同的新的NN参数切换单位中包含的块作为编码对象块编码的定时。
<动作(块编码流程)>
图3是表示图2的步骤S111中的块编码的详细情况的流程图。
首先，帧内预测部110及帧间预测部111生成帧内预测块及帧间预测块(S121、S122)。详细情况后述。
接着，图像编码装置100通过选择帧内预测块及帧间预测块中的某一个而决定预测块(S123)。减法部102从编码对象块中减去预测块而生成差分块(S124)。变换部103将差分块进行频率变换(S125)，量化部104将通过频率变换得到的多个频率系数进行量化(S126)。可变长编码部105通过将由量化得到的多个量化值进行可变长编码而生成编码序列(S127)。此外，逆量化部107将通过量化得到的多个量化值进行逆量化(S128)，逆变换部106将通过该逆量化得到的多个频率系数进行逆频率变换(S129)。加法部108通过对由逆频率变换得到的解码差分块加上预测块而生成复原块(S130)。此外，循环内滤波部113对复原块实施循环内滤波，向帧存储器112保存(S131)。关于循环内滤波后述。
<动作(帧内预测块生成流程)>
图4是表示图3的步骤S121中的帧内预测块生成的详细情况的流程图。另外，该帧内预测块生成由帧内预测部110进行。
首先，固定帧内预测部110b实施基于固定滤波器的帧内预测(S141)。这与以往的HEVC是同样的，所以省略说明。
接着，NN帧内预测部110a判定NN帧内预测模式是否有效(S142)，如果有效，则实施帧内预测(S143)。NN帧内预测部110a在帧内预测中使用由NN帧内预测参数决定部109Aa决定的参数。详细情况后述，但参数按每个类(class)存在，NN帧内预测部110a使用1个类作为1个模式，选择并使用预测精度高(预测图像与编码对象图像的差异小)、预测模式识别符的代码量小的预测模式，由此得到NN帧内预测的结果。接着，帧内预测部110将NN帧内预测评价值与固定帧内预测评价值比较(S144)。并且，帧内预测部110在NN帧内预测评价值较大的情况下，将NN帧内预测结果设定为帧内预测块(S145)，否则，将固定帧内预测结果设定为帧内预测块(S146)。如果预测图像(帧内预测块)与编码对象图像(编码对象块)的差异小则评价值为大的值，此外，在预测中需要的参数(在NN帧内预测的情况下需要的权重系数或偏倚值等)的代码量越小则评价值为越大的值。
<动作(帧间预测块生成流程)>
图5是表示图3的步骤S122中的帧间预测块生成的详细情况的流程图。该图5的流程图中的步骤S151～S156与图4的帧内预测块生成的流程图中的步骤S141～S146大致相同，只是将NN帧内预测及固定帧内预测替换为NN帧间预测及固定帧间预测，所以省略说明。
<动作(循环内滤波流程)>
图6是表示图3的步骤S131中的循环内滤波的详细情况的流程图。该图6的流程图中的步骤S161～S164与图4的帧内预测块生成的流程图中的步骤S141～S144大致相同，只是将NN帧内预测及固定帧内预测替换为NN循环内滤波及固定循环内滤波，所以省略说明。在图6的流程图中的步骤S165及S166中，循环内滤波部113将评价值更好的滤波结果向帧存储器112保存。
<动作(NN帧内预测参数决定流程)>
图7是表示图2的步骤S106中的NN帧内预测参数决定的详细情况的流程图。
首先，NN帧内预测参数决定部109a将NN帧内预测参数切换单位内的多个编码对象块分别分类为多个类中的某一个类(S171)。例如，如果NN帧内预测参数切换单位是图片，则NN帧内预测参数决定部109a将图片内的编码对象块分类。分类使用块的特征信息来实施。例如，将编码对象块使用像素方差或像素的分布来分类。
接着，NN帧内预测参数决定部109a按分类的每个类决定NN帧内预测的参数(S172)。使用图10和图13说明详细情况。
图10(a)是表示NN帧内预测的参照像素与编码对象块的关系的图。一个四方形表示1个像素。这样，NN帧内预测参数决定部109a使用编码对象块的上邻的像素和左邻的像素作为参照像素。
图13是表示NN帧内预测的一例的图。该NN帧内预测采用神经网络的结构，左端的11个圈表示输入的参照像素，与图10(a)的参照像素0～参照像素10对应。右端的16个圈表示输出的预测像素，是与图10(a)的编码对象块位置的号码0～15对应的预测像素。在图7的步骤S172的NN帧内预测的参数决定中，NN帧内预测参数决定部109a决定图13所示的神经网络的层级数、节点数、权重系数及偏倚值。层级数(nn_intra_layer_num[k])是模式(类)k的层级数，即图13的横向的级数。节点数(nn_intra_node_num[k][])是各层级的纵向的节点的个数。例如，节点数(nn_intra_node_num[k][0])是模式(类)k的第0层级的节点数(在图13的例子中，节点数是4)。权重系数(nn_intra_w[k][][][])是与模式(类)k的各节点的输入值相乘的系数。例如，权重系数(nn_intra_w[k][0][0][2])是与模式(类)k的相对于第0层级的第0个节点(n[k][0][0])的第2个输入值(参照像素2或输入节点r2的值)相乘的系数。偏倚值(nn_intra_bias[k][][])是对输入值的加权和加上的值。例如，偏倚值(nn_intra_bias[k][1][1])是在模式(类)k的第1层级的第1个节点(n[k][1][1])与输入值(输入节点n[k][0][0]～n[k][0][3]的各值)的加权和相加的值。各节点的输出值可以用以下的式子表现。
[数式1]
Figure BDA0001497906770000111
Figure BDA0001497906770000112
Figure BDA0001497906770000113
n[k]L0][i]＝f(n′[k][0][i])
n[k][1][i]＝f(n′[k][1][i])
Figure BDA0001497906770000114
这里，w是权重系数，bias是偏倚值，n是节点的输出值，n’是节点输出值计算时的暂时性的变量。此外，intra_pred_ref_pixel_num表示参照像素数，在该例中是11。另外，intra_pred_ref_pixel_num也可以根据模式(k)或预测像素数而不同。此外，nn_intra_node_num表示节点数，在该例中，在第一层级中是4，在第二层级中是3。此外，[k]表示类(模式)。在图7的步骤S171的分类中，将各块分为3个类的情况下，NN帧内预测参数决定部109a用3个类分别构建图13那样的网络结构，[k]取0～2的值。
在图7的步骤S172的NN帧内预测参数的决定中，NN帧内预测参数决定部109a学习相同类的编码对象块和其参照像素(周边像素)的对作为教师数据，根据参照像素计算生成(预测)编码对象块的权重系数及偏倚值。更具体地讲，NN帧内预测参数决定部109a以参照像素为输入，以要输出的预测像素接近于编码对象块(误差变小)的方式使用误差逆传输法等将权重系数和偏倚值更新，计算相对于输入数据(相同类的编码对象块和其周边像素的对群)、预测误差最小的权重系数及偏倚值。NN帧内预测参数决定部109a将这样的处理以变更了层级数及节点数的多个样式实施，找出预测精度高的层级数、节点数、权重系数及偏倚值的组合。另外，由于层级数、节点数、权重系数及偏倚值被编码而嵌入到编码序列中，所以NN帧内预测参数决定部109a不仅考虑预测精度，还考虑层级数、节点数、权重系数及偏倚值的代码量来导出最优的组合。NN帧内预测参数决定部109a将步骤S172的处理对全部的类实施(S173)。
<动作(NN帧间预测参数决定流程)>
图8是表示图2的步骤S108中的NN帧间预测参数决定的详细情况的流程图。
首先，NN帧间预测参数决定部109b按每个编码对象块，从参照图像内提取相关性最高的参照块，将该处理在NN帧间预测参数切换单位内的全编码对象块中实施(S181、S182)。NN帧间预测参数决定部109b在相关计算中使用例如像素的差分绝对值和，提取差分绝对值和小的块作为相关性高的块。
接着，NN帧间预测参数决定部109b根据编码对象块和其参照块的相关性，将多个编码对象块分别分类为多个类中的某一个类(S183)。例如，NN帧间预测参数决定部109b将像素的差分绝对值和小的块和大的块分类，或使用各像素的差分的方差或平均等进行分类。
接着，NN帧间预测参数决定部109b按分类的每个类决定NN帧间预测的参数(S184)。使用图11和图14说明详细情况。
图11是表示NN帧间预测的参照像素与编码对象块的关系的图。一个四方形表示1个像素。如图11所示，NN帧间预测参数决定部109b在编码对象块的1个像素的预测中使用13个像素的参照图像内的像素。这里，运动矢量是用于在参照图像内指示相关性最高的块位置的信息。NN帧间预测参数决定部109b使用相关性最高的块位置的周边像素作为参照像素。
图14是表示NN帧间预测的一例的图。该NN网络预测与NN帧内预测同样，采用神经网络的结构，左端的13个圈表示输入的参照像素，与图11的参照像素0～参照像素12对应。右端的1个圈表示输出的预测像素，是与图11的编码对象块位置的号码0对应的预测像素。在图8的步骤S184的NN帧间预测的参数决定中，NN帧间预测参数决定部109b决定图14所示的神经网络的层级数、节点数、权重系数及偏倚值。层级数、节点数、权重系数、偏倚值及各节点的输出值的计算方法由于与图13同样，所以省略说明。但是，与NN帧内预测不同，NN帧间预测参数决定部109b输入13个参照像素，生成1个像素的预测像素。在想要生成4×4块的预测像素的情况下，NN帧间预测参数决定部109b一边将参照像素位置每次错开1个像素一边向图14的神经网络输入，重复16次生成16个预测像素。在图8的步骤S184的NN帧间预测的参数决定中，NN帧间预测参数决定部109b学习相同类的编码对象像素和其参照像素的对作为教师数据，根据参照像素计算生成(预测)编码对象像素的层级数、节点数、权重系数及偏倚值。NN帧间预测参数决定部109b将步骤S184的处理对全部的类实施(S185)。
<动作(NN循环内滤波参数决定流程)>
图9是表示图2的步骤S110中的NN循环内滤波参数决定的详细情况的流程图。此外，图12是表示NN循环内滤波的一例的图。另外，在图9的流程图中NN循环内滤波参数决定部109c进行的步骤S191～S193的处理，与图7所示的NN帧内预测参数决定的流程图中的步骤S171～S173的处理是同样的。因而，省略图9的流程图的说明。但是，NN循环内滤波参数决定部109c如图12所示使用编码对象像素的周边的13个像素作为参照像素。此外，NN循环内滤波的网络结构与NN帧间预测同样，采取图14那样的结构。NN循环内滤波参数决定部109c与NN帧间预测同样，按每个类学习参照像素和编码对象像素作为教师数据，根据参照像素计算生成编码对象像素的层级数、节点数、权重系数及偏倚值。
<句法结构>
使用图15～图22，关于NN帧内预测、NN帧间预测及NN循环内滤波，说明编码的信息。
图15是表示关于SPS(序列参数集)的句法的图。nn_intra_pred_enab led_flag、nn_inter_pred_enabled_flag及nn_ilf_enabled_flag分别是表示NN帧内预测NN帧间预测及NN循环内滤波是否有效的标志(有效/无效信息)。即，这些有效/无效信息是用于在图4的步骤S142、图5的步骤S152或图6的步骤S162中判定处理是否有效的信息。此外，这些有效/无效信息既可以存在于PPS中，也可以存在于切片头或CTU(Coding Tree Unit)中。
图16是表示在NN帧内预测、NN帧间预测及NN循环内滤波中使用的参数信息的句法的图。nps_id是关于该数据集的识别符。图像编码装置100在进行NN帧内预测、NN帧间预测或NN循环内滤波的情况下，通过指定nps_id，取得需要的运算参数。nps_nn_intra_pred_data_present_flag、nps_nn_inter_pred_data_present_flag及nps_nn_ilf_data_present_flag分别是表示在该句法内是否包含NN帧内预测的参数(nn_intra_pred_parameter_data())、NN帧间预测的参数(nn_inter_pred_parameter_data())及NN循环内滤波的参数(nn_ilf_parameter_data())的标志。在这些标志是1的情况下，可变长编码部105通过后述的nn_intra_pred_parameter_data()、nn_in ter_pred_parameter_data()及nn_ilf_parameter_data()，将在NN帧内预测、NN帧间预测及NN循环内滤波中使用的关于层级数、节点数、权重系数及偏倚值的信息(运算参数)编码。
图17是表示PPS(图片参数集)的句法的图。在nn_intra_pred_enable d_flag、nn_inter_pred_enabled_flag及nn_ilf_enabled_flag中的某一个是1的情况下，即在NN帧内预测、NN帧间预测及NN循环内滤波中的某一个有效的情况下，可变长编码部105将pps_nps_id进行编码。图像编码装置100在使用该PPS的图片中，使用与pps_nps_id一致的nps_id的运算参数，实施NN帧内预测、NN帧间预测或NN循环内滤波。
图18是表示切片头的句法的图。在nn_intra_pred_enabled_flag、nn_inter_pred_enabled_flag及nn_ilf_enabled_flag中的某一个是1的情况下，即在NN帧内预测、NN帧间预测及NN循环内滤波中的某一个有效的情况下，可变长编码部105将Slice_nps_id编码。图像编码装置100在使用该切片头的切片中，使用与Slice_nps_id一致的nps_id的运算参数，实施NN帧内预测、NN帧间预测或NN循环内滤波。另外，图像编码装置100在pps_nps_id和slice_nps_id是不同的值的情况下，优先使用slice_nps_id的值。
图19是表示NN帧内预测的参数数据的句法的图。nn_intra_mode_num表示NN帧内预测的模式数，与在图7的步骤S171中分类的类数对应。nn_intra_layer_num[k]表示NN帧内预测的层级数，[k]表示是NN帧内预测的第k个模式。nn_intra_node_num[k][i]表示第k个模式的第i个层级的节点数。nn_intra_bias[k][i][j]表示第k个模式的第i个层级的第j个节点的偏倚值。nn_intra_w[k][i][j][m]表示第k个模式的第i个层级的第j个节点的第m个输入的权重系数。这样，可变长编码部105通过图19的句法将图13的网络结构的参数信息(运算参数)编码。
图20是表示NN帧间预测的参数数据的句法的图。图21是表示NN循环内滤波的参数数据的句法的图。可变长编码部105与图19的NN帧内预测同样，将图14的网络结构的参数信息编码。
图22是表示CU(编码块)的句法的图。intra_pred_type是表示使用NN帧内预测及固定帧内预测中的哪一种的信息。可变长编码部105在图4的S144中NN帧内预测的评价值大的情况下，将表示NN_INTRA_PRED的intra_pred_type编码，在固定帧内预测的评价值大的情况下，将表示FIXED_INTRA_PRED的intra_pred_type编码。另外，在根据nn_intra_pred_enabled_flag而NN帧内预测是无效的情况下，可变长编码部105不将intra_pred_type编码。在此情况下，在解码侧以总是实施固定帧内预测的方式动作。此外，在使用了NN帧内预测的情况下，可变长编码部105将NN帧内预测的模式作为nn_intra_pred_mode来编码。在使用固定帧内预测的情况下，可变长编码部105将固定帧内预测的模式作为fixed_intra_pred_mode来编码。nn_intra_pred_mode是表示在图4的S143的NN帧内预测中选择了哪个类(模式)的运算参数的信息，与图13的[k]对应。此外，fixed_intra_pred_mode与HEVC的帧内预测的预测方向对应，固定帧内预测部110b将多个滤波系数的集合根据fixed_intra_pred_mode切换。
此外，inter_pred_type是表示使用NN帧间预测及固定帧间预测中的哪一个的信息。可变长编码部105在图5的S154中NN帧间预测的评价值大的情况下，将表示NN_INTER_PRED的inter_pred_type编码，在固定帧间预测的评价值大的情况下，将表示FIXED_INTER_PRED的inter_pred_type编码。另外，在根据nn_inter_pred_enabled_flag而NN帧间预测不是有效的情况下，可变长编码部105不将inter_pred_type编码。在此情况下，在解码侧以总是实施固定帧间预测的方式动作。此外，在使用了NN帧间预测的情况下，可变长编码部105将NN帧间预测的模式作为nn_inter_pred_mode来编码。nn_inter_pred_mode是表示在图5的S153的NN帧间预测中选择了哪个类(模式)的运算参数的信息，与图14的[k]对应。此外，在prediction_unit()中，可变长编码部105与HEVC同样将运动矢量及参照图像索引编码。
此外，ilf_type是表示使用了NN循环内滤波及固定循环内滤波中的哪一个的信息。可变长编码部105在图6的S164中NN循环内滤波的评价值大的情况下，将表示NN_ILF的ilf_type编码，在固定循环内滤波的评价值大的情况下，将表示FIXED_ILF的ilf_type编码。另外，在根据nn_ilf_enabled_flag而NN循环内滤波不是有效的情况下，可变长编码部105不将ilf_type编码。在此情况下，在解码侧以总是实施固定循环内滤波的方式动作。此外，在使用了NN循环内滤波的情况下，可变长编码部105将NN循环内滤波的模式作为nn_ilf_mode来编码。nn_ilf_mode是表示在图6的S163的NN循环内滤波中选择了哪个类(模式)的运算参数的信息，与图14的[k]对应。
<效果>
以上，根据本实施方式，能够实施对编码对象图像特殊化的预测像素生成或循环内滤波，能够进行预测误差削减或接近于对象图像的循环内滤波处理，能够使编码效率提高。更具体地讲，通过用神经网络学习编码对象像素与参照像素的关系性，能够从参照像素精度良好地生成编码对象像素，能实现预测精度的提高及噪声降低。在帧内预测中，在编码对象块内出现了周边像素中没有的目标的情况下，在以往的HEVC中是难以预测的，但在NN帧内预测中，由于预先也学习了这样的数据作为教师数据，所以能够进行预测。此外，在帧间预测中，HEVC的小数像素生成方法为不论是怎样的输入图像都能够应对的通用的滤波处理，根据输入图像而有小数像素的预测精度较低的情况。但是，根据本实施方式，由于在NN帧间预测中使用输入图像学习，所以能够成为与输入图像匹配的滤波处理，能够提高预测精度。此外，循环内滤波也同样，在NN循环内滤波中能够构建对输入图像特殊化的滤波运算，能够生成进一步削减了噪声的与原图像接近的图像。
另外，如在图2中表示那样，NN参数切换单位能够在NN帧内预测、NN帧间预测及NN循环内滤波中分别设定，但也可以全部相同或一部分相同。例如，也可以在NN帧内预测及NN帧间预测中将NN参数切换单位设为切片单位，在NN循环内滤波中将NN参数切换单位设为图片单位。通过这样，能够使切换定时的判定统一化，还能够减少用于切换的信息(代码量)。
此外，NN参数切换单位也可以是跨多个图片的GOP等。这样，通过使NN参数切换单位变大，能够使用于切换的识别符信息的代码量变小，此外，必须编码的NN参数的种类也变少，能够削减NN的参数的代码量。此外，在以GOP单位切换的情况下，NN参数决定部109既可以输入多个图片、从这些图片的块学习来决定NN的参数，也可以仅使用代表性的图像的块来决定参数。通过这样，能够减少学习时间(参数决定处理量)，此外，通过在学习中仅使用开头图片来决定参数，能够不用等待其以后的图片的输入而开始编码。结果，能够减少到输出编码序列为止的延迟。
此外，NN帧内预测模式、NN帧间预测模式或NN循环内滤波等的NN(神经网络)的有效/无效也可以根据配置(profile)变更，也可以由用户指定。此外，也可以根据使用的应用的要求来变更。
图27是表示根据配置及要求切换NN的有效/无效的处理的流程图。
例如，如图27的步骤S201～S204所示，图像编码装置100在有实时要求的情况下、及面向低运算量的配置的情况下，也可以使NN帧内预测、NN帧间预测及NN循环内滤波为无效。所谓有实时要求的应用，例如是TV电话等，相反作为没有实时要求的应用，例如有在因特网分发中使用的电影内容等的压缩。在NN的预测及循环内滤波中，由于需要预先学习编码对象数据，所以如双路编码那样，需要将输入图像在编码前扫描。因此，从输入图像到输出编码序列的延迟与固定的滤波相比大。因此，在重视实时性的应用或配置的情况下，通过将NN设为无效来实现低延迟，相反在想要提高压缩性能的情况下，通过将NN设为有效而提高压缩率等，能够根据状况切换NN的有效/无效。
此外，在图8所示的NN帧间预测参数的决定中，NN帧间预测参数决定部109b根据编码对象块与参照块的相关性，将编码对象块分类为多个类中的某一个类。但是，NN帧间预测参数决定部109b也可以使用作为用于在参照图像内指示相关性高的块位置的信息的运动矢量的小数精度信息来将编码对象块分类。例如也可以是，NN帧间预测参数决定部109b在编码对象块的运动矢量的x成分及y成分都是整数像素精度的情况下，将该编码对象块分类为类0，在x成分及y成分都是1/2像素精度的情况下，将该编码对象块分类为类1。
此外，在本实施方式中，可以将学习数据分类为多个类，在各类中决定神经网络的参数，选择各类的神经网络作为1个模式。但是，在本发明中并不限于此，也可以仅为1个模式。即，也可以不分类为多个类，而将NN帧内预测、NN帧间预测及NN循环内滤波的各自的神经网络设为1个模式。在此情况下，由于图22所示的CU句法的nn_intra_pred_mode、nn_inter_pred_mode及nn_ilf_mode总为固定的数值，所以当然不需要。
此外，NN参数决定部109将层级数、节点数、权重系数及偏倚值决定为运算参数，但也可以根据应用的要求或配置来设定层级数或节点数的最大值，也可以设为固定值。
图28是表示根据配置及要求设定参数等的处理的流程图。
例如，如图28的步骤S211～S213所示，NN参数决定部109在被要求实时性的应用及面向低运算量的配置时，将神经网络中的层级数的最大值设定为2，将节点数的最大值设定为6。通过限制层级数及节点数，能够抑制图像编码装置100的用于参数决定的计算量、和图像编码装置100及图像解码装置中的NN帧内预测、NN帧间预测及NN循环内滤波处理的计算量。结果，对于被要求低延迟的应用或低规格的图像解码装置而言是有益的。此外，也可以由操作图像编码装置100的用户设定限制值。通过这样，用户能够控制编码处理量、或编码序列被输出之前的延迟。
此外，图13及图14所示的神经网络的结构例为多个层级，但也可以是1层级的结构，例如也可以为单纯的加权线性和的结构。通过这样，能够使结构变简单而成为低处理量，并且还能够使应编码的参数信息变少，根据输入图像，有像这样构成时更有效率的情况。在最小的结构中，只要仅将与各参照像素相乘的权重系数编码就可以。
此外，图像编码装置100也可以对于在参数决定时使用的参照像素、或在NN帧内预测、NN帧间预测或NN循环内滤波中使用的参照像素实施前处理后将这些参照像素向神经网络输入。前处理是低通滤波、卷积运算、池化(pooling)或采样等。通过这样，参照像素成为更一般化的数据，有能够提高预测精度或循环内滤波性能的情况。此外，也可以将在前处理中需要的运算参数也另行包含在编码序列中。
此外，图像编码装置100，也可以作为在参数决定时使用的学习数据而仅使用预测误差或编码噪声容易变大的区域。例如，也可以仅将对象图像内的边缘区域或复杂性高的区域作为学习数据。在预测误差或编码噪声小的区域中，即使通过固定帧内预测、固定帧间预测或固定循环内滤波也性能充分的情况较多。因此，在该区域中，只要使用固定帧内预测、固定帧间预测或固定循环内滤波就可以，只要将NN的处理仅对其以外的预测误差或编码噪声容易变大的区域应用就可以。因此，作为学习数据而仅使用预测误差或编码噪声容易变大的区域，则更容易使这样的情形的预测精度或循环内滤波性能提高。此外，通过缩减学习数据的趋向，能够用更少的模式实现高性能的预测或循环内滤波，能够削减应编码的NN的参数量。
此外，在NN帧内预测中使用的参照像素并不限于图10(a)的11个像素。例如，也可以如图10(b)所示使用更多的参照像素，相反，在NN帧内预测中使用的参照像素也可以比11个像素少。通过使参照像素多(成为大范围)，有预测精度提高的情况。但是，由于有NN帧内预测所需要的参数量增加的趋向，所以也可以根据NN帧内预测的模式来切换。此外，在本实施方式中，以4×4块尺寸的预测及循环内滤波为例进行了说明，但对于如HEVC那样8×8或16×16尺寸也同样地处理，当然，块尺寸越大，则越增加参照像素数。
此外，在NN帧间预测中使用的参照像素也同样并不限于图11(a)的13个像素。例如，也可以如图11(b)那样使用更多的参照像素。此外，由使用的参照像素位置构成的形状既可以是图11(a)那样的菱形的形状，也可以是图11(b)那样的正方形或长方形。通过使参照像素多(成为大范围)，有预测精度提高的情况。但是，由于有NN帧间预测所需要的参数量增加的趋向，所以也可以根据NN帧间预测的模式来切换。通过做成菱形，能够在保持某种程度的范围的同时，将相关性较低的像素从参照像素中去除，能够在维持预测性能的同时减少需要的参数量。
此外，在NN循环内滤波中使用的参照像素也同样并不限于图12(a)的13个像素。例如，也可以如图12(b)那样使用更多的参照像素。此外，由使用的参照像素位置构成的形状既可以是图12(a)那样的菱形的形状，也可以是图12(b)那样的正方形或长方形。通过使参照像素多(成为大范围)，有循环内滤波性能提高的情况。但是，由于有NN循环内滤波所需要的参数量增加的趋向，所以也可以根据NN循环内滤波的模式来切换。
此外，在由图13及图14表示的神经网络中，作为激活函数的f(x)而使用S形函数。但是，在本发明中并不限于此，也可以使用以下这样的函数。
f(x)＝1for x>0
f(x)＝0for x＝0
f(x)＝－1for x<0
此外，在本实施方式中，关于S形函数，也为了削减处理量，也可以利用使用一览表的查表等，或将S形函数置换为计算量更小的近似式而使用。此外，在本实施方式中使用神经网络，但并不限于此，只要是根据参照像素计算预测像素或循环内滤波结果的结构，也可以是单纯的加权线性和，也可以是将加法、减法、乘法或除法等的基本的运算组合而实现的非线性滤波器。此外，在图13及图14所示的例子中，将参照像素全部与第1个层级的节点的全部结合，但并不限于此，也可以有不结合的参照像素或节点。也可以是将参照像素与第2层级以后的节点直接结合的结构。
此外，在本实施方式中，NN帧内预测、NN帧间预测及NN循环内滤波的有效标志在SPS中被编码，但也可以存在于PPS中，也可以存在于切片头、CTU或CU中。
此外，可变长编码部105也可以将图16所示的nn_parameter_set_rbsp()在序列开头、GOP开头或图片开头作为使用的参数集总括起来编码。此外，图像编码装置100也可以不使用nps_id，而是在使用NN帧内预测、NN帧间预测或NN循环内滤波时使用在紧前编码的NN参数。如果总括起来编码，则能够抑制每个块的代码量的偏差，容易进行速率控制等。此外，通过使用图17及图18所示的pps_nps_id或slice_nps_id来指定参数，也可以不将重复的参数编码，有代码量削减效果。
此外，也可以将NN帧内预测和固定帧内预测的模式统一地处置。具体而言，也可以不设置使用NN帧内预测及固定帧内预测中的哪一种这样的类型信息(intra_pred_type)，而在特定的帧内预测模式的情况下使用NN帧内预测。
图23是CU的句法的变形例，是表示将NN帧内预测模式与固定帧内预测模式合并后的句法的图。图24是表示CU的句法的变形例中的intra_pred_mode、预测类型、固定帧内预测模式和NN帧内预测模式的关系的例子的图。图25是表示CU的句法的变形例中的intra_pred_mode、预测类型、固定帧内预测模式和NN帧内预测模式的关系的另一例的图。
在图23及图24所示的例子中，帧内预测部110在帧内预测模式(intra_pred_mode)为34以下的情况下使用固定帧内预测，在35以上的情况下使用NN帧内预测。在35以上的情况下，从帧内预测模式(intra_pred_mode)减去35后的数值成为NN帧内预测的模式(nn_intra_pred_mode)。通过这样，不再需要帧内预测的类型信息(intra_pred_type)，不仅是代码量，判定处理也不再需要。此外，如图25那样，在帧内预测模式(intra_pred_mode)为1的情况下也可以使用NN帧内预测。在此情况下，固定帧内预测的模式1为无效，代之而NN帧内预测的模式0成为有效。通过这样，能够不改变帧内预测的模式的总数而导入NN帧内预测。即，能够不增加帧内预测模式的代码量而导入NN帧内预测。此外，这考虑了通过导入NN帧内预测而不再需要固定帧内预测的一部分模式的情形。固定帧内预测的模式0是被称作Planar预测的模式，模式1是被称作DC预测的模式，DC预测在平坦的图像的情况下容易被选择。但是，在平坦的图像的情况下，即使是Planar预测也能够生成同样的预测图像，在此情况下，DC预测模式成为冗余的模式。有在导入NN帧内预测的情况下使固定帧内预测的DC预测模式为无效、在被指定了DC预测模式的情况下使用NN帧内预测则效果更好的情况。
此外，帧间预测部111也可以根据运动矢量(MV)导出NN帧间预测的模式。
图26是CU的句法的另一变形例，是表示以MV的小数精度提取NN帧间预测模式的例子的图。
如图26的例子所示，帧间预测部111根据MV的小数像素精度信息导出NN帧间预测的模式。在HEVC中，MV的低位2位表示小数像素位置，在低位2位是00的情况下表示整数像素位置，在是01的情况下表示1/4像素位置，在是10的情况下表示1/2像素位置，在是11的情况下表示3/4像素位置。在图26的例子中，帧间预测部111根据x成分及y成分的小数像素位置，切换NN帧间预测的模式，切换神经网络的结构(参数)。能够根据MV的小数像素位置来切换从周边像素的预测计算，不需要将NN帧间预测模式(nn_inter_pred_mode)编码，能够削减代码量。此外，根据MV的小数像素位置来切换预测计算则由于预测精度变高，所以通过该方法能够使预测精度提高。
进而，本实施例的处理也可以由软件实现。并且，也可以将该软件通过下载等而分发。此外，也可以将该软件记录到CD－ROM等的记录介质中而发布。另外，这在本说明书的其他实施例中也同样。
(实施方式2)
<整体结构>
图29是表示本实施方式的图像解码装置的结构的框图。
本实施方式的图像解码装置200具备可变长解码部201、逆量化部202、逆变换部203、加法部204、帧内补偿部205、帧间补偿部206、帧存储器207及循环内滤波部208。以下，使用流程图等说明这些构成要素的处理。
<动作(整体)>
图30是表示由图像解码装置200进行的图像解码的整体的处理的流程图。
首先，帧内补偿部205判定解码对象块的定时是否是NN帧内预测参数切换定时(S221)。并且，如果是NN帧内预测参数切换定时，则帧内补偿部205取得处于编码序列内的NN帧内预测参数，设定到NN帧内补偿部205a(S222)。同样，帧间补偿部206判定解码对象块的定时是否是NN帧间预测参数切换定时(S223)。并且，如果是NN帧间预测参数切换定时，则帧间补偿部206取得处于编码序列内的NN帧间预测参数，设定到NN帧间补偿部206a(S224)。同样，循环内滤波部208判定解码对象块的定时是否是NN循环内滤波参数切换定时(S225)。并且，如果是NN循环内滤波参数切换定时，则循环内滤波部208取得处于编码序列内的NN循环内滤波参数，设定到NN循环内滤波部208a(S226)。接着，图像解码装置200将解码对象块解码(S227)，重复步骤S221～S227的处理，直到解码对象图像内的全部块的解码完成(S228)。
另外，上述NN帧内预测参数切换定时等的参数切换定时，是将与包括紧前被解码的块的NN参数切换单位不同的新的NN参数切换单位中包含的块作为解码对象块来解码的定时。
<动作(块解码流程)>
图31是表示图30的步骤S227中的块解码的详细情况的流程图。
首先，可变长解码部201将编码序列进行可变长解码，取得频率变换及量化后的块(S231)。
接着，逆量化部202对该取得的块进行逆量化(S232)，逆变换部203对逆量化后的块进行逆频率变换(S233)。
接着，图像解码装置200根据编码序列内的信息判定解码对象块是通过帧内预测及帧间预测中的哪一种被编码的(S234)。在帧内预测的情况下，帧内补偿部205生成帧内补偿块(S235)，在帧间预测的情况下，帧间补偿部206生成帧间补偿块(S236)。
接着，加法部204通过将帧内补偿块及帧间补偿块中的某一个补偿块与逆频率变换的结果相加，生成复原块(S237)。循环内滤波部208对复原块实施循环内滤波，保存到帧存储器207中并进行图像输出(S238)。
<动作(帧内补偿块生成流程)>
图32是表示图31的步骤S235中的帧内补偿块生成的详细情况的流程图。
首先，帧内补偿部205使用编码序列内的信息判定NN帧内预测模式有效还是无效、在编码中是否使用了NN帧内预测模式(S241、S242)。这里，在NN帧内预测模式有效、并且被通过NN帧内预测模式编码的情况下，NN帧内补偿部205a通过进行NN帧内补偿而生成帧内补偿块(S243)。否则，固定帧内补偿部205b通过进行固定帧内补偿而生成帧内补偿块(S244)。
NN帧内补偿块的生成与实施方式1同样，使用图10的参照像素，用图13的神经网络实现。此外，在NN帧内补偿中使用的参数，是在图30的步骤S222中设定的在编码序列中包含的参数。句法与实施方式1同样，采取图15～图26的结构。NN帧内补偿部205a，作为在NN帧内补偿中使用的参数，取得并使用由pps_nps_id或slice_nps_id指定的参数、并且具有与pps_nps_id或slice_nps_id一致的nps_id的nn_parameter_set_rbsp()的编码序列内的参数(层级数、节点数、权重系数、偏倚值)。参数按每个NN帧内预测的模式而存在，NN帧内补偿部205a使用在编码序列内包含的NN帧内预测模式(nn_intra_pred_mode)切换该参数。
<动作(帧间补偿块生成流程)>
图33是表示图31的步骤S236中的帧间补偿块生成的详细情况的流程图。该图33的流程图中的步骤S251～S254与图32的帧内补偿块生成的流程图中的步骤S241～S244大致相同，只是将NN帧内预测及固定帧内预测替换为NN帧间预测及固定帧间预测，所以省略说明。
NN帧间补偿块生成与实施方式1同样，使用图11的参照像素，用图14的神经网络实现。此外，在NN帧间补偿中使用的参数是在图30的步骤S224中设定的编码序列中包含的参数。句法与实施方式1同样，采取图15～图26的结构。NN帧间补偿部206a，作为在NN帧间补偿中使用的参数，取得并使用由pps_nps_id或slice_nps_id指定的参数、并且具有与pps_nps_id或slice_nps_id一致的nps_id的nn_parameter_set_rbsp()的编码序列内的参数(层级数、节点数、权重系数、偏倚值)。参数按每个NN帧间预测的模式而存在，NN帧间补偿部206a使用包含在编码序列内的NN帧间预测模式(nn_inter_pred_mode)切换该参数。
<动作(循环内滤波流程)>
图34是表示图31的步骤S238中的循环内滤波的详细情况的流程图。该图34的流程图中的步骤S261～S264与图32的帧内补偿块生成的流程图中的步骤S241～S244大致相同，只是将NN帧内预测及固定帧内预测替换为NN循环内滤波及固定循环内滤波，所以省略说明。
NN循环内滤波与实施方式1同样，使用图12的参照像素，用图14的神经网络实现。此外，在NN循环内滤波中使用的参数是在图30的S226中设定的编码序列中包含的参数。句法与实施方式1同样，采取图15～图26的结构。NN循环内滤波部208a，作为在NN循环内滤波中使用的参数，取得并使用由pps_nps_id或slice_nps_id指定的参数、并且具有与pps_nps_id或slice_nps_id一致的nps_id的nn_parameter_set_rbsp()的编码序列内的参数(层级数、节点数、权重系数、偏倚值)。参数按每个NN循环内滤波的模式而存在，NN循环内滤波部208a使用编码序列内包含的NN循环内滤波模式(nn_ilf_mode)切换该参数。
<效果>
由于与实施方式1同样，所以省略说明。
<实施方式1及2的总结>
在有关本发明的第1技术方案(1)的图像的编码或解码的方法中，将非线性滤波器的运算参数编码或解码，使用该运算参数将对象图像编码或解码。另外，该非线性滤波器是作为多个像素值的加权和的线性滤波器以外的滤波器。
此外，在有关本发明的第2技术方案(1－1)的方法中，也可以是，在有关第1技术方案的方法中，在帧内预测、帧间预测及循环内滤波中的至少1个中使用上述非线性滤波器。
此外，在有关本发明的第3技术方案(1－2)的方法中，也可以是，在有关第1技术方案的方法中，上述非线性滤波器是包含神经网络的结构，至少将节点间的权重系数作为运算参数而编码或解码。
此外，在有关本发明的第4技术方案(1－2－1)的方法中，也可以是，在有关第3技术方案的方法中，编码或解码的上述运算参数包含层级数或节点数的信息。
此外，在有关本发明的第5技术方案(1－2－1－1)的方法中，也可以是，在有关第4技术方案的方法中，根据配置，规定层级数或节点数的最大值。
此外，在有关本发明的第6技术方案(1－3)的方法中，也可以是，在有关第1技术方案的方法中，将使用固定参数的线性滤波器和上述非线性滤波器中的哪一种滤波器这样的切换信息编码或解码，按照该信息切换使用线性滤波器和非线性滤波器中的哪一种。
此外，在有关本发明的第7技术方案(1－3－1)的方法中，也可以是，在有关第6技术方案的方法中，从多个模式中将1个或多个模式作为使用上述非线性滤波器的模式，在使用该模式的情况下使用上述非线性滤波器将对象图像编码或解码。
此外，在有关本发明的第8技术方案(1－4)的方法中，也可以是，在有关第1技术方案的方法中，在块、切片、瓦片、图片及GOP中的至少1个中切换上述非线性滤波器的运算参数。
此外，在有关本发明的第9技术方案(1－4－1)的方法中，也可以是，在有关第8技术方案的方法中，在序列开头、GOP开头及图片开头中的至少某一个中将上述非线性滤波器的运算参数编码或解码，在使用上述非线性滤波器时通过识别符指定上述运算参数种的至少1个并使用。
此外，在有关本发明的第10技术方案(1－5)的方法中，也可以是，在有关第1技术方案的方法中，将上述非线性滤波器的有效/无效信息编码或解码。
此外，在有关本发明的第11技术方案(1－5－1)的方法中，也可以是，在有关第10技术方案的方法中，根据配置切换上述非线性滤波器的有效/无效信息。
此外，在有关本发明的第12技术方案(1－5－2)的方法中，也可以是，在有关第10技术方案的方法中，在有低延迟要求的应用中将上述非线性滤波器设为无效。
此外，在有关本发明的第13技术方案(1－6)的方法中，也可以是，在有关第1技术方案的方法中，具备多个上述非线性滤波器的模式；将使用哪个模式的信息编码或解码，或者从编码序列内的信息中提取表示使用哪个模式的信息。
这里，在有关本发明的第14技术方案(2)的图像的编码或解码的方法中，将用于帧内预测的运算参数编码或解码。
此外，在有关本发明的第15技术方案(2－1)的方法中，也可以是，在有关第14技术方案的方法中，上述运算参数是线性滤波器及非线性滤波器中的某一个的运算参数。
此外，在有关本发明的第16技术方案(2－2)的方法中，也可以是，在有关第14技术方案的方法中，使用上述运算参数的帧内预测是包括单层或多层的神经网络的结构，作为运算参数而至少将节点间的权重系数编码或解码。
此外，在有关本发明的第17技术方案(2－2－1)的方法中，也可以是，在有关第16技术方案的方法中，编码或解码的上述运算参数包含层级数或节点数的信息。
此外，在有关本发明的第18技术方案(2－2－1－1)的方法中，也可以是，在有关第17技术方案的方法中，根据配置规定层级数或节点数的最大值。
此外，在有关本发明的第19技术方案(2－3)的方法中，也可以是，在有关第14技术方案的方法中，将使用固定参数的帧内预测和基于上述运算参数的帧内预测中的哪种帧内预测这样的切换信息编码或解码，按照该信息来切换使用固定参数的帧内预测和基于上述运算参数的帧内预测的哪种帧内预测。
此外，在有关本发明的第20技术方案(2－3－1)的方法中，也可以是，在有关第19技术方案的方法中，从多个模式中将1个或多个模式设为使用上述运算参数的帧内预测的模式，在使用该模式的情况下，通过使用上述运算参数的帧内预测将对象图像编码或解码。
此外，在有关本发明的第21技术方案(2－4)的方法中，也可以是，在有关第14技术方案的方法中，也可以在块、切片、瓦片、图片及GOP中的至少1个中切换帧内预测的上述运算参数。
此外，在有关本发明的第22技术方案(2－4－1)的方法中，也可以是，在有关第21技术方案的方法中，在序列开头、GOP开头及图片开头中的至少某一个中将帧内预测的上述运算参数编码或解码，在使用运算参数的帧内预测时，将上述编码或解码的运算参数中的至少1个通过识别符指定而使用。
此外，在有关本发明的第23技术方案(2－5)的方法中，也可以是，在有关第14技术方案的方法中，将使用上述运算参数的帧内预测的有效/无效信息编码或解码。
此外，在有关本发明的第24技术方案(2－5－1)的方法中，也可以是，在有关第23技术方案的方法中，根据配置来切换使用上述运算参数的帧内预测的有效/无效信息。
此外，在有关本发明的第25技术方案(2－5－2)的方法中，也可以是，在有关第23技术方案的方法中，在有低延迟要求的应用中，将使用上述运算参数的帧内预测设为无效。
此外，在有关本发明的第26技术方案(2－6)的方法中，也可以是，在有关第14技术方案的方法中，具备多个使用上述运算参数的帧内预测的模式；将表示使用哪个模式的信息编码或解码，或者从编码序列内的信息中提取表示使用哪个模式的信息。
这里，在有关本发明的第27技术方案(3)的图像编码方法中，将线性滤波器或非线性滤波器的运算参数编码，在使用该运算参数将对象图像编码的编码器中，将编码对象图像作为教师数据学习，决定上述运算参数。
此外，在有关本发明的第28技术方案(3－1)的图像编码方法中，也可以是，在有关第27技术方案的图像编码方法中，具备多个使用上述运算参数的模式，利用编码对象图像或块的特征决定每个模式的学习数据，按每个模式来决定运算参数。
此外，在有关本发明的第29技术方案(3－2)的图像编码方法中，也可以是，在第27技术方案的方法中，仅使用编码对象图像中的复杂性较高的区域作为学习数据。
(实施方式3)
<整体结构>
图35是表示本实施方式的图像编码装置的结构的框图。
本实施方式的图像编码装置300具备实施方式1的图像编码装置100中的变换部103及NN参数决定部109A以外的各构成要素。进而，图像编码装置300中代替变换部103及NN参数决定部109而具备变换部103A及NN参数决定部109A，并且具备NN处理切换部115。
<动作(整体)，动作(块编码流程)>
由图像编码装置300进行的图像编码的整体的流程和块编码的流程与实施方式1的图2及图3分别表示的流程大致相同。但是，图像编码装置300中的块分割部101在图2中的块分割(S104)中，将输入图像分割为4×4块、8×8块、16×16块及32×32块等的多种尺寸的块。块分割部101利用输入图像内的目标的尺寸或像素值的复杂性等的特征，分割为某一个尺寸的块。此外，在图像编码装置300中实验性地实施预测或可变长编码，块分割部101也可以分割为编码性能良好的尺寸的块。图像编码装置300对多种尺寸的块实施包括预测等的块编码。
<动作(帧内预测块生成流程)>
图36是表示由帧内预测部110及NN处理切换部115进行的帧内预测块生成的详细情况的流程图。
实施方式3的由帧内预测部110进行的帧内预测块生成的流程大致与实施方式1的图4所示的流程相同，但在本实施方式和实施方式1中不同的是进行NN帧内预测(S143)的条件。在实施方式3中，帧内预测部110通过由NN处理切换部115进行的控制，仅在预测块尺寸是4×4的情况、且对亮度成分的预测中，实施由NN帧内预测部110a进行的NN帧内预测(S277、S278)。在不是这样的情况下，帧内预测部110总是实施由固定帧内预测部110b进行的固定帧内预测。这样，NN处理切换部115判定预测块尺寸是否是4×4(S277)，并且判定预测对象是否是亮度成分(S278)。并且，NN处理切换部115仅在预测块尺寸是4×4的情况且对于亮度成分的预测的情况下，对帧内预测部110指示向NN帧内预测的切换。
<动作(帧间预测块生成流程)>
图37是表示由帧间预测部111及NN处理切换部115进行的帧间预测块生成的详细情况的流程图。
实施方式3的由帧间预测部111进行的帧间预测块生成的流程大致与实施方式1的图5所示的流程相同，但在本实施方式和实施方式1中不同的是进行NN帧间预测(S153)的条件。在实施方式3中，帧间预测部111通过由NN处理切换部115进行的控制，仅在对于亮度成分的预测中实施由NN帧间预测部111a进行的NN帧间预测(S288)。在不是这样的情况下，帧间预测部111总是实施由固定帧间预测部111b进行的固定帧间预测。
这样，NN处理切换部115判定预测对象是否是亮度成分(S288)。并且，NN处理切换部115仅在对于亮度成分的预测的情况下，对帧间预测部111指示向NN帧间预测的切换。
<动作(循环内滤波流程)>
图38是表示由循环内滤波部113及NN处理切换部115进行的循环内滤波的详细情况的流程图。
实施方式3的由循环内滤波部113进行的循环内滤波的流程大致与实施方式1的图6所示的流程相同，在本实施方式和实施方式1中不同的是进行NN循环内滤波(S163)的条件。在实施方式3中，循环内滤波部113通过由NN处理切换部115进行的控制，仅在对于亮度成分的循环内滤波中实施由NN循环内滤波部113a进行的NN循环内滤波(S298)。在不是这样的情况下，循环内滤波部113总是实施由固定循环内滤波部113b进行的固定循环内滤波。
这样，NN处理切换部115判定预测对象是否是亮度成分(S298)。并且，NN处理切换部115仅在对于亮度成分的预测的情况下，对循环内滤波部113指示向NN循环内滤波的切换。
<动作(频率变换流程)>
图39是表示由变换部103A进行的频率变换的详细情况的流程图。
首先，变换部103A判定在预测块决定(图3的S123)中选择的预测块是否是由NN帧内预测或NN帧间预测生成的块(S301)。并且，在是由某一个预测生成的块的情况下，KL变换部103Aa通过KL变换(卡洛南－洛伊变换)进行频率变换(S302)。在其以外的情况下，固定变换部103Ab与HEVC同样进行离散余弦变换等使用固定的变换矩阵的频率变换(固定变换)(S303)。KL变换是按每个图像变更变换矩阵的变换。
<动作(NN帧内预测参数决定流程、NN帧间预测参数决定流程、NN循环内滤波参数决定流程)>
参照图40、图41、图42，对NN参数决定部109A的处理进行说明。
图40是表示由NN帧内预测参数决定部109Aa进行的NN帧内预测参数决定的详细情况的流程图。图41是表示由NN帧间预测参数决定部109Ab进行的NN帧间预测参数决定的详细情况的流程图。图42是表示由NN循环内滤波参数决定部109Ac进行的NN循环内滤波参数决定的详细情况的流程图。
实施方式3的上述各参数决定的流程大致与实施方式1的图7、图8及图9所示的流程相同，在本实施方式和实施方式1中，在学习数据中使用的数据不同。NN帧内预测参数决定部109Aa如图40所示，作为在NN帧内预测参数决定中使用的学习数据，以4×4尺寸将亮度成分的编码对象块分类为类并学习(S311)。此外，NN帧间预测参数决定部109Ab如图41所示，作为在NN帧间预测参数决定中使用的学习数据，以亮度成分的编码对象块为对象(S321、S323)。此外，NN循环内滤波参数决定部109Ac，作为在NN循环内滤波参数决定中使用的学习数据，以亮度成分的编码对象块为对象(S331)。
<句法结构>
实施方式3的句法结构仅CU句法与实施方式1不同。
图43是表示本实施方式的CU句法的图。
在实施方式3中，可变长编码部105将使用NN帧内预测及固定帧内预测中的哪一个这样的信息(intra_pred_type)仅在NN帧内预测为有效(nn_intra_pred_enabled_flag为1)且预测块尺寸是4×4的情况下编码。在不是这样的情况下，图像编码装置300以使用固定帧内预测的方式动作。即，如果不是4×4的预测块尺寸，则不使用NN帧内预测。此外，fixed_intra_pred_mode_chroma表示色差成分的固定帧内预测的预测模式，在色差成分的情况下仅能够指定固定帧内预测的模式。
此外，nn_intra_pred_parameter_data()是4×4尺寸的预测块且亮度成分用的NN帧内预测用的参数，其以外(8×8尺寸以上的预测块或色差成分)用的参数不存在(编码)。
此外，nn_inter_pred_parameter_data()是亮度成分用的NN帧间预测的参数，nn_ilf_parameter_data()是亮度成分用的NN循环内滤波的参数，色差成分用的参数不存在(编码)。
<效果>
以上，根据本实施方式，能够减少在NN帧内预测中使用的参数的代码量。更具体地讲，仅在4×4尺寸的预测块中实施NN帧内预测。即，在8×8尺寸以上的预测块中不使用NN帧内预测，所以不需要用于它们的参数。通常，较大的预测块尺寸在平坦的区域中被选择的情况较多，在此情况下，在固定参数的帧内预测中也能够使预测残差分变少的情况较多。因此，在较大的预测块尺寸下，与较小的预测块尺寸相比使用NN帧内预测的必要性少。此外，由于在较大的预测块尺寸中，相邻的周边像素数较多，所以通常如果不使参照像素数变多，则难以提高预测精度，如果参照像素数变多，则输入的节点数变多，所以权重系数等的NN帧内预测用的参数量变多。相反，较小的预测块尺寸在复杂性较高的区域中被选择的情况较多，在复杂性较高的区域中，在固定参数的帧内预测中预测误差容易变大。此外，在较小的预测块尺寸下，相邻的周边像素数较少，所以即使是较少的参照像素，也有可能提高预测精度。因此，通过仅在较小的预测块尺寸中将NN帧内预测设为有效、仅将较小的预测块尺寸用的参数编码，能够在抑制预测性能的下降的同时削减参数数据量，能够使编码效率提高。此外，由于不需要较大的预测块尺寸的NN帧内预测，所以还能够削减决定其参数的图像编码装置300的计算量(处理时间)。
此外，能够减少在NN帧内预测、NN帧间预测及NN循环内滤波中使用的参数的代码量。更具体地讲，仅对亮度成分的信号实施NN帧内预测、NN帧间预测及NN循环内滤波。即，由于针对色差成分的信号不使用NN帧内预测、NN帧间预测及NN循环内滤波，所以不再需要其使用的参数。通常，图像的色差成分的复杂度较小，即使是固定参数的NN帧内预测、NN帧间预测及NN循环内滤波，能够使预测残差分变少或能够削减噪声的情况也较多。因此，与亮度成分相比，对色差成分使用NN帧内预测、NN帧间预测及NN循环内滤波的必要性较少。因此，通过仅在亮度成分中将NN帧内预测、NN帧间预测及NN循环内滤波设为有效、仅将亮度成分用的参数编码，能够在抑制预测精度的下降及噪声增加的同时削减参数数据量，能够使编码效率提高。此外，由于不需要色差成分的NN帧内预测、NN帧间预测及NN循环内滤波，所以也能够削减决定其参数的图像编码装置300的计算量(处理时间)。
此外，在使用NN帧内预测或NN帧间预测的情况下，与使用固定的预测的情况相比，预测残差分的趋向不同。例如，在使用固定帧内预测的情况下，在周边像素中不存在的目标出现在编码对象块内的情况下，有预测误差急剧地变大的情形。但是，如果构建神经网络以使得在NN帧内预测中也能够涵盖这样的情形，则预测误差急剧地变大的情形较少。因此，在使用NN帧内预测或NN帧间预测的情况下切换频率变换方式，在使用NN的预测的情况下采用适合于其预测残差分的方式的变换，从而能够使编码效率提高。
另外，在本实施方式中使用KL变换，但并不限于此，只要在使用NN帧内预测或NN帧间预测的情况下使用与使用固定的预测时不同的变换方法就可以，例如也可以是使用固定的变换矩阵的变换。此外，使用KL变换等，也可以将在该变换中使用的变换矩阵等的参数另行编码。此外，在使用NN帧内预测或NN帧间预测的情况下将变换切换，但也可以仅在使用NN帧内预测的情况下切换，也可以仅在使用NN帧间预测的情况下切换。
此外，仅在4×4的预测块尺寸时使用NN帧内预测，但并不限于此，例如也可以在8×8以下的尺寸下许可NN帧内预测，在16×16以上的尺寸下禁止NN帧内预测。
另外，本实施方式的逆变换部106进行与变换部103A的变换对应的逆变换。
(实施方式4)
<整体结构>
图44是表示本实施方式的图像解码装置的结构的框图。
本实施方式的图像解码装置400具备实施方式2的图像解码装置200中的逆变换部203以外的各构成要素。进而，图像解码装置400代替逆变换部203而具备逆变换部203A，并且具备NN处理切换部210。
<动作(整体)，动作(块解码流程)>
由图像解码装置400进行的图像解码的整体流程和块解码的流程与实施方式2的图30及图31所示的流程大致相同。但是，在图像解码装置400中的解码对象块中，有4×4块、8×8块、16×16块及32×32块等多种尺寸的块。图像解码装置400使用处于编码序列内的信息决定块尺寸。此外，图像解码装置400对多种尺寸的块实施包括预测等的块解码。
<动作(帧内补偿块生成流程)>
图45是表示由帧内补偿部205及NN处理切换部210进行的帧内补偿块生成的详细情况的流程图。
实施方式4的由帧内补偿部205进行的帧内补偿块生成的流程大致与实施方式2的图32所示的流程相同，在本实施方式和实施方式2中不同的是进行NN帧内补偿(S243)的条件。在实施方式4中，帧内补偿部205通过由NN处理切换部210进行的控制，仅在预测块尺寸是4×4的情况、且对于亮度成分的补偿中实施由NN帧内补偿部205a进行的NN帧内补偿(S341、S342)。在不是这样的情况下，帧内补偿部205总是实施由固定帧内补偿部205b进行的固定帧内补偿。这样，NN处理切换部210判定预测块尺寸是否是4×4(S341)，并且判定补偿对象是否是亮度成分(S342)。并且，NN处理切换部210仅在预测块尺寸是4×4、且对于亮度成分的补偿的情况下，对帧内补偿部205指示向NN帧内补偿的切换。
<动作(帧间补偿块生成流程)>
图46是表示由帧间补偿部206及NN处理切换部210进行的帧间补偿块生成的详细情况的流程图。
实施方式4的由帧间补偿部206进行的帧间补偿块生成的流程大致与实施方式2的图33所示的流程相同，在本实施方式和实施方式2中不同的是进行NN帧间补偿(S253)的条件。在实施方式4中，帧间补偿部206通过由NN处理切换部210进行的控制，仅在对亮度成分的补偿中实施由NN帧间补偿部206a进行的NN帧间补偿(S351)。在不是这样的情况下，帧间补偿部206总是实施由固定帧间补偿部206b进行的固定帧间补偿。这样，NN处理切换部210判定补偿对象是否是亮度成分(S351)。并且，NN处理切换部210仅在对于亮度成分的补偿的情况下，对帧间补偿部206指示向NN帧间补偿的切换。
<动作(循环内滤波流程)>
图47是表示由循环内滤波部208及NN处理切换部210进行的循环内滤波的详细情况的流程图。
实施方式4的由循环内滤波部208进行的循环内滤波的流程大致与实施方式2的图34所示的流程相同，在本实施方式和实施方式2中不同的是进行NN循环内滤波(S263)的条件。在实施方式4中，循环内滤波部208通过由NN处理切换部210进行的控制，仅在对于亮度成分的循环内滤波中实施由NN循环内滤波部208a进行的NN循环内滤波(S361)。在不是这样的情况下，循环内滤波部208总是实施由固定循环内滤波部208b进行的固定循环内滤波。这样，NN处理切换部210判定循环内滤波的对象是否是亮度成分(S361)。并且，NN处理切换部210仅在对于亮度成分的循环内滤波的情况下，对循环内滤波部208指示向NN循环内滤波的切换。
<动作(频率变换流程)>
图48是表示由逆变换部203A进行的逆频率变换的详细情况的流程图。
首先，逆变换部203A根据处于编码序列内的信息，判定预测块是否是由NN帧间预测或NN帧内预测生成的(S371)。并且，在是由某一个预测生成的块的情况下，逆KL变换部203Aa通过逆KL变换(卡洛南－洛伊变换)进行逆频率变换(S372)。在其以外的情况下，逆固定变换部203Ab与HEVC同样进行逆离散余弦变换等的使用固定的变换矩阵的逆频率变换(逆固定变换)(S373)。
<效果>
由于与实施方式3是同样的，所以省略说明。
<实施方式3及4的总结>
在有关本发明的第1技术方案(1)的图像的编码或解码的方法中，将在帧内预测中使用的运算参数编码或解码。
此外，在有关本发明的第2技术方案(1－1)的方法中，也可以是，在有关第1技术方案的方法中，仅在帧内预测的预测块尺寸是特定尺寸以下的情况下采用使用上述运算参数的帧内预测，在其以外的预测块尺寸的情况下进行固定参数的帧内预测。
此外，在有关本发明的第3技术方案(1－2)的方法中，也可以是，在有关第1技术方案的方法中，在能够切换固定参数的帧内预测和基于上述运算参数的帧内预测的编码器或解码器中，在使用基于上述运算参数的帧内预测的情况下切换变换或逆变换方法。
此外，在有关本发明的第4技术方案(1－2－1)的方法中，也可以是，在有关第3技术方案的方法中，在使用基于上述运算参数的帧内预测的情况下，进行使用可变更的变换矩阵的变换或逆变换。
这里，在有关本发明的第5技术方案(2)的图像的编码或解码的方法中，将非线性滤波器的运算参数编码或解码，使用该运算参数将对象图像编码或解码。
此外，在有关本发明的第6技术方案(2－1)的方法中，也可以是，在有关第5技术方案的方法中，仅将亮度成分用的运算参数编码或解码，亮度成分使用上述非线性滤波器，色差成分使用线性滤波器，将对象图像编码或解码。
此外，在有关本发明的第7技术方案(2－2)的方法中，也可以是，在有关第5技术方案的方法中，在帧内预测及帧间预测中的至少1个中使用上述非线性滤波器，在使用非线性滤波器生成了预测块的情况下，将变换或逆变换方法切换。
此外，在有关本发明的第8技术方案(2－2－1)的方法中，也可以是，在有关第7技术方案的方法中，在使用非线性滤波器生成了预测块的情况下，进行使用可变更的变换矩阵的变换或逆变换。
(实施方式5)
<整体结构>
图49是表示本实施方式的图像编码装置的结构的框图。
本实施方式的图像编码装置500具备实施方式1的图像编码装置100的各构成要素，还具备NN参数编码部120。
<动作(整体)>
图59是表示由图像编码装置500进行的图像编码的整体的处理的流程图。
在实施方式5中，图像编码装置500进行实施方式1的图2所示的流程中包含的各步骤S101～S112，还进行步骤S491、S492、S493及S494。即，在实施方式5中，图像编码装置500在NN帧内预测、NN帧间预测及NN循环内滤波的某一个的参数切换定时(S491)，进行步骤S492～S494的某一个步骤。在步骤S492～S494的各自中，NN参数编码部120进行与实施方式1不同的特殊的NN帧内预测参数编码、NN帧间预测参数编码或NN循环内滤波参数编码。
<动作(NN帧内预测参数编码流程)>
图50是表示图59的步骤S492中的NN帧内预测参数编码的详细情况的流程图。
首先，NN参数编码部120将NN帧内预测的预测模式数(nn_intra_mode_num)编码(S401)。
接着，NN参数编码部120在各预测模式下进行步骤S403～S407的处理(S402)。这里，k表示处理对象的预测模式，是从0到“预测模式数－1”每增加1的变量。
具体而言，NN参数编码部120决定预测模式k的参数参照类型和参照的参数等(S407)。参数参照类型是将NN帧内预测参数怎样编码这样的信息，有3个类型。第1个类型，是参照其他预测模式的参数、将与它的差分编码的方法(模式参照类型)。第2个类型，是参照前1个层级或前1个节点的信息、将与它的差分编码的方法(紧前参照类型)。第3个类型，是什么都不参照、将值直接编码的方法(非参照类型)。此外，在模式参照类型中，不仅可以参照已经编码的预测模式的参数，而且可以参照预先规定的预置项的NN帧内预测参数。此外，规定的NN帧内预测参数存在多个种类，可以有选择地使用。在步骤S407中，NN参数编码部120决定参数参照类型，并且在模式参照类型的情况下，决定参照哪个预测模式的参数这样的参照模式信息(nn_intra_param_ref_mode)、是否使用预置项这样的信息(预置项使用模式开启/关闭)、和在使用预置项的参数的情况下使用哪个预置项这样的预置项ID(nn_intra_param_ref_preset_id)。决定的方法既可以选择参数与要编码的NN帧内预测参数最类似者，也可以实验性地编码而选择代码量最小者。
接着，NN参数编码部120将在步骤S407中决定的预测模式k的参数参照类型(nn_intra_param_ref_type[k])编码(S403)。
接着，NN参数编码部120判定参数参照类型是否是非参照类型(S404)，在非参照类型的情况下，实施参数非参照类型编码(S405)。另一方面，在不是非参照类型的情况下(模式参照类型或紧前参照类型的情况下)，NN参数编码部120实施参数参照类型编码(S406)。
另外，由参照模式信息表示的、包含要参照的参数的模式(参照模式)并不限定于与预测模式k相同的构造。即，参照模式和预测模式k具有相同的层级数、相同的节点数、相同的参照像素数及相同的输出像素数。此外，表示该参照模式的参照模式信息(nn_intra_param_ref_mode)表示从预测模式k起第几个之前的模式是参照模式，其默认值是0。
<动作(参数非参照类型编码流程)>
图51是表示图50的步骤S405中的参数非参照类型编码的详细情况的流程图。
首先，NN参数编码部120将预测模式k的层级数(nn_intra_layer_num[k])编码(S411)，将以后的处理与层级数相应地重复(S412)。这里，i表示处理对象的层级，是从0到“层级数－1”每增加1的变量。
接着，NN参数编码部120判定层级i是否是最初的层级(S413)，如果是最初的层级，则对输入节点数(input_node_num)设定参照像素数(S414)。另一方面，如果不是最初的层级，则NN参数编码部120对输入节点数(input_node_num)设定紧前的层级的节点数(nn_intra_node_num[k][i－1])(S415)。如果以图13为例说明，则在层级i是n[k][0][x]的层级(i＝0)的情况下，NN参数编码部120对输入节点数设定作为参照像素数的11。在假如层级i是n[k][1][x]的层级(i＝1)的情况下，NN参数编码部120对输入节点数设定作为紧前的层级的节点数的4。输入节点数是在以后的处理中使用的变量。
接着，NN参数编码部120判定层级i是否是最后的层级(S416)，在是最后的层级的情况下，对节点数(nn_intra_node_num[k][i])设定预测像素数(输出像素数)(在图13的例子中是16)(S417)。另一方面，在不是最后的层级的情况下，NN参数编码部120将节点数编码(S418)。
接着，NN参数编码部120将节点数相当的量的偏倚值(nn_intra_bias[k][i][j])编码(S419、S420)，将节点数和输入节点数相当的量的权重系数(nn_intra_w[k][i][j][m])编码(S421、S422)。这里，j表示处理对象的节点，是从0到“层级i的节点数－1”每增加1的变量。此外，m表示处理对象的输入节点，是从0到“层级i的节点j的输入节点数－1”每增加1的变量。输入节点是指对处理对象的节点输入值的节点，例如图13的n[k][0][0]的输入节点有参照像素0～参照像素11这12个。
<动作(参数参照类型编码流程)>
图52是表示图50的步骤S406中的参数参照类型编码的详细情况的流程图。
首先，NN参数编码部120判定预测模式k的参数参照类型是否是模式参照类型(S431)，如果是模式参照类型，则再判定是否是预置项使用模式(S432)，如果是预置项使用模式，则对参照模式增量(delta)设定0(S433)。并且，NN参数编码部120将参照模式增量编码(S436)，将使用的预置项的ID编码(S436、S437)。在假如不是预置项使用模式的情况下，NN参数编码部120从k减去参照模式(nn_intra_param_ref_mode)而计算出参照模式增量后(S434)，将参照模式增量编码(S435)。如这里叙述那样，预置项使用模式是开启还是关闭没有被直接编码。图像解码装置，如果参照模式增量是0，则可以判定为预置项使用模式是开启。此外，如果参数参照类型是紧前参照类型(S431的否)，则NN参数编码部120不进行步骤S432～S437的处理。
接着，NN参数编码部120利用参数参照类型将层级数编码(S440)。详细情况后述。
接着，NN参数编码部120将以下的处理反复进行层级数相当的量(S441)。这里，i表示处理对象的层级，是从0到“层级数－1”每增加1的变量。
具体而言，NN参数编码部120判定层级i是否是最初的层级(S442)，如果是最初的层级，则对输入节点数(input_node_num)设定参照像素数(S443)。另一方面，如果不是最初的层级，则NN参数编码部120对输入节点数(input_node_num)设定紧前的层级的节点数(nn_intra_node_num[k][i－1])(S444)。
接着，NN参数编码部120判定层级i是否是最后的层级(S445)，在是最后的层级的情况下，对节点数(nn_intra_node_num[k][i])设定预测像素数(输出像素数)(S446)。另一方面，在不是最后的层级的情况下，NN参数编码部120利用参数参照类型将节点数编码(S447)。关于节点数的编码的详细情况后述。
接着，NN参数编码部120将节点数相当的量的偏倚值编码(S448、S449)，将节点数和输入节点数相当的量的权重系数以参数参照类型编码(S450、S451)。这里，j表示处理对象的节点，是从0到“层级i的节点数－1”每增加1的变量。此外，m表示处理对象的输入节点，是从0到“层级i的节点j的输入节点数－1”每增加1的变量。关于步骤S449中的偏倚值的编码(参数参照类型偏倚值编码)和步骤S451中的权重系数的编码(参数参照类型权重系数编码)后述。
<动作(参数参照类型层级数编码流程)>
图53是表示图52的步骤S440中的参数参照类型层级数编码的详细情况的流程图。
NN参数编码部120判定预测模式k的参数参照类型是否是模式参照类型(S431)，如果不是模式参照类型(如果是紧前参照类型)，则将预测模式k的层级数编码(S465)。如果是模式参照类型，则图像解码装置能够根据参照的预测模式的参数或预置项的参数取得层级数，所以NN参数编码部120不将该层级数编码。
<动作(参数参照类型节点数编码流程)>
图54是表示图52的步骤S447中的参数参照类型节点数编码的详细情况的流程图。
NN参数编码部120判定预测模式k的参数参照类型是否是模式参照类型(S431)，如果不是模式参照类型(如果是紧前参照类型)，则将预测模式k的层级i的节点数增量编码(S462～S465)。具体而言，NN参数编码部120判定层级i是否是最初的层级(S462)。这里，如果层级i是最初的层级，则NN参数编码部120通过从参照像素数减去预测模式k的层级i的节点数，计算预测模式k的层级i的节点数增量(S463)，将该节点数增量编码(S465)。另一方面，如果层级i不是最初的层级，则NN参数编码部120通过从紧前的层级的节点数减去预测模式k的层级i的节点数，计算预测模式k的层级i的节点数增量(S464)，将该节点数增量编码(S465)。
<动作(参数参照类型偏倚值编码流程)>
图55是表示图52的步骤S449中的参数参照类型偏倚值编码的详细情况的流程图。
NN参数编码部120通过从参照偏倚值减去预测模式k的层级i的节点j的偏倚值，计算偏倚值增量(S478)，将该值作为预测模式k的层级i的节点j的偏倚值增量编码(S479)。参照偏倚值根据条件而不同。即，NN参数编码部120判定预测模式k的参数参照类型是否是模式参照类型(S431)，如果是模式参照类型，则再判定是否是预置项使用模式(S432)。这里，如果为参数参照类型是模式参照类型、且预置项使用模式开启的情况，则NN参数编码部120将预置项ID的预置项的层级i的节点j的偏倚值设定为参照偏倚值(S473)。相反，在参数参照类型是模式参照类型、但预置项使用模式关闭的情况下，NN参数编码部120将参照的预测模式(参照模式)的层级i的节点j的偏倚值设定为参照偏倚值(S474)。此外，NN参数编码部120在预测模式k的参数参照类型是紧前参照类型的情况下，判定节点j在层级i中是否是最初的节点(S475)，如果是最初的节点，则将层级i的默认偏倚值设定为参照偏倚值(S476)。另一方面，如果不是最初的节点，则NN参数编码部120将紧前的节点的偏倚值设定为参照偏倚值(S477)。这里，所谓最初的节点，如果用图13说明，是n[k][x][0]的节点，是在各层级中处于最上方的节点。此外，所谓紧前的节点，是在图13中在相同的层级中上一个节点，n[k][x][1]的紧前的节点是n[k][x][0]。此外，所谓默认偏倚值，是预先规定的偏倚值。
<动作(参数参照类型权重系数编码流程)>
图56是表示图52的步骤S451中的参数参照类型权重系数编码的详细情况的流程图。
NN参数编码部120通过从参照权重系数减去预测模式k的层级i的节点j的输入节点m的权重系数，计算权重系数增量(S488)，将该值作为预测模式k的层级i的节点j的输入节点m的权重系数编码(S489)。参照权重系数根据条件而不同。即，NN参数编码部120判定预测模式k的参数参照类型是否是模式参照类型(S431)，如果是模式参照类型，则再判定是否是预置项使用模式(S432)。这里，当为参数参照类型是模式参照类型、且预置项使用模式开启的情况下，NN参数编码部120将预置项ID的预置项的层级i的节点j的输入节点m的权重系数设定为参照权重系数(S483)。相反，在虽然参数参照类型是模式参照类型、但预置项使用模式关闭的情况下，NN参数编码部120将参照的预测模式(参照模式)的层级i的节点j的输入节点m的权重系数设定为参照权重系数(S484)。此外，NN参数编码部120在预测模式k的参数参照类型是紧前参照类型的情况下，判定输入节点m在节点j中是否是最初的输入节点(S485)，如果是最初的输入节点，则将层级i的节点j的默认权重系数设定为参照权重系数(S486)。另一方面，如果不是最初的输入节点，则NN参数编码部120将紧前的输入节点的权重系数设定为参照权重系数(S487)。这里，所谓最初的输入节点，如果用图13说明，则在n[k][0][0]中是参照像素0，是输入节点中处于最上方的节点。此外，所谓紧前的输入节点，是在图13中输入节点中的上一个节点，在n[k][0][0]中，参照像素1的紧前的输入节点是参照像素0。此外，所谓默认权重系数，是预先规定的权重系数。
<动作(NN帧间预测参数编码流程)，动作(NN循环内滤波参数编码流程)>
图59的步骤S493及S494中的NN帧间预测参数编码及NN循环内滤波参数编码的各自的流程与图50～图56所示的NN帧内预测参数编码的流程是同样的，只是将NN帧内预测替换为NN帧间预测或NN循环内滤波，所以省略说明。
<句法结构>
本实施方式的各句法，在实施方式1的图15～图26所示的各句法中，仅NN帧内预测的参数数据的句法(图19)、NN帧间预测的参数数据的句法(图20)及NN循环内滤波的参数数据的句法(图21)不同。在本实施方式中，代替图19～图21所示的句法而使用图57及图58所示的句法。其他的句法相同。另外，Descriptor的ae(v)表示用上下文自适应型二进制算术编码(CABAC)编码。
如在实施方式5中说明的那样，将NN参数编码的方法有3种，这一点与实施方式1不同。图57的nn_intra_param_ref_type是表示其类型的信息，在nn_intra_param_ref_type为NN_INTRA_PARAM_NO_REF的情况下是非参照类型，NN参数编码部120与实施方式1同样将参数值本身编码。此外，在nn_intra_param_ref_type为NN_INTRA_PARAM_REF_MODE的情况下是模式参照类型，NN参数编码部120将参照的预测模式信息编码，使用参照的预测模式的参数值将NN参数编码。此外，在nn_intra_param_ref_type为其以外的情况下是紧前参照类型，NN参数编码部120使用紧前编码的节点的值或默认值将NN参数(运算参数)编码。此外，在模式参照类型的情况下，可以使用预先规定的多个预置项的值。在模式参照类型的情况下，用与处理对象的预测模式值的差分(nn_intra_param_ref_mode_delta)指定参照的预测模式(参照模式)，在该差分为0的情况下，意味着是预置项使用模式。在使用预置项的情况下，根据nn_intra_param_ref_preset_id识别使用哪个预置项。此外，即使在参照参数的情况下，NN参数编码部120也不是将偏倚值或权重系数的值复制，而是将与参照的值的差分(nn_intra_bias_delta，nn_intra_w_delta)编码。即使偏倚值或权重系数的值与参照的参数、预置项或默认值多少不同，也能够效率良好地发送参数。
另外，NN帧间预测参数或NN循环内滤波参数的句法与图57及图58所示的NN帧内预测参数的句法是同样的，只是将intra_pred替换为inter_pred或ilf，所以省略说明。
<效果>
以上，根据本实施方式，能够减少NN帧内预测、NN帧间预测及NN循环内滤波的参数的代码量，能够提高编码效率。更具体地讲，通过参照其他预测模式的参数、将与它的差分编码，削减了信息量。这基于发现了即使预测模式不同、NN的参数的值也类似的特征。
此外，不仅是其他预测模式的参数，还预先规定多个预置项，在与它们的某一个类似的参数的情况下，通过发送与它的差分，削减了代码量。作为该预置项，通过规定能够应用到通用的图像中的参数，即使不将参数编码，也能够实现某种程度的编码效率，能够减少必须编码的参数的信息量。
此外，设置紧前参照类型的编码方法，将与紧前编码的参数的差分编码，削减参数的代码量。这基于发现了NN的参数与紧前的节点或紧前的输入节点的相关性较高的特征。
此外，在最初的节点或输入节点的情况下，通过将与默认值的差分编码，削减代码量。这基于发现了NN的参数的值在某种程度上有偏差，设置默认值更能减少代码量。
此外，在对参照的预测模式指定了特定值的情况下进行切换以参照预置项的参数，通过这样，减少了用于切换是参照其他预测模式的参数、还是参照预置项的参数的代码量。更具体地讲，在参照模式增量为0的情况下参照预置项的参数。参照模式增量是利用与处理对象的预测模式的差分来指定参照的预测模式的变量，其为0是异常的情形(错误)。在本实施方式中，利用不可能成为0的情况，在0的情况下切换为别的参照方法，从而有效利用代码量。
另外，在本实施方式中，用上下文自适应型二进制算术编码(CABAC)将参数信息编码，但并不限于此，也可以使用其他的可变长编码方法。例如也可以使用哥伦布(Golomb)编码。
此外，根据参照模式增量是否是0来判定是否使用使用预置项这样的信息，但并不限于此，也可以将使用预置项这样的信息(例如图57的ref_preset_flag)另行编码。
此外，将与参照的预测模式或预置项的差分编码，但并不限于此，也可以不将差分信息编码，而将参照的预测模式或预置项的值原样复制而作为参数值使用。
此外，构成为具备多个预置项，但并不限于此，也可以仅为1个。在此情况下，当然不需要参照哪个预置项这样的识别符的信息(例如图57的nn_intra_param_ref_preset_id)。
(实施方式6)
<整体结构>
图60是表示本实施方式的图像解码装置的结构的框图。
本实施方式的图像解码装置600具备实施方式2的图像解码装置200的各构成要素，还具备NN参数解码部220。
<动作(整体)>
图68是表示由图像解码装置600进行的图像解码的整体的处理的流程图。
在实施方式6中，图像解码装置600进行在实施方式2的图30所示的流程中包含的各步骤S221～S228，还进行步骤S601、S602、S603及S604。即，在实施方式6中，图像解码装置600在NN帧内预测、NN帧间预测及NN循环内滤波的某一个的参数切换定时(S601)，进行步骤S602～S604的某一个步骤。在步骤S602～S604各自中，NN参数解码部220进行与实施方式2不同的特殊的NN帧内预测参数解码、NN帧间预测参数解码或NN循环内滤波参数解码。
<动作(NN帧内预测参数解码流程)>
图61是表示图68的步骤S602中的NN帧内预测参数解码的详细情况的流程图。
首先，NN参数解码部220将NN帧内预测的预测模式数(nn_intra_mode_num)解码(S501)。
接着，NN参数解码部220在各预测模式中进行步骤S503～S506的处理(S502)。这里，k表示处理对象的预测模式，是从0到“预测模式数－1”每增加1的变量。
具体而言，NN参数解码部220将预测模式k的参数参照类型(nn_intra_param_ref_type[k])解码(S503)。
接着，NN参数解码部220判定参数参照类型是否是非参照类型(S504)，在非参照类型的情况下，实施参数非参照类型解码(S505)，另一方面，在不是非参照类型的情况下(模式参照类型或紧前参照类型的情况下)，NN参数解码部220实施参数参照类型解码(S506)。
<动作(参数非参照类型解码流程)>
图62是表示图61的步骤S505中的参数非参照类型解码的详细情况的流程图。
首先，NN参数解码部220将预测模式k的层级数(nn_intra_layer_num[k])解码(S511)，将以后的处理反复进行层级数相当的量(S512)。这里，i表示处理对象的层级，是从0到“层级数－1”每增加1的变量。
接着，NN参数解码部220判定层级i是否是最初的层级(S513)，如果是最初的层级，则对输入节点数(input_node_num)设定参照像素数(S514)。另一方面，如果不是最初的层级，则NN参数解码部220对输入节点数(input_node_num)设定紧前的层级的节点数(nn_intra_node_num[k][i－1])(S515)。如果以图13为例说明，则在层级i是n[k][0][x]的层级(i＝0)的情况下，NN参数解码部220对输入节点数设定作为参照像素数的11。假如层级i是n[k][1][x]的层级(i＝1)的情况下，NN参数解码部220将作为紧前的层级的节点数的4设定为输入节点数。输入节点数是在以后的处理中使用的变量。
接着，NN参数解码部220判定层级i是否是最后的层级(S516)，在是最后的层级的情况下，对节点数(nn_intra_node_num[k][i])设定预测像素数(输出像素数)(在图13的例子中是16)(S517)。另一方面，在不是最后的层级的情况下，NN参数解码部220将节点数解码(S518)。
接着，NN参数解码部220将节点数相当的量的偏倚值(nn_intra_bias[k][i][j])解码(S519、S520)，将节点数和输入节点数相当的量的权重系数(nn_intra_w[k][i][j][m])解码(S521、S522)。这里，j表示处理对象的节点，是从0到“层级i的节点数－1”每增加1的变量。此外，m表示处理对象的输入节点，是从0到“层级i的节点j的输入节点数－1”每增加1的变量。所谓输入节点，是对处理对象的节点输入值的节点，例如图13的n[k][0][0]的输入节点有参照像素0～参照像素11这12个。
<动作(参数参照类型解码流程)>
图63是表示图61的步骤S506中的参数参照类型解码的详细情况的流程图。
首先，NN参数解码部220判定预测模式k的参数参照类型是否是模式参照类型(S531)，如果是模式参照类型，则将参照模式增量(nn_intra_param_ref_mode_delta)解码(S532)。并且，NN参数解码部220判定参照模式增量是否是0(S533)，如果是0，则将预置项使用模式设为开启(S534)，如果不是0，则将预置项使用模式设为关闭(S535)。
接着，NN参数解码部220判定预置项使用模式是否是开启(S536)，如果是开启，则将使用的预置项的ID(nn_intra_param_ref_preset_id)解码(S537)。另一方面，如果不是开启，则NN参数解码部220通过从k减去参照模式增量来计算参照模式(nn_intra_param_ref_mode)(S538)。如果参数参照类型是紧前参照类型(S531的否)，则NN参数解码部220不进行步骤S532～S538的处理。
接着，NN参数解码部220利用参数参照类型将层级数解码(S540)。详细情况后述。
接着，NN参数解码部220将以下的处理反复进行层级数相当的量(S541)。这里，i表示处理对象的层级，是从0到“层级数－1”每增加1的变量。
具体而言，NN参数解码部220判定层级i是否是最初的层级(S542)，如果是最初的层级，则对输入节点数(input_node_num)设定参照像素数(S543)。另一方面，如果不是最初的层级，则NN参数解码部220对输入节点数(input_node_num)设定紧前的层级的节点数(nn_intra_node_num[k][i－1])(S544)。
接着，NN参数解码部220判定层级i是否是最后的层级(S545)，在是最后的层级的情况下，对节点数(nn_intra_node_num[k][i])设定预测像素数(输出像素数)(S546)。另一方面，在不是最后的层级的情况下，NN参数解码部220利用参数参照类型将节点数解码(S547)。关于节点数的解码的详细情况后述。
接着，NN参数解码部220将节点数相当的量的偏倚值解码(S548、S549)，将节点数和输入节点数相当的量的权重系数利用参数参照类型解码(S550、S551)。这里，j表示处理对象的节点，是从0到“层级i的节点数－1”每增加1的变量。此外，m表示处理对象的输入节点，是从0到“层级i的节点j的输入节点数－1”每增加1的变量。关于步骤S549中的偏倚值的编码(参数参照类型偏倚值解码)和步骤S551的权重系数的解码(参数参照类型权重系数解码)后述。
<动作(参数参照类型层级数解码流程)>
图64是表示图63的步骤S540中的参数参照类型层级数解码的详细情况的流程图。
首先，NN参数解码部220判定预测模式k的参数参照类型是否是模式参照类型(S531)，如果是模式参照类型，则再判定预置项使用模式是否是开启(S536)。这里，如果预置项使用模式是开启，则NN参数解码部220将预置项ID指示的预置项的层级数设定为预测模式k的层级数(S563)。另一方面，在预置项使用模式是关闭的情况下，NN参数解码部220将参照的预测模式的层级数设定为预测模式k的层级数(S564)。
此外，在预测模式k的参数参照类型是直接参照类型的情况下(S531的否)，NN参数解码部220将预测模式k的层级数解码(S565)。
在本处理中，在模式参照类型的情况下，NN参数解码部220不将层级数解码，而从预置项或其他预测模式的信息取得层级数。
<动作(参数参照类型节点数解码流程)>
图65是表示图63的步骤S547中的参数参照类型节点数解码的详细情况的流程图。
首先，NN参数解码部220判定预测模式k的参数参照类型是否是模式参照类型(S531)，如果是模式参照类型，则再判定预置项使用模式是否是开启(S536)。这里，如果预置项使用模式是开启，则NN参数解码部220将预置项ID指示的预置项的节点数设定为预测模式k的层级i的节点数(S573)。另一方面，在预置项使用模式为关闭的情况下，NN参数解码部220将参照的预测模式的节点数设定为预测模式k的层级i的节点数(S574)。
此外，在预测模式k的参数参照类型是直接参照类型的情况下(S531的否)，NN参数解码部220将预测模式k的层级i的节点数增量解码(S575)。并且，NN参数解码部220判定层级i是否是最初的层级(S576)，如果是最初的层级，则从参照像素数减去在步骤S575中解码的节点数增量，将其减法结果设定为预测模式k的层级i的节点数(S577)。假如层级i不是最初的层级，则NN参数解码部220从紧前的层级的节点数减去在步骤S575中解码的节点数增量，将其减法结果设定为预测模式k的层级i的节点数中(S578)。
在本处理中，在模式参照类型的情况下，NN参数解码部220不将节点数解码，而从预置项或其他预测模式的信息中取得节点数。
<动作(参数参照类型偏倚值解码流程)>
图66是表示图63的步骤S549中的参数参照类型偏倚值解码的详细情况的流程图。
首先，NN参数解码部220将预测模式k的层级i的节点j的偏倚值增量解码(S581)。
接着，NN参数解码部220判定预测模式k的参数参照类型是否是模式参照类型(S531)，如果是模式参照类型，则再判定预置项使用模式是否是开启(S536)。这里，如果预置项使用模式是开启，则NN参数解码部220将预置项ID指示的预置项的偏倚值设定为参照偏倚值(S584)。另一方面，在预置项使用模式是关闭的情况下，NN参数解码部220将参照的预测模式的偏倚值设定为参照偏倚值(S585)。
此外，在预测模式k的参数参照类型是直接参照类型的情况下(S531的否)，NN参数解码部220判定节点j在层级i中是否是最初的节点(S586)。如果是最初的节点，则NN参数解码部220将层级i的默认偏倚值设定为参照偏倚值(S587)，如果不是最初的节点，则将紧前的节点的偏倚值设定为参照偏倚值(S588)。
接着，NN参数解码部220从参照偏倚值中减去在步骤S581中解码的偏倚值增量，将其减法结果设定为预测模式k的层级i的节点j的偏倚值(S589)。
<动作(参数参照类型权重系数解码流程)>
图67是表示图63的步骤S551中的参数参照类型权重系数解码的详细情况的流程图。
首先，NN参数解码部220将预测模式k的层级i的节点j的输入节点m的权重系数增量解码(S591)。
接着，NN参数解码部220判定预测模式k的参数参照类型是否是模式参照类型(S531)，如果是模式参照类型，则再判定预置项使用模式是否是开启(S536)。这里，如果预置项使用模式是开启，则NN参数解码部220将预置项ID指示的预置项的参照权重系数设定为参照权重系数(S594)。另一方面，在预置项使用模式为关闭的情况下，NN参数解码部220将参照的预测模式的权重系数设定为参照权重系数(S595)。
此外，在预测模式k的参数参照类型是直接参照类型的情况下(S531的否)，NN参数解码部220判定输入节点m在节点j中是否是最初的输入节点(S596)。如果是最初的输入节点，则NN参数解码部220将层级i的节点j的默认权重系数设定为参照权重系数(S597)，如果不是最初的输入节点，则将紧前的输入节点的权重系数设定为参照权重系数(S598)。
接着，NN参数解码部220从参照权重系数减去在步骤S591中解码后的权重系数增量，将其减法结果设定为预测模式k的层级i的节点j的输入节点m的权重系数(S599)。
<动作(NN帧间预测参数编码流程)，动作(NN循环内滤波参数编码流程)>
图68的步骤S603及S604中的NN帧间预测参数解码及NN循环内滤波参数解码的各自的流程与图61～图67所示的NN帧内预测参数解码的流程是同样的，仅将NN帧内预测替换为NN帧间预测或NN循环内滤波，所以省略说明。
<句法结构>
本实施方式的各句法由于与实施方式5的图57及图58所示的各句法相同，所以省略说明。此外，图57及图58是NN帧内预测参数的句法，但NN帧间预测参数及NN循环内滤波参数的句法也是同样的，只是将intra_pred替换为inter_pred和ilf，所以省略说明。
<效果>
由于与实施方式5是同样的，所以省略说明。
<实施方式5及6的总结>
在有关本发明的第1技术方案(1)的图像的编码或解码的方法中，将非线性滤波器的运算参数编码或解码，使用该运算参数将对象图像编码或解码。
此外，在有关本发明的第2技术方案(1－1)的方法中，也可以是，在有关第1技术方案的方法中，参照已编码或解码的运算参数，将运算参数编码或解码。
此外，在有关本发明的第3技术方案(1－1－1)的方法中，也可以是，在有关第2技术方案的方法中，具备多个模式的使用上述运算参数的处理，参照已编码或解码的其他模式的运算参数，将运算参数编码或解码。
此外，在有关本发明的第4技术方案(1－1－2)的方法中，也可以是，在有关第2技术方案的方法中，参照紧前编码或解码的运算参数，将运算参数编码或解码。
此外，在有关本发明的第5技术方案(1－1－3)的方法中，也可以是，在有关第2技术方案的方法中，将与参照的数据的差分值编码或解码。
此外，在有关本发明的第6技术方案(1－2)的方法中，也可以是，在有关第1技术方案的方法中，规定特定的运算参数，参照它将运算参数编码或解码。
此外，在有关本发明的第7技术方案(1－2－1)的方法中，也可以是，在有关第6技术方案的方法中，规定多个运算参数，将用于指定它们中的1个的识别符编码或解码，参照所指定的运算参数将运算参数编码或解码。
此外，在有关本发明的第8技术方案(1－2－2)的方法中，也可以是，在有关第6技术方案的方法中，将与参照的数据的差分值编码或解码。
这里，在有关本发明的第9技术方案(2)的图像的编码或解码的方法中，将在帧内预测中使用的运算参数编码或解码。
此外，在有关本发明的第10技术方案(2－1)的方法中，也可以是，在有关第9技术方案的方法中，参照已编码或解码的运算参数，将运算参数编码或解码。
此外，在有关本发明的第11技术方案(2－1－1)的方法中，也可以是，在有关第10技术方案的方法中，具备多个模式的使用上述运算参数的处理，参照已编码或解码的其他模式的运算参数，将运算参数编码或解码。
此外，在有关本发明的第12技术方案(2－1－2)的方法中，也可以是，在有关第10技术方案的方法中，参照紧前编码或解码的运算参数，将运算参数编码或解码。
此外，在有关本发明的第13技术方案(2－1－3)的方法中，也可以是，在有关第10技术方案的方法中，将与参照的数据的差分值编码或解码。
此外，在有关本发明的第14技术方案(2－2)的方法中，也可以是，在有关第9技术方案的方法中，规定特定的运算参数，参照它将运算参数编码或解码。
此外，在有关本发明的第15技术方案(2－2－1)的方法中，也可以是，在有关第14技术方案的方法中，规定多个运算参数，将用于指定它们中的1个的识别符编码或解码，参照所指定的运算参数将运算参数编码或解码。
此外，在有关本发明的第16技术方案(2－2－2)的方法中，也可以是，在有关第14技术方案的方法中，将与参照的数据的差分值编码或解码。
在以上的各实施例中，功能块分别通常由MPU或存储器等实现。此外，由功能块的各自进行的处理通常可以由软件(程序)实现，该软件被记录在ROM等的记录介质中。并且，也可以将这样的软件通过下载等发布，也可以记录到CD－ROM等的记录介质中而发布。另外，当然也可以将各功能块通过硬件(专用电路)实现。
此外，在各实施例中说明的处理也可以通过使用单一的装置(***)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的计算机既可以是单个，也可以是多个。即，也可以进行集中处理，或者也可以进行分散处理。
本发明并不限定于以上的实施例，能够进行各种各样的变更，当然它们也包含在本发明的范围内。
<实施方式1～6的总结>
图69A是有关本发明的一技术方案的图像编码装置的框图。
图像编码装置10对应于上述各实施方式的图像编码装置100、300、500，将图片按每个块进行变换，使用循环内滤波重构已变换的块，利用使用该图片内的像素的帧内预测或其他图片内的像素进行的帧间预测，预测重构的块，将该块编码。此外，该图像编码装置10具备图像编码部11和参数编码部12。
图像编码部11在帧内预测、帧间预测及循环内滤波中的至少1个中，进行输入输出的关系为非线性的非线性处理，将包括上述块的图像编码。参数编码部12将用于该非线性处理的非线性滤波器的运算参数编码。
图69B是有关本发明的一技术方案的图像编码方法的流程图。
图像编码方法将图片按每个块变换，使用循环内滤波重构已变换的块，利用使用该图片内的像素的帧内预测或使用其他图片内的像素进行的帧间预测，预测重构的块，将该块编码，包括步骤S11和步骤S12。在步骤S11中，在帧内预测、帧间预测及循环内滤波中的至少1个中，进行输入输出的关系为非线性的非线性处理，将包含上述块的图像编码。在步骤S12中，将用于该非线性处理的非线性滤波器的运算参数编码。
这样，在有关本发明的一技术方案的图像编码装置及图像编码方法中，通过使用非线性滤波器，能够将图像有效率地编码。
这里，例如也可以是，非线性滤波器包含神经网络，在运算参数的编码中，将神经网络中包含的各节点间的权重系数作为运算参数编码。此外，例如也可以是，在该运算参数的编码中，还将神经网络的层级数或节点数作为运算参数编码。
此外，也可以是，在图像的编码中，根据被编码的上述图像的配置，规定神经网络的层级数或节点数的最大值，进行使用所规定的最大值以下的层级数或节点数的神经网络的非线性处理。
由此，例如图28所示，由于根据配置限制层级数或节点数，所以能够抑制非线性处理的计算量，能够实现低延迟。
此外，也可以是，在图像编码方法中，还将切换信息编码，所述切换信息将具有固定参数的线性滤波器和上述非线性滤波器中的某一方表示为应使用的滤波器；在图像的编码中，按照上述切换信息，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，将在图像的编码中使用的处理切换为使用上述非线性滤波器的上述非线性处理和使用上述线性滤波器的线性处理。
例如，切换信息是图22所示的intra_pred_type、inter_pred_type或ilf_type。线性处理是以往的帧内预测、帧间预测及循环内滤波中的至少1个，使用具有固定的参数(权重系数等)的线性滤波器。
由此，切换非线性处理和线性处理，所以能够选择由代码量和图像的畸变(画质)定义的评价值较高的处理，能够同时抑制代码量及画质劣化。
此外，也可以是，非线性处理与多个模式中的某一个模式建立对应；在图像的编码中，在被指定模式的情况下，进行非线性处理，将图像编码。
由此，例如通过指定图22所示的nn_intra_pred_mode、nn_inter_pred_mode及nn_ilf_mode等模式，能够进行与该模式对应的适当的非线性处理。
此外，在图像编码方法中，也可以还将表示被指定的模式的信息编码。
由此，例如如图22～图26所示，由于将表示模式的信息编码，所以能够向图像解码装置通知该模式，能够适当地将图像解码。
此外，也可以是，在图像编码方法中，还按照作为在上述图像中包含的块、切片、瓦片、图片或GOP(Group Of Picture)的图像单位，切换上述运算参数；在上述图像的编码中，对上述图像单位进行使用具有被切换后的运算参数的上述非线性滤波器的非线性处理，将上述图像单位编码。例如，在运算参数的编码中，在图像中包含的序列、GOP及图片中的至少1个的开头中，将分别对应于多个非线性滤波器的与第1识别符建立了关联的运算参数编码；在图像的编码中，按每个图像单位，用第1识别符指定运算参数，进行使用所指定的运算参数的非线性滤波器的非线性处理，将图像编码。
例如，如图16～图18所示，按每个图像单位，用pps_nps_id或slice_nps_id等的第1识别符指定与和该第1识别符相同的nps_id建立了关联的运算参数(nn_intra_pred_parameter_data()、nn_inter_pred_parameter_data()或nn_ilf_parameter_data())。由此，能够按每个图像单位适当地使用运算参数。
此外，也可以是，在图像编码方法中，还将表示非线性滤波是有效还是无效的有效/无效信息编码；在图像的编码中，在该有效/无效信息表示有效的情况下，进行非线性处理。
例如，将作为图15所示的nn_intra_pred_enabled_flag等的标志的有效/无效信息编码，在该标志表示有效的情况下，进行NN帧内预测等的非线性处理。由此，图像解码装置在有效/无效信息表示无效的情况下，能够省去对于运算参数等的处理，能够简单地将图像解码。
此外，在图像编码方法中，也可以还根据被编码的图像的配置将由有效/无效信息表示的内容切换。
由此，能够根据配置选择是否进行非线性处理。
此外，也可以是，在图像编码方法中，还在处理图像的应用程序中对于图像处理有低延迟的要求的情况下，将由有效/无效信息表示的内容切换为无效。
由此，在有低延迟的要求的应用程序中，可以代替非线性处理而进行使用具有固定参数的线性滤波器的帧内预测等的线性处理，能够实现与该要求对应的图像的编码。
此外，在图像编码方法中，也可以还通过使用该图像作为教师数据学习来决定运算参数。例如，在该图像编码方法中，还按图像中包含的每个块，根据该块的特征，将该块分类为多个类中的某一个类，在运算参数的决定中，通过按每个该类使用被分类为该类的至少1个块和该至少1个块的各自的周边像素作为教师数据学习，决定与该类对应的运算参数。
由此，例如如图7～图14所示，能够使运算参数对编码对象的图像优化，能够将图像更有效率地编码。
此外，在运算参数的决定中，也可以通过在图像中仅使用复杂性比预先设定的基准高的区域进行学习，来决定运算参数。
由此，能够不使非线性处理的精度或性能下降而缩减学习的范围，能够削减非线性滤波器的运算参数量。
此外，也可以是，在变换中进行从图像的空间域向频域的变换，根据进行使用非线性滤波器的帧内预测或帧间预测、还是使用线性滤波器的帧内预测或帧间预测，来切换该变换的方法。例如，在该变换中，在进行使用非线性滤波器的帧内预测的情况下，将变换的方法切换为使用可变更的变换矩阵的方法，按照使用可变更的变换矩阵的方法进行变换。
例如如图39所示，在进行使用非线性滤波器的帧内预测(NN帧内预测)的情况下，通过KL变换等的使用可变更的变换矩阵的方法进行变换，在进行使用线性滤波器的帧内预测(以往的帧内预测)的情况下，通过离散余弦变换等的固定变换进行变换。由此，在进行NN帧内预测那样的非线性处理的情况下，能够进行适合于该非线性处理的变换，能够提高编码效率。
此外，也可以是，在图像的编码中，在图像中包含的块是规定的尺寸以下的情况下，对该块进行使用非线性滤波器的帧内预测作为非线性处理，在块比规定的尺寸大的情况下，对该块进行使用固定参数的线性滤波器的帧内预测。
例如如图36所示，在图像中包含的块(预测块)是4×4像素的尺寸以下的情况下，对预测块进行NN帧内预测，在比4×4像素的尺寸大的情况下，对预测块进行固定帧内预测。由此，能够在抑制预测性能的下降的同时削减运算参数的数据量，能够使编码效率提高。
此外，也可以是，在图像的编码中，对图像中的亮度成分进行非线性处理，对于图像中的色差成分，在帧内预测、帧间预测及循环内滤波中的至少1个中进行输入输出关系为线性的线性处理。
例如如图36～图38所示，对于亮度成分，进行NN帧内预测、NN帧间预测或NN循环内滤波，对于色差成分，进行固定帧内预测、固定帧间预测或固定循环内滤波。另外，固定帧内预测、固定帧间预测及固定循环内滤波分别是使用具有固定参数的线性滤波器进行的以往的帧间预测、帧内预测或循环内滤波。由此，能够在抑制预测精度的下降或噪声增加的同时削减运算参数的数据量，能够使编码效率提高。
此外，也可以是，在运算参数的编码中，参照与编码对象的上述运算参数不同的已编码的运算参数，将编码对象的上述运算参数编码。具体而言，在运算参数的编码中，将编码对象的运算参数与已编码的运算参数的差分编码。
由此，例如如图54～图56所示，能够将运算参数有效率地编码。
此外，也可以是，在非线性处理中有多个模式；已编码的运算参数是与对应于编码对象的运算参数的非线性处理的模式不同的其他模式的非线性处理的已编码的运算参数。
由此，例如如图56的步骤S484及S488所示，能够将运算参数(权重系数)有效率地编码。另外，步骤S484中的参照模式的层级i的节点j的输入节点m的权重系数是已编码的运算参数。
此外，已编码的运算参数也可以是在编码对象的运算参数的紧前被编码的运算参数。
由此，例如如图56的步骤S487及S488所示，能够将运算参数(权重系数)有效率地编码。另外，步骤S487中的紧前的输入节点的权重系数，是在编码对象的运算参数的紧前被编码的运算参数。
此外，也可以是，在运算参数的编码中，参照作为预先规定的参数的规定参数，将编码对象的运算参数编码。
由此，例如如图56的步骤S483及S488所示，能够将运算参数(权重系数)有效率地编码。另外，步骤S483中的预置项ID的预置项的层级i的节点j的输入节点m的权重系数，是作为预先规定的参数的规定参数。
此外，也可以是，在运算参数的编码中，将预先设定的多个参数中的某1个参数使用该参数的第2识别符指定，将被指定的参数作为规定参数参照，在图像编码方法中还将该第2识别符编码。
例如，在图52的步骤S437中，将预置项ID作为第2识别符指定并编码。由此，能够选择适当的规定参数，能够将运算参数更有效率地编码。
图70A是有关本发明的一技术方案的图像解码装置的框图。
图像解码装置20对应于上述各实施方式的图像解码装置200、400、600，将编码图片按每个块进行逆变换，使用循环内滤波将已逆变换的上述块重构，利用使用上述编码图片内的已解码的像素进行的帧内预测、或使用其他编码图片内的已解码的像素进行的帧间预测，预测所重构的上述块，将该块解码。此外，该图像解码装置20具备参数解码部21和图像解码部22。
参数解码部21将非线性滤波器的运算参数解码。图像解码部22在帧内预测、帧间预测及循环内滤波中的至少1个中，进行使用具有被解码的运算参数的非线性滤波器的、输入输出的关系为非线性的非线性处理，将包含该块的图像解码。
图70B是有关本发明的一技术方案的图像解码方法的流程图。
图像解码方法将编码图片按每个块进行逆变换，使用循环内滤波将已逆变换的上述块重构，利用使用上述编码图片内的已解码的像素进行的帧内预测、或使用其他编码图片内的已解码的像素进行的帧间预测，预测所重构的上述块，将该块解码，包括步骤S21和步骤S22。在步骤S21中，将非线性滤波器的运算参数解码。在步骤S22中，在帧内预测、帧间预测及循环内滤波中的至少1个中，进行使用具有被解码的运算参数的非线性滤波器的、输入输出的关系为非线性的非线性处理，将包括该块的图像解码。
这样，在有关本发明的一技术方案的图像解码装置及图像解码方法中，通过使用非线性滤波器，能够有效率地将编码的图像适当地解码。
这里，例如也可以是，非线性滤波器包含神经网络；在运算参数的解码中，将神经网络中包含的各节点间的权重系数作为运算参数而解码。此外，例如也可以是，在运算参数的解码中，还将神经网络的层级数或节点数作为运算参数而解码。
此外，也可以是，在图像解码方法中，还将切换信息解码，所述切换信息将具有固定参数的线性滤波器和非线性滤波器中的某一方表示为应使用的滤波器；在图像的解码中，按照切换信息，在帧内预测、帧间预测及循环内滤波中的至少1个中，将在图像的解码中使用的处理切换为使用非线性滤波器的非线性处理和使用线性滤波器的线性处理。
例如，切换信息是图22所示的intra_pred_type，inter_pred_type，或ilf_type。线性处理是以往的帧内预测、帧间预测及循环内滤波中的至少1个，使用具有固定的参数(权重系数等)的线性滤波器。
由此，将非线性处理和线性处理切换，所以能够选择由代码量和图像的畸变(画质)定义的评价值较高的处理，能够同时抑制代码量及画质劣化。
此外，也可以是，非线性处理与多个模式中的某一个模式建立对应；在图像的解码中，在被指定模式的情况下进行非线性处理，将图像解码。
由此，例如通过被指定图22所示的nn_intra_pred_mode、nn_inter_pred_mode及nn_ilf_mode等的模式，能够进行与该模式对应的适当的非线性处理。
此外，在图像解码方法中，也可以还将表示被指定的模式的信息解码。
由此，例如如图22～图26所示，由于表示模式的信息被解码，所以能够按照从图像编码装置通知的该模式，适当地将图像解码。
此外，也可以是，在图像解码方法中，还按照作为在图像中包含的块、切片、瓦片、图片或GOP(Group Of Picture)的图像单位，将运算参数切换；在图像的解码中，对图像单位进行使用具有被切换后的运算参数的非线性滤波器的非线性处理，将图像单位解码。例如，在运算参数的解码中，在图像中包含的序列、GOP及图片中的至少1个的开头，将与多个非线性滤波器的各自对应的、与第1识别符建立了关联的运算参数解码；在图像的解码中，按每个图像单位，用该第1识别符指定运算参数，进行使用被指定的运算参数的非线性滤波器的非线性处理，将图像解码。
例如，如图16～图18所示，按每个图像单位，由pps_nps_id或slice_nps_id等的第1识别符指定与和该第1识别符相同的nps_id建立了关联的运算参数(nn_intra_pred_parameter_data()、nn_inter_pred_parameter_data()或nn_ilf_parameter_data())。由此，能够将运算参数按每个图像单位适当地使用。
此外，也可以是，在图像解码方法中，还将表示非线性滤波器有效还是无效的有效/无效信息解码；在图像的解码中，在有效/无效信息表示有效的情况下，进行非线性处理。
例如，将作为图15所示的nn_intra_pred_enabled_flag等的标志的有效/无效信息解码，在该标志表示有效的情况下进行NN帧内预测等的非线性处理。由此，图像解码装置在有效/无效信息表示无效的情况下，能够省去对于运算参数等的处理，能够简单地将图像解码。
此外，也可以是，在逆变换中，进行从图像的频域向空间域的逆变换，根据进行使用非线性滤波器的帧内预测或帧间预测、还是使用线性滤波器的帧内预测或帧间预测，来切换该逆变换的方法。例如，在逆变换中，在进行使用非线性滤波器的帧内预测的情况下，也可以将逆变换的方法切换为使用可变更的变换矩阵的方法，按照使用可变更的变换矩阵的方法进行逆变换。
例如如图48所示，在进行使用非线性滤波器的帧内预测(NN帧内预测)的情况下，通过逆KL变换等的使用可变更的变换矩阵的方法进行变换，在进行使用线性滤波器的帧内预测(以往的帧内预测)的情况下，通过逆离散余弦变换等的逆固定变换进行逆变换。由此，在进行NN帧内预测那样的非线性处理的情况下，能够进行适合于该非线性处理的逆变换，能够提高编码效率。
此外，也可以是，在图像的解码中，在图像中包含的块是规定的尺寸以下的情况下，作为非线性处理而对该块进行使用非线性滤波器的帧内预测；在块比规定的尺寸大的情况下，对该块进行使用固定参数的线性滤波器的帧内预测。
例如如图45所示，在图像中包含的块(预测块)是4×4像素的尺寸以下的情况下，对预测块进行NN帧内预测，在比4×4像素的尺寸大的情况下，对预测块进行固定帧内预测。由此，能够在抑制预测性能的下降的同时削减运算参数的数据量，能够使编码效率提高。
此外，也可以是，在图像的解码中，对于图像中的亮度成分进行非线性处理，对于图像中的色差成分，在帧内预测、帧间预测及循环内滤波中的至少1个中进行输入输出关系为线性的线性处理。
例如如图45～图47所示，对于亮度成分，进行NN帧内预测、NN帧间预测或NN循环内滤波，对于色差成分，进行固定帧内预测、固定帧间预测或固定循环内滤波。另外，固定帧内预测、固定帧间预测及固定循环内滤波分别是使用具有固定参数的线性滤波器进行的以往的帧间预测、帧内预测或循环内滤波。由此，能够在抑制预测精度的下降及噪声增加的同时削减运算参数的数据量，能够使编码效率提高。
此外，也可以是，在运算参数的解码中，参照与解码对象的运算参数不同的已解码的运算参数，将解码对象的运算参数解码。具体而言，在运算参数的解码中，将解码对象的运算参数与已解码的运算参数的差分解码。
由此，例如如图65～图67所示，能够将运算参数有效率地解码。
此外，也可以是，在非线性处理中有多个模式；已解码的运算参数是与对应于解码对象的运算参数的非线性处理的模式不同的其他模式的非线性处理的已解码的运算参数。
由此，例如如图67的步骤S595及S599所示，能够将运算参数(权重系数)有效率地解码。另外，步骤S595中的参照模式的层级i的节点j的输入节点m的权重系数是已解码的运算参数。
此外，已解码的运算参数也可以是在解码对象的运算参数的紧前被解码的运算参数。
由此，例如如图67的步骤S598及S599所示，能够将运算参数(权重系数)有效率地解码。另外，步骤S598中的紧前的输入节点的权重系数是已解码的运算参数。
此外，也可以是，在运算参数的解码中，参照作为预先规定的参数的规定参数，将解码对象的运算参数解码。
由此，例如如图67的步骤S594及S599所示，能够将运算参数(权重系数)有效率地解码。另外，步骤S594中的预置项ID的预置项的层级i的节点j的输入节点m的权重系数，是作为预先规定的参数的规定参数。
此外，也可以是，在图像解码方法中，还将第2识别符解码；在运算参数的解码中，将预先设定的多个参数中的某1个参数使用该第2识别符指定，将所指定的参数作为规定参数来参照。
例如，在图63的步骤S537中，将预置项ID作为第2识别符而解码。由此，能够选择适当的规定参数，能够将运算参数更有效率地解码。
另外，这些总括性或具体的形态也可以通过***、方法、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过***、方法、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
(实施方式7)
通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机***中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的***。该***的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于***的其他结构，可以根据情况而适当变更。
图71是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给***ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给***ex100并不限定于图71那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是数字摄像机等的能够进行运动图像摄影的设备，照相机ex116是数字照相机等的能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。
在内容供给***ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，将数据分散处理、记录、及分发。
如以上这样，在内容供给***ex100中，客户端能够接收编码的数据而再现。这样，在内容供给***ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给***ex100的例子，如图72所示，在数字广播用***ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某一个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或***中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图73是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免***的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图74中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由***控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
在图75中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光来记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图73所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图76A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图76B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114启动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用***ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、***中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式8)
也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图77是表示复用数据的结构的图。如图77所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图78是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图79更详细地表示在PES包序列中怎样保存视频流。图79的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图79的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图80表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波的转送开始时刻。在复用数据中，源包如图80下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图81是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图82所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图82所示，由***速率、再现开始时刻、再现结束时刻构成。***速率表示复用数据的向后述的***目标解码器的PID滤波的最大转送速率。包含在复用数据中的ATS的间隔设定为成为***速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图83所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图84中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、***中。
(实施方式9)
在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图85中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是接通状态的情况下对各部供给电力，启动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex501的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这样的可编程逻辑设备典型地能够通过加载或从存储器等读入构成软件或固件的程序，来执行上述各实施方式所示的运动图像编码方法或运动图像解码方法。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式10)
在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图86表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图85的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图85的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式8中记载的识别信息。关于识别信息，并不限定于在实施方式8中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图88所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图87表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式11)
在电视机、便携电话等上述的设备、***中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图89A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图89B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
产业上的可利用性
本发明起到能够将图像有效率地编码的效果，例如能够在电视机、数字视频记录机、车载导航仪、便携电话、数字照相机、数字摄像机等的信息显示设备或摄像设备中利用，利用价值高。
标号说明
100、300、500 图像编码装置
101 块分割部
102 减法部
103、103A 变换部
103Aa KL变换部
103Ab 固定变换部
104 量化部
105 可变长编码部
106 逆变换部
107 逆量化部
108 加法部
109、109A NN参数决定部
109a、109Aa NN帧内预测参数决定部
109b、109Ab NN帧间预测参数决定部
109c、109Ac NN循环内滤波参数决定部
110 帧内预测部
110a NN帧内预测部
110b 固定帧内预测部
111 帧间预测部
111a NN帧间预测部
111b 固定帧间预测部
112 帧存储器
113 循环内滤波部
113a NN循环内滤波部
113b 固定循环内滤波部
115 NN处理切换部
120 NN参数编码部
200、400、600 图像解码装置
201 可变长解码部
202 逆量化部
203，203A 逆变换部
203Aa 逆KL变换部
203Ab 逆固定变换部
204 加法部
205 帧内补偿部
205a NN帧内补偿部
205b 固定帧内补偿部
206 帧间补偿部
206a NN帧间补偿部
206b 固定帧间补偿部
207 帧存储器
208 循环内滤波部
208a NN循环内滤波部
208b 固定循环内滤波部
210 NN处理切换部
220 NN参数解码部

Claims (25)

1.一种图像编码方法，
将图片按每个块进行变换；
使用循环内滤波将已变换的上述块进行重构；
利用使用上述图片内的像素进行的帧内预测或使用其他图片内的像素进行的帧间预测，预测所重构的上述块；
将上述块编码；
上述图像编码方法的特征在于，
在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，进行包含神经网络的滤波处理而将包含上述块的图像编码；
上述滤波处理是输入输出的关系为非线性的非线性处理；
在上述图像编码方法中，
将表示用于上述非线性处理的非线性滤波器的运算参数的信息编码；
还将切换信息编码，该切换信息将具有固定参数的线性滤波器和上述非线性滤波器中的某一方表示为应使用的滤波器；
在上述图像的编码中，将用于上述图像的编码的处理，按照上述切换信息，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中切换为使用上述非线性滤波器的上述非线性处理和使用上述线性滤波器的线性处理。
2.如权利要求1所述的图像编码方法，其特征在于，
在上述运算参数的编码中，将上述神经网络中包含的各节点间的权重系数作为上述运算参数来编码。
3.如权利要求2所述的图像编码方法，其特征在于，
在上述运算参数的编码中，还将上述神经网络的层级数或节点数作为运算参数来编码。
4.如权利要求3所述的图像编码方法，其特征在于，
在上述图像的编码中，根据被编码的上述图像的配置，规定上述神经网络的层级数或节点数的最大值，进行使用所规定的上述最大值以下的层级数或节点数的上述神经网络的上述非线性处理。
5.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
上述非线性处理被与多个模式中的某一个模式建立对应；
在上述图像的编码中，在被指定上述模式的情况下，进行上述非线性处理而将上述图像编码。
6.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述图像编码方法中，还按每个图像单位，切换上述运算参数，上述图像单位是上述图像中包含的块、切片、瓦片、图片或图片组；
在上述图像的编码中，对上述图像单位进行使用具有切换后的运算参数的上述非线性滤波器的非线性处理而将上述图像单位编码。
7.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述图像编码方法中，还将表示上述非线性滤波器有效还是无效的有效/无效信息编码；
在上述图像的编码中，在上述有效/无效信息表示有效的情况下，进行上述非线性处理。
8.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述图像编码方法中，
还按上述图像中包含的每个块，根据该块的特征，将该块分类为多个类中的某一个类；
按每个上述类，使用被分类为该类的至少1个块和上述至少1个块各自的周边像素作为教师数据而学习，由此决定对应于该类的上述运算参数。
9.如权利要求8所述的图像编码方法，其特征在于，
在上述运算参数的决定中，仅使用上述图像中的复杂性比预先设定的基准高的区域来学习，由此决定上述运算参数。
10.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述变换中，进行从上述图像的空间域向频域的变换；
在进行使用上述非线性滤波器的帧内预测的情况下，将上述变换的方法切换为使用可变更的变换矩阵的方法，按照上述使用可变更的变换矩阵的方法进行变换。
11.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述图像的编码中，
在上述图像中包含的块是规定的尺寸以下的情况下，作为上述非线性处理而对上述块进行使用上述非线性滤波器的帧内预测；
在上述块比上述规定的尺寸大的情况下，对上述块进行使用固定参数的线性滤波器的帧内预测。
12.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述图像的编码中，对上述图像中的亮度成分进行上述非线性处理，对上述图像中的色差成分，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中进行输入输出关系为线性的线性处理。
13.如权利要求1～4中任一项所述的图像编码方法，其特征在于，
在上述运算参数的编码中，参照作为预先规定的参数的规定参数，将编码对象的上述运算参数编码。
14.一种图像解码方法，
将编码图片按每个块进行逆变换；
使用循环内滤波将已逆变换的上述块进行重构；
利用使用上述编码图片内的已解码的像素进行的帧内预测或使用其他编码图片内的已解码的像素进行的帧间预测，预测所重构的上述块；
将上述块解码；
上述图像解码方法的特征在于，
在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，进行包含神经网络的滤波处理而将包含上述块的图像解码；
将表示非线性滤波器的运算参数的信息解码；
进行使用具有解码后的上述运算参数的上述非线性滤波器、且输入输出的关系为非线性的非线性处理而将包含上述块的图像解码；
在上述图像解码方法中，还将切换信息解码，该切换信息将具有固定参数的线性滤波器和上述非线性滤波器中的某一方表示为应使用的滤波器；
在上述图像的解码中，将用于上述图像的解码的处理，按照上述切换信息，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中切换为使用上述非线性滤波器的上述非线性处理和使用上述线性滤波器的线性处理。
15.如权利要求14所述的图像解码方法，其特征在于，
在上述运算参数的解码中，将上述神经网络中包含的各节点间的权重系数作为上述运算参数来解码。
16.如权利要求15所述的图像解码方法，其特征在于，
在上述运算参数的解码中，还将上述神经网络的层级数或节点数作为运算参数来解码。
17.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
上述非线性处理被与多个模式中的某一个模式建立对应；
在上述图像的解码中，在被指定上述模式的情况下，进行上述非线性处理而将上述图像解码。
18.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述图像解码方法中，还按每个图像单位，将上述运算参数切换，上述图像单位是上述图像中包含的块、切片、瓦片、图片或图片组；
在上述图像的解码中，对上述图像单位进行使用具有切换后的运算参数的上述非线性滤波器的非线性处理而将上述图像单位解码。
19.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述图像解码方法中，还将表示上述非线性滤波器有效还是无效的有效/无效信息解码；
在上述图像的解码中，在上述有效/无效信息表示有效的情况下，进行上述非线性处理。
20.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述逆变换中，在进行使用上述非线性滤波器的帧内预测的情况下，将上述逆变换的方法切换为使用可变更的变换矩阵的方法，按照上述使用可变更的变换矩阵的方法进行逆变换。
21.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述图像的解码中，
在上述图像中包含的块是规定的尺寸以下的情况下，作为上述非线性处理而对上述块进行使用上述非线性滤波器的帧内预测；
在上述块比上述规定的尺寸大的情况下，对上述块进行使用固定参数的线性滤波器的帧内预测。
22.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述图像的解码中，对上述图像中的亮度成分进行上述非线性处理，对上述图像中的色差成分，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中进行输入输出关系为线性的线性处理。
23.如权利要求14～16中任一项所述的图像解码方法，其特征在于，
在上述运算参数的解码中，参照作为预先规定的参数的规定参数，将解码对象的上述运算参数解码。
24.一种图像编码装置，
将图片按每个块进行变换；
使用循环内滤波将已变换的上述块进行重构；
利用使用上述图片内的像素进行的帧内预测或使用其他图片内的像素进行的帧间预测，预测所重构的上述块；
将上述块编码；
上述图像编码装置的特征在于，
具备图像编码部，该图像编码部在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，进行包含神经网络的滤波处理而将包含上述块的图像编码；
上述滤波处理是输入输出的关系为非线性的非线性处理；
上述图像编码装置中，
将表示用于上述非线性处理的非线性滤波器的运算参数的信息编码；
还将切换信息编码，该切换信息将具有固定参数的线性滤波器和上述非线性滤波器中的某一方表示为应使用的滤波器；
上述图像编码部，将用于上述图像的编码的处理，按照上述切换信息，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中切换为使用上述非线性滤波器的上述非线性处理和使用上述线性滤波器的线性处理。
25.一种图像解码装置，
将编码图片按每个块进行逆变换；
使用循环内滤波将已逆变换的上述块进行重构；
利用使用上述编码图片内的已解码的像素进行的帧内预测或使用其他编码图片内的已解码的像素进行的帧间预测，预测所重构的上述块；
将上述块解码；
上述图像解码装置的特征在于，：
具备图像解码部，该图像解码部在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中，进行包含神经网络的滤波处理而将包含上述块的图像解码；
上述图像解码装置中，
将表示非线性滤波器的运算参数的信息解码；
进行使用具有解码后的上述运算参数的上述非线性滤波器、且输入输出的关系为非线性的非线性处理而将包含上述块的图像解码；
还将切换信息解码，该切换信息将具有固定参数的线性滤波器和上述非线性滤波器中的某一方表示为应使用的滤波器；
上述图像解码部，将用于上述图像的解码的处理，按照上述切换信息，在上述帧内预测、上述帧间预测及上述循环内滤波中的至少1个中切换为使用上述非线性滤波器的上述非线性处理和使用上述线性滤波器的线性处理。
CN201680033220.1A 2015-06-12 2016-03-18 图像编码方法、图像解码方法、图像编码装置及图像解码装置 Active CN107736027B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562174789P 2015-06-12 2015-06-12
US201562174864P 2015-06-12 2015-06-12
US62/174,789 2015-06-12
US62/174,864 2015-06-12
US201562175583P 2015-06-15 2015-06-15
US62/175,583 2015-06-15
JP2016021372 2016-02-05
JP2016-021372 2016-02-05
PCT/JP2016/001582 WO2016199330A1 (ja) 2015-06-12 2016-03-18 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Publications (2)

Publication Number Publication Date
CN107736027A CN107736027A (zh) 2018-02-23
CN107736027B true CN107736027B (zh) 2021-06-01

Family

ID=57503234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033220.1A Active CN107736027B (zh) 2015-06-12 2016-03-18 图像编码方法、图像解码方法、图像编码装置及图像解码装置

Country Status (6)

Country Link
US (1) US10681380B2 (zh)
EP (1) EP3310058B1 (zh)
JP (1) JP6715466B2 (zh)
KR (1) KR102517615B1 (zh)
CN (1) CN107736027B (zh)
WO (1) WO2016199330A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
KR102124714B1 (ko) 2015-09-03 2020-06-19 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치
JP2018125718A (ja) * 2017-02-01 2018-08-09 日本放送協会 モード予測情報生成装置およびプログラム
JP6941943B2 (ja) * 2017-02-01 2021-09-29 日本放送協会 予測装置およびプログラム
WO2018163011A1 (ja) * 2017-03-09 2018-09-13 株式会社半導体エネルギー研究所 半導体装置および放送システム
WO2018189613A1 (ja) * 2017-04-11 2018-10-18 株式会社半導体エネルギー研究所 半導体装置、撮像装置及び表示システム
WO2018199051A1 (ja) * 2017-04-25 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10630978B2 (en) * 2017-05-12 2020-04-21 Blackberry Limited Methods and devices for intra-coding in video compression
JP2018201117A (ja) * 2017-05-26 2018-12-20 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
JP6956803B2 (ja) * 2017-05-26 2021-11-02 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ ニューラルネットワークを使用するタイル型画像圧縮
WO2019009448A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
JP7167022B2 (ja) * 2017-07-07 2022-11-08 株式会社半導体エネルギー研究所 表示システム、および表示システムの動作方法
JP7260472B2 (ja) * 2017-08-10 2023-04-18 シャープ株式会社 画像フィルタ装置
CN111133756B (zh) * 2017-10-12 2022-04-19 联发科技股份有限公司 用于视频编码的神经网络方法和装置
CN117768643A (zh) * 2017-10-13 2024-03-26 弗劳恩霍夫应用研究促进协会 用于逐块图片编码的帧内预测模式概念
KR102535361B1 (ko) * 2017-10-19 2023-05-24 삼성전자주식회사 머신 러닝을 사용하는 영상 부호화기 및 그것의 데이터 처리 방법
JP2019087778A (ja) * 2017-11-01 2019-06-06 日本放送協会 画像復元フィルタ及び学習装置
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
JP6889653B2 (ja) * 2017-11-24 2021-06-18 Kddi株式会社 動画像圧縮装置及び動画像圧縮方法
US11228767B2 (en) 2017-12-13 2022-01-18 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
WO2019154817A1 (en) * 2018-02-09 2019-08-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive in-loop filter with multiple feature-based classifications
US20190289327A1 (en) * 2018-03-13 2019-09-19 Mediatek Inc. Method and Apparatus of Loop Filtering for VR360 Videos
KR102524593B1 (ko) * 2018-03-29 2023-04-21 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 블록 단위의 화상 코딩을 위한 인트라 예측 모드 개념
CN111937392B (zh) * 2018-04-17 2024-05-10 联发科技股份有限公司 视频编解码的神经网络方法和装置
EP3562162A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on neural network implementation of cabac
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
JP2019201332A (ja) * 2018-05-16 2019-11-21 シャープ株式会社 画像符号化装置、画像復号装置、及び画像符号化システム
JP2020005201A (ja) * 2018-06-29 2020-01-09 日本放送協会 送信装置及び受信装置
EP3818502A4 (en) * 2018-07-02 2022-06-29 Nokia Technologies Oy A method, an apparatus and a computer program product for image compression
GB2575628A (en) * 2018-07-09 2020-01-22 Nokia Technologies Oy Video processing
KR20240007716A (ko) * 2018-09-13 2024-01-16 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 아핀 선형 가중 인트라 예측
US11062210B2 (en) 2018-10-02 2021-07-13 Nokia Technologies Oy Method and apparatus for training a neural network used for denoising
JP7089303B2 (ja) * 2018-10-10 2022-06-22 株式会社アクセル 推論装置、処理システム、推論方法及び推論プログラム
US11159789B2 (en) * 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
US11601644B2 (en) * 2018-12-11 2023-03-07 Google Llc Image and video coding using machine learning prediction coding models
JP2022514870A (ja) * 2018-12-20 2022-02-16 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
KR20200082227A (ko) * 2018-12-28 2020-07-08 한국전자통신연구원 오디오 신호를 위한 손실 함수 결정 방법 및 손실 함수 결정 장치
US11240492B2 (en) * 2019-01-22 2022-02-01 Apple Inc. Neural network based residual coding and prediction for predictive coding
CN113711594A (zh) * 2019-02-15 2021-11-26 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
EP3935860A1 (en) * 2019-03-08 2022-01-12 Canon Kabushiki Kaisha An adaptive loop filter
EP3938965A4 (en) * 2019-03-14 2022-12-28 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR TRAINING A NEURAL NETWORK
WO2020187587A1 (en) * 2019-03-15 2020-09-24 Dolby International Ab Method and apparatus for updating a neural network
JP2022525392A (ja) * 2019-03-15 2022-05-13 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 低変位ランクベースのディープニューラルネットワーク圧縮
KR20220007853A (ko) * 2019-03-18 2022-01-19 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 신경망의 매개변수를 압축하기 위한 방법 및 장치
CN113785588B (zh) 2019-04-12 2023-11-24 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的色度编解码模式确定
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
CN113812150B (zh) 2019-05-01 2023-11-28 北京字节跳动网络技术有限公司 使用滤波的基于矩阵的帧内预测
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
KR20220011127A (ko) 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP7318314B2 (ja) * 2019-05-30 2023-08-01 富士通株式会社 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
US11412262B2 (en) * 2019-06-24 2022-08-09 Qualcomm Incorporated Nonlinear extensions of adaptive loop filtering for video coding
BR112022003690A2 (pt) * 2019-09-27 2022-05-24 Mitsubishi Electric Corp Dispositivo, sistema e método de processamento de dados
CN117579823A (zh) 2019-10-28 2024-02-20 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
JP2021072539A (ja) * 2019-10-30 2021-05-06 キヤノン株式会社 画像符号化装置、復号装置、伝送システム、及びその制御方法
US11671110B2 (en) * 2019-11-22 2023-06-06 Tencent America LLC Method and apparatus for neural network model compression/decompression
WO2021165018A1 (en) * 2020-02-21 2021-08-26 Interdigital Vc Holdings France Neural network-based intra prediction for video encoding or decoding
EP4111686A4 (en) * 2020-02-24 2024-02-28 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO CODING AND VIDEO CODING
CN111541894B (zh) * 2020-04-21 2021-04-20 电子科技大学 一种基于边缘增强残差网络的环路滤波方法
EP4140127A4 (en) * 2020-05-26 2023-07-26 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR HIGH-LEVEL SYNTAX FOR SMOOTHING INTRAPREDICATION TECHNIQUES
EP4169249A1 (en) * 2020-06-18 2023-04-26 InterDigital VC Holdings France, SAS Adapting the transform process to neural network-based intra prediction mode
US11765376B2 (en) * 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding
US11889112B2 (en) * 2021-04-30 2024-01-30 Tencent America LLC Block-wise content-adaptive online training in neural image compression
CN118077197A (zh) * 2021-10-08 2024-05-24 瑞典爱立信有限公司 组合用于视频编码和/或解码的去块滤波和另一滤波
WO2023194650A1 (en) * 2022-04-04 2023-10-12 Nokia Technologies Oy A method, an apparatus and a computer program product for video coding
CN117639792A (zh) * 2023-11-27 2024-03-01 浙江大学 一种基于码表聚类的深度学习模型压缩方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5041916A (en) * 1989-02-07 1991-08-20 Matsushita Electric Industrial Co., Ltd. Color image data compression and recovery apparatus based on neural networks
JPH03198593A (ja) * 1989-12-27 1991-08-29 Nippon Television Network Corp テレビジョン方式
EP0551524A4 (en) * 1991-08-05 1994-08-10 Kawasaki Steel Co Signal processor and learning method thereof
JP2788811B2 (ja) * 1992-01-10 1998-08-20 シャープ株式会社 ブロック歪補正器
KR0139154B1 (ko) * 1994-07-08 1998-06-15 김광호 신경망을 이용한 부호화방법 및 그 장치
US5598354A (en) * 1994-12-16 1997-01-28 California Institute Of Technology Motion video compression system with neural network having winner-take-all function
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20050129306A1 (en) * 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks
US8218634B2 (en) 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
CN101189641B (zh) * 2005-05-12 2012-05-02 布雷克成像有限公司 编码数字图像的像素或体素的方法及处理数字图像的方法
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
KR101277255B1 (ko) * 2006-06-13 2013-06-26 서강대학교산학협력단 복합 영상 신호에서의 화질 개선 방법 및 그 장치, 복합영상 신호에서의 왜곡 제거 방법 및 그 장치
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
CN101626506B (zh) * 2008-07-10 2011-06-01 华为技术有限公司 一种视频码流的质量评估方法、装置及***
US8311111B2 (en) * 2008-09-11 2012-11-13 Google Inc. System and method for decoding using parallel processing
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
EP2839653A4 (en) * 2012-04-16 2015-11-25 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
US8819525B1 (en) * 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness
EP3069511A4 (en) * 2013-11-15 2017-09-27 MediaTek Inc. Method of block-based adaptive loop filtering
EP4087247A1 (en) * 2014-02-26 2022-11-09 Dolby Laboratories Licensing Corp. Luminance based coding tools for video compression
US10034005B2 (en) * 2015-06-05 2018-07-24 Sony Corporation Banding prediction for video encoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"NEURAL NETWORK APPROACH TO DPCM SYSTEM DESIGN FOR IMAGE CODING";MANIKOPOULOS C N;《IEE PROCEEDINGS I》;19921001;第506页及公式12 *
"PARALLEL STRUCTURE BASED ON NEURAL NETWORKS FOR IMAGE COMPRESSION";CARRATO S ET AL;《IEE STEVENAGE》;19920604;说明书第1152页 *

Also Published As

Publication number Publication date
EP3310058A1 (en) 2018-04-18
EP3310058A4 (en) 2018-06-20
KR102517615B1 (ko) 2023-04-04
KR20180018544A (ko) 2018-02-21
WO2016199330A1 (ja) 2016-12-15
JPWO2016199330A1 (ja) 2018-04-05
EP3310058B1 (en) 2023-02-22
US20180184123A1 (en) 2018-06-28
US10681380B2 (en) 2020-06-09
CN107736027A (zh) 2018-02-23
JP6715466B2 (ja) 2020-07-01

Similar Documents

Publication Publication Date Title
CN107736027B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
JP6216021B2 (ja) フィルタ方法及び画像処理システム
JP6078921B2 (ja) 画像符号化復号装置
JP6384690B2 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP5422773B2 (ja) 画像復号方法及び画像復号装置
WO2013042329A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
JP6179813B2 (ja) 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置および画像符号化復号装置
JP6489337B2 (ja) 算術復号方法および算術符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant